强化学习

从上面的分析看，value iteration较之policy iteration更直接。不过问题也都是一样，需要知道 状态转移函数p才能计算。本质上依赖于模型，而且理想条件下需要遍历所有的状态，这在稍 微复杂一点的问题上就基本不可能了。
14
14
强化学习分类
基于MC的强化学习
蒙特卡罗方法 不需要对环境的完整知识，仅仅需要经验就可以求解最优策略，这些经验可以在线获 得或者根据某种模拟机制获得。经验其实就是训练样本，比如在初始状态s，遵循策略π，最终获得 了总回报R，这就是一个样本。如果我们有许多这样的样本，就可以估计在状态s下，遵循策略π的 期望回报，也就是状态值函数Vπ(s)了。蒙特卡罗方法就是依靠样本的平均回报来解决增强学习问题 的。要注意的是，我们仅将蒙特卡罗方法定义在episode task上，所谓的episode task就是指不管采 取哪种策略π，都会在有限时间内到达终止状态并获得回报的任务。比如玩棋类游戏，在有限步数以 后总能达到输赢或者平局的结果并获得相应回报
31
31
Reinforce with baseline (episodic)
32
32
Actor-Critic (episodic)
33
33
Part
4
深度强化学习经典算法
A3C DDPG
DQN
35
35
DQN
36
36
Dueling-DDQN
37
37
A3C
38
38
A3C
39
39
DDPG
40
24
24
Q-Learning
25
25
TD(0) with function approximation
26
26
DQN
27
27
Double Q-learning
28
28
Part
3
基于策略的强化学习
策略梯度算法
Iterative Policy evaluation
30
30
Policy Iterative
4
4
强化学习基本元素
1. 动作（A）：智能体可以采取的所有可能的行动。 2. 状态（S）：环境返回的当前情况。 3. 奖励（R）：环境的即时返回值，以评估智能体的上一个动作。 4. 策略（π）：智能体根据当前状态决定下一步动作的策略。 5. 价值（V）：折扣（������）下的长期期望返回，与 R 代表的短期返回相区分。Vπ(s) 则被定义为策略 π
基于TD的强化学习
与基于 策略迭代 和 值迭代的算法相比，蒙特卡洛算法需要采样完成一个轨迹之后，才能进行值估 计（value estimation），这样看，就感觉蒙特卡洛速度很慢啊！据说主要原因在于 蒙特卡洛没有 充分的利用强化学习任务的 MDP 结构。但是， TD 充分利用了 “MC”和 动态规划的思想，做到了 更加高效率的免模型学习。
On-policy：必须本人在场, 并且一定是本人边玩边学习。
Off-policy：可以选择自己玩, 也可以选择看着别人玩, 通过看别人玩来学习别人的行为准则。
7
7
强化学习分类
贝尔曼方程：
8
8
强化学习分类
基于策略的强化学习
策略评估会评估从上次策略改进中获得的贪心策略的价值函数 V。
策略改进通过使每个状态的 V 值最大化的动作来更新策略。 更新方程以贝尔曼方程为基础。 它不断迭代直到收敛。
40
DDPG
41
41
DDPG
42
42
DDPG
43
43
Part
5
强化学习算法应用
这里可以用一段简洁的文字描述出本章中心思想，或 者作为章节导语。还可以列出本章的小节标题。
实际应用
45
45
总体思路
46
46
后 记
主要介绍了强化学习的基本概念，强
化学习分类，强化学习经典算法，以及近 几年用的较多的强化学习算法，最后提出 了强化学习的应用场景和强化学习模型。
能体将知道给定当前状态和动作时，进入特定状态的可能性。然而，当状态空
间和动作空间增长（S×S×A，用于表格设置）时，基于模型的算法就变得不 切实际了。 另一方面，无模型算法依赖试错来更新知识。因此，它不需要空间来存储所有 状态和动作的组合。
6
6
强化学习分类
Model-free：不尝试去理解环境, 环境给什么就是什么，一步一步等待真实世界的反馈, 再根据反馈采取下一步行动。 Model-based：先理解真实世界是怎样的, 并建立一个模型来模拟现实世界的反馈，通过想象来预判断接下来将要发生的所有情 况，然后选择这些想象情况中最好的那种，并依据这种情况来采取下一步的策略。它比 Model-free 多出了一个虚拟环境，还有 想象力。 Policy based：通过感官分析所处的环境, 直接输出下一步要采取的各种动作的概率, 然后根据概率采取行动。 Value based：输出的是所有动作的价值, 根据最高价值来选动作，这类方法不能选取连续的动作。 Monte-carlo update：游戏开始后, 要等待游戏结束, 然后再总结这一回合中的所有转折点, 再更新行为准则。 Temporal-difference update：在游戏进行中每一步都在更新, 不用等待游戏的结束, 这样就能边玩边学习了。
15
15
探索还是利用
通常来讲每一个动作的奖励并不是以一个固定的值出现的，而是以一定的概率分布出现。因此， 需要不断的去尝试出，到底各个动作的期望奖励是多少，这个过程被称作是探索（Exploration） 的过程（这个过程一般来平均的去尝试每一种动作，通过很多次（越多越好，越准确）的尝试得 到每一个动作的期望的结果，这种方式最大的问题是：你知道当前期望最高的奖励，但是为了探 索你就失去了使用当前最好的机会）；另一种方式被称作是利用（Exploitation），既然当前已经 得到了最大期望的动作，那就直接使用它就好了（这种方式，应用了当前最好的策略，但是它仍 然是以一定概率出现而已，说不定你还是得不到最大的；另一点，这样不去探索，万一最好的还 在后面勒？）。
下当前状态s的期望长期返回值。（状态值函数）
6. Q 值或行动值 (Q)：Q 值与价值相似，不同点在于它还多一个参数，也就是当前动作 a。Qπ(s, a) 指当前状态s在策略π下采取动作 a 的长期回报。（动作值函数）
5
5
强化学习分类
无模型和有模型
无模型（ee）vs. 基于模型（Model-based） 这里的模型指的是环境的动态模拟，即模型学习从当前状态 s0 和动作 a 到下 一个状态 s1 的转移概率 P(s1|(s0, a))。如果成功地学习了转移概率，那么智
47
47
谢谢大家 !
汇报人：
9
9
强化学习分类
基于策略的强化学习
10
10
强化学习分类
基于策略的强化学习
11
11
强化学习分类
基于值的强化学习
12
12
强化学习分类
基于值的强化学习
13
13
强化学习分类
policy iteration使用bellman方程来更新value，最后收敛的value 即vπ是当前policy下的value值 （所以叫做对policy进行评估），目的是为了后面的policy improvement得到新的policy。 而value iteration是使用bellman 最优方程来更新value，最后收敛得到的value即vπ *就是当前 state状态下的最优的value值。因此，只要最后收敛，那么最优的policy也就得到的。因此这 个方法是基于更新value的，所以叫value iteration。
强化学习
Reinforcement Learning
电子与信息工程学院 汇报人：
1 2
强化学习的基本概念 基于值的强化学习 基于策略的强化学习 深度强化学习经典算法 强化学习的应用
3
4 5
目录
Contents
Part
1
强化学习基本概念
1.强化学习基本元素 2.强化学习的分类
强化学习基本概念
强化学习（RL）指的是一种机器学习方法，其中智能体在下一个时间步中收到延迟的奖励（对前一步 动作的评估）。 通常，强化学习的设置由两部分组成，一个是智能体（agent），另一个是环境（environment）。
16
16
Part
2
基于值的强化学习
SARSA、Q-Learning、DQN
Value iteration
18
18
MC policy evaluation
19
19
MC ES
20
20
Off-policy MC
21
21
Off-policy MC
22
22
TD Learning
23
23
SARSA