m9-MDP

• 问题: 无限状态序列具有无限效用 • 解决方案:
– 有限horizon:
• 在固定的T步后，终结行为（episodes） (如 life) • 给定非固定策略 (π 依赖于剩下的时间)
– 吸收Absorbing状态: 确保对于任何策略, 总会到达 一个终结状态 (如高-低的“done” ) – 打折: for 0 < γ < 1
• 如何计算固定策略的V值? • 思路1: 修改Bellman更新 • • 思路2: 只是一个线性系统, 使用Matlab (或其他 可用的工具)求解
策略迭代Policy Iteration
• 值迭代的问题:
– 每一次迭代都要考虑所有的行为速度很慢：比策略迭代多花|A|倍 的时间 – 但每次迭代中，策略通常不变，时间浪费
States S Start state s0 Actions A Transitions P(s’|s,a) (or T(s,a,s’)) – Rewards R(s,a,s’) (and discount γ) – – – –
• 目前的MDP量 :
– 策略 = 每个状态选择的行为 – 效用 (或返回值) = 打折后的 奖励之和
• MDPs 是一系列非决定性的搜索 问题
– 增强学习: 是一种MDPs，只是传 递函数或者奖励函数未知
What is Markov about MDPs?
• Andrey Markov (1856-1922) • “Markov” 一般意义：给定当前状态, 未 来与过去是互相独立的 • For Markov decision processes, • “Markov” means:
策略迭代Policy Iteration
• 策略迭代: 对于当前固定的策略π, 使用简化的 Bellman更新进行求值:
– 迭代，直到值收敛
• 策略改进: 对固定效用, 用前瞻一步法求最佳行 为
比较Comparison
• 值迭代:
– 每一步 (或 “备份”) 都同时更新效用 (显示的, 基于当前 效用) 和策略 (可能隐式, 基于当前策略)
值估算Value Estimates
• 计算近似值 Vk*(s)
– 非s的最佳值! – 仅考虑余下k个时间步的最佳值 (k 激 励) – 当 k → ∞, 趋近于最佳值 – 为什么:
• 如果打折, 远处的奖励可以忽略不计 • 如果从任何地方出发都可以到达终结态， 未终结的部分可忽略不计 • 否则, 将得到无限期望效用，从而此方法 无法工作
• Prob that a from s leads to s’ • i.e., P(s’ | s,a) • Also called the model
+1 -1 start
– A reward function R(s, a, s’)
• Sometimes just R(s) or R(s’)
– A start state (or distribution) – Maybe a terminal state
• 定理:
– i.e. once the change in our approximation is small, it must also be close to correct
实践: 计算行为
• 从状态s出发，需要采取何种行动:
– 给定最佳值V?
– 给定最佳q-值Q?
– 经验: 由Q选择行为更容易!
例: Bellman更新
例: 值迭代
• 信息从终结状态逐步向外传播，最终所有 状态都得到正确的近似值
收敛Convergence*
• 定义最大模max-norm: • 定理: 对任意两个U 和 V的近似
– i.e. any distinct approximations must get closer to each other, so, in particular, any approximation must get closer to the true U and value iteration converges to a unique, stable, optimal solution
• 为什么不使用期望最大求解? • 问题:
– 树通常是无限的 (why?) – 同样的状态一次又一次地出现 (why?) – 每个状态只想走一次 (why?)
• 思想: 值迭代
– 使用逐次逼近一次求出所有状态的最优值 – 是一种自底向上的动态规划（Will be a bottom-up dynamic program similar in cost to memorization） – 离线完成所有规划, 不需要重复规划!
• 策略迭代:
– 固定策略,多步更新效用,偶尔有一步来更新策略
• 杂交模式 (异步策略迭代):
– 以任意序列实现策略或效用的部分更新,如果每个状态 都被访问无限多次将收敛
异步值迭代*
• 在值迭代中, 每次迭代都会更新所有状态 • 事实上，如果每个状态都被访问无限多次， 任何 Bellman更新序列都将收敛 • 事实上, 可以随意访问策略多一些或者少一 些，都会收敛 • 思路: 更新希望改变其值的状态: |Vt+1(s)Vt(s)|，如果较大，更新s的前趋
• 值迭代的替代方案:
– 第1步: 策略评估: 计算固定(非最优效用!)策略的的效用，直到收敛 (快) – 第2步: 策略改进: 使用当前收敛的效用(但非最优!)前瞻一步，更新 策略 (慢但不经常做) – Repeat steps until policy converges
• 这是策略迭代
– 还是最优的! – 在某些情况下，会收敛更快
MDP马尔可夫决策过程
第九讲
增强/再励Reinforcement学习
• 基本思想Basic idea:
– – – – 以“激励rewards”的形式接收反馈 智能体的“效用utility”由激励（ reward）函数定义 学习的行为应最大化“期望奖赏” 激励改变，则学习的行为也相应改变
• 例:
– 玩游戏, 根据结束时输/赢获得不同的奖励reward – 自动吸尘房间, 每拾起一个垃圾获得一个奖励 – 自动taxi, 每送达一个乘客得到一份奖励
求解MDP
• 对于单智能体、决定性的 搜索问题, 希望求得从开 始到目标的最优规划, 或 一系列行为 • 在MDP中, 需要求得最优 策略π*: S → A
– 策略π：给出每个状态 下如 何行为 – 最优策略：最大化期望效用 （平均效用），如果遵循它 – 定义了一个反射reflex智能 体
Optimal policy when R(s, a, s’) = -0.03 for all non-terminals s
• Smaller γ means smaller “horizon” – shorter term focus
折扣Discounting
• 典型的奖励折扣是每 个时间步，打γ 折（γ < 1）
– 很快，前面的奖励会 比后面的奖励有更高 的效用 – 还帮助算法收敛
小结: 定义MDP
• Markov决策过程:
• 首先: 需要掌握MDP（马尔科夫决策过程）
格子的世界Grid World
• • • 智能体生活在格子世界中 墙会阻碍智能体的路径 智能体的行为不总是按规划走的:
– 80% 的时间, 计划向北走，结果也是到 达了北边 (当所走的地方没有墙时) – 10% 的时间, 计划向北走，实际向西行， 还有10%向东行 – 如果行走的方向有墙，智能体在原地不 动
+1 -1 start
• • •
每走一步，获得较小的“存活living” 奖励 在终点处，获得大的奖励 目标: 奖励总和最大化maximize sum of rewards*
Markov Decision Processes
• MDP定义:
– A set of states s ∈ S – A set of actions a ∈ A – A transition function T(s,a,s’)
– #1: 往下比的时候，可得分 – #2: 有可能一直比下去
High-Low游戏的MDP模型
• States: 2, 3, 4, done • Actions: High, Low • Model: T(s, a, s’):
– – – – – – – – – P(s’=4 | 4, Low) = 1/4 P(s’=3 | 4, Low) = 1/4 P(s’=2 | 4, Low) = 1/2 P(s’=done | 4, Low) = 0 P(s’=4 | 4, High) = 1/4 P(s’=3 | 4, High) = 0 P(s’=2 | 4, High) = 0 P(s’=done | 4, High) = 3/4 …
• Rewards: R(s, a, s’):
– Number shown on s’ if s ≠ s’ High-Low
MDP Search Trees
• 每个MDP状态给出一个类期望最大（expectimax-like）搜索树
序列的效用Utilities of Sequences
Bellman方程
• 由 “最优效用”的定义，产生了最优效用 值之间简单的向前看一步的关系:
– 最优奖励 = 对每个不同首行为其后都取最佳 策略，求最大值
• 形式化为:
求解MDP
• 需要求得最优策略 π* • 方案1: 修改expectimax搜索, 从每个状态s 开始:
为什么不能使用搜索树?
值迭代Value Iteration
• 思路（Idea）:
– 从V0*(s) = 0开始, 该式是正确的 (why?) – 给定Vi*, 对深度i+1 ，计算所有状态的值: