马尔科夫决策过程

策略迭代
值迭代与策略迭代的区别
•
创建马尔科夫模型
• 在之前的讨论中，状态转移概率和回报函数都是已知的，然而在实
际情况中，这两个变量是未知的，需要经过实验得到。
•
未知状态转移概率情况下MDP算法
马尔科夫决策过程（MDP）
目录
• • • •
强化学习简介 马尔科夫决策过程 值迭代和策略迭代 马尔科夫模型的创建
简介
• 在强化学习中，提供了一个回报函数，用于告诉learning agent的
行动做的是好是坏。例如对于一个四足爬行机器人,向前移动给它奖 励，翻到或者向后退就给予惩罚。
• 强化学习可用于自动驾驶、手机网络的路由选择、营销策略的选择
即值迭代和策略迭代
• 这里只考虑有限状态和有限动作的情况。
值迭代
ห้องสมุดไป่ตู้
• 两种更新值函数的方法
• 首先为所有状态计算新的V(s), 全部计算完成后，再一次性的替换原先旧的
V(s).（同步更新）
• 每计算出一个V(s), 就用新的V(s)值替换旧的V(s)值。（异步更新）
• 计算出最优值函数后，就可以根据下式计算最优策略
以及工厂控制等领域。
马尔科夫决策过程
•
S0(始) S1 S3 S6 S4 S7 S2 S5 S8(终)
马尔科夫决策过称为
整个决策过程的回报为
如果回报函数只与状态有关，则回报为
•
• 最优回报
• 根据Bellman equations,可以得到下式
• 最优策略
得到最优策略
• 在知道马尔科夫五元组的情况下，可以通过两种算法得到最优策略，