平均报酬模型的多步强化学习算法

m= 1
其中为简单起见 , 在不引起混乱的情况下求和范围 用 j 表示 j & S , 下同 . 易见max R * ( i , a) = h * ( i ) , a 且最优策略
* *
可通过取贪行动而得: ( i ) = arg max R * ( i , a) . a
∃
#
m- 1
d t+ m +
R 学习算法通过贮存一个 R * 函数的估计 R * ,
Model Free Average Reward Multi step Reinforcement Learning
HU Guanghua and WU Cangpu
( D epartment of Automat ic Control, Beijing Inst it ute of Technology Beijing, 100081, P. R . China)
Abstract: Two model free multi step average reward reinforcement learning algorithms, R( ) learning and TTD ( ) learning, are proposed. Two no vel incremental algorithms incorporate the R learning with the temporal differences TD ( ) learning algorithm for average reward problems. They are also the natural extensions of the counterpart algorithms for discounted reward reinforcement learning into the average reward cases. Simulation results show that R( ) learning and TTD( ) learning with intermediate values of have much better performance than the simple R learning. Key words: reinforcement learning; temporal difference learning; M arko v decision processes; R learning
2 若学习因子 !很小 , 同时 ∀< ! , h 和 都调整得十
代替 r t 来对 R 值进行更新 . 其指导思想相当于仅对 前 k 个 r (t n) 求加权平均, 而将最后一项 r (t k ) 的权由 ( 1)
k- 1
分慢 , 则( 5) 式中的第二和第三个和式将很小 . 利用 r
t
去改进 R 的估值的一种方法是使用如
[ 1]
首次引入了即时差分 TD
( ) 学习算法, 用以逼近在给定策略下各状 态的期
* 基金项目 : 国家自然科学基金 ( 69674005) 资助项目 . 收稿日期 : 1998- 10- 21; 收修改稿日期 : 1999- 10- 14.
时的 R( ) 和 TTD( ) 学习比 R 学习在可靠性与收敛
1
引言( Introduction)
强化学习方法是一种从自身经历中求解的学习
望长期累积回报函数. 在此之后 , 有大量的文献对此 进 行 了 深 入 的 研 究, 但 均 是 针 对 折 扣 模 型 的. Schwartz[ 2] ( 1993) 首先提出了一种基于平均报酬模 型的强化学习算法 , 即 R 学习. 稍后 Singh[ 3] 给出了 两种稍加修改的 R 学习算法. Mahadevan 对平均问 题的强化学习作了较为系统的分析并得出了大量的 实验结果 . 最近, Tadepalli 和 Ok[ 5] 又提出了一系列 模 型 已 知 的 平 均 报 酬 强 化 学 习 算 法, 并 利 用 Bayesian 网络和局部线性回归把仿真范围扩大到了 较大模型的问题上, 但他们都仅涉及到简单的一步 学习. 本文讨论多步的基于平均报酬模型的强化学习 算法, 提出了两种方法 : R ( ) 学习和 TTD ( ) 学习算 法 . 它们既是折扣模型的相关算法在平均模型中的 推广, 同时又是 已有的 平均 模型 R 学 习的自 然扩 展 , 使得 R 学习仅相当于 = 0 时的一个特例. 仿真 取中间值 表明 , 由于学习中考虑到了更多的信息 ,
n- 1
均有 i & S. 对应的马氏
( i) %
( i) ,
Bertsekas
[ 6]
证明了若每一个平均策略 ( i ) 与 i 无关 , 即 (j) = , ( i) =
链是遍历的话, 则 同时还存在 h* ( i ) +
* *
r (t n) =m= 0Biblioteka ∃ r t+ m #
n
t+ n- 1
+ h t+
m= 1
∃
#
m
( h t+ m ( it+ m) - ht+ m- 1 ( it+ n ) ) +
662
控制理论与应用
17 卷
m= 1
∃
#
k- 1
m
m
(
t+
m- 1 -
t+
m) .
( 5)
m= 1
∃
m
( r t+ m -
t+ m +
ht+ m ( i t+
m+ 1 -
ht+ m( i t+ m ) ) .
[ 4]
方法. 学习单元通过与一未知的环境不断相互作用 来达到获得知识和适应环境的目的 . 强化学习不象 其它机器学习一样, 被告知应该采取什么行动 ; 也不 象监督学习那样 , 对每个输入均有一个理想输出作 为外界的导师信号提供给学习单元 . 它只能从外界 环境获取一评估性的反馈信号 , 即奖励或惩罚 , 然后 通过试凑搜寻, 发现哪些行动会带来丰厚的效益( 报 酬) . 例如一个棋手对弈程序用一场棋局最后的输赢 结果作为反馈来改进其性能就 是一个强化学 习系 统. 棋手很难获得能表达所有棋局的样本, 在未知的 棋局范围内, 他必须能够从其自身的经验中学习. 在基于动态规划的强化学习算法中 , 策略赋值 是一个重要的组成部分. 一旦获取到一策略对应的 值函数的话, 通过选取所谓的 贪策略! 即可获得一 更佳的改进策略. Sutton
*
∃ ∃
#
m- 1 (m ) rt
m- 1
=
m- 1
且关于 h * 的贪策略 量 h * 还是唯一的.
*
为最优策略及
*
(
=
.
m= 1
k= 0
∃ r t+ k =
m
若令 h * ( s) = 0, 其中 s 为一事先固定的状态 , 则向 本文自始至终假设以上遍历性条件成立 . 对于转移概率 P 及报酬 r 事先已知的情形, 最 优策略可通过所谓的策略迭代法或值迭代法获得 . 而对于模型事先未知的问题, 则必须采用直接或间 接的自适应控制方法 . R 学习即为一种获取最优策 略的直接方法. 设状态行动值 R * ( i , a) 表示在状态 i 用行动 a, 然后采用最优策略的平均调整值, 即 R ( i , a) =
∃
Rt ( i ) N ]. 选
*
∃ ( r( ii+ m,
l
( it+ m) , i t+ m+ 1 ) -
) + h ( it+ l+ 1) ] .
其中 Rt ( i ) 为学习单元由状态 i 出发 , 按策略 取行动. 到时刻 t 时所收到的瞬时报酬 . 一策略 称为是最优的若对任何策略
*
( 2) 若令 h ( s ) = 0, 其中 s 为某一固定状态, 则 h 唯 一 . 分别记 h 和 在时刻 t 的估值为 ht , t , 并假设 为控制单元当前的贪策略. 根据 ( 2) 式, t 时刻下报 酬的 n 步截断相对值定义为
2
一步 R 学习( One step R learning)
在强化学习中 , 学习单元与环境的相互作用通
常可表为一类马氏决策过程 ( S, A , r, P ) , 这里 S 表 示状态集 , A 为行动集 , 均有限. P 为转移概率律, 其 元素 p ij ( a ) 表示采用行动 a 由状态 i 转入状态 j 的 概率 , r 为上述转移所获得的瞬时报酬. 学习单元的行为可由策略来刻划 . 所谓策略即 为从各种可能情况到行动的映射 . 一平稳闭环策略 : S ∀ A 是由当前状态到行动的映射, 而与历史无 关. 对策略 , 状态 i 的每步平均报酬
摘要 : 讨论模型未知的平均报酬强化学习算法 . 通 过结合 即时差分 学习与 R 学 习算法 , 将折 扣问题 中的一 些 方法 推广到了平均准则问题中 , 提出了两类算法 : R( ) 学习与截断即时差分 TTD( ) 学习 . 现有的 R 学习可视 为 R ( ) 学习和 TTD( ) 学习当 = 0 时的一个特例 . 仿真结果表明 , 可靠性与收敛速度上均有提高 . 关键词 : 强化学习 ; 即时差分学习 ; 马氏决策过程 ; R 学习 文献标识码 : A 取中间值的 R( ) 和 TTD( ) 学 习比现有的方法在
第 17 卷第 5 期 2000 年 10 月
文章编号 : 1000- 8152( 2000) 05- 0660- 05
控制理论与应用 CONTROL THEORY AND APPLICATIONS
Vol. 17, No . 5 Oct. , 2000