最优控制 第七章 动态规划法

u0 x0 1 x1
u1 2 x2 xk
uk k+1 xk+1 xN-1
uN-1 N xN
图1 多段决策过程示意图 当然， 当然，如果对每一段的决策都是按照使某种性 能指标为最优的原则作出的， 能指标为最优的原则作出的，那么这就是一个多段 最优决策过程。 最优决策过程。
容易理解，在多段决策过程中，每一段(如第 容易理解，在多段决策过程中，每一段 如第 k+1段)的输出状态 k+1)都仅仅与该段的决策 k)及 段 的输出状态 的输出状态(x 都仅仅与该段的决策 都仅仅与该段的决策(u 及 该段的初始状态(x 有关 有关。 该段的初始状态 k)有关。而与其前面各段的决策 及状态的转移规律无关。这种性质称为无后效性。 及状态的转移规律无关。这种性质称为无后效性。 无后效性 下面以最优路线问题为例， 下面以最优路线问题为例，来讨论动态规划求 解多段决策问题。 解多段决策问题。
P1 11
7
P2 4 2
P3 4 4
12 A 4 8 Q1
4 2 2 Q3 B
5 Q2
3
第三段： 的前站是P 第三段：P3、Q3的前站是 2、Q2。在这一段也 不论其先后的情况如何，只需对从P 不论其先后的情况如何，只需对从 2或Q2到B进行最 进行最 优决策。 有两条路线： 优决策。从P2到B有两条路线：P2P3B，历时为 ； 有两条路线 ，历时为6； P2Q3B，历时为 ，取最短历时 ，标注在 2旁。从Q2 ，历时为4，取最短历时4，标注在P 也有两条路线： 到B也有两条路线：Q2P3B，历时为 ；Q2Q3B，历时 也有两条路线 ，历时为7； ， 比较P 为5，取最短历时 ，标注在 2旁。比较 2与Q2的最 ，取最短历时5，标注在Q 优值，可知这一段的最优路线是P 优值，可知这一段的最优路线是 2Q3B。 。
一、多段决策问题
动态规划是解决多段决策过程优化问题的一 种强有力的工具。所谓多段决策过程， 种强有力的工具。所谓多段决策过程，是指把一 个过程按时间或空间顺序分为若干段， 个过程按时间或空间顺序分为若干段，然后给每 一步作出“决策” 或控制 或控制)， 一步作出“决策”(或控制 ，以使整个过程取得最 优 的效果。 的效果。
u0 x0 1 x1
u1 2 x2 xk
uk k+1 xk+1 xN-1
uN-1 N xN
前k段子过程 k
后N-k段子过程
第七章 动态规划法
动态规划是贝尔曼在50年代作为多段决策过程 动态规划是贝尔曼在 年代作为多段决策过程 研究出来的， 研究出来的，现已在许多技术领域中获得广泛应 动态规划是一种分段最优化方法 分段最优化方法， 用。动态规划是一种分段最优化方法，它既可用来 求解约束条件下的函数极值问题，也可用于求解约 求解约束条件下的函数极值问题， 束条件下的泛函极值问题。它与极小值原理一样， 束条件下的泛函极值问题。它与极小值原理一样， 是处理控制矢量被限制在一定闭集内， 是处理控制矢量被限制在一定闭集内，求解最优控 制问题的有效数学方法之一。 制问题的有效数学方法之一。
动态最优的核心是最优性原理， 动态最优的核心是最优性原理，它首先将一个 最优性原理 多段决策问题转化为一系列单段决策问题， 多段决策问题转化为一系列单段决策问题，然后从 最后一段状态开始逆向递推到初始段状态为止的一 套求解最优策略的完整方法。 套求解最优策略的完整方法。 下面先介绍动态规划的基本概念， 下面先介绍动态规划的基本概念，然后讨论连 续型动态规划。 续型动态规划。
设汽车从A城出发到 城 设汽车从 城出发到B城，途中需穿越三条河 城出发到 它们各有两座桥P、 可供选择通过 如图2所 可供选择通过， 流，它们各有两座桥 、Q可供选择通过，如图 所 示。各段间的行车时间 或里程、费用等 已标注在 各段间的行车时间(或里程 费用等)已标注在 或里程、 相应段旁。问题是要确定一条最优行驶路线， 相应段旁。问题是要确定一条最优行驶路线，使从 A城出发到 城的行车时间最短。 城出发到B城的行车时间最短 城出发到 城的行车时间最短。
P1 11
7
P2 4 2
P3 4 4
12 A 4 8 Q1
4 2 2 Q3 B
5 Q2
3
第一段： 的前站是始发站A。 第一段：P1、Q1的前站是始发站 。显见从 A到B的最优值为 ，故得最优路线为 1P2Q3B。 到 的最优值为 的最优值为12，故得最优路线为AQ 。
综上可见，动态规划法的特点是： 综上可见，动态规划法的特点是： 1) 与穷举算法相比，可使计算量大大减少。如 与穷举算法相比，可使计算量大大减少。 上述最优路线问题，用动态规划法只须做 次 上述最优路线问题，用动态规划法只须做10次 加法和6次比较。如果过程为 段 加法和 次比较。如果过程为n段，则需做加 次比较 以上例为例，用穷举法需作4608次加法， 次加法， 法。以上例为例，用穷举法需作 次加法 而后者只需做34次加法。 而后者只需做 次加法。 次加法
P1 11
7
P2 4 2
P3 4 4
12 A 4 8 Q1
4 2 2 Q3 B
5 Q2
3
最后一段(第四段 ：终点B的前站是 的前站是P 最后一段 第四段)：终点 的前站是 3或Q3，不 第四段 论汽车先从哪一站始发，行驶路线如何， 论汽车先从哪一站始发，行驶路线如何，在这最后 一段，总不外乎是从P 一段，总不外乎是从 3到B，历时为 ，或从 3到B， ，历时为4，或从Q ， 历时为2，将其标明在图3中相应的圆圈内 比较P 中相应的圆圈内。 历时为 ，将其标明在图 中相应的圆圈内。比较 3与 这一最后一段最优决策为Q 。 Q3这一最后一段最优决策为 3B。
3) 动态规划法体现了多段最优决策的一个重要 规律，即所谓最优性原理 最优性原理。 规律，即所谓最优性原理。它是动态规划的理 论基础。 论基础。
对图4所示的 段决策过程 如果在第k+1段处把全 对图 所示的N段决策过程，如果在第 所示的 段决策过程， 段处把全 过程看成前k段子过程和后 段子过程两部分。 过程看成前 段子过程和后N-k段子过程两部分。对于后 段子过程和后 段子过程两部分 部子过程来说， 可看作是由x 及前k段初始决策 段初始决策(或控 部子过程来说，xk可看作是由 0及前 段初始决策 或控 所形成的初始状态。那么， 制) u0,u1,…, uk-1所形成的初始状态。那么，多段决策的 最优决策略具有这样的性质：不论初始状态和初始决策 最优决策略具有这样的性质： 如何，其余(后段 决策(或控制 后段)决策 或控制)对于由初始决策所形成的 如何，其余 后段 决策 或控制 对于由初始决策所形成的 状态来说，必定也是一个最优策略。 状态来说，必定也是一个最优策略。这个性质称为最优 性原理。 性原理。
2) 最优路线的整体决策是从终点开始，采用逆推方 最优路线的整体决策是从终点开始， 通过计算、比较各段性能指标， 法，通过计算、比较各段性能指标，逐段决策逐步 延伸完成的。 延伸完成的。 全部最优路线的形成过程已充分表达在图3中。 全部最优路线的形成过程已充分表达在图 中 从最后一段开始，通过比较P 得到Q ； 从最后一段开始，通过比较 3、Q3，得到 3B； 倒数第二段，通过比较P 得到P 倒数第二段，通过比较 2、Q2，得到 2Q3B； ； 倒数第三段，通过比较P 倒数第三段，通过比较 1、Q1，得到最优决策 为Q1P2Q3B； ； 直至最后形成最优路线AQ1P2Q3B。 直至最后形成最优路线 。 象这样将一个多段决策问题转化为多个单段决 策的简单问题来处理， 策的简单问题来处理，正是动态规划法的重要特点 之一。 之一。
应用动态规划法可使计算量减少许多。 应用动态规划法可使计算量减少许多。动态规 划法遵循一个最优化原则： 划法遵循一个最优化原则：即所选择的最优路线必 须保证其后部子路线是最优的。 须保证其后部子路线是最优的。 例如在图2中，如果AQ1P2Q3B是最优路线，那么 是最优路线， 例如在图 中 如果 是最优路线 从这条路线上任一中间点到终点之间的一段路线必 定也是最优的。否则 定也是最优的。否则AQ1P2Q3B就不能是最优路线 就不能是最优路线 了。
如图1所示，对于中间的任意一段，例如第k+1 如图 所示，对于中间的任意一段，例如第 所示 段作出相应的“决策” 或控制 或控制)u 段作出相应的“决策”(或控制 k后，才能确定该段 输 入状态与输出状态间的关系，即从 变化到x 入状态与输出状态间的关系，即从xk变化到 k+1的状 态转移规律。在选择好每一段的“决策” 或控制 或控制) 态转移规律。在选择好每一段的“决策”(或控制 uk 以后，那么整个过程的状态转移规律从x 以后，那么整个过程的状态转移规律从 0经xk一直到 xN也就被完全确定。全部“决策”的总体，称为 也就被完全确定。全部“决策”的总体， “策 略”。
根据这一原则，求解最优路线问题， 根据这一原则，求解最优路线问题，最好的办 法就是从终点开始，按时间最短为目标， 法就是从终点开始，按时间最短为目标，逐段向前 逆推。依次计算出各站至终点之间的时间最优值， 逆推。依次计算出各站至终点之间的时间最优值， 并据此决策出每一站的最优路线。如在图2中 并据此决策出每一站的最优路线。如在图 中，从终 开始逆推。 点B开始逆推。 开始逆推
P1 3
7
P2
2
P3 4
A
4 Q1 1
4 8 2
6 Q2
3 3 3
2 Q3 4
2
B
最后一段(第四段 ：终点B的前站是 的前站是P 最后一段 第四段)：终点 的前站是 3或Q3，不 第四段 论汽车先从哪一站始发，行驶路线如何， 论汽车先从哪一站始发，行驶路线如何，在这最后 一段，总不外乎是从P 一段，总不外乎是从 3到B，历时为 ，或从 3到B， ，历时为4，或从Q ， 历时为2，将其标明在图3中相应的圆圈内 比较P 中相应的圆圈内。 历时为 ，将其标明在图 中相应的圆圈内。比较 3与 这一最后一段最优决策为Q 。 Q3这一最后一段最优决策为 3B。
P1 11
7
P2 4 2
P3 4 4
12 A 4 8 Q1
4 2 2 Q3 B
5 Q2
3
第二段： P2、Q2的前站是 1、Q1。同样不管 的前站是P 第二段： 汽车是如何到达的P 重要的是保证从P 汽车是如何到达的 1、Q1，重要的是保证从 1或 Q1到B要构成最优路线。从P1到B的两条路线中， 要构成最优路线。 的两条路线中， 要构成最优路线 的两条路线中 P1P2Q3B，历时为 ；P1Q2Q3B，历时为 ，取最 ，历时为11； ，历时为11， 短历时11，标注在P 的也有两条路 短历时 ，标注在 1旁。从Q1到B的也有两条路 线中， 线中，Q1P2Q3B，历时为 ；Q1Q2Q3B，历时为 ，历时为8； ， 比较P 13，取最短历时 ，标注在 1旁。比较 1与Q1的 ，取最短历时8，标注在Q 最优值，可知这一段的最优路线是Q 最优值，可知这一段的最优路线是 1P2Q3B。 。
P1 3
7ຫໍສະໝຸດ Baidu
P2
2
P3 4
A
4 Q1 1
4 8 2
6 Q2
3 3 3
2 Q3 4
2
B
现将A到 分成四段 分成四段， 现将 到B分成四段，每一段都要作一最优决 使总过程时间为最短。 策，使总过程时间为最短。所以这是一个多段最 优决策问题。 优决策问题。 由图2可知，所有可能的行车路线共有8条 由图 可知，所有可能的行车路线共有 条。 可知 如果将各条路线所需的时间都一一计算出来， 如果将各条路线所需的时间都一一计算出来，并 作一比较，便可求得最优路线是AQ 作一比较，便可求得最优路线是 1P2Q3B，历时 ， 12。这种一一计算的方法称为穷举算法。这种方 。这种一一计算的方法称为穷举算法。 法计算量大，如本例就要做3× 次加法和7次 法计算量大，如本例就要做 ×23=24次加法和 次 次加法和 比较。如果决策一个n段过程 则共需(n-1)2n-1次 段过程， 比较。如果决策一个 段过程，则共需 次比较。 加法和(2 次比较 可见随着段数的增多， 加法和 n-1-1)次比较。可见随着段数的增多，计 算量将急剧增加。 算量将急剧增加。