动态规划基本理论推广

1≤ i ≤ 5
d12 + f1 (2), d13 + f1 (3), d14 + f1 (4), d15 + f1 (5)]
管理科学与系统工程
= min[0 + 2,6 + 7,5 + 5, 2 + 3, 2 + 0] = 2 ∗ u2 (1) = 5
注：不取含dij = 0 的地方作为最优决策u ∗ (i )
管理科学与系统工程
例1：段数不定的最短路线问题（不定期决策过程） n个点相互连接组成 一 个连通图(右图中n=5),各点 标号为1,2,…,n。任意两点 i，j之间的距离(费用)记作 dij 。求任意一点i到点n(靶 点)的最短路线(距离)。 5 2 7 5 3 1 4 2 6 5 5 1 2 0.5 3
管理科学与系统工程
例1的求解： 分析：可以不考虑回路，因为含有回路的路线一定 不是最短的. 本问题路线的段数事先不固定，而是随着最 优策略确定的，然而状态、决策、状态转移、指 标函数与以前的最短路线问题的相同. 状态记作x=i，i=1,2,…,n，决策记作u(i).策略 是对任意状态x的决策函数，记作u(x)。阶段指标 是任意两状态i,j间的距离dij，指标函数V(i,u(x))是 由状态i出发，在策略u(x)下到达状态n的路线的
f 2 (2) = min d 2 j + f1 ( j ) = min[d 21 + f1 (1),
1≤ i ≤ 5
d 22 + f1 (2), d 23 + f1 (3), d 24 + f1 (4), d 25 + f1 (5)]
= min[6 + 2,0 + 7,0.5 + 5,5 + 3,7 + 0] = 5.5
管理科学与系统工程
1.函数迭代法的步骤是： (1)选初始函数 f 0 ( x) (一般取 f 0 ( x) = 0 )； (2)用迭代公式 f k ( x) = opt [ v( x, u ) + f k −1 (T ( x, u )) ] , x ∈ X 及 f k ( x) = ϕ ( x), x ∈ X n 计算 f k ( x), k = 1, 2,L , ϕ 其中 x, u 为当前阶段的状态和决策， ( x) 为 已知终止函数， 为迭代步数, v为指标函数 k (3)当 f k +1 ( x) = f k ( x), x ∈ X , 或 f k +1 ( x) − f k ( x) < ε f k ( x)
∗ u2 (3) = 4
f 2 (4) = min d 4 j + f1 ( j ) = min[d 41 + f1 (1),
1≤ i ≤ 5
d 42 + f1 (2), d 43 + f1 (3), d 44 + f1 (4), d 45 + f1 (5)]
= min[2 + 2,5 + 7,1 + 5,0 + 3,3 + 0] = 3
管理科学与系统工程
u∈U ( x )
x ∈ X (ε 是事先给定的数)时迭代停止，最优值函 数 f ( x) = f k ( x) ,最优策略u ∗ ( x) = uk ( x) 。 2.策略迭代法的步骤是： (1)选初始策略u1 ( x) ，令k=1； (2)用 uk ( x) 求解 f k ( x) ， f k ( x) = v( x, uk ( x)) + f k (T ( x, uk ( x))), x ∈ X .
管理科学与系统工程
例1的求解：(策略迭代法） 解：①第一步，先选取初始策略u1 (i ) 。如取： u1 (1) = 5, u1 (2) = 4, u1 (3) = 5, u1 (4) = 3. 即 {u1 (i )} = {5, 4,5,3} 第二步，由 u1 (i ) 求 f1 (i ) ，由策略迭代法的方 程组可得： f1 (i ) = di ,u1 (i ) + f1 (u1 (i )) f1 (5) = 0 因策略u1 (1), u1 (3) 直达靶点，应先计算：
管理科学与系统工程
f1 (1) = d15 + f1 (5) = 2 + 0 = 2 f1 (3) = d35 + f1 (5) = 5 + 0 = 5 f1 (4) = d 43 + f1 (3) = 1 + 5 = 6 f1 (2) = d 24 + f1 (4) = 5 + 6 = 11
管理科学与系统工程
例2：无限期决策过程 模型 min z = ∑ λ j2 + x 2j = lim V0 k ，状态变换函数 k →∞
j =0 ∞
为 λ j +1 = λ j + x j 。( 存在明显的级变量，但级 数是无限的 )
管理科学与系统工程
求解这类问题如果仍使用以前的逐级递推方法， 将遇到极大的计算量，为此必需寻找新方法。 函数方程可以用迭代法求解，通常有函数迭代法 和策略迭代法两种迭代方法。
——函数迭代法与策略迭代法
管理科学与系统工程
举例简单说明不定期与无期决策过 程的形式和概念；以不定期和无期决策 过程为例，介绍函数迭代法和策略迭代 法。
管理科学与系统工程
定义：多阶段的决策过程的阶段数N确定， 称为定期决策过程，当N不确定时， 称此类决策过程为不定期决策过程， 当N趋向无穷时称为无期决策过程。
分析上面的结果可得： ①从点1到点5走一步为最优，最优距离为2，最 优路线 1 → u1∗ (1) = 5； 从点2到点5走三步为最优，最优距离为4.5,最 ∗ ∗ 优路线 2 → u3 (2) = 3 → u2 (3) = 4 → u1∗ (4) = 5 ； 从点3到点5走两步为最优，最优距离为4,最优 ∗ 路线 3 → u2 (3) = 4 → u1∗ (4) = 5 ； 从点4到点5走一步为最优，最优距离为3，最 优路线4 → u1∗ (4) = 5 。
∗ ∗ u1∗ (i ) f 2 (i ) u2 (i ) f 3 (i ) u3 (i ) f1 (i ) 2 5 2 5 2 5 7 5 5.5 3 4.5 3 5 5 4 4 4 4 3 5 3 5 3 5 ∗ u4 (i ) f 4 (i ) 2 5 4.5 3 4 4 3 5
管理科学与系统工程
∗ u2 (4) = 5
管理科学与系统工程
(3)假设从i点走三步到靶点5的最优距离为f 3 (i ), 则得：
f 3 (i ) = min dij + f 2 ( j ) , i = 1, 2,3, 4 1≤ i ≤ 5 f 3 (5) = 0
计算结果如下： ∗ f3 (1) = 2, u3 (1) = 5
管理科学与系统工程
(2)假设从i点走两步到靶点5的最优距离为f 2 (i ), 根据最优化原理得：
f 2 (i ) = min dij + f1 ( j ) , i = 1, 2,3, 4 1≤ i ≤ 5 f 2 (5) = 0
具体计算如下： f 2 (1) = min d1 j + f1 ( j ) = min[d11 + f1 (1),
管理科学与系统工程
距离，它是阶段指标之和， 并满足可分离性要 求，有
V ( i , u ( x ) ) = d ij + V ( j , u ( x ) )
最优值函数ƒ(i)为由i出发到达n的最短距离，即
f (i ) = min V (i, u ( x)) = V (i, u ( x))
* u( x)
管理科学与系统工程
策略迭代法的基本思想是：先选定一初始策 略{uk (i ) i = 1, 2,L , n − 1} 然后按某种方式求得新策 略 u1 (i ), u2 (i ),L , 直至最终求出最优策略。若对某 u 一k，对所有i有：k +1 (i ) = uk (i ) ，则称 u1 (i ), u2 (i ),L 收敛，此时，策略{uk (i ) i = 1, 2,L , n − 1} 就是最优 策略。 一般来说，选定初始策略要比选定初始目标 最优值函数容易得多，且策略迭代的收敛速度稍 快，但其计算量要大些。
计算结果如下： ∗ f 4 (1) = 2, u4 (1) = 5
∗ f 4 (2) = 4.5, u4 (2) = 3 ∗ f 4 (4) = 3, u4 (4) = 5
f 4 (3) = 4, u (3) = 4
∗ 4
管理科学与系统工程
由于只有5个点,因而从任一点出发到达靶点, 其间最多有4步(否则，有回路)，这样就不需继续 下去了。将计算结果列成表： i 1 2 3 4
管理科学与系统工程
用函数迭代法求解例1 只求1,2,3,4各点到点5的最优路线，其余类似。 解：(1)假设从i点走一步到靶点5的最优距离为f1 (i ), 则显然有： u ∗ (1) = 5 f1 (1) = d15 = 2 最优决策为: u ∗ (2) = 5 f1 (2) = d 25 = 7 u ∗ (3) = 5 f1 (3) = d35 = 5 ∗ u (4) = 5 f1 (4) = d 45 = 3 u ∗ (5) = 5 f1 (5) = d55 = 0
∗ u2 (2) = 3
管理科学与系统工程
f 2 (3) = min d3 j + f1 ( j ) = min[d31 + f1 (1),
1≤ i ≤ 5
d32 + f1 (2), d33 + f1 (3), d34 + f1 (4), d35 + f1 (5)]
= min[5 + 2,0.5 + 7,0 + 5,1 + 3,5 + 0] = 4