运筹08(第八章动态规划)

2013-7-22 20
三、最优化原理 作为整个过程的最优策略具有如下性质： 不管在此最优策略上的某个状态以前的状 态和决策如何，对该状态来说，以后的所有决 策必定构成最优子策略。就是说，最优策略的 任意子策略都是最优的。
2013-7-22
21
用逆序法列表 k=n=5 时，f5(v10)＝0 k=4，递推方程为
阶段2
本阶段始点 （状态）
B1 B2 B3 B4
本阶段各终点（决策）
C1 2+12=14 4+12=16 4+12=16 7+12=19 C2 1+11=12 7+11=18 8+11=19 5+11=16 C3 6+11=17 2+11=13 3+11=14 1+11=12
到E的最 短距离 12 13 14 12
C1 C2 C3
8+10=18 6+6=12 7+10=17 5+6=11 1+10=11 6+6=12
12 11 11
D2 D2 D1
分析得知：如果经过C1，则最短路为C1-D2-E； 如果经过C2，则最短路为C2-D2-E； 如果经过C3，则最短路为C3-D1-E。
2013-7-22 6
第二阶段：有4个始点B1,B2,B3,B4 ，终点有C1,C2,C3 。对始点 和终点进行分析和讨论分别求B1,B2,B3,B4到C1,C2,C3 的最短 路径问题： 表-3
xk Dk ( sk )
(8-4)
2013-7-22
18
连乘形式(vj≠0) ： VK VK ( sk , xk , xk 1 , , xn )
vk ( sk , xk ) VK ( sk＋1 , xk 1 , , xn ) v j ( s j , x j ) Vn
j =k n 1
2013-7-22 19
对于可加性指标函数，上式可以写为
f k ( sk )
d k Dk ( sk )
opt
{vk ( sk , xk } f k 1 ( sk 1 )}
k 1,2,, n
上式中“ opt”表示“ max”或“ min”。对于可乘性指标函数， 上式可以写为
f k ( sk )
动态规划求解可分为三个步骤：分解、求解与合并。
2013-7-22 12
例2 资源分配问题 设有某种机器数台，用于完成两类工作A，B。由于机 器使用后有一定的损坏率，所以每年初的机器数量是变化 的；A、B两项工作产生的收益也不同。如何合理的分配机 器的使用，可使得三年的总收益最大? 假设第k年年初完好机器数是SK，用于A生产的机器数 是XK，则用于B生产的机器数是（SK- XK）；
f k ( sk )
d k Dk ( sk )
opt
{Vk ,n ( sk , Pk ,n )}
（Opt＝optimization 表示“max”或“min”
2013-7-22
17
动态规划要求过程指标满足递推关系 ，即
Vk (sk , xk , xk 1,, xn ) Vk [v(sk , xk ),Vk 1 (sk 1, xk 1,, xn )]
每个阶段都要进行决策,目的是使整个过程的决策 达到最优效果
2013-7-22
10
动态规划问题具有以下基本特征
1. 问题具有多阶段决策的特征。阶段可以按时间划 分，也可以按空间划分。
2. 每一阶段都有相应的“状态”与之对应。 3. 每一阶段都面临一个决策，选择不同的决策将 会导致下一阶段不同的状态，同时，不同的决策将会 导致这一阶段不同的目标函数值。 4. 每一阶段的最优解问题可以递归地归结为下一 阶段各个可能状态的最优解问题，各子问题与原问题 具有完全相同的结构。能否构造这样的递推归结，是 解决动态规划问题的关键。这种递推归结的过程，称 为“ 不变嵌入”。
12 B1 4 14 A 3 2 B3 3 2 6 1 11 7 2 4 8 3 1 12 C1 6 7 5 D2 6 6 6 8 10 D1 10
13 4 B2
0 E
C2
C3
11 1
14 7 5
B4
12
以上过程，仅用了22次加法，计算效率远高于穷举法。
2013-7-22 9
动态规划是用来解决多阶段决策过程最优化的一种 方法。 多阶段决策：是动态决策问题的一种特殊形式； 系统的动态过程可以按照时间等进程分为状态相互 联系 而又相互区别的各个阶段；
2013-7-22
4
讨论：
1、求从A到E的最短路径问题，可以转化为四个性质完全
相同，但规模较小的子问题，即分别从Di 、Ci、Bi、A到 E的最短路径问题。 第四阶段：两个始点D1和D2，终点只有一个； 阶段4
本阶段始点 （状态） 本阶段各终点（决策） 到E的最短距离 本阶段最优终点 （最优决策)
连和形式：
(8-2)
VK VK (sk , xk , xk 1 ,, xn ) vk (sk , xk）＋VK (sk＋1 , xk 1 ,, xn ) v j (s j , x j） Vn
n 1 j k
(8-3)
最优指标函数是
f k (sk ) Opt {vk (sk , xk } f k 1 (sk 1 )}, k 1,2,, n
xk Dk ( sk )
opt
{vk ( sk , xk } f k 1 ( sk 1 )}
k 1,2,, n
上式称为动态规划最优指标的递推方程，是动态规划的基本方 程。 终端条件：为了使以上的递推方程有递推的起点，必须要 设定最优指标的终端条件，即确定最后一个状态n下最优指标 fn(sn)的值。
B 2 1 1 6 4 A 3 2 3 B2 7 2 C2 7 5 6 E
C 1
6Hale Waihona Puke 84D 1
10
4
B3 7 3
8 C3 1
1 6
D 2
5
4
2013-7-22 3
用穷举法的计算量:
如果从A到E的站点有k个，除A、E之外每站有3个位置则
总共有3k-1×2条路径； 计算各路径长度总共要进行 (k+1) 3k-1×2次加法以及 3k-1×2-1次比较。随着 k 的值增加时，需要进行的加法和比 较的次数将迅速增加； 例如当 k=20时，加法次数为 4.2550833966227×1015 次， 比较 1.3726075472977×1014 次。若用1亿次/秒的计算机计 算需要约508天。
运筹学
OPERATIONS RESEARCH
2013-7-22
1
第八章
§1
动态规划
多阶段决策最优化问题举例
§2
§3
基本概念、基本方程与最优化原理
离散确定性动态规划求解
§4
§5
离散随机性动态规划求解
一般数学规划模型的动态规划解法
2013-7-22
2
§1 多阶段决策过程最优化问题举例
例1 最短路径问题 下图表示从起点A到终点E之间各点的距离。求A到E的最 短路径。
f 4 ( s 4 ) min {v 4 ( s 4 , x4 ) f 5 ( s5 )}
2013-7-22 11
5 . 状态具有无后效性 当某阶段状态确定后，此阶 段以后过程的发展不受此阶段以前各阶段状态的影响。
动态规划基本原理是将一个问题的最优解转化为求子问题的最 优解，研究的对象是决策过程的最优化，其变量是流动的时间 或变动的状态，最后到达整个系统最优。 基本原理一方面说明原问题的最优解中包含了子问题的最优解， 另一方面给出了一种求解问题的思路，将一个难以直接解决的 大问题，分割成一些规模较小的相同子问题，每一个子问题只 解一次，并将结果保存起来以后直接引用，避免每次碰到时都 要重复计算，以便各个击破，分而治之，即分治法，是一种解 决最优化问题的算法策略。
从k阶段状态sk出发，选择决策xk所产生的第k阶段指 标，称为k阶段指标函数,记为vk(sk,xk)。
2013-7-22 16
过程指标函数 从k阶段状态sk出发，选择决策xk,xk+1,…,xn所产生的过 程指标，称为k子过程指标函数或简称过程指标函数， 记为 Vk(sk,xk,xk+1,…,xn)或Vk，n为阶段数。 最优指标函数 从k阶段状态sk出发，对所有的子策略，最优的过程指 标函数称为最优指标函数，记为fk(sk)，通常取Vk的最 大值或最小值。
E
10 6 10 6
D1 D2
E E
分析得知：从D1和D2到E的最短路径唯一。
2013-7-22 5
第三阶段：有三个始点C1，C2，C3，终点有D1，D2，对始点 和终点进行分析和讨论分别求C1，C2，C3到D1，D2 的最短路 径问题： 表-2 阶段3
本阶段始点 本阶段各终点（决策） （状态） D1 D2 本阶段最优终点 到E的最短距离 （最优决策)
表10-4
阶段1 本阶段始 点(状态) B1 A 4+12=16 本阶段各终点（决策） B2 3+13=16 B3 3+14=17 B4 2+12=14 到E的最 短距离 14 本阶段最优终 点(最优决策)
B4
最后，可以得到：从A到E的最短路径为A B4 C3 D1 E
2013-7-22
8
以上计算过程及结果，可用图2表示，可以看到，以上方法不 仅 得到了从A到D的最短路径，同时，也得到了从图中任一点到E 的最短路径。
本阶段最优终点 （最优决策)
C2 C3 C3 C3
分析得知：如果经过B1，则走B1-C2-D2-E； 如果经过B2，则走B2-C3-D1-E； 如果经过B3，则走B3-C3-D1-E； 如果经过B4，则走B4-C3-D1-E。