运筹学-10-动态规划

最后，可以得到：从A到E的最短路径为A B4 C3 D1 E
7
§1
多阶段决策过程最优化问题举例
以上计算过程及结果，可用图2表示，可以看到，以上方法不仅 得到了从A到D的最短路径，同时，也得到了从图中任一点到E的最 短路径。
12 B1 14 A 3 2 4 3 2 6 1 12 C1 6 11 7 2 4 8 3 1 7 5 D2 6 6 6 8 10 D1 10
6
§1
多阶段决策过程最优化问题举例
第一阶段：只有1个始点A，终点有B1,B2,B3,B4 。对始点和终 点进行分析和讨论分别求A到B1,B2,B3,B4的最短路径问题：
表10-4 阶段1 本阶段始 点(状态) A 本阶段各终点（决策） B1 B2 B3 3+14=17 B4 2+12=14 4+12=16 3+13=16 到E的最 短距离 12 本阶段最优终 点(最优决策) C2
称指标具有可加性，或 Vk,n(sk, xk, xk+1, …, xn) = vk(sk, xk)×Vk+1(sk+1,
xk+1, …, xn)称指标具有可乘性。
二、基本方程：
最优指标函数fk(sk)：从状态sk出发，对所有的策略Pk,n，过程指 标Vk,n的最优值，即
f ( s ) { V ( s , P )} opt k k k , n k k , n
5
§1
多阶段决策过程最优化问题举例
表10-3 阶段2
第二阶段：有4个始点B1,B2,B3,B4，终点有C1,C2,C3。对始点和终点进行分 析和讨论分别求B1,B2,B3,B4到C1,C2,C3 的最短路径问题：
本阶段始点 （状态） B1 B2 B3 B4
本阶段各终点（决策）
C1
2+12=14 4+12=16 4+12=16 7+12=19
－ －
－ －
－ － －
12 － 12 12 12
4 5
16
§3
动态规划的应用(1)
其中 x * 3 表示取3子过程上最优指标值 f3 (s3 )时的 x 3 ( 4 ,4 ) 12 ; 有 决策，例如在表10-6中可知当s 3 =4时，有 r 3 * f3(4 ) 12 , 此时 x 3 4 ，即当 s3 4 时，此时取 x3 4 （把4台设备分配给第3厂）是最优决策，此时阶段指标值 （盈利）为12，最优3子过程最优指标值也为12。 第二阶段：
x D ( s ) k k k
10
§2
基本概念、基本方程与最优化原理
k 1 , 2 , , n
对于可加性指标函数，上式可以写为
f ( s ) { v ( s , x ) f ( s )} opt k k k k k k 1 k 1
x D ( s ) k k k
上式中“opt”表示“max”或“min”。对于可乘性指标函数，上式 可以
( s 0 , 1 , 2 , 3 , 4 , 5 ) 当把 s 台设备分配给第2工厂和第3工 2 2 厂时，则对每个s 2 值，有一种最优分配方案，使最大盈利 即最优2子过程最优指标函数值为
f ( s ) max [ r ( s , x ) f ( s )] 2 2 2 2 2 3 3
C2
1+11=12 7+11=18 8+11=19 5+11=16
C3
6+11=17 2+11=13 3+11=14 1+11=12
到E的最 短距离 12 13 14 12
本阶段最优终 点（最优决策) C2 C3 C3 C3
分析得知：如果经过B1，则走B1-C2-D2-E； 如果经过B2，则走B2-C3-D1-E； 如果经过B3，则走B3-C3-D1-E； 如果经过B4，则走B4-C3-D1-E。
s T ( s , x ) s x 2 1 1 1 1 1 s T ( s , x ) s x 3 2 2 2 2 2
从s k 与x k 的定义，可知
以下我们从第三阶段开始计算。
14
s3 x3
§3
第三阶段:
动态规划的应用(1)
也就是s3 x3 时，第3阶段的指标值（即第3厂的盈利）
径问题。 第四阶段：两个始点D1和D2，终点只有一个；
表10-1 阶段4
本阶段始点 （状态） D1 D2 本阶段各终点（决策） E 10* 6 10 6 到E的最短距离 本阶段最优终点 （最优决策) E E
分析得知：从D1和D2到E的最短路径唯一。
4
§1
多阶段决策过程最优化问题举例
第三阶段：有三个始点C1，C2，C3，终点有D1，D2，对始点 和终点进行分析和讨论分别求C1，C2，C3到D1，D2 的最短路 径问题：
写为
f ( s ) { v ( s , x ) f ( s )} opt k k k k k k 1 k 1
x D ( s ) k k k
k 1 , 2 , , n
以上式子称为动态规划最优指标的递推方程，是动态规划的基本 方程。 终端条件：为了使以上的递推方程有递推的起点，必须要设定最 优指标的终端条件，一般最后一个状态n+1下最优指标fn+1(sn+1) = 0。
次数将迅速增加；
例如当 k=20时，加法次数为 4.2550833966227×1015 次， 比较 1.3726075472977×1014 次。若用1亿次/秒的计算机计算 需要约508天。
3
§1
讨论：
多阶段决策过程最优化问题举例
1、以上求从A到E的最短路径问题，可以转化为四个性质完全相
同，但规模较小的子问题，即分别从Di 、Ci、Bi、A到E的最短路
x 3
其中 x 3 可取值为0,1,2,3,4,5。其数值计算见表10－6。
15
§3
x3
0 1
动态规划的应用(1)
表10－6
s3
r 3(s 3, x 3)
2 3 4 5
f3 (s3 ) x * 3
0
0
－
－
－
－
－
0
0
1 2
3
－ －
－
4 －
－
－ 6
－
－ －
11
－ －
－
－ －
－
4 6
11
1 2
3
4 5
－ －
其数值计算如表10－7所示。
s2
0 1 2
x2
00
0＋4 0＋6
f 2 (s2 )
0 5 10
x*2
0 1 2
50
5＋4
10 0
10 4
10 6
3
4
0＋11
0＋12
5＋6
11＋0
11＋4
－
11＋0
－
－
14
16
2
1,2
5 11
5
0＋12
5＋12 10 ห้องสมุดไป่ตู้11
11＋6
11＋4
11＋0
这里 r2 (4,1) 从表10－5中可知，把1台设备交给乙厂所得盈 ( 4 , 1 ) 5 ( 4 1 ) f ( 3 )从表10－6查 利数即可，知 r ，这里 f 2 3 3 f 3 (3) 即可知 f 3 (3) =11。同样可知当 x2 2 时，可知 r ( s , x ) f ( s x ) r ( 4 , 2 ) f ( 4 2 ) r ( 4 , 2 ) f ( 2 ) 10 6 1 ; 2 2 2 3 2 2 2 3 2 3 r ( 4 , 0 ) f ( 4 0 ) 0 12 12 当 x2 0 时， ；当 x2 3 时， 2 3 ；当 x2 4 时， r ( 4 , 3 ) f ( 4 3 ) 11 4 2 3 ；由于 s2 4 ，不可能分2厂5 r ( 4 , 4 ) f ( 4 4 ) 11 0 11 2 3 ( 4 , 5 ) f ( 4 5 )栏空着不填。从 台设备，故 x2 5 时， r 2 3 这些数值中取得最大即得 f 2 (4) ，即有f 2 (4) =16。在此行中 ( s , x ) f ( s x ) 我们在取最大值的 r 上面加一横以示 2 2 2 3 2 2 区别，也可知这时 x 2的最优决策为1或2。
3、决策xk：从某一状态向下一状态过渡时所做的选择。决策是所 在状态的函数，记为xk(sk)。
决策允许集合Dk(sk)：在状态sk下，允许采取决策的全体。
4、策略Pk,n(sk)：从第k阶段开始到最后第n阶段的决策序列，称k 子策略。P1,n(s1)即为全过程策略。
5、状态转移方程 sk+1=Tk(sk, xk)：某一状态以及该状态下的决策， 与下一状态之间的函数关系。
厂。各工厂获得此设备后，预测可创造的利润如表10-5所示，问这
5台设备应如何分配给这3个工厂，使得所创造的总利润为最大？
盈利
工厂 设备台数 0 甲 厂 0 乙 厂 0 丙 厂 0
1
2 3 4
3
7 9 12
5
10 11 11
4
6 11 12
5
13
11 表10-5
12
13
§3
动态规划的应用(1)
解：将问题按工厂分为三个阶段，甲、乙、丙三个厂分 别编号为1、2、3厂。设 sk= 分配给第k个厂至第3个厂的设备台数（k=1、2、 3）。 xk=分配给第k个设备台数。 已知s1=5, 并有
9
§2
基本概念、基本方程与最优化原理
6、阶段指标函数vk(sk, xk)：从状态sk出发，选择决策xk所产生的第 k阶段指标。
过程指标函数Vk,n(sk, xk, xk+1,…, xn)：从状态sk出发，选择决策xk,
xk+1, …, xn所产生的过程指标。动态规划要求过程指标具有可分离 性，即 Vk,n(sk, xk, xk+1, …, xn) = vk(sk, xk)+Vk+1(sk+1, xk+1, …, xn)
C 1
6
8 D1
4
10
4
B3 7 3
8
1
5
4
2
§1
多阶段决策过程最优化问题举例
用穷举法的计算量: 如果从A到E的站点有k个，除A、E之外每站有3个位置则
总共有3k-1×2条路径；
计算各路径长度总共要进行 (k+1) 3k-1×2次加法以及3k1×2-1次比较。随着
k 的值增加时，需要进行的加法和比较的
第十章 动态规划
§1 多阶段决策过程最优化问题举例
§2 基本概念、基本方程与最优化原理
§3 §4 动态规划的应用(1) 动态规划的应用(2)
1
§1
多阶段决策过程最优化问题举例
例1 最短路径问题 下图表示从起点A到终点E之间各点的距离。求A到E的最 短路径。
B 2 1 1 6 4 A 3 2 3 B2 7 2 C2 7 5 D 2 6 C3 1 6 E
表10-2 阶段3
本阶段始点 （状态）
C1 C2 C3
本阶段各终点（决策）
D1 8+10=18 7+10=17 1+10=11 D2 6+6=12 5+6=11 6+6=12
本阶段最优终点 到E的最短距离 （最优决策)
12 11 11 D2 D2 D1
分析得知：如果经过C1，则最短路为C1-D2-E； 如果经过C2，则最短路为C2-D2-E； 如果经过C3，则最短路为C3-D1-E。
21
2
18
§3
动态规划的应用(1)
r ( s , x ) f ( s x ) r ( 4 , 1 ) f ( 4 1 ) r ( 4 , 1 ) f ( 3 ) 5 11 16 2 2 2 3 2 2 2 3 2 3
其中在 s2 4 的这一行里，当 x2 1 时，
13 4 B2
0 E
C2
B3
C3
1 11
14 7 5
B4
12
以上过程，仅用了22次加法，计算效率远高于穷举法。
8
§2
基本概念、基本方程与最优化原理
一、基本概念： 1、阶段k：表示决策顺序的离散的量，阶段可以按时间或空间划 分。 2、状态sk：能确定地表示决策过程当前特征的量。状态可以是数 量，也可以是字符，数量状态可以是连续的，也可以是离散的。
11
§2
基本概念、基本方程与最优化原理
三、最优化原理 作为整个过程的最优策略具有如下性质： 不管在此最优策略上的某个状态以前的状 态和决策如何，对该状态来说，以后的所有决 策必定构成最优子策略。就是说，最优策略的 任意子策略都是最优的。
12
§3
一、资源分配问题
动态规划的应用(1)
例2. 某公司拟将某种设备5台，分配给所属的甲、乙、丙三个工
为最大，即
max r ( s , x ) r ( s , s ) 3 3 3 3 3 3
x 3
( s 0 , 1 , 2 , 3 , 4 , 5 ) 显然将 s 台设备都分配给第3工厂时， 3 3
由于第3阶段是最后的阶段，故有
f ( s ) max r ( s ,x ) r ( s ,s ). 3 3 3 3 3 3 3 3
x 2
17
§3
x 2
动态规划的应用(1)
s x 因为 s 3 2 2 ,上式也可写成
f ( s ) max r ( s , x ) f ( s x ) 2 2 2 2 2 3 2 2
表10－7
r ( s , x ) f ( s x ) 2 2 2 3 3 2
0 1 － 2 － － 3 － － － 4 － － － 5 － － －