第一节多阶段决策过程的最优化

B1 6
C1 5 D1
3 6 5 64
3
A
C2
7
E
43 B2 4
4 7
3
4 D2
C3
分析：
第四阶段的 最短子路线
D1 D2
E E
: :
f4 (D1 ) 3 f4 (D2 ) 4
√
三四阶段的 最短子路线
C1 D1 E : f3 (C1 ) 8
C2 D1 E : f3 (C2 ) 7 √
5 3 min 6 4 8
f3 (C2 )
min
d d
(C (C
2 2
, ,
D1 D2
) )
ff44((DD12))
min
4 4
3 4
7
f3 (C3 )
min
d d
(C3 (C3
, ,
D1 D2
) )
f4 (D1 ) f4 (D2 )
7 3 min 3 4 7
C1 D1 E : C2 D1 E : C3 D2 E :
第四阶段（即第四周）
机器总台数为
s4
1 s3 5 x3
1
91
10 (s3 x3 ) 10 s3 10 x3
设该阶段用于加工A产品的机器台数为 x4 台
则用于加工B产品的机器台数为 s4 x4 台
求得该阶段的总收益为
g4 (s4 , x4 ) 1000 x4 700(s4 x4 ) 700s4 300x4
动态规划模型的分类：
连续型 与 离散型
确定型 与 随机型
时间的 与 空间的
……
……
实际问题常常是复合的。 本章主要研究动态与静态确定型的决策过程。
7.1.1 多阶段决策问题 动态规划的研究对象是多阶段决策问题。
对于多阶段决策问题，根据问题本身的 特点可以将其求解过程划分为若干个相互联 系的阶段。
f2
( B2
)
d (B1 , C3 )
d (B2 , C1 )
min
d
(
B2
,
C
2
)
f3 (C3 ) f3 (C1 ) f3 (C2 )
7 7 5 8 min 3 7 10
d
(
B2
,
C
3
)
f3 (C3 )
4 7
B1 C2 D1 E : B2 C2 D1 E :
3 4
其中，fk (X ) 表示从 第k 阶段的起点 X
B1
3 A
6 6
C1 56
C2
5 D1
4 7
3 E
到终点E 的最短 路线.
43 B2 4
4 7
3
4 D2
C3
2.再确定最后两个阶段的最短子路线
f3 (C1 )
min
d d
(C1 (C1
, ,
D1 D2
) )
f4 (D1 ) f4 (D2 )
动态规划的顺序法： 第一阶段（即第一周） 机器总台数为 s1 100 设用于加工A产品的机器台数为 x1 台 则用于加工B产品的机器台数为 100 x1台 求得第一阶段的总收益为
g1(s1 , x1 ) 1000 x1 700(s1 x1 ) 700s1 300x1
第二阶段（即第二周）
B1 6 f2 (B13) 136 f2A(B24) 10 3
B2 4
C1 5 D1
5 64
3
C2
7
E
4
4
7
3 D2
C3
3.综合四个阶段的最短子路线
f1( A)
d( A, min d( A,
B1 ) B2 )
ff22((BB12))
3 13 min 4 10 14
A B2 C2 D1 E : f1( A) 14
局部最优法 （贪婪算法）
B1 6
C1 5 D1
3 6 5 64
3
A
C2
7
E
4
3
4 7
4
B2 4
3 D2
C3
动态规划法 （动态规划的逆序法）：
（分四个阶段）
1.先确定第四个阶段的最短子路线
D1 E : d(D1, E ) 3 D2 E : d(D2 , E ) 4
记作：
f4 f4
(D1 ) (D2 )
f3 (C1 ) 8 B1 6
f3
(C2
)
73 A
6
f3 (C3 ) 74
3
B2 4
C1 5 D1
5 64
3
C2
7
E
4
4
7
3 D2
C3
3.确定后三个阶段的最短子路线
d (B1 , C1 ) f3 (C1 ) f2 (B1 ) min d (B1 , C2 ) f3 (C2 )
6 8 min 6 7 13
每个阶段都有若干个方案可供选择，因 此每一阶段都需要做出决策。
各个阶段确定的决策构成一个决策序列， 称为一个策略．
在所有可供选择的策略中，对应效果最 好的策略称为最优策略。
7.1.2 多阶段决策问题举例
（1）工厂生产过程
（2）设备更新问题
与时间有关
（3）连续生产过程的控制问题
（1）资源分配问题
C1
D1 D2
E E
B1
C 2
D1
D2
E E
枚
举
A
C 3
D1 D2
E E
法
C1
D1 D2
E E
B2
C 2 D1 D2E E Nhomakorabea C 3
D1 D2
E E
17 19
16 17 20 17 17 19
14 A B2 C2 D1 E
15 18 15
7.1.3 动态规划方法导引
例 最短线路问题
B1 6
C1 5 D1
3 6 5 64
3
A
C2
7
E
43 B2 4
4 7
3
4 D2
C3
从 A地到E地铺设一条管道，中间经过三个中
间站；第一中间站可选 B1 或 B2 ，第二中间站 可选 C1 、C2或 C3，第三中间站可选 D1 或 D2 ，问 如何选择可使管线最短？
C3 D2 E : f3 (C3 ) 7
二三四 阶段的…
B1 B2
C2 C2
D1 D1
E E
: :
f2 (B1 ) 13 f2 (B2 ) 10
√
一至四 阶段的…
A B2 C2 D1 E : f1( A) 14 √
动态规划法的基本思路: 把复杂问题分解为一系列
同类型的便于求解的子问题 动态规划法的特点/优点:
第七章 动态规划
7.1 多阶段决策过程的最优化 7.2 动态规划的基本概念和求解思路 7.3 离散型动态规划问题 7.4 连续型动态规划问题 7.5 动态规划方法应用举例
7.1 多阶段决策过程的最优化
动态规划是运筹学的重要分支，他的研 究对象是多阶段决策问题。
所谓多阶段决策问题，是指问题本身可 以按照时间、空间等划分为若干个相互联系 的阶段．
机器总台数为
s2
s1
1 5
x1
1 10
(
s1
x1 )
9 10
s1
1 10
x1
设该阶段用于加工A产品的机器台数为 x2 台
则用于加工B产品的机器台数为 s2 x2 台
求得该阶段的总收益为
g2 (s2 , x2 ) 1000 x2 700(s2 x2 ) 700s2 300 x2
第三阶段（即第三周）
与时间无关
（2）运输网络问题
7.1.3 动态规划求解的多阶段决策问题的特点
一般来说，系统在某个阶段的状态可能 与系统过去经历的状态和决策有关．
能用动态规划方法求解的多阶段决策问题 必须具有“无后效性”的特点。
所谓“无后效性”，即过去的历史不影 响未来的发展．
过往的历史仅仅体现在本阶段的初始状 态上．
整体最优蕴含阶段最优
例 设备分配问题
100台相同的机器被分配来加工两种不同的产 品A 和B；已知：
加工A产品时，机器每周的损坏率为 1 ，加工 B产品时，机器每周的损坏率为 1 ； 5
10
生产A产品时，每台每周的收益为1000元，B 产品每台每周的收益为700元； 问采取怎样的分配方案可使四周内总收益最 大？
机器总台数为
s3
1 s2 5 x2
1
91
10 (s2 x2 ) 10 s2 10 x2
设该阶段用于加工A产品的机器台数为 x3 台
则用于加工B产品的机器台数为 s3 x3 台
求得该阶段的总收益为
g3 (s3 , x3 ) 1000 x3 700(s3 x3 ) 700s3 300 x3
综上所述
每一阶段开始时机器总台数为
s1 100
9
1
si
10
si 1
10
xi 1
(i 2, 3, 4)
设该阶段用于加工A产品的机器台数为xi 台
则用于加工B产品的机器台数为 si xi 台 该阶段的总收益为 gi (si , xi ) 700si 300xi
四个阶段的总收益为
( x1,x2,x3,x4 )
4
4
R gi (si , xi ) 700si 300 xi
i 1
i 1
问题就变为：
确定这四个阶段用于加工A产品的机器台数
x1、x2、x3、x4
使得四个阶段的总收益
4
4
R gi (si , xi ) 700si 300 xi
i 1
i 1
为最大．