第五章动态规划

v1 v1 0
v2 8
v3 5
v4 6
v2
v3 v4
6
7 9
0
9 7
8
0 8
5
5 0
f 0 (v4 , ) d 41 9
1 旅行售货员问题
f 2 (v2 , v3 , v4 ) min d 23 f1 (v 3 , v 4 ), d 24 f1 (v4 , v3 ) 20 f 2 (v3 , v2 , v4 ) min d 32 f1 (v2 , v4 ), d 34 f1 (v4 , v2 ) 18 f 2 (v4 , v2 , v3 ) min d 42 f1 (v2 , v3 ), d 43 f1 (v3 , v2 ) 22
v j V
f 0 (vi , ) d i 1
已经经过了全部的点， 现在处在vi点，回到v1 点的最短路程。
k 1, 2, ..., n
当还有k-1个点还没有 经过时，现在处在vj 点，回到v1点的最短 路程。
2 多阶段资源分配问题
共有数量x的某种资源，投入两种生产方式A和B: 以y投入生产方式A,得到收入g(y),资源的回收率a,则回收ay; 以x-y投入生产方式B,得到收入h(x-y),资源的回收率为b,则回 收b(x-y);
1 旅行售货员问题
f 0 (v2 , ) d 21 6 f 0 (v3 , ) d 31 7
f1 ( v 2 , v 3 ) d 23 f 0 ( v 3 , ) 15 f1 ( v 2 , v4 ) d 24 f 0 ( v4 , ) 14 f1 ( v 3 , v 2 ) d 32 f 0 ( v 2 , ) 15 f1 ( v 3 , v4 ) d 34 f 0 ( v4 , ) 14 f1 ( v4 , v 2 ) d 42 f 0 ( v 2 , ) 13 f1 ( v4 , v 3 ) d 43 f 0 ( v 3 , ) 15
2 多阶段资源分配问题
k=1时，f1(x)表示拥有资源x再进行1个阶段生产的最大 总收入。即：f1 ( x ) max{ g( y ) h( x y )}
0 y x
k=2时，f2(x)表示拥有资源x再进行2个阶段生产的最大 总收入。 根据最优化原理，第二个阶段的最大收入是f1(x1),即 f1(ax+b(x-y)),所以两个阶段的总的最大收入为：
u 5 x 4 x
i 1 i 1
5
2
3 x3 2 x4 x5 185
1 多阶段决策问题实例（4）
有一个系统，可以分成若干个阶段，任一个阶段k系统的状态可以 用xk表示。在每一阶段k的每一状态xk都有一个决策集合Qk(xk),在决 策集合Qk(xk)中选定一个决策qk∈ Qk(xk),状态xk就转移到新的状态 xk+1=Tk(xk,qk)，并且得到收益Rk (xk,qk)阶段。我们的目的就是在每一 个阶段都在它的决策集合中选择一个决策，使得所有阶段的总效 益∑Rk (xk,qk)达到最优。称之为多阶段决策问题。 多阶段决策问题的基本要素：阶段数、状态变量、决策变量、状 态转移方程、目标函数等。
1 多阶段决策问题实例（2）
今有1000台机床，要投放到两个生产部门，计划连续使用5年， 已知对A部门投入uA台机器的年收益为g(uA )=uA2机器完好率 a=0.8；相应的B部门分别为h(uB )=2uA2 ，机器完好率b=0.4。 试建立5年间总收益最大的机器分配方案。
1 多阶段决策问题实例（2）
1 递推法求解最短线路问题
A1 2 3 6 5 A0 3 B1 87 16 A2 6 8 B2 3 5 C2 3 D2 3 A3 2 2 B3 1 2 C33 3 A4 3 5 B45 2 A5
4
A6
8 4
6 C4 6
B5 3
2 最优化原理
A1 2 3 6 5 A0 3 B1 87 16 A2 6 8 B2 3 5 C2 3 D2 3 A3 2 2 B3 1 2 C33 3 A4 3 5 B45 2 A5
v2 到v4的距离
1 旅行售货员问题
问题特征： 由于走过的点不需要再走，所以在每一个点的决策集合 和以前的决策有关； (vi,V)表示状态，其中vi表示所处的点， V是还没有经过 的点的集合； 当从V中选取一个决策vj,获得的收益是vi到vj的距离dij,并 且转入下一个状态(vj,V\{vj}); fk(vi,V)表示从vi出发，经过V中的点各一次，最后回到v0 点的最短路程，其中V中的点的数量为k;
日夜生产的总产量限制
0 xi 30, u j 0, i 1...6, j 1...5
6 5 min f ( xi ) 16 ui i1 i 1 s .t . x1 5 u1 , x2 u1 5 u2 x3 u2 10 u3 , x4 u3 30 u4 x5 u4 50 u2 , x6 u5 8 0 xi 30,u j 0,i 1...6, j 1...5 0 xi 15 其中： 100 xi f ( xi ) 120 xi 300 15 xi 30
2 多阶段决策问题分类
根据阶段数划分： 有限阶段决策问题，无限阶段决策问题； 根据变量取值情况划分： 连续多阶段决策问题，离散多阶段决策问题； 根据阶段个数是否明确划分： 定期多阶段决策问题，不定期多阶段决策问题；
根据参数取值情况划分：
确定多阶段决策问题，不确定多阶段决策问题。
§5.2 最优化原理
2 多阶段资源分配问题
问题的数学模型为：
max s .t .
g ( y ) h( x y ) ... g ( yn1 ) h( xn1 yn1 ) x1 ay b( x y ) x2 ay1 b( x1 y1 ) ... xn1 ayn2 b( xn2 yn2 ) 0 y x ,0 yi xi .i 1,2,...n 1
递推法求解最短线路问题 最优化原理
1 递推法求解最短线路问题
3 2 B1 1 3 C1 1
A
4 B2
2
3 1
C2
4 C3
3
D
f1 ( s ) d ( s , D ) f k ( s ) min{d ( s, xk ( s )) f k 1 ( xk ( s ))}
xk ( s )
f 2 ( x ) max{ g( y ) h( x y ) f1 (ay b( x y ))}
0 y x
两个阶段的最大总收入
第二阶段的最大收入
2 多阶段资源分配问题
得到如下的递推式：
f1 ( x ) max{ g( y ) h( x y )}
0 y x
第一阶段结束后，得到的总收入为g(y)+h(x-y),回收的总资源 为x1=ay+b(x-y);
以数量y1和x1-y1分别再投入生产方式A和B,则第二阶段可得 到总收入g(y1)+h(x1-y1);回收总资源x2=ay1+b(x1-y1); 两阶段的总收入为g(y)+h(x-y)+ g(y1)+h(x1-y1)； 以上过程重复n个阶段，希望求出合适的y,y1,…yn-1,使得 n个 阶段的总收入最大；
问题的数学模型为： max g( y1 ) h( x1 y1 ) ... g( y5 ) h( x5 y5 ) s .t . x1 1000 x2 ay1 b( x1 y1 ) x3 ay2 b( x2 y2 ) x4 ay3 b( x3 y3 ) x5 ay4 b( x4 y4 ) 0 yi xi .i 1, 2, ...5
运筹 帷幄之中
决胜 千里之外
运 筹 学
主讲教师
赵玉英
62338357(O) yuyingzhao@
北京林业大学理学院
第5章 动态规划
多阶段决策问题 最优化原理 确定性的定期多阶段决策问题
§5.1 多阶段决策问题
多阶段决策问题实例 多阶段决策问题的分类
1 多阶段决策问题实例（1）
从A 地到D 地要铺设一条煤气管道,其中需经过两级中间站，两 点之间的连线上的数字表示距离，如图所示。问应该选择什么 路线，使总距离最短？ 3 C1 1 B1 3 2 1 3 A 2 C2 D 3 4 B2 4 1 C3
状态x1 决策 阶段1
行程1
状态x2
决策 阶段2
行程2
状态x3
决策
阶段3
行程3
状态x4
d12 f 2 ( v 2 , v 3 , v4 ) f 3 ( v1 , v 2 , v 3 , v4 ) min d13 f 2 ( v 3 , v 2 , v4 ) 23 d14 f 2 ( v4 , v 2 , v3 )
旅行售货员问题 多阶段资源分配问题
1 旅行售货员问题
某网络共有4个顶点，已知各个顶点之间的路程dij如下表，求从v1 出发经过v2 v3 v4各一次，再返回到v1的最短路程和最短线路。
v1 v2 v3 v4
v4 到v2的距离
v1 0 6 7 9
v2 8 0 9 7
v3 5 8 0 8
v4 6 5 5 0
f k ( x ) max{ g( y ) h( x y ) f k 1 (ay b( x y ))},k 2
0 y x
进行k个阶段的最大总收入
所以最优路线为v1 v3 v4 v2 v1，路长为23。
v1 v1 v2 v3 v4 0 6 7 9 v2 8 0 9 7 v3 5 8 0 8 v4 6 5 5 0