动态规划(3,4)

8.
精品课程《运筹学》
k=4，f4(x4)=0 k=3，0≤d3≤x3，x4=x3-d3
精品课程《运筹学》
k=2，0≤d2≤x2，x3=x2-d2
精品课程《运筹学》
k=1，0≤d1≤x1，x2=x1-d1
精品课程《运筹学》
背包问题
精品课程《运筹学》
则 Max z= c1x1+c2x2+…+cnxn s.t. w1x1+w2x2+…+wnxn≤W x1,x2,…,xn为非负整数
f4 ( x4 ) min {v4 ( x4 , d4 ) f5 ( x5 )}
d4 D4 ( x4 )
从 f5 (x5 )到 f4 (x4 )的递推过程用下表表示：
x4 D4 (x4 ) x5 v4 (x4 ,d4 ) v4 (x4 ,d4 )+f5 (x5 ) f4 (x4 ) 最优决策 d4 *
x1 f1 (x1 ) 最优决策 d1 * A 19 A B2
精品课程《运筹学》
资源分配问题
例: 有资金4万元，投资A、B、C三个项目，每个 项目的投资效益与投入该项目的资金有关。三个项 目A、B、C的投资效益（万吨）和投入资金（万元） 关系见下表：
求对三个项目的最优投资分配，使总投资效益最大。
精品课程《运筹学》
C3
4
D3
5
E2
2
F
1 B2 4 2
2 C2 5 3
3 D2 3
4 E1 2
A
3
B1
4
C1
3
D1
精品课程《运筹学》
1
B2
C3
4 2
D3
5E2Βιβλιοθήκη 4A2C2
3
2
F
3
3
3
B1
D2
5
4
4
E1
4
C1
2
3
D1 D
A
B
C
E
F
精品课程《运筹学》
求解连续性静态问题
假设有数量 x0 的物资可用于 n 种生产,若以 xi 投 入第 i 种生产时可得收益 gi ( xi ), 问应如何选取 xi , 使得 x0 用于 n 种生产时得到的总收益最大.这个问 题可以写成数学规划问题:
精品课程《运筹学》
x2 D2 (x2 ) x3 v2 (x2 ,d2 ) v2 (x2 ,d2 )+f3 (x3 ) f2 (x2 ) 最优决策 d2 *
B1 C1 B1 B1 C2 B1 C3 B2 C1 B2 B2 C2 B2 C3 B3 C1 B3 B3 C2 B3 C3
C1 C2 C3 C1 C2 C3 C1 C2 C3
•§4．3 动态规划的求解与应用 求最短路径：
B1 2 A 1 5 10 6 B2 4 13 B3 12 11 10 C2 5 8 C3 10 D2 2 12 14 9 6 E D1 5 C1 3
阶段 1
精品课程《运筹学》
阶段 2
阶段 3
阶段 4
阶段 5
将问题分成五个阶段，第k阶段到达的具体地
点用状态变量xk表示，例如：x2=B3表示第二阶段
3 x1 2 x2 x3 9 s .t . xi 0.i 1,2,3
解
利用递推公式,得到
2 1
4 2 y f1 ( y ) max 4 x y 在 x1 点达到最大 0 3 x1 y 9 3 2 f 2 ( y ) max x2 f1 ( y 2 x2 )
1. 阶 段 k ： 第 k 次 装 载 第 k 种 物 品
（k=1,2,…,n） 2. 状态变量xk ：第k次装载时背包还可以 装载的重量； 3. 决策变量dk ：第k次装载第k种物品的件 数；
精品课程《运筹学》
4. 决策允许集合：
Dk(xk)={dk|0 dkxk/wk，dk为整数}； 5. 状态转移方程：xk+1=xk-wkdk 6. 阶段指标：vk=ckdk 7. 递推方程 fk(xk)=max{ckdk+fk+1(xk+1)} =max{ckdk+fk+1(xk-wkdk)} 8. 终端条件：fn+1(xn+1)=0
C1 C2 C3
C1 D1 C1 D2 C2 D1 C2 D2 C3 D1 C3 D2
D1 D2 D1 D2 D1 D2
3 9 6 5 8 10
3+5=8* 9+2=11 6+5=11 5+2=7* 8+5=13 10+2=12*
8 7 12
C1 D1 C2 D2 C3 D2
精品课程《运筹学》
这是一组递推公式,由 f1 ( y ) 开始,逐步求出 f n ( x0 ), 但是当 g i ( x i ) 比较复杂时,用这种方法找 f k ( y ) 的解 析式是比较困难的.只是在 g i ( x i ) 比较特殊的情况, 可以求出它的解析式.
精品课程《运筹学》
2 2 2 max F 4 x1 x2 2 x3 12
x1 D1 (x1 ) x2 v1 (x1 ,d1 ) v1 (x1 ,d1 )+f2 (x2 ) f1 (x1 ) 最优决策 d1 *
A B1 B1 A A B2 B2 AB3 B3
2 5 1
2+20=22 5+14=19* 1+19=20
19
A B
2
精品课程《运筹学》
由此得到f1(x1)的表达式
精品课程《运筹学》
把数量为 x0 的物资投入 n 种生产方式,可以看成是 n 阶段决策问题.每阶段投入一定数量物资于某种生产. 第 i 阶段初还有资源 y ,用 y 表示状态,投入 i 种生产的 资源为 xi , (0 xi y ) ,还剩下资源 y xi , 并获得效益
gi ( xi ) .
x2 B1 B2 B3 f2 (x2 ) 20 14 19 最优决策 d2 * B1 C1 B2 C1 B3 C2
精品课程《运筹学》
第一阶段的递推方程为：
f1 ( x1 ) min {v1 ( x1 , d1 ) f 2 ( x2 )}
d1D1 ( x1 )
从 f2 (x2 )到 f1 (x1 )的递推过程用表格表示如下：
精品课程《运筹学》
第三阶段的递推方程为：
f3 ( x3 ) min {v3 ( x3 , d3 ) f 4 ( x4 )}
d3D3 ( x3 )
从 f4 (x4 )到 f3 (x3 )的递推过程用表格表示如下： x3 D3 (x3 ) x4 v3 (x3 ,d3 ) v3 (x3 ,d3 )+f4 (x4 ) f3 (x3 ) 最优决策 d3 *
D1 D1 E E D2 D2 E E
精品课程《运筹学》
5 2
5+0=5* 2+0=2*
5 2
D1 E D2 E
其中*表示最优值，在上表中，由于决策允许集合 D4(x4)中的决策是唯一的，因此这个值就是最优值。
由此得到f4(x4)的表达式。由于这是一个离散的函数， 取值用列表表示：
f4 (x4 ) 的表达式 x4 f4 (x4 ) 最优决策 d4 * D1 5 D1 E D2 2 D2 E
3.从A城市通过其他B、C、D三城 市之二到E城市，三个阶段。
精品课程《运筹学》
于是从A城市到达E城市的阶段数 有下列四种情形：
3.从A城市通过其他B、C、D三城 市之二到E城市，三个阶段。
4.从A城市通过其他B、C、D三城 市各一次到E城市，四个阶段。
精品课程《运筹学》
一定阶段最短路问题
W先生每天驾车去公司上班。如 图，W先生的住所位于A，公司 位于F，图中的直线段代表公路， 交叉点代表路口，直线段上的数 字代表两路口之间的平均行驶时 间。现在W先生的问题是要确定 一条最省时的上班路线。
精品课程《运筹学》
例:对于一个具体问题c1=65，c2=80，c3=30；
w1=2，w2=3，w3=1；以及
W=5，用动态规划求解 。 f4(x4)=0
对于k=3
f 3 ( x3 ) max {c3d 3 f 4 ( x4 )}
0 d 3 x3 / w3 0 d 3 x3 / w3
2 4 2 max x2 ( y 2 x2 ) y 9 0 x 2
精品课程《运筹学》
max {30d 3}
列出 f3(x3)的数值表
精品课程《运筹学》
精品课程《运筹学》
精品课程《运筹学》
精品课程《运筹学》
由题意知，x1 =5，由表 f1 (x1 )、f2 (x2 )、f3 (x3 )，经 回朔可得： d1 *=2，x2 =x1 -2d1 =1，d2 *=0，x3 =x2 -3d2 =1，d3 *=1， x4 =x3 -d3 =0 即应取第一种物品 2 件,第三种物品 1 件,最高价值为 160 元,背包没有余量。 f1 (x1 )得列表可以看出， 由 如果 背包得容量为 W=4，W=3，W=2 和 W=1 时，相应的 最优解立即可以得到。
由此得到f3(x3)的表达式：
x3 f3 (x3 ) C1 8 C2 7 C3 12
第二阶段的递推方程为：
最优决策 d3 * C1 D1 C2 D2 C3 D2
f 2 ( x2 ) min {v2 ( x2 , d2 ) f3 ( x3 )}
d2 D2 ( x2 )
从 f3 (x3 )到 f2 (x2 )的递推过程用表格表示如下：
精品课程《运筹学》
不定阶段最短路线问题
如图是一个五座城市的及其相 连道路的交通图，线上的数字是对 应的路长。问：应如何选择行驶路 线，才能使从A、B、C、D各城市 到E城市的行驶路程最短？
精品课程《运筹学》
E 2 2 D 3
A
7
6
5
5
5
1
B 0.5
精品课程《运筹学》
C
从图中可以看出，任意两座城市之间 都有道路相通。我们把从一座城市直 达另一座城市作为一个阶段。例从A 城市到E城市的阶段数，少则一个 （例从A城市直达E城市），多则无限 （例从A城市通过其他B、C、D三城 市循环到E城市）。为避免循环，加 上约束条件：每个城市至多经过一次。
12 14 10 6 10 4 13 12 11
12+8=20* 14+7=21 10+12=22 6+8=14* 10+7=17 4+12=16 13+8=21 12+7=19* 11+12=23
20
B1 C1 B2 C1 B3 C2
14
19
精品课程《运筹学》
由此得到f2(x2)的表达式：
精品课程《运筹学》
于是从A城市到达E城市的阶 段数有下列四种情形：
1.从A城市直达E城市，一个阶段。
精品课程《运筹学》
于是从A城市到达E城市的阶 段数有下列四种情形：
1.从A城市直达E城市，一个阶段。 2.从A城市通过其他B、C、D三城 市之一到E城市，二个阶段。
精品课程《运筹学》
于是从A城市到达E城市的阶段数 有下列四种情形：
用 f k ( y ) 表示有资源 y 投入前 k 种生产方式所得 到的最大总收入.
精品课程《运筹学》
由最优化原理
f k ( x ) max gk ( xk ) f k 1 ( y xk ) 0 x k y max f i ( x ) 0 x1 y g1 ( x1 )
精品课程《运筹学》
1.
2.
阶段k：每投资一个项目作为一个阶段；
状态变量xk：投资第k个项目前的资金数；
3.
4. 5. 6. 7.
决策变量dk：第k个项目的投资；
决策允许集合：0≤dk≤xk 状态转移方程：xk+1=xk-dk 阶段指标：vk(xk ,dk)见表中所示； 递推方程： fk(xk)=max{vk(xk ,dk)+fk+1(xk+1)} 终端条件：f4(x4)=0
精品课程《运筹学》
max F g1 ( x1 ) g 2 ( x2 ) ... g n ( xn ) x1 x2 ... xn x0 s.t. xi 0, i 1,2,...,n
假设每个 g i ( x i ) 在0, 内连续,显然 F 的极大 值存在,这是一个特殊类型的非线性规划问题,由 于这类问题的特殊结构,可以把它看成一个多阶 段决策问题,并利用动态规划的递推关系求解.
到达位置B3，等等。这里状态变量取字符值而不
是数值。 将决策定义为到达下一站所选择的路径， 例如目前的状态是x2=B3 ，这时决策允许集合包
含三个决策，它们是：
D2(x2)=D2(B3)={B3C1,B3C2,B3C3}
精品课程《运筹学》
最优指标函数fk(xk)表示从目前状态到E的最短路 径。终端条件为 f5(x5)=f5(E)=0 其含义是从E到E的最短路径为0。 第四阶段的递推方程为