第5章 动态规划

B1
5
6
4 3 6
C1
2
1 2
2
D1 D2
3 4
2
A
4 2
B2
5
C2
6
E
3
B3
C3
3
D3
可以看出，各个阶段的决策不同，铺设的管道也不 同，并且当某个阶段的 始点给定后，它直接影响着后 面各阶段的行进路线和管道的长短，而后面各阶段的路 线 的选取不受这点以前各阶段路线的影响。 因此，最短路线问题可简化为四个阶段决策问题， 使由这四个阶段决策组成决策序列，也 称为策略所决 定的一条路线的总长度最短。
D1、D2 两种选择，所以
f 3 (C1 ) min{ d (C1 , D1 ) f 4 ( D1 ), d (C1 , D2 ) f 4 ( D2 )} min{ 1 2,2 3} 3
B1 A
5 4
2 6 3 4 B2 6 5
C1 C2
1 2 2 3
D1 D2 3 D3
第15页
例3 两班生产或只是日
班生产，当开足日班时，每一个生产周期能生产商品15 个单位，每生产一个单位商品的成本为100元。当开足 夜班时，每一生产周期能生产的商品也是15个，但是由 于增加了辅助性生产设备和生产辅助费用，每生产一单 位商品的成本为120元。由于生产能力的限制，可以在 需求淡季多生产一些商品储存起来以备需求旺季使用， 但存储商品是需要存储费用的，假设每单位商品存储一 周期需要16元，已知开始时存储为零，年终也不存储商 品备下年使用，问应该如何作生产和存储计划，才能使 总的生产和存储费用最小？
第2页
每个阶段的决策确定以后，就得到一个决策序列，称为策略。
综
述
自从20世纪50年代，美国数学家贝尔曼提出动态 规划的最优性原理以来，动态规划方法已获得广泛应 用，它也成为现代企业管理中的一种重要的决策方法。 应用动态规划可以解决诸如最优路径问题、资源分配 问题、生产调度问题、库存问题、设备更新问题以及 最优控制问题等。 本章讨论多阶段决策问题以及动态规划的基本 概念、原理和方法，并通过若干典型实例来说明动 态规划在实践中的一些应用。
B2
5
C2
6
E
B3
C3
3
B1
5
6 4 3 6
C1
2
1 2 2 3
D1 D2
3
2
A
4
B2
5
C2
6
E
4
2
B3
C3
3
D3
从A点到E点要铺设一条天然气管道，
中间必须经过三个中间站， 第一站可在B1、B2、B3中选择， 第二站可在C1、C2、C3中选择， 第三站可在D1、D2、D3中选择， 要求选择一条由A 到E的铺管路线，使总长度最短。
第5页
例1、最短线路问题
最短路问题就是从某地出发，途经若干中间点 最后到达目的地，要求找出路程或费用最小的路线。 一般的最短路问题将在下一章讨论，这里只讨论分 层的最短路问题。下面的管道设计问题(例5.1.1)就 是其中之一。
B1
5 6 4 3 6
C1
2
1 2 2 3
D1 D2 D3
3 4
2
A
4 2
动态规划的最优化定理的数学表述
设一个 n 阶段决策问题，阶段变量 k=1,2,…, n ， 初始状态S1 已知，则允许策略是最优策略的充要条 件是:
v1,n (s1 , p1,n ) opt{v1,k ( s1 , p1,k ) * opt vk 1,n ( sk 1 , pk 1,n )}
第17页
例4.机金矿问题
两个金矿A,B分别有存储量x，y，现有一部开矿机 器，如果开采金矿A，则以概率p1得储量x的r1倍（0< r1<1），并且机器没有损坏，可以继续再去开采金矿 A或B。同时又以概率1- p1 宣告失败，机器报废，也 得不到金子；如果把这部开矿机器用以开采金矿B， 则以概率p2得到储量y的r2倍（0<r2<1），并且机器没 有损坏，可以继续再去开采金矿A或B，同时又以概 率1- p2宣告失败，机器报废，也得不到金子。 把机器用于开采金矿A或者B，如果机器没有损坏 ，将继续把机器用于开采金矿A或者B，直到机器损 坏，问应该如何选择开矿的序列使获得金子的期望值 最大。
B1
5
6 4
3
6
C1
1 2 2 3
D1
2
2
3
A
4 2
B2
5
C2
6
D2
D3
E
4
B3
C3
3
由最优化原理可知，一条 A---E 最短路的后 部子路也是最短的。即如果找到一条 A---E 最短 路 A---B3---C1---D1---E，则 C1---D1---E 也是一 条连接 C1 与 E 的最短路。利用最短路的这一特 性，寻找 A---E 最短路的方法，就是从最后一段， 即 D---E 段开始，用由后向前逐步逆推的方法， 求出各点到 E 的最短路线，最后求出从 A 点到 E 点的最短路。
例2 多阶段资源分配问题
设有数量为x的某种资源，将它投入两种
生产方式A和B中：以数量y投入生产方式A，
剩下的量投入生产方式B，则可得到收入
g(y)+h(x-y)，其中g(y)和h(y)是已知函数，并且
g(0)=h(0)=0；同时假设以y与x-y分别投入两种 生产方式A，B后可以回收再生产，回收率分别 为a与b。试求进行n个阶段后的最大总收入。
2
E
B3
6
C3
4
3
故相应的决策为 u3 (C1 ) D1 。这说明，从C1 到终点 E 的最短路长是3，最短路线是 ：C1---D1--E。 同理，从状态 C2 出发，有:
f 3 (C2 ) min{ d (C2 , D1 ) f 4 ( D1 ), d (C2 , D3 ) f 4 ( D3 )} min{ 2 2,2 4} 4
t
0≤ xi ≤ 30, u0 =0, uj≥0, i=1,2,…,6; j=1,2, …,5.
f ( x ) 16 u
i 1 i j 1
j
=
f ( x ) 16(5x
i 1 i
6
1
4 x2 3x3 2 x 4 x5 185 )
为最小，其中
100xi ,0 x i 15 f ( xi) 120(xi-15)+1500, 15<xi≤30
第5章 动态规划
运 筹 帷 幄 之 中 Dynamic Programming
决 胜 千 里 之 外
第1页
综
述
动态规划是运筹学的一个分支，是解决多阶段决策问题的一
种最优化方法。与线性规划不同的是，动态规划没有统一的数学
模型和算法，它要求对具体问题进行具体分析，因而动态规划更 多地是求解多阶段决策问题的一种定量分析方法和途径。 所谓多阶段决策问题是指一类活动过程，它可以分为若干个 相互联系的阶段，在每个阶段都需要作出决策。这个决策不仅决 定这一阶段的效益，而且决定下一阶段的初始状态。 多阶段决策问题就是求一个策略，使各阶段的效益的总和达到最 优。
其中两点连线上的数字表示两点间管线的长度。
B1
5
6
4 3 6
C1
2
1 2
2
D1 D2
3 4
2
A
4 2
B2
5
C2
6
E
3
B3
C3
3
D3
从A点到E点铺设管道，可以按其地理特点自然地 分成四个阶段：（如下图所示） 从A到B是第一阶段，从B到C是第二阶段， 从C到D是第三阶段，从D到E是第四阶段，
阶段1 阶段2 阶段3 阶段4
令 fk(x)表示从第k个阶段的开始状态x到终点E 的最短路的长度。最终所求即f1(A)。
当 k=4 时，取定一个状态 D1 ，从 D1 到 E 只 有一条路线，故 f 4 ( D1 ) 2 ； 同理，f 4 ( D2 ) 3 , f 4 ( D3 ) 4 。
当 k=3 时，取定一个状态 C1 ，从 C1 出发，有
第16页
例3 生产和库存问题-续(2)
设第i个周期的生产量为xi，周期末的存储量为ui，那 么这个问题用式子写出来就是：求x1,x2,…,x6，满足条件： x1+u0=5+u1， x4+u3=30+u4 使 S=
6
x2+u1=5+u2，
，
x3+u2=10+u3
x5+u4=50+u5， x6+u5=8
第18页
一般多阶段决策问题
有一个系统，可以分成若干个阶段，任意一个阶段k，系 统的状态可以用xk表示（可以是数量、向量、集合等）。在每 一阶段k的每一状态都有一个决策集合Qk(xk)，在Qk(xk)中选定 一个决策qk，状态xk就转移到新的状态xk+1=Tk(xk, qk)，并且得 到效益Rk(xk, qk)。我们的目的就是在每一个阶段都在它的决策 集合中选择一个决策，使所有阶段的总效益达到最大。 这样的多阶段决策问题称为动态规划。
第12页
例2
多阶段资源分配问题-续(1)
若以y0与x-y0分别投入生产方式A与B，在第一阶段生产后 所得收入为g(y0)+h(x-y0)，回收的总资源为x1=ay0+b(x-y0)，再 将x1投入生产方式A和B（其中投入A的量为y1），则可得到收 入g(y1)+ h(x1-y1)，继续回收资源x2=ay1+b(x1-y1)，…… 若上面的过程进行n个阶段，我们希望选择n个变量