运筹学基础及应用第五版 胡运权

第八章 动态规划
8.1 多阶段决策问题 8.2 最优化原理与动态规划的数学模型 8.3 离散确定性动态规划模型的求解 8.4 离散随机性动态规划模型的求解
8.5 一般数学规划模型的动态规划 解法
1
学习要点：
理解动态规划基本概念、最优化 原理和基本方程，逆序法和顺序解法，学 习应用动态规划解决多阶段决策问题。
34
最优化原理Optimization Principl
作为整个过程的最优策略具有这样的性质： • 无论过去的状态和决策如何，对先前决策
所形成的状态而言，余下的诸决策必构成 最优策略。
B M A
若M是从A到B的最优路线上的一点，则从 M到B的路线也是最优的。
35
动态规划的基本方程
（最优化原理的应用）
重点 :掌握动态规划模型结构、 逆序法算法原理、资源分配、设备更新、 生产与存贮等问题。
2
第一节 多阶段的决策 问题
3
动态规划（Dynamic Programming）
R. Bellman50年代执教于普林斯顿和斯坦福大学， 后进入兰德（Rand）研究所。1957年发表“Dynamic Programming”一书，标识动态规划的正式诞生。
3
3
C3
3
f(C3)=6
f(D1)=3
D1
3
f(E)=0
E
D2 4
f(D2)=4
状态 最优决策 状态
决A策 （状态A，B3）
B3
最优决策
状态
最优决策
状态
最优
21
f(B1)=11
f(A)=11
A
B1 7 5 6
2 f(B2)=7 3
5
B2 2
3
4
5
B3 1 5
f(B3)=8
f(C1)=4
C1
1
f(C2)=7 4
31
二、基本概念和基本原理
5、状态转移方程：动态规划中本阶段的状态往往是上一 阶段状态和上一阶段的决策结果。 第k段的状态sk，本阶段决策为xk(sk)，则第k+1段的状态 sk+1也就完全确定，它们的关系可用公式表示： sk+1=Tk(sk,xk)
32
二、基本概念和基本原理
6、指标函数：用于衡量所选定策略优劣的数量指标。 它分为阶段指标函数和过程指标函数。 阶段指标函数是指第k段，从状态sk出发，采取决
（3）在每一级决策时，不只考虑本级的性能 指标的最优，而且同时考虑本级及以后的总 性能指标最优，因此它是根据“全局”最优 作出本级决策的。
25
动态规划法较之穷举法的优点:
(1) 容易计算出结果； (2) 动态规划的计算结果不仅得到了从起始点 到最终点的最短路线，而且得到了中间段任一 点到最终点的最短路线 。
题的性质，结合多种数学技巧。因此，实 践经验及创造性思维将起重要作用。
• 2）“维数障碍”：当变量个数太多时，由 于计算机内存和速度的限制导致问题无法 解决。有些问题由于涉及的函数没有理想 的性质使问题只能用动态规划描述，而不 能用动态规划方法求解。
10
第二节 最优化原理与动态规划的数学模型 一 最短路线问题求解
• 根据最优化原理得到的计算动态规划问题
的递（逆）推关系式：
边界条件：
n
当 Vk,n vi (si , xi ) 时，
iK
k=n时，fn+1(sn+1)=0
fk (sk ) opt {vk (sk , xk ) fk1(sk1)}
xk Dk ( sk )
边界条件：
n
当 Vk,n vk (si , xi ) 时
f(A)=11
A
B1 7 5 6
2 f(B2)=7 3
5
B2 2
3
4
5
B3 1 5
f(B3)=8
f(C1)=4
C1
1
f(C2)=7 4
6
C2
3
3
C3
3
f(C3)=6
f(D1)=3
D1
3
f(E)=0
E
D2 4
f(D2)=4
状态 最优决策 状态 最优决策 状态 最优决策 状态 最优
决A策 （状A态，B3） B3
1、阶段：将所给问题的过程，按时间或空间特征分解 成若干互相联系的阶段，以便按次序去求每阶段的解，常用
字母k表示阶段变量。
28
二、基本概念和基本原理
2、状态：各阶段开始时的客观条件叫做状态。 状态变量：描述各阶段状态的变量，用sk表示第k阶段 的状态变量。 状态集合：状态变量的取值集合，用Sk表示。
(3)动态规划方法是既把当前一段与未来各段分 开，又把当前效益和未来效益结合起来考虑的一种最优 化方法，因此每段的最优决策选取是从全局考虑的，与 该段的最优选择一般是不同的。
27
二、基本概念和基本原理
动态规划模型要用到的概念： (1)阶段; (2)状态; (3)决策和策略; (4) 状态转移律; (5)指标函数。
6
C2
3
3
C3
3
f(C3)=6
f(D1)=3
D1
3
f(E)=0
E
D2 4
f(D2)=4
状态 最优决策 状态 最优决策 状态 决A策 （状态A，B3） B3 （ B3， C2 ） C2
最优决策
状态
最优
22
f(B1)=11
f(A)=11
A
B1 7 5 6
2 f(B2)=7 3
5
B2 2
3
4
5
B3 1 5
f(B1)=11
B1 7 5
2 f(B2)=7 3 6
A5
B2 2
4
3
5
B3 1 5
f(C1)=4
C1
1
f(C2)=7 4
6
C2
3
3
C3
3
f(C3)=6
f
(DD11)=3 3
f (E)=0
E
D2 4
f (D2)=4
18
考虑三个阶段的最优选择
f(B1)=11
B1 7 65
2 f(B2)=73
A5
B2 2
ik
fkn+=1n(时sn+，1)=1
fk (sk ) opt {vk (sk , xk ) fk1(sk1)}
xk Dk ( sk )
O数pt: optimization, max or min vk: k阶段的指标函 36
B3
1 5
C1
1
4
6
C2
3
3
C3
3
f(D1)=3
D1
3
D2
4
f(D2)=4
f(E)=0
E
13
考虑二个阶段的最优选择
2
A5
3
B1 7 5 6 3
B2 2
4 5
B3 1 5
f(C1)=4
C1
1
4
6
C2
3
3
C3
3
f(D1)=3
D1
3
f(E)=0
E
D2 4
f(D2)=4
14
考虑二个阶段的最优选择
2
A
5
3
• 2）多阶段决策问题是一类特殊形式的动
态决策问题。是指这样一类活动过程：系
统的动态过程可以按照时间进程分为状态
互相联系而又互相区别的各个阶段，而且
在每个阶段都要进行决策，当每一个阶段
的决策确定以后，就完全确定了一个过程
的活动路线。
6
引例1 最短路线问题
2
A5
3
1
B1
7 5
6
3
B2 2
4 5
B3
1 5
决策变量：表示决策的变量，称为决策变量，常用
xk(sk)表示第k阶段当状态为sk时的决策变量。
允许决策集合：决策变量的取值往往限制在一定范围
内，我们称此范围为允许决策集合，用Dk(sk)表示第k阶
段D从2(状B态1)s=k{出C1发,C的2}允许D决2(策B集2)合={。C1,C2,C3} D2( 如B1状)=态{C为1,BC12时} 选择D2C(2，B2可)=表{C示1,为C2：,Cu32}(B1)=C2 如状态为B1时选择C2，可表示为：
x2(B1)=C2
30
二、基本概念和基本原理
4 策略：各段决策确定后，整个问题的决策序列就构成
一个策略，用p1,n{x1(s1),x2(s2),...xn(sn)}表示。
允许策略集合：对每个实际问题，可供选择的策略有一 定范围，称为允许策略集合，记作P1,n，使整个问题达到最 优效果的策略就是最优策略。
8
动态规划方法的特点
• ☻优点： 1）许多问题用动态规划求解比线性规划、非
线性规划更有效，特别是离散性问题，解 析数学无用武之地，而动态规划成为得力 工具。
2）某些情况下，用动态规划处理不仅能作定 性描述分析，且可利用计算机给出求其数 值解的方法。
9
动态规划方法的特点
缺点： • 1）没有统一的处理方法，求解时要根据问
f(B3)=8
f(C1)=4
C1
1
f(C2)=7 4
6
C2
3
3
C3
3
f(C3)=6
f(D1)=3
D1
3
f(E)=0
E
D2 4
f(D2)=4
状态 最优决策 状态 最优决策 状态 最优决策 状态 决A策 （状A态，B3） B3 （ B3， C2 ） C2 （ C2， D2 ） D2
最优
23
f(B1)=11
E
（ B3， C2 ） C2 （ C2， D2 ） D2 （ D2， E）
从A到E的最短路径为11，路线为A→B3→C2 →D2 →E
24
通过上例的讨论，可以看到多级决策 过程具有以下特点：
（1）把整个过程看成（或认为地分成）n个具 有递推关系的单级过程。
（2）采取逐级分析的方法，一般由最后一级 开始倒向进行。
4
3
5
B3 1 5
f(B3)=8
f(C1)=4
C1
1
f(C2)=7 4
6
C2
3
3
C3
3
f(C3)=6
f(D1)=3
D1
3
f(E)=0
E
D2 4
f(D2)=4
19
四个阶段联合考虑从A点到E点的最优选择
f(A)=11 2
A5
3
f(B1)=11
B1 7 5
f(B2)=107 6
3
B2 2
4 5
B3 1 5
26
动态规划方法的基本思想：
(1)将多阶段决策过程划分阶段，恰当地选取状 态变量、决策变量及定义最优指标函数．从而把问题ቤተ መጻሕፍቲ ባይዱ 成一族同类型的子问题，然后逐个求解。
(2)求解时从边界条件开始，逆(或顺)过程行进 方向，逐段递推寻优。在每一个子问题求解时，都要使 用它前面已求出的子问题的最优结果，最后一个子问题 的最优解，就是整个问题的最优解。
动态规划是解决复杂系统优化问题的一种 方法。是解决动态系统多阶段决策过程的基本方法 之一。
动态规划的基本概念和定义
动态规划的研究对象和引例
4
动态规划：是解决多阶段决策过程最 优化问题的一种方法，无特定的数学模型 。
可解决 问题
问题
与时间有关的动态 与时间无关的静态
5
多阶段决策问题
• 1）动态决策—将时间作为变量的决策问 题称为动态决策。其基本特点是多次决策。
一阶段：S1＝{A} 一阶段：二S阶1＝段{：A}S2＝{B1,B2,B3} 二阶段：三S阶2＝段{：B1S,3B＝2,{BC31},C2,C3} 三阶段：四S阶3＝段{：C1S,4C＝2,{CD31},D2} 四阶段：S4＝{D1,D2}
29
二、二基、本概基念本和基概本念原理和基本原理
3、决策：当各段的状态取定以后，就可以作出不同 的决定（或选择），从而确定下一阶段的状态，这种决 定称为决策。
2
A5
3
B1
7 5
6
3
B2 2
4 5
B3
1 5
C1
1
4
6
C2
3
3
C3
3
D1
f(E)=0
3
E
D2
4
11
考虑一个阶段的最优选择
2
A5
3
B1
7 5
6
3
B2 2
4 5
B3
1 5
C1
1
4
6
C2
3
3
C3
3
f(D1)=3
D1
3
D2
4
f(E)=0
E
12
考虑一个阶段的最优选择
2
A5
3
B1
7 5
6 3
B2 2
4 5
2
C1
1
4
6
C2
3
3
C3
3
3
D1
3
E
D2
4
4
5
7
引例2 生产与存贮问题
要求确定一个逐月的生产计划，在满足需求条件下， 使一年的生产与存贮费用之和最小？
引例3 投资决策问题
某公司现有资金Q万元，在今后5年内考虑给A，B，C，
D 4个项目投资？
引例4
设备更新问题
现企业要决定一台设备未来8年的更新计划，问应在 哪些年更新设备可使总费用最小？
策xk时的效益，用Vk(sk,uk)表示。
过程指标函数记为fk(sk)：表示从第k段状态sk按预
定指标到过程终止时的效益值。
33
三、最优化原理与动态规划的数学模型
最简单的方法——穷举法。共有多少条路 径，依次计算并比较。
动态规划方法——本方法是从过程的最后 一段开始，用逆序递推方法求解，逐步求出 各段各点到终点的最短路线，最后求得起始 点到终点的最短路线。
B1 7 5 6 3
B2 2
4 5
B3 1 5
f(C1)=4
C1
1
f(C2)=7 4
6
C2
3
3
C3
3
f(D1)=3
D1
3
f(E)=0
E
D2 4
f(D2)=4
15
考虑二个阶段的最优选择
2
A5
3
B1 7 5 6 3
B2 2
4 5
B3 1 5
f(C1)=4
C1
1
f(C2)=7 4
6
C2
3
3
C3
3
f(C3)=6
f(D1)=3
D1
3
f(E)=0
E
D2 4
f(D2)=4
16
考虑三个阶段的最优选择
f(B1)=11
2
A5
B1 7 5 6 3
B2 2
4
3
5
B3 1 5
f(C1)=4
C1
1
f(C2)=7 4
6
C2
3
3
C3
3
f(C3)=6
f(D1)=3
D1
3
f(E)=0
E
D2 4
f(D2)=4