管理运筹学动态规划

55 F1 4
E2 2
G
6 F2 3
D3
3 3
E3 6
4
5
6
4、多阶段决策过程
在每个阶段进行决策 控制过程的发展；
其发展是通过一系列的状态转移来实现的；
多阶段决策问题的典型例子
1、 生产决策问题
企业在生产过程中，由于需求是随时间变化的， 因此企业为了获得全年的最佳生产效益，就要在整 个生产过程中逐月或逐季度地根据库存和需求决定 生产计划。
2、机器负荷分配问题
产品的年产量
某种机器
高负荷 g=g(u1)
投入生产的机 器数量
机器的年完好率为a ，0<a<1
建模
§2 动态规划的基本概念和定义
1
5 B1 3
A3
6 8
B2 7
6
C1 6
8
C2 3 5
C3 3 3 8
C4 4
D1 2 2
D2 1 2 3
D3 3
E1 3
5 F1 4
E2
5 2
G
6 E3 6
F2
3
1
2
3
1、阶段、阶段变量
4
5
6
把所给问题的过程，适当（按时间和空间）地分为
若干个相互联系的阶段；描述阶段的变量称为阶段变
1
5 B1 3
A3
6
8
B2 7
6
C1 6
8
C2 3 5
C3 3 3 8
C4 4
2 D1
2
D2 1 2 3
D3 3
E1 3
5 F1 4
5 E2 2
G
6 E3 6
F2
3
1
2
3
4
5
6
（穷举法48条路线）
13 1
5 B1 3
A3
6
18
8 B2 7
16 6
1
2
13
C1 6 10 8
C2 3 95 C3 3
3 8 C4 4
不包含时间因素的静态决策问题（一次决策问题） 也可以适当地引入阶段的概念，作为多阶段的决策 问题用动态规划方法来解决。
4、最短路问题（引例）：给定一个交通网络图如
前，其中两点之间的数字表示距离（或花费），试求 从A点到G点的最短距离（总费用最小）。
动态规划的基本概念
1. 阶段 2. 状态 3. 决策 4. 策略 5. 状态转移方程 6. 指标函数和最优值函数
决策变量, 描述决策的变量.
uk(sk), 表示第 k 阶段当状 1 C1 6
态为 sk 时的决策变量. 5 B1 3
允许决策集合，
A3
6 8
常用Dk(sk)表示第k阶 段从状态sk出发的允许
B2 7 6
8 C2 3
5
C3 3 3 8
C4 4
决策集合.
1
2
3
D2(B1
2
)?
D1 E1 3
2
D2
1 2
第8章 动态规划 Dynamic Programming
华国伟 北京交通大学物流管理系
内容提要
1.多阶段决策过程及实例 2.动态规划的基本概念和基本方程 3.动态规划的最优性原理和最优性定理 4.动态规划和静态规划的关系 5.动态规划应用举例
重点： 理解动态规划基本概念、最优化原理和基本方程; 通过资源分配、生产与存储和设备更新等问题,学习 应
6
8
C4 4
s2=?
2
D1
E1 3
2
D2
1 2
55 F1 4
E2 2
G
6 F2 3
D3
3 3
E3 6
1
2
3
4
5
6
状态允许集合，状态变量的取值允许集合或范围。
3、决策、决策变量
某一阶段、某个状态,可以做出不同的决定(选择),决定 下一阶段的状态,这种决定称为决策.
在最优控制中也称为控制.
uk(sk) Dk(sk)
5 13
5 E2 2
F1 4 G
6 E3 6
F2 15
3
18
15
4
5
6
最短路的特性：
如果已有从起点到终点的一条最短路，那么从最 短路线上中间任何一点出发到终点的路线仍然是最短 路。（证明用反证法）
1 C1 6
5 B1 3
Leabharlann BaiduA3
6 8
B2 7
8 C2 3
5
C3 3 3
6
8
C4 4
2
D1 E1 3
2
D2
动态规划是用来解决多阶段决策过程最优化 的一种数量方法.其特点在于,它可以把一个 多阶段决策问题变换为几个相互联系的同类 型单阶段最优化问题,从而一个一个地去解决.
1. 多阶段决策过程及实例
多阶段决策过程（序贯决策过程）
决策
决策
决策
状态
状态
状态 状态
状态
1
2
…
n
收益
收益
收益
2 多阶段决策问题——举例
1 2
55 F1 4
E2 2
G
6 F2 3
D3
3 3
E3 6
1
2
3
4
5
6
§1 动态规划的研究对象和引例
动态系统：
包含随时间变化的因素和变量的系统。 动态决策问题：
系统所处的状态和时刻是进行决策的重要因素. 找到不同时刻的最优决策以及整个过程的最优策略.
状态
决策 状态
1
决策
状态 状态
2
决策 n
阶段
全过程的最优
12 3
7
2 D1
2 6 D2 1
2 3 D3 3 8
7
E1 3
5 5
F1 4
5 E2 2
G
6 E3 6
F2 3 3
9
4
5
6
51
5 B1 3
A3
6
8
B2 7
36
1
2
6
C1 6 88 C2 3 10 5 C3 3
3 8 C4 4
9 3
11 2
D1
13 2 D2 1
2 3 D3 3
13
13
E1 3 17
低负荷 h=h(u2)
年终完好
机器的年完好率为b ，0< b的<1机器？
假定开始生产时完好的机器数量为s1。要求制定一 个n年计划，在每年开始时，决定如何重新分配完好的 机器在两种不同的负荷下生产的数量，使在n年内产品 的总产量达到最高。
3、线性规划、非线性规划等静态的规划问题也
可以通过适当地引入阶段的概念，应用动态规划方法 加以解决。
用动态规划解决多阶段决策问题; 重点掌握动态规划模型结构、逆序算法原理、资源 分
配问题、生产与存储问题. 难点为动态规划中状态变量、基本方程等的确定.
动态规划产生于20世纪50年代, 美国数学 家贝尔曼(R. Bellman)等人提出.
动态规划是求解某类问题的一种方法,是考 察问题的一种途径,而不是一种算法.必须对 具体问题进行具体分析,运用动态规划的原 理和方法,划分阶段,建立相应的模型,然后 再去求解.
量，常用 k 表示。
2、状态、状态变量
每个阶段开始所处的自然状态或客观条件,描述过程的
状况,通常一个阶段有若干个状态.
描述过程状态的变 量称为状态变量， 它可用一个数、一 组数或一向量来描 述, 常用 sk 表示第 k 阶段的状态.
1 C1 6
5 B1 3
A3
6 8
B2 7
8 C2 3
5
C3 3 3
(1) 时间阶段 例1 机器负荷分配问题
建模？ 求解？
v1
v2
v3
v4
v5
S1=1000台
S2
S3
S4
S5
1
2
3
4
5
x1
x2
x3
x4
x5
其中：xi——各年度不同负荷机器的台数（向量）； vi——产量
(2) 空间阶段
图中所示为从A到G的路线网络, 图中数字表示相应 线路的长度, 如何求出从A到G的最短路线？