运筹学课程动态规划课件

5 A
3
1 B1 3
6
8 B2 7
6
C1 6 8
3 C2 5
3 C3 3
84 C4
2 D1
2
D2 1 2
3 D3
3
E1 3
5 5 E2 2
6 6
E3
F1 4
G 3 F2
1
2
3 4 运筹学课程动态规划
5
6
7
示例5（生产与存储问题）：
某工厂生产并销售某种产品。已知今后四个月市场需求 预测及每月生产j个单位产品的费用如下：
上一个阶段的决策直接影响下一个阶段的决策
运筹学课程动态规划
8
示例6（航天飞机飞行控制问题）：
由于航天飞机的运动的环境是不断变化的，因 此就要根据航天飞机飞行在不同环境中的情况， 不断地决定航天飞机的飞行方向和速度（状态）， 使之能最省燃料和实现目的（如软着落问题）。
运筹学课程动态规划
9
所谓多阶段决策问题是指一类活动过程，它可以分为若 干个相互联系的阶段，在每个阶段都需要作出决策。这 个决策不仅决定这一阶段的效益，而且决定下一阶段的 初
1 6
C3
D1
10
E
D2
6
运筹学课程动态规划
12
以上求从A到E的最短路径问题，可以转化为四个性质完
全相同，但规模较小的子问题，即分别从 Di 、 Ci 、Bi、
A到E的最短路径问题。
第四阶段：两个始点 D 1 和 D 2 ，终点只有一个；
本阶段始点 （状态）
D1 D2
本阶段各终点（决策） E 10 6
cj30j
j0 j1,2,6
月1 2 3
4
需求 2 3 2
4
每月库存i个单位产品的费用E(i)=0.5i(千元），该厂最大 库存容量为3个单位，每月最大生产能力为6个单位，计划开始 和计划期末库存量都是零，试制定四个月的生产计划，在满足
用户需求条件下，使总费用最小。
每个月视为一个阶段，
每个阶段都须决定生产几个、库存几个
件下机器完好率为0.7，即如果年初有u台完好机器投入生 产，则年末完好的机器数量为0.7u台。系数0.7称为完好率。 年初投入高负荷运行的u台机器的年产量为8u吨。系数8称
为单台产量。低负荷运行时，机器完好率为0.9，单台产量 为5吨。设开始时有1000台完好机器，要制订五年计划，每 年年初将完好的机器一部分分配到高负荷生产，剩下的机器
阶段3 本阶段各终点（决策）
D1 8+10=18 7+10=17 1+10=11
D2 6+6=12 5+6=11 6+6=12
到E的最短距离
12 11 11
本阶段最优终点 （最优决策)
D2 D2 D1
分析得知：如果经过C1，则最短路为C1-D2-E； 如果经过C2，则最短路为C2-D2-E； 如果经过C3，则最短路为C3-D1-E。
问：对总数量为y的资源进行n个阶段的生产， 应如何分配每个阶段投入A、B的资源数量，才能 使总收益最大？
运筹学课程动态规划
4
示例2（设备更新问题）：
一般企业用于生产活动的设备，刚买来时故 障少，经济效益高，即使进行转让，处理价值 也高，随着使用年限的增加，就会逐渐变为故 障多，维修费用增加，可正常使用的工时减少， 加工质量下降，经济效益差，并且，使用的年 限越长、处理价值也越低，自然，如果卖去旧 的买新的，还需要付出更新费．因此就需要综 合权衡决定设备的使用年限，使总的经济效益 最好。
注意：动态规划是求解某类多阶段决策问题的一种方法，是 考察问题的一种途径，不是一种算法。必须对具体问题进 行具体分析，运用动态规划的原理和方法，建立相应的模 型，然后再用动态规划方法去求解。
运筹学课程动态规划
11
动态规划思想示例：
4
A
3
3 2
2 B1
1 6
4 B2 7
2
48 B3 3
75 1
4
C1
动态规划 Dynamic Programming
不要过河拆桥 追求全局最优
运筹学课程动态规划
1
本章内容
多阶段决策过程的最优化 动态规划的基本概念和基本原理 动态规划方法的基本步骤 动态规划方法应用举例
运筹学课程动态规划
2
一、多阶段决策过程的最优化
示例1（工厂生产安排）：
某种机器可以在高、低两种负荷下生产。高负荷生产条
分配到低负荷生产，使五年的总产量为最高。
运筹学课程动态规划
3
推广：多阶段资源分配问题
设有数量为y的某种资源，将它分别投入两种生 产方式A和B，已知收益函数分别是g(x)和h(x)， x为资源投入量。设这种资源用于生产后还可以回 收一部分用于生产，A、B的回收率分别为a和b （ 0≤a≤1，0≤b≤1 ），
运筹学课程动态规划
5
示例3 （连续生产过程的控制问题）：
一般化工生产过程中，常包含一系列完成生 产过程的设备，前一工序设备的输出则是后一 工序设备的输入，因此，应该如何根据各工序 的运行工况，控制生产过程中各设备的输入和 输出，以使总产量最大。
运筹学课程动态规划
6
示例4、最短路径问题
给定一个交通网络图如下，其中两点之间的数字表示距离 （或花费），试求从A点到G点的最短距离（总费用最小）。
运筹学课程动态规划
14
点第和二终阶点段进：行有分4个析始和点讨B论1,分B2别,B求3,BB41，,B终2,B点3,B有4到C1C,C1,2C,C2,3C。3 对的始最 短路径问题：
每个阶段的决策均确定以后，就得到一个决策序列，称 为策略。多阶段决策问题就是求一个策略，使各阶段的 效益的总和达到最优。
决策
决策
决策
状态 1
状态
2 状态 状态 n
动态规划是用来解决多阶段决策过程最优化的一种数量 方法。其特点在于，它可以把一个n 维决策问题变换为 几个一维最优化问题，从而一个一个地去解决。
阶段4 到E的最短距离
10 6
本阶段最优终点 （最优决策)
E E
分析得知：从D
和
1
D
2
到E的最短路径唯一。
运筹学课程动态规划
13
第三阶段：有三个始点C1，C2，C3，终点有D1，D2，对始点 和终点进行分析和讨论分别求C1，C2，C3到D1，D2 的最短路 径问题：
本阶段始点 （状态）
C1 C2 C3
运筹学课程动态规划
10
不包含时间因素的静态决策问题（本质上是一次决策问 题）也可以适当地引入阶段的概念，作为多阶段的决策问 题用动态规划方法来解决。
某些线性规划、非线性规划等静态规划问题也可以通过 适当地引入阶段的概念，应用动态规划方法加以解决。
DP是上个世纪五十年代贝尔曼(B.E.Bellman)为代表 的研究成果，属于现代控制理论的一部分。其最优化原理， 可归结为一个递推公式。