运筹学_07动态规划_

本阶段始点（状 态）
本阶段各终点（决 策）
F1
F2
到G点的最短距离
E1
3＋4＝7 5＋3＝8
7
本阶段最优终点 （最优决策）
F1
E2
5＋4＝9 2＋3＝5
5
E3
6＋4＝ 10
6＋3＝9
9
最短路线E1→F1→G 最短路线E2→F2→G 最短路线E3→F2→G
F2
F2
1
5
B1 3 6
A3 8
7 B2
6
C1 6 8 3
淘金者是个很谨慎的人，他相当担心自己的安全。经过一番思索，他想出 了一个巧妙的方法来确定最安全的路线。每位驿站马车的乘客都被提供人寿保险。 由于对乘坐任何驿站马车保单的成本是基于该线路安全性的仔细评估的。因而最 安全的路线应该是全部人寿保单中最便宜的。
图中标明了各州之间驿站马车行驶的标准保单的成本。 淘金者需要确定的是哪条线路可以使全部保单成本最小。
最短路线有一个重要特性：
如果从起点A经过C2点和D1点到达终点G是一条最短的路线，则由C2 点经 过D1 点到达G点的这条子路线，是由C2 点出发到达G点所有路线中的最短路线。
寻找最短路线的方法，从最后一段开始，由后向前逐步推进，找出各点到G 点的最短路线，最后就能确定一条从A点到G点的最短路线。
本阶段始点 （状态）
7 B2
6
C1 6 8 3
C2 5
3 C3 3
84 C4
2 D1 2
D2
1 2
3 3
D3
E1 3 5 5
E2 2
66 E3
F1 4
G 3 F2
从A点到G点可分成6个阶段。以A为起点，终点有两个B1、B2，有两个选择。 若选择B2，则B2为第一阶段决策的结果。同时它又是第二阶段的开始状态。当 每个阶段做出决策的结果，直接影响到后面的选择和决策的结果。
2 . 最短路问题：给定一个交通网络图如下，其中两点之间的数字表示距离（或花费）， 试求从A点到G点的最短距离（总费用最小）。
5 A
3
1
1
B1
3
6
8
B2 7 6
2
C1 6 8
3 C2 5
3 C3 3
84 C4
3
2 D1
2
D2 1 2
3 D3
3
4
E1
3
5 5 E2 2
6 6
E3
F1 4
G 3 F2
5
这样的决策过程是在变化的过程中产生的，故有动态的含义。处理它的方法称为 动态规划的方法。
方法：多阶段问题转化成一系列互相联系的较容易的单阶段问题。
动态规划是用来解决多阶段决策过程最优化的一种数量方法。其特点在于， 它可以把一个n 维决策问题变换为几个一维最优化问题，从而一个一个地去解决。
需指出：动态规划是求解某类问题的一种方法，是考察问题的一种途径， 而不是一种算法。必须对具体问题进行具体分析，运用动态规划的原理和方法， 建立相应的模型，然后再用动态规划方法去求解。
7.1多阶段决策过程及实例
引例：驿站马车问题：19世纪中叶，密苏里州的一个寻宝者决定去加洲西部淘金。 旅程需要乘坐马车，途径那些有遭遇强盗袭击危险的无人乡村。虽然他的出发点和目 的地已定，但是他有相当多的选择从哪些州中穿过。可能的路线如下，每个州都用划 圈的字母表示，并且旅行方向在图表中总是从左向右。因而，从他的出发点A州（密 苏里州）达到目的地J州（加利福尼亚州），就需要4个阶段（驿站马车行驶）
而又相互区别的各个阶段； • 每个阶段都要进行决策,目的是使整个过程的决策达到最优效果。
状态
决策
决策
决策
1
2
……..
n
状态
状态
状态
状态
多阶段决策问题的典型例子：
1 . 生产决策问题：企业在生产过程中，由于需求是随时间变化的，因此企业为了 获得全年的最佳生产效益，就要在整个生产过程中逐月或逐季度地根据库存和需求 决定生产计划。
C2 5
3 C3 3
84 C4
2 D1 2
D2
1 2
3 3
D3
E1 3 5 5
E2 2
66 E3
F1 4
G 3 F2
本阶段始点(状 态)
阶段4
本阶段各终点（决策）
E1
E2
来自百度文库
E3
到G点的最短 距离
D1
2＋7＝9 2＋5＝7
7
D2
1＋5＝6 2＋9＝11
6
D3
3＋5＝8 3＋9＝12
8
本阶段最优终点 （最优决策）
动态决策问题的特点：
• 系统所处的状态和时刻是进行决策的重要因素； • 即在系统发展的不同时刻（或阶段）根据系统所处的状态，不断地做出决策； • 找到不同时刻的最优决策以及整个过程的最优策略。
多阶段决策问题：
• 是动态决策问题的一种特殊形式； • 在多阶段决策过程中,系统的动态过程可以按照时间进程分为状态相互联系
4. 线性规划、非线性规划等静态的规划问题也可以通过适当地引入阶段的概念，应用 动态规划方法加以解决。
动态规划的基本方程和最优性原理
例1:最短路问题：如图给定一个线路网络，两点之间连线上的数字表示两点 间的距离(或费用)。试求一条从A到G的铺管线路，使总距离最短(或总费用最小)。
1
5
B1 3 6
A3 8
2
7
B4
6
E
4
1
H4
3
6
5
A
4
C2
F
J
4 3
4
3
3
3
I
D1
5
3
G
状态
决策
决策
决策
1
2
……..
n
状态
状态
状态
状态
多阶段决策过程最优化问题：有一些活动，它在时间或空间上可以分成若干个阶 段，需要对每个阶段进行决策，使得活动的整体效果最好。
每个阶段的决策都不是可以任意确定的，它依赖于当前的状况，同时，它的决策 结果又影响到以后的决策。组成了一个决策序列。
E2 E2 E2
最短路线D1→E2→F2→G 最短路线D2→E2→F2→G 最短路线D3→E2→F2→G
本阶段始 点(状态)
C1 C2 C3 C4
阶段3
本阶段各终点（决策）
D1
D2
D3
6+7=13 8+6=14
3+7=10 5+6=11
3+6=9 3+8=11
6
3. 航天飞机飞行控制问题：由于航天飞机的运动的环境是不断变化的，因此就要根据航 天飞机飞行在不同环境中的情况，不断地决定航天飞机的飞行方向和速度（状态），使 之能最省燃料和实现目的（如软着落问题）。
不包含时间因素的静态决策问题（本质上是一次决策问题）也可以适当地引入阶段的 概念，作为多阶段的决策问题用动态规划方法来解决。
阶段6
本阶段各终点 （决策）
G
到G点的最短 距离
本阶段最优终 点
（最优决策）
F1
4
4
G
F2
3
最短路线F1→G 最短路线F2→G
3
G
1
5
B1 3 6
A3 8
7 B2
6
C1 6 8 3
C2 5
3 C3 3
84 C4
2 D1 2
D2
1 2
3 3
D3
E1 3 5 5
E2 2
66 E3
F1 4
G 3 F2
阶段5