运筹学04动态规划

例 设备更新问题
企业在使用设备时都要考虑设 备的更新问题，因为设备越陈旧 所需的维修费用越多，但购买新 设备则要一次性支出较大的费用。
多阶段决策问题
(Multi-Stage decision process)
多阶段决策过程特点:
决策d1
决策d2
决策dk
决策dn
状态 s1
阶段1 状态 s2
阶段2 状态...状态
例 生产与存储问题
某工厂每月需供应市场一定数量 的产品。供应需求所剩余产品应存 入仓库，一般地说，某月适当增加 产量可降低生产成本，但超产部分 存入仓库会增加库存费用，要确定 一个每月的生产计划，在满足需求 条件下，使一年的生产与存储费用 之和最小。
例 投资决策问题
某公司现有资金Q亿元，在今后 5年内考虑给A、B、C、D四个项目 投资，这些项目的投资期限、回报 率均不相同，问应如何确定这些项 目每年的投资额，使到第五年末拥 有资金的本利总额最大。
例从A城市到E城市的阶段数，少则一 个（例从A城市直达E城市），多则无 限（例从A城市通过其他B、C、D三 城市循环到E城市）。为避免循环，加 上约束条件：每个城市至多经过一次。
于是从A城市到达E城市的阶段数有 下列四种情形：
1.从A城市直达E城市，一个阶段。
2.从A城市通过其他B、C、D三城市之 一到E城市，二个阶段。 3.从A城市通过其他B、C、D三城市之 二到E城市，三个阶段。 4.从A城市通过其他B、C、D三城市各 一次到E城市，四个阶段。
4 状态转移方程
动态规划中本阶段的状态往往 是上一阶段的决策结果。如果给 定了第k段的状态Sk ，本阶段决 策为xk(Sk) ，则第k+1段的状态 Sk+1由公式： Sk+1=Tk（ Sk， xk）
确定，称为状态转移方程。
5 指标函数
用于衡量所选定策略优劣的数量指 标称为指标函数v(Sk,xk(Sk))。 对不同问题，指标函数可以是诸如费用、 成本、产值、利润、产量、耗量、距离、 时间、效用，等等。
4 1 C3
B2
2
2
C2 3
5 B1 4
3 C1 3
D3 5
E2
3
2
D2
4
F
4
2 E1
D1
A
B
C
D
E
F
4 A3
4 1 C3
B2
2
2
C2 3
5 B1 4
3 C1 3
D3 5
E2
3
2
D2
4
F
4
2 E1
D1
A
B
C
D
E
例2（一定阶段最短路问题）
W先生每天驾车去公司上班。如图，W先生的住所位于A，公 司位于F，图中的直线段代表公路，交叉点代表路口，直线段 上的数字代表两路口之间的平均行驶时间。现在W先生的问题 是要确定一条最省时的上班路线。
C3 4 D3
5 E2
2F
1
2
3
4
B2 2 C2 3 D2
E1
4
5
3
2
A3wk.baidu.com
k子过程指标函数Vk,n
最优指标函数fk(Sk)
动态规划的基本思想：
从过程的最后一段开始，用 逆序递推方法求解，逐步求出 各段各点到终点E最短路线， 最后求出A点到E点的最短路线。
4 A3
4 1 C3
B2
2
2
C2 3
5 B1 4
3 C1 3
D3 5
E2
3
2
D2
4
F
4
2 E1
D1
A
B
C
D
E
F
4 A3
本章内容重点
多阶段决策过程的最优化 动态规划的基本概念和基本原理 动态规划方法的基本步骤 动态规划方法应用举例
动态规划是解决多阶段决策过程 最优化问题的一种方法。由美国数 学家贝尔曼（Bellman）等人在20 世纪50年代提出。他们针对多阶段 决策问题的特点，提出了解决这类 问题的“最优化原理”，并成功地 解决了生产管理 、 工程技术等方 面的许多实际问题。
s3
sk
阶段k 状态...状态 阶段n
sk+1
sn
状态 sn+1
g1
g2
gk
gn
例1（不定阶段最短路线问题）
如图是一个五座城市的及其相连道路的交通图， 线上的数字是对应的路长。问：应如何选择行驶 路线，才能使从A、B、C、D各城市到E城市的行 驶路程最短？
E
2
3
A
2
D
7
5
6
5
5
1
B
0.5
C
从图中可以看出，任意两座城市之间 都有道路相通。我们把从一座城市直 达另一座城市作为一个阶段。
B1 4 C1 3
D1
动态规划的基本概念 阶段； 状态； 决策和策略； 状态转移； 指标函数。
1 阶段（Stage）
将所给问题的过程，按时间或 空间特征分解成若干个相互联系的 阶段，以便按次序去求每阶段的解。 用以描述阶段的变量叫作阶段变量， 一般以k表示阶段变量。
2 状态（State）
各阶段开始时的客观条件叫做状 态。描述各阶段状态的变量称为状 态变量，常用sk表示第k阶段的状 态变量，状态变量的取值集合称为 状态集合，用Sk表示。状态集合可 以是一离散取值的集合，也可以为 一连续的取值区间，视具体问题而 定。
按照过程进行的先后，每个阶段的状 态可分为初始状态和终止状态，或称
输入状态和输出状态，阶段k的初始 状态记作sk，终止状态记为sk+1。但
为了清楚起见，通常定义阶段的状态 即指其初始状态。
动态规划中的状态具有如下性质：
当某阶段状态给定以后，在这阶 段以后的过程的发展不受这段以前 各段状态的影响。即：过程的过去 历史只能通过当前状态去影响它未 来的发展，这称为无后效性。如果 所选定的变量不具备无后效性，就 不能作为状态变量来构造动态规划 模型。
3 决策和策略
（Decision and Policy）
当各段的状态确定以后，就可 以做出不同的决定（或选择），从 而确定下一阶段的状态，这种决定 称为决策。决策变量用xk(Sk)表示， 允许决策集合用Dk(Sk)表示。
各个阶段决策确定后，整个问 题的决策序列就构成一个策略，用 p1,n(x1,x2,…xn)表示。对每个实际 问题，可供选择的策略有一定的范 围，称为允许策略集合，用P表示。 使整个问题达到最优效果的策略就 是最优策略。
动态规划是现代企业管理中 的一种重要决策方法，可用于 最优路径问题、资源分配问题、 生产计划和库存问题、投资问 题、装载问题、排序问题及生 产过程的最优控制等。
动态规划的基本原理
多阶段决策过程最优化
多阶段决策过程是指这样一类特 殊的活动过程，他们可以按时间顺 序分解成若干相互联系的阶段，在 每个阶段都要做出决策，全部过程 的决策是一个决策序列，所以多阶 段决策问题也称为序贯决策问题。