运筹学教案动态规划ppt课件

状态的无后效性：
即当某阶段的状态一旦确定,则此后过程的 演变不再受此前各状态和决策的影响, 或者说 “未来与过去无关”。 即由状态xk出发的后部 子过程可以看成一个以xk为初始状态的独立过程。 注：阶段的划分与状态的选择要具有此性质， 是动态规划问题的特点。

决策与决策变量
决策：使在k阶段，使状态从xk 到xk+1 发生 转移的选择。 决策变量：描述决策的变量称为决策变
类似地，到了C站、D站、E站，都面临同一 问题，只是问题越来越小并易于解决。 到了E站，从其各点到F的最短距离已易得， 再逆推，可求出D站各点到F点的最短距离，逐次 逆推，到最后可以求出A点到F点的最短距离。
这就是动态规划问题逆推算法。
动态规划问题其它例子，见P193 机器负荷问 题。
动态规划问题的基本概念
量，一般用uk表示第k个阶段的决策变量。
决策空间：即决策变量可能取值的集合，用 Dk(xk)表示第k个阶段xk状态下的所有允许决策的 集合。

状态转移方程
状态转移：系统由某一阶段的一个状态因相 关决策而转变到下一个阶段的另一个状态。与阶 段、状态和决策有关，用下图示意：
决策
uk
k
阶段 输出状态
输入状态 称
动态规划的应用领域
经济管理、工程技术、工农业生产及军 事部门。 具体讲：如最短路线，资源分配，库存 管理，生产调度，排序，装载，市场营销， 设备维修与更新等方面。 主要解决时序或空间序阶段划分的多阶段 问题。但对一些与时间甚至与空间都无关的 静态问题，在引入特殊序之后用动态规划方 法处理。
最优策略：使总体效果达到最优的策略。记
为
* * * * p ( u , u , , u ) 1 , n 1 2 n
k子策略: k部子过程对应决策形成的决策序 u ( x ), u ( x ), u ( x )) 列。记为pk,n(xk)= ( k k k 1 k 1 n n

指标函数与最优指标数
xk x k 1 x T ( x , u ) 为状态转移方程 k 1 k k k

全过程与后部k子过程
从k阶段开始到终止状态为止的过程称为动 态规划问题的后部 k 子过程。如下图所示：
uk
u k 1
k
un
xk
x k 1
k+1
xk 2
xn
n
x n 1
k=n,n-1,n-2…3,2,1 全过程：k=1时的子过程。
阶段指标函数：指对某一个阶段的决策效果 进行衡量其优劣的一种数量指标。 一般记为： vk(xk; uk) K指过程的指标函数：描述 k子过程策略效 果优劣的数量函数，记为： Vk,n(xk; pk,n ) 或Vk,n 。 由阶段划分与状态选择的无后效性知，k阶 段指标函数具有可分性，即可写为：
V v ( x , u ) v ( x , u ) v ( x , u ), k , n k k k k 1 k 1 k 1 n n n 具体形式详见 P 198
阶段变量：
描述阶段的变量，一般用k表示。为离散变量， 取值1，2….n分别表示1，2 …n阶段。
B
1
9 5
C
1
1 5
D
1
4 2
3
A 4 B 5
B
2
4
5 1 7
3
C
2
8
E
1
4 6
D
2
6 9
1
F
E C
3
2
4 2
4
D
3
7 5
2
1 阶段
3
2 阶段
3 阶段
4 阶段
5 阶段

状态与状态变量
状态： 表示每个阶段开始时所处的自然状 况或客观条件，又称为不可控因素，是阶段的特 征，通常一个阶段有若干个状态。 如：前例，第一阶段状态为点 A ，第二阶段 的状态有B1，B2，B3三个状态。 状态变量：描述过程状态的变量称为，一般 用xk表示第k个阶段的状态变量。 状态集： k阶段所有可能状态构成的集合。 记为Sk，如S2={B1,B2,B3}
u1
x1
k=1
u2
uk
x3
un
k
x2
k=2
xk
x k 1 x n
k=n
x n 1

策略与k子策略
( x ) k 1 , 2 , n为k阶段作出的决 k k 策略：设 u u ( x ), u ( x ), u ( x )) 策，则称其组成的决策序列 ( 1 1 2 2 n n 为整个过程的一个全过程策略，简称为策略，记 为p1,n(x1)。可供选择的所有全过程策略的集合构 成允许策略集合，记为P1,n(x1)。
多阶段决策过程及实例
多阶段决策问题举例
从A地经B、C、D、E到F地铺设管线， 问，怎样铺设，可使管线最短？
B
1
9 5 4 5 1 7
C
1
1 5 8
D
1
4 2 E
1
3 A 4 B
3
5
B
2
3
C
2
4 6
D
2
6 9

1 F
E C
3
2
4 2
4
D
3
7
2
5
若用穷举法求解，计算量大，且容易遗漏某一 路径。
本例可将其划分为五个阶段，用动态规划原理 求其最短路径。 思路： 从A站出发应经过哪些站点到F站的总长度最 短？若已作出从ABi中之一决策，之后的问题变 为，从各Bi站点经哪些站点到F点的总长度最短， 仍为一多阶段决策问题，与前一问题相似，解决方 法也相似，只是少了一个阶段，问题变小了，若后 一问题解决了，则前一问题也解决了。
运筹学教案
动态规划
陈安明
概述
动态规划为运筹学的一个分支，是用于求解 多个阶段决策过程的最优化数学方法。
理论基础：
美国数学家贝尔曼（Richard Bellman)研 究提出的最优化原理（Principle of Decision) 把多阶段过程转化为一系列单阶段问题，逐个 求解，创立一类求解多阶段过程优化问题的方 法——动态规划（Dynamic Programming)
其中 是满足单调性的某种运 算，如加法 或乘法 * 等运算
K=1时称为全过程的指标函数。
一般地，其可分性写为
V v ( x , u ) v ( x , u ) V k , n j j j k k k k 1 , n
以前述求最短路为例说明动态规划问题中概念。 阶段与阶段变量
决策：处理问题时，从多个方案中作出的一某 种选择。 阶段：为解决复杂问题而把一个过程划分为若 干个相互区别又相互联系的部分。 一般地，一个决策可从一个阶段变到另一阶段。
阶段的划分依据：
阶段一般是根据，（1）时间（2）空间等自然 特征来划分。（3）也可以是其他人为方式。