运筹学第五章动态规划2

(4) 允许决策集：Dk (sk ) (xk , yk ) 0 ≤ yk ≤ sk ;0 ≤ xk ≤1000 (sk yk )
状态转移方程：sk1 sk xk yk , s1 500 k 4,3,2,1 其中s5 表示第四阶段末的状态； (5) 阶 段指 标 ：vk (sk , xk , yk ) qk yk pk xk ，k 4,3,2,1 ；
5.2.5 动态规划和静态规划
线性规划和非线性规划所研究的问题，通常都是与时间 无关的，故又可以称为静态规划；
两类规划在很多情况下原则上是可以相互转换的 。动
态 规 划 可 以 看 作 是d1,求d2,L , dn ,
使 得 指 标 v1n (d1, d2,函L , d数n )
达到最优的极值问题，状态转移方程，起始条件以及允许
f4 (D2 ) min
D2 E
min d4 (D2 )D4 (D2 )
v4 (D2 , d4 (D2 ))
v4 (D2 , D2E)
s4 T3 (C3, d3 (C3 ))
D3 (C3 ) {C3D1,C3D2}
s5 T4 (D1, d4 (D1)) D4 (D1) {D1E}
可以求得 A E 的最短距离12，然后根据计算过程中的记录， 反向追踪可求得最短路线，最短路线为
A B3 C2 D2 E 。
注：而事实上，从各点到 E 的最短路线和最短路线距离都 求出来了。
动态规划最优性原理：“作为整个过程的最优策略具 有这样的性质，即无论过去的状态和决策如何，对前面的 决策所形成的状态而言，余下的诸决策必然构成最优策 略。”
f3 (C3 )
min
CC33
D1 D2
f4 (D1) f4 (D2 )
min
d3 (C3 )D3 (C3 )
v3 (C3, d3 (C3 ))
f4 (s4 )
f4 (D1) min
D1E
min d4 (D1 )D4 (D1 )
v4 (D1, d4 (D1))
v4 (D1, D1E)
f4 (s4 )
s4 T3 (C1, d3 (C1)) D3 (C1) {C1D1,C1D2}
f3 (C2
)
min
CC22
D1 D2
f4 (D1) f4 (D2 )
min
d3 (C2 )D3 (C2 )
v3 (C2 , d3 (C2 ))
f4 (s4 )
s4 T3 (C2 , d3 (C2 )) D3 (C2 ) {C2D1,C2D2}
第五章 动态规划
动态规划简介
动态规划所解决的问题：多阶段问题
动态规划的核心。 核心: 在于将问题公式化，也可以说，动态规划是将 多阶段决策问题进行公式化的一种技术。
动态规划的应用。 应用:工程、军事和商业等领域
动态规划的优缺点。
优缺点:适用范围广，模型算法一体化，方便编程。一 方面是大量的中间计算结果要求记录，造成对内存的 较大需求；另一方面是由于没有统一的标准模型，使 得动态规划的应用难度增加 。
(3) 确定决策变量 dk (sk )及每个阶段的允许决策集Dk (sk ) ；
(4) 写出状态转移方程；
(5) 指出阶段指标及指标函数；
(6) 写出最优函数。
5.2 动态规划的原理与求解
5.2.1 动态规划的最优化原理
下面我们先研究一下例5.1这个特殊问题的求解。 最短路线问题有一个重要特性：如图
d3(C3) C3D1
当 时， ， ； ， 或 ； k 2
f2 (B1) 11 d2 (B1) B1C2 f2 (B2 ) 9 d2 (B2 ) B2C2 d2 (B2 ) B2C1
， 。 f2 (B3 ) 9 d2 (B3 ) B3C2
当 k 1 时， f1(A) 12，d1(A) AB3 。
(4) 状态转移方程： sk1 sk xk ； (5) 阶段指标：vk (sk , dk (sk )) vk (sk , xk ) gk (xk ) ； (6) 动态规划基本方程：
fk (sk )
xk
max
Dk (Sk
){gk
(
xk
)
fk 1(sk 1)}
fn1(sn1) 0
k n, n 1,L ,1
f3
(C3
)
d2
min
( B2 )D2
( B2
)
v2 (B2 , d2 (B2 ))
f3 (s2 )
B3C1 f3 (C1)
f2 (B3 )
min
B3C2
B3C3
f3 (C2 )
f3
(C3
)
d2
min
( B3 )D2
( B3
)
v2 (B3, d2 (B3 ))
f3 (s2 )
s3 T2 (B2 , d2 (B2 ))
6.指标函数与最优函数 记作： vkn (sk , Pkn (sk )) fk (sk )
5.1.2 动态规划的模型
一般地，动态规划模型包括5.1.1节(1)至(6)中所提 到的诸要素。很显然，要建立动态规划问题的模型，一 般可按以下步骤来进行： (1) 把问题的过程划分为恰当的个 n 阶段，引入阶段变 量 k； (2) 正确选择状态变量 s k ，使它既能描述过程的演变， 又能满足无后效性，同时给出状态可能集 S k ；
（顺序法和逆序法模型及其求解见板书）
5.3 动态规划应用举例
5.3.1 资源分配问题
所谓资源分配问题，就是将数量一定的一种或若干 种资源(如资金、原材料、机器设备、劳动力)恰当的分配 给若干个使用者，从而使得总的经济效益最大。资源分 配问题一般包括一种资源和多种资源的分配问题。
一种资源分配问题可叙述如下：设有数量为a 的某种
D2 (B2 ) {B2C1, B2C2 , B2C3}
s3 T2 (B3, d2 (B3 ))
D2 (B3 ) {B3C1, B3C2 , B3C3}
f3 (C1)
min
C1D1 C1D2
f4 (D1) f4 (D2 )
min
d3 (C1 )D3 (C1 )
v3 (C1, d3 (C1))
s5 T4 (D2 , d4 (D2 )) D4 (D2 ) {D2E}
在引入一个虚拟的第五阶段后，可将第五阶段到第 五阶段的指标记为 f5(s5) 0 ，上述过程则可以用一个带有 初始条件 f5(s5) 0 的递推公式来完全描述：
fk
(sk
)
dk
min
(sk )Dk
( sk
)
vk (sk , dk (sk ))
利用动态规划基本方程进行逐段计算，最后求得即为所 求问题的最大总收入。
注：利用动态规划基本方程进行逐段计算，最后求得即为 所求问题的最大总收入。
【例5.5】 某公司拥有三家连锁商店，拟将新招聘的5名员 工分配给甲、乙、丙三个商店，各商店得到新员工后，每 年盈利情况如表5-2所示。问分配给各商店各多少员工，才 能使得公司的总盈利最大？(单位：千元)
(1) 阶段变量：k n,n 1,L ,1 ,这里把资源分配给一个 或者几个使用者的过程作为一个阶段。
(2) 状 态 变 量 ：sk 表示分配用于生产第 k 种产品至第 n 种产品的原料数量；
(3) 决策变量： xk 表示分配给生产第 k 种产品的原料数，
允许决策集：Dk (sk ) xk 0 ≤ xk ≤ sk ；
将动态规划最优性原理应用于一般的多阶段问题求解 即可得到类似(5-2)的递推公式
fk
(sk
)
dk
min
(sk )Dk
( sk
)
vk (sk , dk (sk ))
fk 1(sk 1)
fn1(sn1) 0,
k n,L , 2,1
(5-3)
5.2.2 动态规划的逆序解法
下面以例5.2的求解为例，加深我们对这种方法的理解。 解 由5.1.1中所述，例5.2中问题的模型如下： (1) 按月份分段：k 4,3,2,1 ；
f3 (C1) f3 (C2 )
min
d2 ( B1 )D2 ( B1 )
v2 (B1, d2 (B1))
f3 (s2 )
s3 T2 (B1, d2 (B1)) D2 (B1) {B1C1, B1C2}
B2C1 f3 (C1)
f2 (B2 ) min B2C2
B2C3
f3
(C2
)
【例5.2】 未来四个月里，利用一个仓库经销某 种商品。该仓库的最大容量为1000件，每月中旬定 购商品，并于下月初取到订货。据估计：今后四个 月这种商品的购价和售价，如表5-1所示。假定商品 在第一个月初开始经销时仓库已经存有该种商品500 件，每月市场不限，问：应如何计划每个月的订购 与销售数量，使这四个月的总利润最大(不考虑仓库 的存储费用)？
(2) 状态变量：sk 表示第 k 个月月初的库存量； (3) 决策变量：dk1(sk )表示第 k 个月已有库存 sk 的情况下，要 定购的商品量，dk2(sk )表示第 k个月已有库存 sk 的情况下，要
销售的商品量(为方便，后面将分别依次用 xk ，yk来代替dk1(sk ) 和dk2 (sk ))；
有
AB1 f2 (B1)
f1( A)
min
AB2
AB3
f
2
(
B2
)
f2
(
B3
)
min
d1 ( A)D1 ( A)
v1( A, d1( A))
f2 (s2 )
s2 T1(A, d1(A))
D1( A) {AB1, AB2, AB3}
f2 (B1)
min
B1C1
B1C2
5.1 动态规划的基本概念和模型
5.1.1 动态规划的基本概念
下面结合实例来介绍动态规划的基本概念： 【例5.1】 如图5.1所示，在处有一水库，现需从点铺设 一条管道到点，弧上的数字表示与其相连的两个地点之间 所需修建的渠道长度，请找出一条由到的修建线路，使得 所需修建的渠道长度最短。
图5.1 例5.1示图
2
A3
B
1
13
2
B
2
1
C 1
3
2
D
4
1
C
2
1
2
4
1
D
B
2
C
2
3
3
图5.3 例5.3示图
（模型及其求解见板书）
5.2.4 逆序解法与顺序解法的关系
从本质上讲，两种方法原理(除去其方向因素外)是相 同的，在具体的求解过程中，也都是将原问题转化为一 系列单个问题的求解。 但是，两种方法各有优势，如前 向法求解例5.3时，有明显的优势。一般的，当初始状态 给定时，用逆推法比较方便；当终止状态给定时，用顺 推法比较方便。 后向法求出了各点到目标地的最短路线； 而前向法求出了起点到各目的地的最短路线。
(6) 动态规划基本方程：
fk
(sk
)
( xk
max
, yk )Dk
( sk
)
vk (sk , xk , yk )
fk 1(sk 1)
f5 (s5 ) 0
k 4,3, 2,1
求解（要求板书） 辅图1
辅图2
辅图3
5.2.3 动态规划的顺序解法
【 例 5.3】 图 5.3 所 示 为 一 水 利 网 络 ， A 为 水 库 ， 分B1,别B2,为B3不; C同1,C的2,C供3;水D1目, D的2 地，试找出给各供水目的地供水 的最短路线。
fk 1(sk 1)
f5 (s5 ) 0,
k 4,3, 2,1
(5-2)
显然从 f5 (s5 ) 0 开始，有
当k 4时 当k 3 时
f4 (D1) 3
f3 (C1) 6
； d4 (D1) D1E f4 (D2 ) 4 d4 (D2 ) D2E ； ； d3 (C1) C1D1 f3 (C2 ) 7 d3 (C2 ) C2D2 f3 (C3 ) 6
ຫໍສະໝຸດ Baidu
表5-1 今后四个月这种商品的购价和售价
月份 k
1
购价 pk
10
售价 qk
12
2
8
9
3
11
13
4
15
17
动态规划基本概念
1.阶段与阶段变量 2.状态与状态变量 3.决策与决策变量 4.策略 5.状态转移方程
记作：k 记作： s k 记 作 ：dk (s k) 允许决策集 Dk (s k) 记作：Pkn (sk ) ， 记 作 ：sk1 Tk (sk , dk (sk ))
状态集，允许决策集等是约束条件，原则上它可以用线性
规划或非线性规划方法求解。反过来，一些静态规划只要
适当引入阶段变量、状态、决策变量等要素就可以用动态
规划方法来求解。
【例5.4】 用顺序法和逆序法求解下面静态规划
max f 4x1 8x2 2x32 12
x1 xi
x2 ≥ 0,i
x3 10 1, 2,3
资源，用于生产n 种产品，若以数量为xi 的资源投入第i
种产品的生产，其收益相应的为gi (xi )，问如何分配这种资 源，才能使得生产 n 种产品的总收入最大？
其静态规划的数学模型的形式一般为：
n
max f gi xi i 1
n
i1
xi
a
xi ≥ 0，i 1，2，L ，n
转化成动态规划模型为：