动态规划(运筹学)

k阶段的允许决策集合
四、状态转移方程 sk+1与sk,xk之间必须能够建立一种明确的数量对应关系，记为
Tk(sk,xk), 即有 sk+1 = Tk(sk,xk)
这种明确的数量关系称为状态转移方程。
五、策略
由各阶段决策xk构成的决策序列,称为全过程策略,简称策略,记为
p1(s1),有
p1(s1) = { x1(s1),x2(s2),… ,xn(sn)} ∈P1
xk∈Xk
f*n+1(sn+1) = 1 积 f*k(sk)xk=∈Xok pt {vk(sk,xk) ×fk+1*(sk+1)}
k = n, n-1, …, 2, 1 k = n, n-1, …, 2, 1
11
三、基本步骤
1°建立模型
(1) 划分阶段，设定 k (2) 设定状态变量 sk
(3) 设定决策变量 xk
3） 阶段指标函数。第k阶段装载 件货物时所创的利润 。 vk xk
4） 函数的基本方程为
fk
sk
opt
xk Dk sk
vk xk fk1 sk wk xk k 1, 2,3
sk 0,1, ,6
f4
s4
0
k=3时
w3 4, v3 18
s3 0,1, , 6
x3
0,1,
六、运输时间须控制在合理范围之内（如集装箱干线船的班期）。
ZH物流公司是一家大型的集装箱多式联运经营企业，在成都设有内 陆集装箱货运站（CFS），经营成都——上海间集装箱货物运输服务，其多式 联运通道的主要节点城市为南京与郑州。现有一个货主需要将2个20英尺的集装 箱从成都运往上海，运输路线为成都-郑州-南京-上海，要求在货物起运后2530小时之内到达目的地。
通常情况下，多式联运组织优化问题具有如下几个方面的特点：
一、两地之间集装箱货物运输有三种可选的运输方式（公路、铁路、水路运输）
二、集装箱的中转过程有很好的衔接
三、集装箱运量不可以分割，在某两个特定的地点之间，只能选择一种运输方式 四、集装箱运量对运输价格及运输时间没有明显的影响 五、集装箱运输能力几乎不受限制
(4) 建立状态转移方程 (5) 确定指标函数 vk，fk* (6) 建立函数基本方程
2°递推(逆推)求解 3°得出(顺推)结论
12
20
8
2
19
c 12
14
14 6
d
3
5
7
9
g
5
5 s
10 b
6 e
4
5
1
19 13
12
8
h
2
d1(s)=b
12
a
k=1
11
k=2
f
10
2
k=3
d2(b)=d d3(d)=g
0+0 — —
3
0+0 13+0 —
4
0+18 13+0 —
5
0+18 13+0 —
6
0+18 13+0 26+0
s x1
8x1 f2 s1 2x1
1
0Байду номын сангаас
1
23
6 0+26 8+18 16+0 24+0
f3
x3
s4
0
0
0
0
0
1
0
0
2
0
0
3
18
1
0
18
1
1
18
1
2
f2
x2
s3
0
0
0
0
0
1
0
0
2
13
18
0
4
5
0+18 13+0 —
18
0
5
6
0+18 13+0 26+0
26
2
0
k=1时
w1 2, v1 8
s1 6
x1
0,1,
,
s1 2
0,1,
2,
3
f1
s1
max
x1 0,1,2,3
8x1
f2
s1 2x1
s1 6
阶段
x1
8x1 f2 s1 2x1
s1
0
1
23
f1
如何制定 运输方式 组合优化 方案使在 满足客户 需求的条 件下降低 集装箱运 输总成本？
公路运输 铁路运输 水路运输
成都-郑州
1474 1353
/
郑州-南京
704 695
/
南京-上海
349 303 392
运输方式 铁路运输
运 载 工 具 速 70 度(km/h)
公路运输 100
水路运输 36
运输方式 铁路运输 中转时间(h) 7
第六章 动态规划
第一节：现实中的动态规划问题 第二节：动态规划基本概念 第三节：动态规划的基本方法 第四节：动态规划的应用
多式联运是一种以实现货物整体运输最优化为目标的联合运输组织形式，它以集
装箱为媒介，把水路、公路、以及铁路等多种运输方式有机地结合起来，构筑连续的 、综合性的一体化货物运输网络。在集装箱多式联运系统中，各种运输方式的组织优 化直接关系到货物运输的费用、时间和运输质量。
公路运输 3
水路运输 18
多阶段决策问题
阶段、决策、策略
动态规划的基本特性（多阶段决策问题的基本特性）
Q = S1 S2 … Sk Sk+1 … Sn
T
反证法容易得证。
S’k+1 … S’n
若 {S1 , … , Sk , Sk+1 , … , Sn , T} 全程最优
则 {Sk+1 , … , Sn , T}
步骤2，确定状态变量。设状态变量为 可用于装载第k种至第n种货物的装载量
。
s1 6
sk
0,1, 2,3, 4,5, 6k
2, 3
1） 确定决策变量。设决策变量表示第k种货物的装载件数
xk Dk xk 0,1,
2） 状态转移方程为
,
sk wk
k
1, 2,3
sk1 sk wk xk
d1(s)=b
f3
d
min
d3 d3
d d
, ,
g h
f4 f4
g
h
min
3 9
5 2
d4(g)=t
=8
d3 d g
最优策略： p1(s1)={s,b,d,g,t｝
最优值： f*1(s)=19
t
k=4
f4 g =5
d4 g t
WVii
今有一辆载货量为6t的载货车，现有3种需要运输的货物， 均可用此载货车装运。若已知这4种货物每一种的质量和运输例 如表6-4所示。在载货量许可的条件下，每车装载每一种货物的
件数不限，应如何搭配这四种货物，才能使每车装载货物的利 润最大？
货物种类 每件质量（t） 每件运输利润（百元）
1
2
8
2
3
13
3
4
18
该问题中的货车可以看做是一个背包，需运载的货物为要装入背 包的物品。
该问题可以看作是一个3阶段的动态规划问题。
14
步骤1，划分阶段。设每装一种货物为一个阶段，k=1,2,3。
1
0
18
0
4
18
0
5
26
2
0
f1
x1
s2
26
0，1 6,4
x1 0, x2 2, x3 0 x1 1, x2 0, x3 1
二、状态
状态表示某段的初始条件。用sk表示第k段的状态，称为第k段 状态变量。 sk∈Sk
三、决策
是指人们对某一阶段活动中各种不同的行为或方案或途径等的 一种选择。
用xk表示第k段的决策，称为第k段决策变量。由于决策随状态
而变,所以决策变量xk是状态变量sk的函数,记为 xk= xk(sk)
xk sk Dk sk
s2 3
0,1,
2
f2
s2
max
x3 0,1,2
13x2 f3 s2 3x2
s3 0,1, ,6
阶段 k=2
x2
s2
13x2 f3 s2 3x2
01
2
f2
x2
s3
0
0+0 — —
0
0
0
1
0+0 — —
0
0
1
2
0+0 — —
0
0
2
3
0+0 13+0 —
13
1
0
4
0+18 13+0 —
k=1
6 0+26 8+18 16+0 24+0
26
x1
s2
0，1 6,4
f1 s1 =26
阶段 k=3
阶段 k=2
阶段
k=1
s3 x3 0
0
0
1
0
2
0
3
0
4
0
5
0
6
0
18x3
1
— — — — 18 18 18
x2
13x2 f3 s2 3x2
s2
01
2
0
0+0 — —
1
0+0 — —
2
常用函数： 积函数
和函数
fk(sk,xk)
=
n
vi(si,xi)
i= k
fk(sk,xk) =
n
i= kvi(si,xi)
∈P1
9
七、最优解
(1) 最优指标函数 fk*(sk) = opt {fk(sk, pk(sk))}, k=1,2,…,n pk∈Pk
(2) 最优策略 能使上式成立的子策略pk*称为最优子策略，记为 pk* (sk) = { xk*(sk),… ,xn*(sn)} 特别当k=1时,称为最优策略，记为 p1* (s1) = { x1*(s1),… ,xk*(sk),… ,xn*(sn)}
子程最优
5
动态规划方法的基本思路
最短路问题 —— 标号法
11 2
Q
4 3
11
7 A1 4
7
6 3
A2
2 4
8 41 A3 5
4
B1
1 4
3
7
C1 3
0
6
B2 3
4
T
63 3
B3
4 C2
阶段
1
2
3
4
动态规划的基本概念
一、阶段
把所研究的问题恰当的划分成若干个相互联系的阶段。用
k = 1，2，…，n 表示阶段序号，称为阶段变量。
而
pk(sk) = { xk(sk),xk+1(sk+1),… ,xn(sn)} ∈Pk
称为第k子过程策略，简称子策略。
8
六、指标函数
(1) 阶段指标函数 用vk(sk,xk)表示第k段处于sk状态且所作决策为xk 时的指标，则它就是第k段指标函数，简记为vk。
(2) 过程指标函数
用fk(sk,xk)表示第k子过程的指标函数。 它是各vk的累积效应。
(3) 最优决策
构成最优策略的决策称为最优决策，记为xk*。 (4) 最优值：最优策略对应的最优指标 f*1
一、最优化原理 作为一个全过程最优策略具有这样的性质：
无论过去的状态和决策如何，对前面所形成的状态而言， 余下的诸决策必构成最优策略。
二、函数基本方程
和
f*n+1(sn+1) = 0
f*k(sk) = opt {vk(sk,xk)+fk+1*(sk+1)}
,
s3 4
0,1
f3
s3
max
x3 0,1
18 x3
s3 0,1, ,6
阶段
x3
18x3
s3
0
1
0
0
—
k=3
1
0
—
2
0
—
3
0
—
4
0
18
5
0
18
6
0
18
f3
x3
s4
0
0
0
0
0
1
0
0
2
0
0
3
18
1
0
18
1
1
18
1
2
k=2时
w2 3, v2 13
s2 0,1, , 6
x2
0,1,
,