数学建模(动态规划)

uk (sk ) 表示第k阶段当状态处于sk时的决策变量。
例如：u3(C2) = D1 表示走到C阶段,当处于C2 路口时，下一 步到D1. 决策变量允许的取值范围称为允许决策集合，第k阶段状态为 sk 时的允许决策集合记为 Dk (sk ) ，例如：D2 (B1) = {C1,C2,C3}
策略：一个按顺序排列的决策组成的集合。由每段的决策 按顺序排列组成的决策函数序列 称为k子过程策略。简称子策略，记为 。即
相应的决策为：u
* 4
(D2
)
=
E2.
4
A
5
2
B1 3
6
8 7
B2
7
C1
5
8
4
C2 5
3
C3 4
8
C4 4
D1
3
5 6
D2 2
1
D3
3
u5*(E1) = F ,
u5* (E2 ) = F.
E1
4
F
3
E2
u
* 4
(
D1
)
=
E1.
u
* 4
(
D
2
)
=
E2.
f 4 ( D3 ) = min{ d 4 ( D3 , E1 ) + f 5 ( E1 ), d 4 ( D3 , E 2 ) + f5 ( E 2 )}
二、多阶段决策问题的特点 过程可分为若干个相互联系的阶段；每一阶段都对应
着一组可供选择的决策；每一决策的选定即依赖于当前 面临的状态，又影响以后总体的效果。
动态规划问题及实例
三、具体实例 1、最短路线问题
给定一个线路网络，要从A向F铺设一条输油管道，各点间连 线上的数字表示距离，问应选择什么路线，可使总距离最短？
u5*(E1) = F , u5*(E2 ) = F.
4
A
5
2
B1 3
6
8 7
B2
7
C1
5
8
4
C2 5
3
C3 4
8
C4 4
D1
3
5 6
D2 2
1
D3
3
u5*(E1) = F ,
u5* (E2 ) = F.
E1
4
F
3
E2
（2）k=4 时，状态 S 4 = {D1 , D2 , D3} 它们到F 点需经过中途 点E，需一一分析从D 到 F的最短路：先说从D1到F 的最短路 有两种选择：经过 E1, E2, 比较最短。
动态规划模型的分类：
以“时间”角度可分成：离散型和连续型。
从信息确定与否可分成：确定型和随机型。
从目标函数的个数可分成：单目标型和多目标型。
动态规划问题及实例
一、多阶段决策过程 多阶段决策过程是指这样一类特殊的活动过程，他们可以
按时间顺序分解成若干相互联系的阶段，在每个阶段都要做 出决策，全部过程的决策是一个决策序列，所以多阶段决策 过程也称为序贯决策过程。这种问题就称为多阶段决策问题。
状态的位置 状态转移方程 uk (sk ) ：上一阶段到下一阶段的转移规则
指标函数 离
：从状态出发，采取决策时的路程距
最优指标函数
：第k阶段状态为 sk 时且采用最
佳走线策略，使从k位置及以后的路线最短。
2
C1
5
8
B1 3
4
D1
3
4
6
C2 5
5
E1
4
6
A
5
8 7
3
C3 4
B2
7
8
C4 4
D2 2
1
是指第k阶段从状态 sk 出发，采取决策 u k 时的效益，用
vk (sk ,uk ) 表示。而过程指标函数是从第k阶段的某状态出发，
Hale Waihona Puke 采取子策略时所得到的阶段效益之和：
最优指标函数：表示从第k阶段状态为 sk 时采用最佳策略
到过程终止时的最佳效益。记为
其中 opt 可根据具体情况取max 或min。
动态规划的基本概念与原理
一。基本概念
阶段：是指问题需要做出决策的步数。阶段总数常记为n，相 应的是n个阶段的决策问题。阶段的序号常记为k，称为阶段 变量，k=1,2, …,n. k即可以是顺序编号也可以是逆序编号， 常用顺序编号。 状态：各阶段开始时的客观条件，第k阶段的状态常用状态
变量 sk 表示，状态变量取值的集合成为状态集合，用 Sk
3
C3 4
8
C4 4
u
* 4
(
D3
)
=
E1.
D1
3
5
E1
6
D2 2
1
E2
D3
3
S4 = {C1, C2 , C3, C4}
u5*(E1) = F ,
u5*(E2 ) = F.
4
F
3
u
* 4
(
D1
)
=
E1.
u
* 4
(
D
2
)
=
E2.
f3 (C1 ) = min{ d 3 (C1 , D1 ) + f 4 ( D1 ), d 3 (C1 , D2 ) + f 4 ( D2 )}
D3
3
3
E2
F
逆序递推方程：
⎧⎪⎪⎨⎪⎪⎪⎩
f
fk (sk 6 (s6 )
)= =0
uk
min
∈Dk ( sk
{d
)
k
(
sk
,
uk
(
sk
))
+
fk+1(uk (sk ))}
k = 5, 4,3, 2,1
（1）k=5 时，状态 S 5 = {E1 , E 2 } 它们到F 点的距离即为
最短路。
f5 ( E1 ) = 4, f5 ( E 2 ) = 3;
= min{3 + 4,5 + 3} = 7.
这说明由 D1 到F 的最短距离为7，其路径为 D1 → E1 → F.
相应的决策为：u
* 4
( D1 )
=
E1.
4
A
5
2
B1 3
6
8 7
B2
7
C1
5
8
4
C2 5
3
C3 4
8
C4 4
D1
3
5 6
D2 2
1
D3
3
u5*(E1) = F ,
u5* (E2 ) = F.
E1
4
F
3
E2
u
* 4
(
D1
)
=
E1.
f 4 ( D2 ) = min{ d 4 ( D2 , E1 ) + f 5 ( E1 ), d 4 ( D2 , E 2 ) + f5 ( E 2 )}
= min{6 + 4,2 + 3} = 5.
这说明由 D2 到F 的最短距离为5，其路径为 D2 → E2 → F.
动态规划应用举例
例1 最短路线问题
基本思想：如果起点A经过B1,C1,D1,E1而到终点F，则由C1出 发经D1,E1到F点这条子路线，是从C1到F的最短路线。所以， 寻找最短路线，应该从最后一段开始找，然后往前递推。
状态变量 sk ：各路线的位置 决策变量 uk (sk ) ：第k阶段当状态处于 sk 时，决定下一个
即由 C4 到F 的最短距离为9，相应的决策为
u
* 3
(C
4
)
=
D3.
u
* 3
(C1
)
=
D1.
2
u
* 3
(C
2
)
=
D2.
B1
3
4
6
A
5
u
* 3
(C
3
)
=
D2.
8 7
B2
7
u
* 3
(C
4
)
=
D3.
f3 (C1 ) = 12
C1
5
8
4
C2 5
3
C3 4
8
C4 4
u
* 4
(
D3
)
=
E1.
D1
3
5
E1
6
D2 2
= min{5 + 7, 8 + 5} = 12.
这说明由 C1 到F 的最短距离为12，相应的决策为
u
* 3
(C1
)
=
D1.
u
* 3
(C1
)
=
D1.
2
f 4 ( D1 ) = 7 4
B1 3
6
A
5
8 7
f4 (D2 ) = 5 f4 (D3) = 5
B2
7
C1
5
8
4
C2 5
3
C3 4
8
C4 4
u
= min{1+ 4, 3 + 3} = 5.
即 D3 到F 的最短距离为5，其路径为 D3 → E1 → F.
相应的决策为：
u
* 4
( D3
)
=
E1.
f 4 ( D1 ) = 7
4
A
5
f4 (D2 ) = 5 f4 (D3) = 5
2
B1 3
6
8 7
B2
7
（3）k=3 时，状态
C1