第4章 动态规划

指标函数表示为 Vkn(sk)=Vkn(sk,pkn(sk)) = Vkn(sk,dk,sk+1,dk+1,…sn,dn) . 或记为 Vkn(sk) =∑vi (si , di (si )). 其中vi (si , di (si ))表示第 i 阶段的初始状态为si , 且 采取决策di(si)时该阶段的指标值. 指标函数Vkn(sk)的最优值称为最优指标函数, 记为fk(sk).它表示从第k阶段的状态sk开始, 选取最 优策略(或最优后部子策略)后,得到的指标函数. 在例1中, f1(A)表示从始点A到终点E的管线最 短长度.
下面利用上述分析建立解析式求解例1
原问题分为四个阶段, A→B, B→C, C→D, D→E,即n=4; sk表示第k阶段初管线已达位置 (k=1,2,3,4)； dk(sk)表示在第k阶段拟把管线铺达的下一站 位置; vk(sk,dk(sk))表示从sk到dk(sk)之间的管道线段 的长; fk(sk)表示从sk出发至终点E按最佳线路铺设 时的最短管线长. 按过程发展的反向顺序计算可得
2. 状态(state)与状态变量 (state variable) 状态表示每个阶段开始时, 过程所处的自 然状况,它应能描述过程的特征并且无后效性. 描述状态的变量称状态变量. 用 sk 表示第k 个阶段的状态变量. 允许状态集合(set of admissble states):称变 量的允许取值范围为允许状态集合. 用 Sk 表示第 k阶段的允许状态集合.
6. 阶段指标(step objective) 阶段指标是衡量决策过程中某一阶段决策效 果的一种数量指标. 第 k 阶段初始状态为sk且采取决策dk(sk)时的 阶段指标记为vk(sk, dk(sk)). 7.指标函数(objective function)与最优指标函 数(optimal objective function) 指标函数是衡量多阶段决策效果的一种数量 指标, 它是定义在全过程或所有后部子过程上的 确定的数量函数.
B
2
1
A
3
4
6 3
7 4 2
C
1
3 4 6 D
1
3 E
B
2
C
2
4 6
5
B
3
2
3 3
3
D
2
4
C
3
f2(B2)=min｛B2C1+f3(C1), B2C2+f3(C2), B2C3+f3(C3)｝ =min｛3+6*,2+7*,4+6｝=9 从B2到E的最短路线为B2→C1→D1→E或 B2→C2→D2→E; 最短管线长９, 最优决策为 d2*(B2)=C1或C2.
2
4 6
5
B
3
2
3 3
3
D
2
4
C
3
k=3时, f3(C1) = min｛v3(C1,d3(C1)) + f4(s4)｝ = min｛C1D1+f4(D1), C1D2+f4(D2)｝ = min｛3+3*,4+4｝= 6 从C1到终点E的最短路线是C1→D1→E;最短管 线长为6；最优决策为d3*(C1) = D1．
B
2
1
A
3
4
6 3
7 4 2
C
1
3 4 6 D
1
3 E
B
2
C
2
4 6
5
B
3
2
3 3
3
D
2
4
C
3
f3(C3) = min｛C3D1+f4(D1), C3D2+f4(D2)｝ = min｛3+3*,3+4｝=6 从C3到E的最短路线为C3→D1→Ｅ；最短管 线长为6;最优决策为d3*(C3)=D1
B
B
2
1
A
3
4
6 3
7 4 2
C
1
3 4 6 D
1
3 E
B
2
C
2
4 6
5
B
3
2
3 3
3
D
2
4
C
3
f3(C2) = min｛C2D1 + f4(D1), C2D2 + f4(D2)｝ = min｛6+3,3+4*｝=7 从C2到终点E的最短路线为C2→D2→E;最短 管线长为7；最优决策为d3*(C2)=D2
第4章 动态规划
4.1 4.2 4.3 4.4 引言 动态规划模型的基本结构 动态规划 的计算方向 动态规划 的求解形式
4.1 引言
动态规划(Dynamic Programming)又称为多阶 段规划(Multistage Programming),是解决多阶段决 策过程最优化的一种数学方法, 是考察问题的一种 途径,也是运筹学的一个重要分支. 20世纪50年代初美国数学家 R.E.Bellman等人 在研究多阶段决策过程(multistep decision process) 的优化问题时, 提出了著名的最优性原理(principle of optima1ity), 即把一个较复杂的多阶段过程转化 为一系列单阶段问题,逐个求解, 从而创立了解决这 类过程优化问题的新方法—动态规划.1957年出版 了他的名著《Dynamic programming》, 这是该领 域的第一本著作.
按标号法反向顺序计算可得
11
B
6
6 3 7 4 2 C 3
3
D
12
A
2 4 3
9
B
1
7
C
1
4
6 3 3 3
3
E
4
D
2
1
9
B
3
2
4 6
5
6
2
4
2
C
3
因此,该问题的最优路线为A→B3→C2→D2→E,总 管线长度为12单位.
4.2 动态规划模型的基本结构
4.2.1 动态规划的基本概念 一个多阶段决策过程最优化问题的动态规 划模型通常包含以下要素. 1. 阶段(step) 把所给问题的过程,恰当地划分为若干个相 互联系的阶段, 以便按阶段的次序解优化问题. 通常用k表示阶段变量, 阶段总数记为n.
B
2
1
A
3
4
6 3
7 4 2
C
1
3 4 6 D
1
3 E
B
2
C
2
4 6
5
B
3
ቤተ መጻሕፍቲ ባይዱ
2
3 3
3
D
2
4
C
3
k=1时, f1(A) = min｛AB1+f2(B1), AB2+f2(B2), AB3+f2(B3)｝ = min｛2+11,4+9,3+9*｝=12 从A到E的最短路线为A→B2→C2→D2→E； 最短管线长为12，最优决策为d1*(A)=B3.
注意: 无后效性是指当某阶段的状态给定时,这个 阶段以后过程的演变与该阶段以前各阶段的状态无关, 通常还要求状态是直接或间接可以观测的.
3. 决策(decision)与决策变量(decision variable) 决策是指在某一阶段状态绐定以后, 从该状 态演变至下一阶段某状态的选择． 描述决策的变量称为决策变量,用dk(sk)表示 第k阶段处于状态为sk 时的决策变量, 它是状态sk 的函数. 决策变量的变化范围称为决策集合,用Dk (sk) 表示第k阶段状态为sk 时的决策集合. 如例l中，D1(A)={B1，B2，B3}． 注意:决策的实质是关于状态的选择.
最短路线问题 如图,给出一个线路网络,两点间连线上的数 字表示两点间的距离,试求一条由A到E的铺管线 路, 使总距离为最短.
B 2 A 3
1
例
4
6 3 4 6
7 4 2
C
1
3 4 6 3 3 D
1
3
B
2
C
2
E
4
D
2
B
3
2 5
C
3
3
B 2 A 4
1
6 3
4 6
7 4 2
C
1
3 4 6 3
D
1
3 E 4
B
2
1
A
3
4
6 3
7 4 2
C
1
3 4 6 D
1
3 E
B
2
C
2
4 6
5
B
3
2
3 3
3
D
2
4
C
3
f5(s5)= f5(E)=0. k=4时, f4(D1) = min｛D1E+f5(E)｝= 3+0 = 3. 同理可得 f4(D2)=4.
B
2
1
A
3
4
6 3
7 4 2
C
1
3 4 6 D
1
3 E
B
2
C
5. 策略(policy)与(后部)子策略 决策组成的序列称为策略. 由过程的第一阶 段到终点的各阶段决策dk(sk)所组成的决策序列 (其中k=1,2,…,n),称为全过程策略,简称策略; 记为 p1n(s1)=(d1(s1),d2(s2),…,dn(sn)); 全部策略构成策略集,记为P1n(s1). 从第k阶段状态sk开始,到终点的过程称为全 过程的后部子过程.其相应的决策序列 pkn(sk)=(dk(sk),dk+1(sk+1),…,dn(sn)) 称 为k后部子策略,简称子策略,后部子策略的全体记 为Pkn(sk).