运筹学第七章动态规划PPT课件

连续确定型
连续随机型
决策n
应用：最优调度、资源分配、最优路径 最优控制、设备更新、库存问题
动态规划的基本概念
2
4 A
5
B1 3 6
8 7
B2 7
k=1 k=2
C1 5 8
4 C2 5
3 C3 4
84 C4
k=3
D1 3
5 E1 4
6
D2 1
2
3F
3 E2
D3
k=4
k=5
1、阶段
阶段变量：k 2、状态
f 5 ( E1) = 4
u*5 ( E 1 ) = F
f 5 ( E2) = 3
u*5 ( E 2 ) = F
k=4
S 4 ={ D1 , D2 , D3 }
f4 (D 1 ) m d d ( (D D i1 1 ,,n E E 1 2 ) ) f f5 5 ( (E E 1 2 ) ) m 5 3 i3 4 n 7
（2）过程指标函数 V k , n ( s k , p k , n )： 从第k阶段状态 s k 开始到终点，采用某个子策略 p k , n 时，按预定标准得到的效益值。 V1,n( s 1 , p 1,n)
fk (sk)V k ,n (sk,p * k ,n)
第k阶段到第n阶段的最优指标函数 f1(s1)V 1,n(s1,p* 1,n)全过程的最优指标函数
允许决策集合：D k ( s k ) u k(s k) ∈ D k ( s k )
（2）策略：
各阶段的决策确定后，整个问题的决策序列就构 成一个策略。p 1 , n { u 1(s 1) , u 2(s 2) , … , u n(s n) }
子策略：从某个阶段开始到过程最终的决策序列 p k , n { u k(s k) , u k+1(s k+1) , … , u n(s n) }
C4
2 C1 5
4
B1
3 6
8 4 C2 5
D1 3 5
6
E1 4
A
58 7
B2 7
3 C3 4
84
D2 1
2
3
D3
3 E2
F
C4
解：该问题划分为5个阶段 k=1,2,3,4,5 sk 表示各 阶段的状态， f k ( sk)表示从第k阶段状态sk到终点 F的最短距离
k=5
S 5 ={ E1 , E2 }
f3 (C 2 ) m d d ( (iC C 2 2 n ,,D D 1 2 ) ) f f4 4 ( (D D 1 2 ) ) m 5 4 i5 7 n 1
u*3 ( C 2 ) = D2
f3 (C 3 ) m d d ( (C C i3 3 ,,n D D 3 2 ) ) f f4 4 ( (D D 3 2 ) ) m 4 3 i5 5 n 8
每个阶段开始所处的自然状态或客观条件
状态变量：s k
状态集合：S k
s k∈ S k
无后效性：如果某阶段的状态给定，这阶段以后 过程的发展不受这阶段以前各阶段状态的影响
3、决策、策略
（1）决策：某阶段状态确定后，为确定下一阶段的状 态，所作出的决定（选择）。
决策变量：u k(s k) 表示第k阶段状态为s k时的决策
第七章 动态规划
动态规划的基本概念和基本原理 动态规划的基本思路 动态规划模型的建立 动态规划思路求解静态问题
整体概述
概述一
点击此处输入
相关文本内容
概述二
点击此处输入
相关文本内容
概述三
点击此处输入
相关文本内容
2
多阶段决策过程
状态1
状态2
状态3
状态n
决策1
决策2
……
动态规划的分类：
离散确定型
离散随机型
最优策略： p* 1 , n 4、状态转移方程
从s k的某一状态值到下阶段s k+1某一状态值的转
移规律
状态转移方程：s k+1 = T k ( s k , u k )
5、指标函数： 衡量策略优劣的数量指标 （1）阶段指标函数：dk ( s k , u k )表示第k阶段，
从状态s k 出发，采取决策u k 时的效益
动态规划的基本思路
求解离散确定型动态规划，以最短路问题为例
逆序法：
(13) 2
B1 3
(17) 4
Biblioteka Baidu
6
A 5 (15)8 7
B2 7
(12) C1 5
8 (10)4 C2 5
(8) 3
C3 4
(9) 8 4
(7)
D1 3 (5) 6 5
(4) E1 4 (0)
D2 (5)1
2 3
(3) E2
3
F
D3
u*4 ( D 3 ) = E1
k=3
S 3 ={ C1 , C2 , C3 , C4 }
f3 (C 1 ) m d d ( (iC C 1 1 n ,,D D 1 2 ) ) f f4 4 ( (D D 1 2 ) ) m 8 5 i5 7 n 1
u*3 ( C 1 ) = D1
u*2 ( B 1 ) = C2
f2(B 2)m d d i((B B n 2 2,,C C 3 2)) ff3 3((C C 3 2)) m 7 8 i n 1 8 0 15 d (B 2,C 4)f3(C 4) 79
u*2 ( B 2 ) = C3
k=1
S 1 ={ A }
f1 (A ) m d d ( (iA A ,,n B B 1 2 ) ) f f2 2 ( (B B 1 2 ) ) m 5 4 i1 1 n 5 3 17
u*3 ( C 3 ) = D2
f3 (C 4 ) m d d ( (C C i4 4 ,,n D D 3 2 ) ) f f4 4 ( (D D 3 2 ) ) m 4 8 i5 5 n 9
u*3 ( C 4 ) = D3
k=2
S 2 ={ B1 , B2 }
f2(B 1)m d d i((B B n 1 1,,C C 1 2)) ff3 3((C C 1 2)) m 3 2 i n 1 1 0 2 13 d (B 1,C 3)f3(C 3) 68
u*4 ( D 1 ) = E1
f4 (D 2 ) m d d ( (D D i2 2 ,,n E E 1 2 ) ) f f5 5 ( (E E 1 2 ) ) m 6 2 i4 3 n 5
u*4 ( D 2 ) = E2
f4 (D 3 ) m d d ( (D D i3 3 ,,n E E 1 2 ) ) f f5 5 ( (E E 1 2 ) ) m 1 3 i4 3 n 5