动态规划模型ppt课件

d2 ( A1, C2 ) f3 (C2 )
6 9
最短线路是
A1
B2
A3
;
B4
B5
A6
8
d2 (B1, B2 ) f3 (B2 )
8 10
f2 (B1)
mind2 (B1,C2 )
f
3
(C
2
)
min7 9
16
d2 (B1, D2 ) f3 (D2 )
6 12
最短线路是 B1 C2 B3 B4 B5 A6
动态规划模型
例1：最短线路问题
问题：现选择一条从 A0到 A6 的铺管线路，
使总距离最短？
若用穷举法要算2×3×2×2×2×1＝48种不同
线路，比较这48种结果即可得出，但当段数增加，
且各段选择也增加时，穷举法将变得非常庞大，以
至利用计算机都十分困难。;
1
下面用动态规划的方法计算
最短线路问题的特性： 如果最短线路在第k站通过点Pk ，则这一线路在 由Pk 出发到达终点的那一部分线路，对于从Pk 点到 达终点的所有可能选择的不同线路来说，必定也是 距离最短的。（反正法） 最短线路问题的这一特性启示我们，从最后一段 开始，用从后向前逐步递推的方法，求出各点到 A6 的最短线路，最后求得从 A0到 A6 的最短线路。
态时的决策变量。
决策变量限制的范围称为允许决策集合。
用 Dk ( xk ) 表示第k阶段从 xk 出发的决策集合。
４、策略 由每阶段的决策 ui (xi ) (i＝1,2,…,n)组成的决策
函数序列称为全过程策略或简称策略，用p表示，
即
P( x1) {u1( x1),u2 ( x2 ),, un ( xn )}
阶段求解，描述阶段的变量; 称为阶段变量。
10
上例分六个阶段，是一个六阶段的决策过程。 例中由系统的最后阶段向初始阶段求最优解的过程 称为动态规划的逆推解法。
２、状态 状态表示系统在某一阶段所处的位置或状态。
上例中第一阶段有一个状态，即{A0}；
第二阶段有两个状态，即{A1, B1}；
过程的状态可用状态变量 xk来描述，某个阶
;
12
由系统的第k个阶段开始到终点的决策过程称 为全过程的后部子过程，相应的策略称为后部子 过程策略。
用 Pk ( xk )表示k子过程策略，
即
Pk ( xk ) {uk ( xk ), uk1( xk1),, un ( xn )}
对于每一个实际的多阶段决策过程，可供选
择的策略有一定的范围限制，这个范围称为允许策 略集合。
段所有可能状态的全体可用状态集合来描述，
如S1 {A0} S2 {A1, B1}, S3 {A2, B2,C2, D2}
;
11
３、决策
某一阶段的状态确定之后，从该状态演变到下一 阶段某一状态所作的选择称为决策。描述决策的变 量称为决策变量
如上例中在第k阶段用uk ( xk )表示处于 xk 状
, ,
A5 B5
) )
f6 ( A5 )
f
;
6
(
B5
)
min
3 5
4 3
3
7
最短线路是
A4 A5 A6
f5 (B4 )
min
dd55
( (
B4 B4
, ,
A5 B5
) )
f6 f6
( A5 (B5
) )
min
5 2
4 3
5
最短线路是 B4 B5 A6
f5 (C4 )
min
dd55
min
dd33
( (
D2 D2
, ,
B3 C3
) )
f f
4 4
(B3 (C3
) )
8 6 min4 8
12
最短线路是 D2 C3 B4 B5 A6
k＝2时：
d2 ( A1, A2 ) f3 ( A2 )
113
f2 ( A1) mind2 ( A1, B2 ) f3(B2 ) min3 10 13
出发点只有 A0
f1( A0 ) min
d1 d1
( (
A0 , A0 ,
A1) B1)
f2 ( A1) f2 (B1)
5 min3
13 16
18
最短线路是 A0 A1 B2 A3 B4 B5 A6
最短距离为18。
;
9
说明
1)此例揭示了动态规划的基本思想。
2)动态规划方法比穷举法（48种）大大节省了计算量。
f4 (B3 )
min
d d
4 4
( (
B3 B3
, ,
B4 C4
) )
f5 (B4 ) f5 (C4 )
min1259
6
最短线路是 B3 B4 B5 A6
;
5
f4 (C3 )
min
d d
4 4
(C3 (C3
, ,
B4 C4
) )
f f
5 5
(B4 (C4
) )

3 5 min3 9 8
最短线路是 C3 B4 B5 A6
k＝3时：
f3 ( A2 )
min
dd33
( (
A2 A2
, ,
A3 B3
) )
f f
4 4
( (
A3 B3
) )
6 7 min8 6
13
最短线路是 A2 A3 B;4 B5 A6
6
f3 (B2 )
min
dd33
( (
B2 B2
, ,
A3 B3
;
2
k＝6时：
设 f6 ( A5 )表示由 A5 到 A6 的最短距离；
设f6 (B5表) 示由B5 到 A6 的最短距离；
显然 f6 ( A5 ) 4 f6 (B5 ) 3
k＝5时：
如果 f5 ( A4 )表示由 A4 到 A6 的最短距离。
（以下类似定义）
f
5
(
A4
)
min
d d
( (
A4 A4
3)计算结果不仅得到了 A0到 A6 的最短线路和最短距
离，而且得到了其它各点到 A6 的最短线路和最短距离， 这对于很多实际问题来说是很有用处的。
动态规划法求解的数学描述 讨论动态规划中最优目标函数的建立，一般有下 列术语和步骤：
１、阶段
用动态规划求解多阶段决策系统时，要根据具体
情况，将系统适当地分成若干个阶段，以便分若干个
(C (C
4 4
, ,
A5 B5
) )
f f
6 6
( (
A5 B5
) )
min66
4 3
9
最短线路是 C4 B5 A6
;
4
k＝4时：
f4 ( A3)
min
d d
4 4
( (
A3 A3
, ,
A4 B4
) )
f5 f5
( (
A4 B4
) )
min
2 2
7 5
7
最短线路是 A3 B4 B5 A6
) )
f f
4 4
( A3 (B3
) )
3 7 min5 6
10
最短线路是 B2 A3 B4 B5 A6
f3 (C2 )
min
d3 d3
(C2 (C2
, ,
B3 C3
) )
f4 (B3) f4 (C3)
min33
6 8
9
最短线路是 C2 B3 B4 B5 A6
;
7
f3(D2 )