动态规划(理论部分)汇编

以上面的例1来说明动态规划解决问题的思想。设：
Sk----第k阶段的起点（状态变量） dk(x, y) -----第k阶段的顶点 x 到顶点 y 的“距离”； fk(Sk) ------第k阶段从顶点Sk到终点的最短“路”长。
最短路线的重要特性就是：如果最短路线在第K站通过点Pk。 则由点Pk 出发到达终点的这条路线，对于从点Pk 出发到达终 点的所有可能选择的不同路经来说，必定也是最短路线。
B2 10
4 13
B3
12
11
C1
3
9
6
C2
5 8
C3
10
f4(D1)=5
D1
5 f5(E)=0
E
D2
2
f4 (D1) d (D1, E) f5 (E) 5 0 5
2
A5
1
B1 12 14 10 6
B2 10
4 13
12
B3 11
C1
3
9
6
C2
5 8
C3
10
f4(D1)=5
D1
5 f5(E)=0
D1
5 f5(E)=0
E
D2
2
f4(D2)=2
f3(C3)=12
f
3
(C3
)
min
((CC33,,
D1 D2
) )
f f
4 4
( (
D1 D2
) )
min
85 10 2
min
13 12
12
最优决策C3 D2
K=2时：
A
f2(B1)=20
B1 12 14
2
10
6
5
B2 10
4
1
13
B3
((CC11,,
D1 D2
) )
f fBaidu Nhomakorabea
4 4
( (
D1 ) D2 )
min
3 9
5 2
min
8 11
8
最优 决 策C1 D1
2
A5
1
B1 12 14 10 6
B2 10
4 13
B3
12 11
f3(C1)=8
C1
3
9
f3(C2)=7
6
C2
5 8
C3
10
f4(D1)=5
D1
5 f5(E)=0
而各阶段之间又有密切的联系，某一个阶段的不同决策，将会 对其它阶段的决策产生重大的影响，某个阶段局部的较优方案，未 必是整个问题的最好方案，某个阶段局部的不好方案，也未必是整 个问题的不好方案。
我们要寻找的是整个问题，也就是所有阶段总体的一个最优方 案，这就是动态规划所要讨论的问题。
一、多阶段决策问题
所谓多阶段决策问题是有这样一类决策过程，它可以划分为若 干个相互联系的阶段，在任一阶段都有若干种方案可供选择，选择 哪一种方案需要作出决策，这样就形成一个决策序列，通常称为一 种策略。不同的策略就产生不同的效果，在所有可能的策略当中， 选择一个效果最好的最优策略，就是解决多阶段决策问题的主要目 的。下面举几个例子来说明。
行进方向
起点
终点
动态规划寻优途径
下面按上述思想，将例1从最后一段开始计算，由后向前逐步 推移至A点。
设想有k ＝5 时， f5(E)＝ 0 。
2
A5
1
B1
12 14
10
6
B2 10
4 13
B3
12 11
C1
3
9
6
C2
5 8
C3
10
D1
5 f5(E)=0
E
D2
2
K=4时：
2
A5
1
B1 12 14 10 6
E
D2
2
f4(D2)=2
f4 (D2 ) d (D2, E) f5 (E) 2 0 2
K=3时：
2
A5
1
B1 12 14 10 6
B2 10
4 13
B3
12 11
f3(C1)=8
C1
3
9
6
C2
5 8
C3
10
f4(D1)=5
D1
5 f5(E)=0
E
D2
2
f4(D2)=2
f3 (C1)
min
E
D2
2
f4(D2)=2
f3
(C2
)
min
((CC22,,DD21
) )
f f
4 4
( (
D1 D2
) )
min
6 5
5 2
min
11
7
7
最优决策C2 D2
f3(C1)=8
2
A5
1
B1
12 14
10
6
B2 10
4 13
B3
12 11
C1
3
9
f3(C2)=7
6
C2
5 8
C3
10
f4(D1)=5
12 11
f3(C1)=8
C1
3
9
f3(C2)=7
6
C2
5
8
C3
10
f4(D1)=5
D1
5 f5(E)=0
E
D2 2
f4(D2)=2
f3(C3)=12
f2 (B1)
min
((BB11,,CC21
) )
f3 f3
(C1) (C2 )
min
12 8
14
7
min
20 21
20
(B1,C3) f3(C3)
10 12
22
最优 决 策 :B1 C1
f2(B1)=21
例1： （最短路程问题）设从A地到E地要铺设一条管道，其中要 经过若干个中间点(如图)。图中两点之间连线上的数字表示两地间 的距离。现在要选择一条铺设管道的路线，使总长度最短。
2
A5
1
B1
12 14
10
6
B2 10
4 13
B3
12 11
C1
3
9
6
C2
5
8
C3 10
D1 5
E
D2 2
在这个问题中，从A到B 1 ，B2 ， B3中的哪一个点要作出一项 决策，从B 1 ，B2 ， B3某点到 C 1，C2，C3 中的哪一个点又要作出一 项决策等等。所以总共要作出四个决策。因此，我们可以把整个路 程分为A，B ( 包括B 1 ，B2 ， B3) ，C ( 包括C 1，C2 ， C3 ， ) ，D (包括D1和D2)，E 五个阶段。这就是一个多阶段的决策问题。
二、动态规划的基本思想
用动态规划求解多阶段决策问题，是把整个问题划分为若干阶 段后，依次地为每一个阶段作出最优决策，而每个阶段的最优决策 应该是包含本阶段和所有以前各阶段在内的最优决策，也就是到本 阶段为止，包含以前各阶段在内的最优总决策。因此，在确定了最 后一个阶段的决策之后，整个问题的最优决策序列也就随之产生。 这就是用动态规划解多阶段决策问题的基本思想。
动态规划
第四章
动态规划
动态规划是解决多阶段决策过程最优化问题的一种方法。在二 十世纪五十年代由美国数学家理查德.贝尔曼(Richard．Ba11man) 首先提出的。它可以把一个 n 维最优化问题转化为 n 个一维最优化 问题来求解。
一个决策问题，往往可以分解成若干个相互联系，又相对独立 的阶段，对于每一个阶段，存在着很多方案可供选择，我们要对每 个阶段作出一个决策。
例如，在最短路线问题中，如果找到了A到E的最短路：
A B1 C2 D1 E
则 C2 D1 E 应该是由C2 出发到E点的所有可能不同线路 中的最短路线
最短路线这一特性，启发我们找最短路线的方法：那就是从最 后一段开始，用由后向前逐步递推的方法，求出各点到E点的最短 路线，最后求得由A点到E点的最短路线。所以，动态规划的常用 的方法是从终点逐段向始点方向寻找“最短路线” 。如图所示：