ACM动态规划算法

29 19 10
21 4
16
数塔及动态规划过程数据
总结
动态规划=贪婪策略+递推(降阶)+存储递推结果 贪婪策略、递推算法都是在“线性”地解决问题，而动态 规划则是全面分阶段地解决问题。可以通俗地说动态规划是 “带决策的多阶段、多方位的递推算法”。
1 认识动态规划
在动态规划算法策略中:
体现在它的决策不是线性的而是全面考虑不同的情况分别
以上的决策结果将五阶数塔问题变为4阶子问题，递推 出第四层与第五层的和为:
21(2+19),28(18+10),19(9+10),21(5+16)。
用同样的方法还可以将4阶数塔问题,变为3阶数塔问题。 …… 最后得到的1阶数塔问题，就是整个问题的最优解。
2．数据结构设计 1) 原始信息存储 原始信息有层数和数塔中的数据，层数用一个整型
3. 设计动态规划算法的基本步骤
设计一个标准的动态规划算法的步骤： 1) 划分阶段 划分阶段是运用动态规划求解多阶段决策问题的第一步， 在确定多阶段特性后，按时间或空间先后顺序，将过程划分 为若干相互联系的阶段。对于静态问题要人为地赋予“时间” 概念，以便划分阶段。 2) 选择状态 选择变量既要能确切描述过程演变又要满足无后效性， 而且各阶段状态变量的取值能够确定。一般地，状态变量的 选择是从过程演变的特点中寻找。 3) 确定决策并写出状态转移方程 通常选择所求解问题的关键变量作为决策变量，同时要 给出决策变量的取值范围
算法设计与分析
--动态规划算法
学习目标及内容
学习目 标 理解动态规划算法原理 掌握态规划算法应用
重点难点 动态规划原理 多阶段动态规划问题
动态规划算法
1 2 3 认识动态规划算法 算法框架 动态算法应用 动态规划总结 课后作业
4 5 6
【例1】数塔问题
方法：自底向上用“动态规划”选择
59 9 50 12 49 15
课前导读
前一章学习了贪心算法，贪心算法总是作出在当前看来 最好的选择。也就是说贪心算法并不从整体最优考虑，它所 作出的选择只是在某种意义上的局部最优选择。 虽然贪心算法不能对所有问题都得到整体最优解，但对 许多问题它能产生整体最优解。如单源最短路经问题，最小 生成树问题等 贪心算法则通常以自顶向下的方式进行，以迭代的方式 作出相继的贪心选择，每作一次贪心选择就将所求问题简化 为规模更小的子问题。
动态规划算法的问题及决策应该具有三个性质： 1) 最优子结构。问题的最优解包含着其子问题的最优解。 这种性质称为最优子结构性质。 2) 有重叠子问题。每次产生的子问题并不总是新问题， 有些子问题被反复计算多次。这种性质称为子问题的 重叠性质。 3) 无后向性。如果某阶段状态给定后，则在这个阶段以 后过程的发展不受这个阶段以前各段状态的影响。
6
10
9+15+8+9+10=51
19+2+10+12+9=52
问题分析
这个问题用贪婪算法有可能会找不到真正的最大和。 以上图为例就是如此。用贪婪的策略，则路径和分别为： 9+15+8+9+10=51 （自上而下）， 19+2+10+12+9=52（自下而上）。 都得不到最优解，真正的最大和是：
9+12+10+18+10=59。
进行决策, 并通过多阶段决策来最终解决问题。 在各个阶段采取决策后, 会不断决策出新的数据,直到找 到最优解.每次决策依赖于当前状态, 又随即引起状态的转移。 一个决策序列就是在变化的状态中产生出来的，故有“动
态”的含义。所以，这种多阶段决策最优化的解决问题的过程称
为动态规划。
动态规划的基本概念
1.阶段：把一个问题的过程，恰当地分为若干个相互联系的阶 段，以便于按一定的次序去求解。 2.状态：表示每个阶段开始所处的自然状况或客观条件。通常 一个阶段有若干个状态。 3.决策：表示当过程处于某一阶段的某个状态时，可以作出不 同的决定，从而确定下一阶段的状态，这种决定称为决策。 4.多阶段决策过程 可以在各个阶段进行决策，去控制过程发展的多段过程；其发 展是通过一系列的状态转移来实现的。
3 2 A 4 B2 B1 2 3 1 3 1
C1 C2 4 3
1 D
C3Biblioteka 最短路线为A→B1→C1 →D
路长为 6
3、动态规划应用
B
1
9 5
C
1
1 5 8
D
1
4 2 E
1
3 A 4 B
3
5
B
2
4 5 1 7
3
C
2
4 6
D
2
6 9
1 F
E C
3
2
4 2
4
D
3
7 5
2
1、阶段(stage)n： 作出决策的若干轮次。n = 1、2、3、4、5。 2、状态(state)Sn：每一阶段的出发位置。构成状态集，记为Sn S1={A}，S2={B1,B2,B3}，S3={C1,C2,C3}，S4={D1,D2,D3}， S5={E1,E2}。阶段的起点。 3、决策(decision)Xn：从一个阶段某状态演变到下一个阶段某状 态的选择。 构成决策集，记为Dn(Sn)。 阶段的终点。 D1(S1)={X1(A)}={B1,B2,B3}= S2， 27 ;C ,C D2(S2)={X2(B1),X2(B2),X2(B3)}={C1,C2;C1,C2,C 3 2 3
二、最短路径问题
例一、从A 地到D 地要铺设一条煤气管道,其中需经过 两级中间站，两点之间的连线上的数字表示距离，如 图所示。问应该选择什么路线，使总距离最短？
3
2 A 4 B2 B1 2 1 3 C2 4 C3 3
C1
1 D
3 1
3
2 A 4 B2 B1 2 1 3
C1
C2 4 C3 3
1 D
C1
C2 4 C3 3
1 D
3 1
d( B2,C1 ) + f1 (C1 ) 2+1 f2 ( B2 ) = min d( B2,C2 ) + f1 (C2 ) = min 3+3 d( B2,C3 ) + f1 (C3 ) 1+4 3 = min 6 = 3 (最短路线为B2→C1 →D) 5
3
B
1
9 5 4
C
1
1 5 8
D
1
4 2 E
1
3 A 4 B
3
5
B
2
3
C
2
4 6
D
2
6 9
1 F
5
1 7
E
C
3
2
4 2
4
D
3
7 5
2
29
B
1
9 5 4 5 1 7
C
1
1 5 8
D
1
4
2 E
1
3
A 4
5
B
2
3
C
2
4 6
D
2
6 9
1 F
E B
3
2
C
3
4 2
4
D
3
7 5
2
1、阶段(stage)n： n = 1、2、3、4、5。 2、状态(state)Sn： S1={A}，S2={B1,B2,B3}，S3={C1,C2,C3}，S4={D1,D2,D3}，S5={E1,E2}。 3、决策(decision)Xn：决策集Dn(Sn)。 D1(S1)={X1(A)}={B1,B2,B3}= S2， D2(S2)={X2(B1),X2(B2),X2(B3)}={C1,C2;C1,C2,C3 ;C2,C3 }={C1,C2,C3}=S3， D3(S3)={X3(C1),X3(C2),X3(C3)}={D1,D2;D1,D2,D3; D1,D2,D3}={D1,D2,D3}=S4， D4(S4)={X4(D1),X4(D2),X4(D3)}={E1,E2;E1,E2;E1,E2}={E1,E2}=S5， D5(S5)={X5(E1),X5(E2)}={F;F}={F}。 4、状态转移方程：Xn = Sn+1
B
1
9 5 4 5 1 7
C
1
1 5 8
D
1
4 2 E
1
3 A 4 B
3
5
B
2
3
C
2
4 6
D
2
6
1 F
9
E 7 5
2
2
C
3
4 2
4
D
3
4、策略(policy)：全过程中各个阶段的决策Xn组成的有序总体{Xn}。 如 A B2 C1 D1 E2 F 上例从 A F 共有38种走法，即有38条路线，38个策略。 5、子策略(sub-policy) ：剩下的n个阶段构成n子过程，相应的决策系列叫n子策略。 如 C1 D 1 E2 F 6、状态转移方程：前一阶段的终点(决策)是后前一阶段的起点(状态)。 Xn = Sn+1 7、指标函数：各个阶段的数量指标，记为rn(sn,xn)。 如上例中，用dn(sn,xn)表示距离。 d2(B3,C2)=1, 8、目标函数：策略的数量指标值，记为
3 1
解：整个计算过程分三个阶段，从最后一个阶段开始。
第一阶段（C →D）： C 有三条路线到终点D 。
显然有 f1 (C1 ) = 1 ； f1(C2 ) = 3 ； f1 (C3 ) = 4
3
2 A 4 B2 B1 2 1 3