第4讲 动态规划

第4讲动态规划我们先来看一个简单的多阶段决策问题。

现有一张地图，各结点代表城市，两结点间连线代表道路，线上数字表示城市间的距离。

如图1所示，试找出从结点1到结点10的最短路径。

第一阶段第二阶段第三阶段第四阶段第五阶段图1本问题的解决可采用一般的穷举法，即把从结点1至结点10的所有道路列举出来，计算其长度，再进行比较，找出最小的一条。

虽然问题能解决，但采用这种方法，当结点数增加，其运算量将成指数级增长，故而效率是很低的。

我们可以用深度优先搜索法来解决此问题，该问题的递归式为其中是与v相邻的节点的集合，w(v,u)表示从v到u的边的长度。

具体算法如下：int MinDistance(v){if (v==E)return 0;else{min=maxint;while(所有没有访问过的节点i){if(v和i相邻){标记i访问过了;t=v到i的距离+MinDistance(i);标记i未访问过;if (t<min)min=t;}}}}开始时标记所有的顶点未访问过，MinDistance(A)就是从A到E的最短距离。

这个程序的效率如何呢？我们可以看到，每次除了已经访问过的城市外，其他城市都要访问，所以时间复杂度为O(n!)，这是一个“指数级”的算法，那么，还有没有更好的算法呢？分析图1可知，各结点的排列特征：(1)可将各结点分为5个阶段；(2)每个阶段上的结点只跟相邻阶段的结点相连，不会出现跨阶段或同阶段结点相连的情况，如不会出现结点1与结点4连、结点4与结点5连的情况。

(3)除起点1和终点10外，其它各阶段的结点既是上一阶段的终点，又是下一阶段的起点。

例如第三阶段的结点4、5、6，它即是上一阶段结点2、3中某结点的终点，又是下一阶段结点7、8、9中某结点的起点。

根据如上特征，若对于第三阶段的结点5，选择1-2-5和1-3-5这两条路径，后者的费用要小于前者。

那么考虑一下，假设在所求的结点1到结点10最短路径中要经过结点5，那我们在结点1到结点5之间会取那条路径呢？显然，无论从结点5出发以后的走法如何，前面选择1-3-5这条路都总是会优于1-2-5的。

也就是说，当某阶段结点一定时，后面各阶段路线的发展不受这点以前各阶段的影响。

反之，到该点的最优决策也不受该点以后的发展影响。

由此，我们可以把原题所求分割成几个小问题，从阶段1开始，往后依次求出结点1到阶段2、3、4、5各结点的最短距离，最终得出答案。

在计算过程中，到某阶段上一结点的决策，只依赖于上一阶段的计算结果，与其它无关。

例如，已求得从结点1到结点5的最优值是6，到结点6的最优值是5，那么要求到下一阶段的结点8的最优值，只须比较min{6+5,5+5}即可。

这样，运用动态规划思想大大节省了计算量。

可以看出，动态规划是解决此类多阶段决策问题的一种有效方法。

算法如下：void short_path(){F5[E]=0;for(i=4,i>=0,i--){while(每一个u ∈S k ){F k[u]=无穷大;While(每一个v∈S k+1∩δ(u)){if (F k[u]>w(u,v)+F k+1[v])F k[u]:=w(u,v)+F k+1[v];}}}输出F1[A];}一、动态规划1、什么是动态规划动态规划：与分治法相似，把问题分解按层次分成子问题，直到可以直接求解的子问题，然后一级一级地向上求解。

与分治法的出别在于：动态规划适用有许多重复子问题出现的问题，它保留已求出问题的解。

例如，计算矩阵连乘积。

问题：（1）矩阵相乘的定义（2）设矩阵321,,A A A 的阶分别为10100,1005,550⨯⨯⨯ 如按321)(A A A 计算需要的计算次数为：50*5*100+50*100*10=75000。

如按)(321A A A 计算需要的计算次数为：50*5*10+5*100*10=7500。

（3）n 个矩阵连乘时，怎样规划它们的乘积次序，使得所有的乘法次数最少2、动态规划中的主要概念，名词术语1) 阶段：把问题分成几个相互联系的有顺序的几个环节，这些环节即称为阶段。

是对整个过程的自然划分。

通常根据时间顺序或空间特征来划分阶段，以便按阶段的次序解优化问题。

2) 状态：某一阶段的出发位置称为状态。

通常一个阶段包含若干状态。

如图1中，阶段3就有三个状态结点4、5、6。

3) 决策：从某阶段的一个状态演变到下一个阶段某状态的选择。

4) 策略：由开始到终点的全过程中，由每段决策组成的决策序列称为全过程策略，简称策略。

5) 状态转移方程：前一阶段的终点就是后一阶段的起点，前一阶段的决策选择导出了后一阶段的状态，这种关系描述了由k 阶段到k+1阶段状态的演变规律，称为状态转移方程。

6) 目标函数与最优化概念：目标函数是衡量多阶段决策过程优劣的准则。

最优化概念是在一定条件下找到一个途径，经过按题目具体性质所确定的运算以后，使全过程的总效益达到最优。

3、运用动态规划需符合的条件1）、最优化原理最优化原理：一个最优化策略具有这样的性质，不论过去状态和决策如何，对前面的决策所形成的状态而言，余下的诸决策必须构成最优策略。

简而言之，一个最优化策略的子策略总是最优的。

图2如图2中，若路线I 和J 是A 到C 的最优路径，则根据最优化原理，路线J 必是从B 到C 的最优路线。

这可用反证法证明：假设有另一路径J’是B 到C 的最优路径，则A 到C 的路线取I 和J’比I 和J 更优，这与原名题矛盾。

从而证明J’必是B 到C 的最优路径。

最优化原理是动态规划的基础，任何问题，如果失去了最优化原理的支持，就不可能用动态规划方法计算。

2）、无后效性“过去的步骤只能通过当前状态影响未来的发展，当前的状态是历史的总结”。

这条特征说明动态规划只适用于解决当前决策与过去状态无关的问题。

状态，出现在策略任何一个位置，它的地位相同，都可实施同样策略，这就是无后效性的内涵。

由上可知，最优化原理，无后效性，是动态规划必须符合的两个条件。

4、动态规划的基本思路对于一道题，怎样具体运用动态规划方法呢？1) 首先，分析题意，考察此题是否满足最优化原理与无后效性两个条件。

2) 接着，确定题中的阶段，状态，及约束条件。

3) 推导出各阶段状态间的函数基本方程，进行计算。

具体求解则有多种方法。

1) 前向与后向动态规划法：所谓前向与后向，指的是从起点出发，层层递推，直到终点，或从终点出发，逆向求解。

这两种方法本质上是一样的，具体解题时，可根据实际情况来选用。

2) 具有隐含阶段的问题（即阶段不明显）：动态规划的一个重要环节是阶段划分，可有些题目无明显阶段，但也符合最优化原理。

二、举例1、矩阵连乘在科学计算中经常要计算矩阵的乘积。

矩阵A 和B 可乘的条件是矩阵A 的列数等于矩阵B 的行数。

若A 是一个p ×q 的矩阵，B 是一个q ×r 的矩阵，则其乘积C=AB 是一个p ×r 的矩阵。

其标准计算公式为：由该公式知计算C=AB 总共需要p*q*r 次的数乘。

现在的问题是，给定n 个矩阵{A 1,A 2,…,A n }。

其中A i 与A i+1是可乘的，i=1,2,…,n-1。

要求计算出这n个矩阵的连乘积A1A2…A n。

由于矩阵乘法满足结合律，故连乘积的计算可以有许多不同的计算次序。

这种计算次序可以用加括号的方式来确定。

若一个矩阵连乘积的计算次序已完全确定，也就是说该连乘积已完全加括号，则我们可以通过反复调用两个矩阵相乘的标准算法计算出矩阵连乘积。

例如，矩阵连乘积A1A2A3 A4可以有以下5种不同的完全加括号方式：(A1(A2(A3A4)))，(A1((A2A3)A4)),((A1A2)(A3A4)),((A1(A2A3))A4),(((A1A2)A3)A4)。

每一种完全加括号方式对应于一种矩阵连乘积的计算次序，而这种计算次序与计算矩阵连乘积的计算量有着密切的关系。

为了说明在计算矩阵连乘积时加括号方式对整个计算量的影响，我们来看一个计算3个矩阵{A1，A2，A3}的连乘积的例子。

设这3个矩阵的维数分别为10×100，100×5和5×50。

若按第一种加括号方式((A1A2)A3)来计算，总共需要10×100×5+10×5×50=7500次的数乘。

若按第二种加括号方式(A1(A2A3))来计算，则需要的数乘次数为100×5×50+10×100×50=75000。

第二种加括号方式的计算量是第一种加括号方式的计算量的10倍。

由此可见，在计算矩阵连乘积时，加括号方式，即计算次序对计算量有很大影响。

于是，人们自然会提出矩阵连乘积的最优计算次序问题，即对于给定的相继n个矩阵{A1,A2,…,A n}(其中A i的维数为p i-1×p i，i=1,2,…,n)，如何确定计算矩阵连乘积A1A2…A n的一个计算次序(完全加括号方式)，使得依此次序计算矩阵连乘积需要的数乘次数最少。

下面我们来考虑用动态规划法解矩阵连乘积的最优计算次序问题。

此问题是动态规划的典型应用之一。

1).分析最优解的结构首先，为方便起见，将矩阵连乘积A i A i+1…A j简记为A i…j。

我们来看计算A1…n的一个最优次序。

设这个计算次序在矩阵A k和A k+1之间将矩阵链断开，1<=k<n，则完全加括号方式为((A1…A k)(A k+1…A n))。

照此，我们要先计算A1…k和A k+1…n，然后，将所得的结果相乘才得到A1…n。

显然其总计算量为计算A1…k的计算量加上计算A k+1…n的计算量，再加上A1…k与A k+1…n相乘的计算量。

这个问题的一个关键特征是：计算A1…n的一个最优次序所包含的计算A1…k的次序也是最优的。

事实上，若有一个计算A1…k的次序需要的计算量更少，则用此次序替换原来计算A1…k的次序，得到的计算A1…n的次序需要的计算量将比最优次序所需计算量更少，这是一个矛盾。

同理可知，计算A1…n的一个最优次序所包含的计算矩阵子链A k+1…n的次序也是最优的。

根据该问题的指标函数的特征也可以知道该问题满足最优化原理。

另外，该问题显然满足无后向性，因为前面的矩阵链的计算方法和后面的矩阵链的计算方法无关。

2).建立递归关系对于矩阵连乘积的最优计算次序问题，设计算A i…j ,1≤i≤j≤n，所需的最少数乘次数为m[i,j]，原问题的最优值为m[1,n]。

●当i=j时，A i…j=A i为单一矩阵，无需计算，因此m[i,i]=0，i=1,2,…,n ；●当i<j时，可利用最优子结构性质来计算m[i,j]。