1-Divide & Conqure

第2章分治法（Divide & Conquer）（算法常用技术之首）六大算法常用技术：分治法（e.g. 快速排序）贪心法（局部最优法，e.g. 最小生成树）周游法（e.g. DFS, BFS）回朔法（e.g. 8皇后问题，平面点集的凸包）动态规划法分枝定界法（e.g. 整数规划）快速排序的思想：用O(n)的时间把一个规模为n的表分割为两段，前段中的数据元素均小于后段中的数据元素，然后对分割后所得的两个小一点的表采用同样的方法分别进行排序；当两个小表排好之后，整个表的排序也就完成了。

分治法的要领分治法是把一个规模较大的问题分解为若干个规模较小的子问题，这些子问题相互独立且与原问题同类；首先求出这些子问题的解，然后把这些子问题的解组合起来得到原问题的解。

由于子问题与原问题是同类的，故使用分治法很自然地要用到递归。

因此分治法分三步：1 将原问题分解为子问题（Divide）2 求解子问题（Conquer）3 组合子问题的解得到原问题的解（Combine）分治法举例：给定n个数据元素，要找出其中的最大元和最小元。

简单直观的方法：一个一个地找，用n-1次比较来找出最大元，再用n-2次比较来找出最小元。

比较次数（基本运算）为2n-3次。

用分治法如何求解？（参看Aho 书，P60, 图2.12）当n=2时，一次比较就可以找出两个数据元素的最大元和最小元。

当n>2时，可以把n 个数据元素分为大致相等的两半，一半有⎣n/2⎦个数据元素，而另一半有⎡n/2⎤个数据元素。

先分别找出各自组中的最大元和最小元，然后 将两个最大元进行比较，就可得n 个元素的最大元； 将两个最小元进行比较，就可得n 个元素的最小元。

因此算法的时间复杂度为：T(n)=⎩⎨⎧>+=22)2/(221n n T n此方程可用主定理求解：a =2,b =2, f(n)=2, aLog b n =n 1, f(n)比aLog b n 的量级低（第一种情况）；所以可得T(n)= Θ (aLog b n)= Θ(n )。

但此法还不够精确。

（简单直观的算法的时间复杂度也只有2n-3。

） 设n=2k , 根据递归方程有T(2k )=2T(2k-1)+2, 令T(2k )=g(k) （函数变形法）， 则有g(k)=2g(k-1)+2,从而有g(k-1)=2g(k-2)+2，g(k-2)=2g(k-3)+2，… 不断使用代入法可得：T(n)=T(2k )= g(k) = 2(2g(k-2)+2)+2= 22g(k-2)+22+2 = 23g(k-3)+23+22+2 = …=2k-1g(1)+2k-1+ … +23+22+2 =n/2*T(2) + (2k -2)= n/2+n-2 = 3n/2-2, 即T(n)=3n/2-2。

当n≠2k时，则n可表为若干2的正整数幂之和，（e.g. 42=32+8+2），若n是偶数，则算法的时间复杂度仍可达到3n/2-2。

e.g. 对n=42，将元素分为32个一组，8个一组和2个一组共3组后，各组找出最大、最小元分别需要46，10和1次比较，3个最大元用2次比较即可得整体最大元，同理3个最小元用2次比较即可得整体最小元，故有46+10+1+2+2=61, 而3n/2-2=3*42/2-2也等于61，故的确是3n/2-2。

一般地，当n≠2k但为偶数时，则可将n分解为若干2的正整数幂之和：n=2m1+2m2+ …+2mk且m1>m2> …>mk≥1，对规模为n i=2mi的每组元素，找出最大、最小元需要3n i/2-2次比较,故获得k组各自的最大、最小元需要∑=ki12)-(3ni/2=3n/2-2k；然后用2k-2次比较就可从每组的最大元、最小元（均为k个）中求出整体的最大元和最小元，故全部的比较次数仍为3n/2-2。

当n≠2k但为奇数时，则可将n分解为若干2的正整数幂之和加1：n=2m1+2m2+ …+2mk+1且m1>m2> …>mk≥1，由于2m1+2m2+ …+2mk=n-1，故∑=ki12)-(3ni/2=3(n-1)/2-2k；注意此时共有k+1组最大、最小元，取得整体解还需比较2k次（单独的一个元素既是该组最大元，也是该组最小元），故全部的比较次数为3(n-1)/2即3n/2-3/2，亦可看成为⎡3n/2-2⎤。

已经证明，在规模为n的数据元素集合中找出最大元和最小元，至少需要⎡3n/2-2⎤次比较，即⎡3n/2-2⎤是找最大最小元算法的下界。

因此，从比较次数最少的意义上来讲，找最大最小元的分治法算法已经达到最优。

虽然从理论上看，将n分解为若干2的正整数幂之和可以获得最少的比较次数，但实际计算时为简单起见，一般把n个数据元素分为大致相等的两半：一半有⎣n/2⎦个数据元素，而另一半有⎡n/2⎤个数据元素。

先分别找出各自组中的最大最小元（如组中只有一个元素，则其既是最大元又是最小元）；再将两个最大元和两个最小元分别进行比较，于是就可得到n个元素的最大元和最小元。

由于T(⎣n/2⎦)、T(⎡n/2⎤)与T(n/2)相等或接近，故采用上述办法所需比较次数T(n)一般与⎡3n/2-2⎤相差不是很大，有时甚至相等（如n=15，31等，参见下表），而与2n-3相比要少n/2左右，故当n较大时要节省很多。

e.g.2：两个n位二进制数x和y相乘，通常需要Θ(n2)次位运算。

如何使用分治法来降低位运算计算量的量级？（Aho书P46，设n=2k）若n=2k，则x可表为a2n/2+b，y可表为c2n/2+d（如图）,其中a, b, c, d均为n/2位二进制数。

于是x*y= (a2n/2+b) (c2n/2+d) = ac2n + (ad+bc)2n/2 + bd，即x*y可以通过4对n/2位二进制数的乘法（即ac，ad，bc，bd）以及ac的n次移位（以获得ac2n）、求(ad+bc)所做的n位加法、(ad+bc)的n/2次移位（以获得(ad+bc)2n/2）、和两个2n位加法（以获得ac2n + (ad+bc)2n/2 + bd）。

于是，这样计算x*y的时间复杂度为：T(n)=4T(n/2)+ Θ(n)。

比照递归方程T(n)=aT(n/b)+f(n)，这里a=4, b=2, f(n)= Θ(n)。

因此有aLog b n= n 2，以及有f(n )=O(ε-)(a Log b n) （第一种情况,ε> 0），故T(n )= Θ (aLog b n)=Θ (n 2)。

――并没有加以改善。

但注意到：计算式ac 2n + (ad+bc )2n/2 + bd 中的ad+bc 可写为：而(ad+bc )= (a+b ) (d+c ) – ac – bd, 因此在ac 和bd 计算出之后， 只要再做4次加减法，一次（n /2位数的）乘法就可以计算出ad+bc 。

而原来计算(ad+bc )需要做2次乘法、一次加法； 新的计算公式比原方法少做了一次乘法。

（虽比原来多了3次加减法，但仍有f(n )= Θ(n )。

） 这样的计算方法的时间复杂度为：T(n )=3T(n /2) + Θ(n )，即a=3, b=2, f(n )=Θ(n )。

此时有：aLog b n= 32Log n = n 1.59，并仍有f(n )=O(ε-)(a Log b n )，于是有T(n )= Θ(n 1.59)，比Θ(n 2)要好不少。

e.g.3：Strassen 矩阵乘法：（Aho 书P230）两个n ⨯n 的矩阵A ，B 相乘，其结果为C=(c ij )=A*B 。

由于c ij =∑=nk kj ik b a 1，故求一个元素要n 次乘法（及n-1次加法）。

因C 中有 n 2个元素，故计算两个n 阶矩阵的乘法， 通常需要O(n 3)时间。

分块矩阵的乘法：设n=2k ，若2k-1<n<2k ，则在矩阵中充填0，扩充矩阵直至n ’=2k 。

e.g. A 5×5*B 5×5，则按如下情况进行扩充。

⎪⎪⎭⎫ ⎝⎛321A ⎪⎪⎭⎫ ⎝⎛654B =⎪⎪⎭⎫ ⎝⎛++++6*34*2，5*3*26*14*，5*1*B A B A =⎪⎪⎭⎫⎝⎛000AB其中：15×3，23×5，33×3，45×3，53×5，63×3都是0矩阵块，故上述分块矩阵相乘后只有一块不为0，其余的块都是0矩阵， 计算结果的左上角即为所求。

设n=2k ，并设两个n 阶矩阵的乘法所需时间为T(n)，把矩阵A ，B 分成4个规模为n/2的子矩阵块如下。

由于⎪⎪⎭⎫⎝⎛AA A A 22211211⎪⎪⎭⎫ ⎝⎛BB B B 22211211＝⎪⎪⎭⎫ ⎝⎛C C C C 22211211， 所以，C 11=A 11B 11+A 12B 21，C 12= A 11B 12+ A 12B 22，C 21=A 21B 11+A 22B 21，C 22= A 21B 12+ A 22B 22。

即：按此矩阵分块相乘法，两个n 阶矩阵的相乘可归结为8对n/2阶的子矩阵的乘法（时间为8T(n/2)）， 以及4对n/2阶的矩阵的加法（时间为4*(n/2)2=Θ(n 2)）。

由此可得时间复杂度的递归方程：T(n)=8T(n/2)+Θ(n 2)，nab log =n 3，高于f (n)的量级，即符合主定理的第1种情况。

由主定理，T(n)= Θ(n 3)。

时间复杂度并未降下来。

但如果引入下列M i (i=1,2,…,7)：M 1=( A 12-A 22)( B 21+ B 22) M 2=( A 11+ A 22)( B 11+ B 12) M 3=( A 11-A 21)(B 11+B 12) M 4=(A 11+A 12)B 22 M 5=A 11(B 12-B 22) M 6=A 22(B 21-B 11)M 7=(A 21+A 22)B 11 则有：C 11=M 1+M 2-M 4+M 6，C 12=M 4+M 5，C 21=M 6+M 7， C 22=M 2-M 3+M 5-M 7即计算两个n阶矩阵的乘法，可归结为7对n/2阶的子矩阵的乘法（时间为7T(n/2)），以及18对n/2阶的矩阵的加减法（时间为18*(n/2)2=Θ(n2)）。

因此得时间复杂度的递归方程：T(n)=7T(n/2)+Θ(n2)，n a b log=n7log2=81.2n，仍高于f(n)的量级，由主定理，T(n)= Θ (81.2n)。

打破了人们认为矩阵乘法的时间复杂度为Θ(n3)的固有看法。

目前矩阵乘法最好的时间复杂度是能做到O(n376.2)，争取继续降低时间复杂度的努力能否成功？目前难以下结论（目标是Θ(n2)）。