2 算法的时间复杂性

2. 算法的时间复杂性分析基础
2.1影响问题求解时间的因素 A：算法 n：问题的规模 I ：输入数据
复杂性的形式化表示T(A,n,I)
对于特定算法，时间复杂性为： T(n,I)
2.1时间复杂性函数
T(N,I) 是算法在一台抽象的计算机上运行所需的时间。 设此抽象的计算机所提供的元运算有k种，他们分别 记为O1,O2 ,..,Ok；设这些元运算每执行一次所需要 的时间分别为t1,t2,..,tk 。 对于给定的算法A，用到元运算Oi的次数为ei， i=1,2,..,k ，很明显，对于每一个i， ei是n和I的函数， 即ei=ei(n,I)。那么有：
g也称作f的阶函数。对于多项式情形的复杂性函数， 其阶函数可取该多项式的最高项。
例：C0=O(1): f(n) 等于非零常数 3n+2=O(n): 取C＝4，N0＝2。 100n+6=O(n): 取 C=101，N 0＝6。 6×2n+n2=O(n2): 取C=7，N0=4. 3log n + 2×n + n2 =O(n2). nlog n +n2=O(n2). 3n2+2=O(n2)
i 1 i 1
n
n
O( n (n 1)) 2
例 估计下面二重循环算法段在最坏情况下的时间复 杂性T(N)的阶
for i←l to N do for j ← 1 to i do { S1 //S1是单一的赋值语句 } 对于内循环体，显然只需Ο(l)时间。因而内循环只需时间：
O(1) O(i)
规则4 访问一个数组的单个分量或一个记录的单个域， 只需要1个单位时间。 规则5 执行一个for循环语句需要的时间等于执行该循 环体所需要的时间乘上循环的次数。 规则6 执行一个while循环语句“while C do S”，需要 的时间等于 (计算条件表达式C的时间+执行循环S体的时间)* 循环的次数。
规则1的证明： 设F(N)= Ο(f) 。根据记号Ο的定义，存在正常数C1和自然数N1，使 得对所有的N≥N1，有F(N)≤C1 f(N)。类似地，设G(N)=Ο(g)，则存 在正的常数C2和自然数N2使得对所有的N≥N2有G(N)≤C2g(N)，令： C3=max(C1, C2)，N3=max(N1, N2) 和对任意的非负整数N， h(N)=max(f,g), 则对所有的N≥N3有：F(N)≤C1f(N)≤C1h(N)≤C3h(N) 类似地，有：G(N)≤C2g(N)≤C2h(N)≤C3h(N) 因而 Ο(f)+Ο(g) =F(N)+G(N)≤C3h(N)+ C3h(N) =2C3h(N) =Ο(h) =Ο( max(f,g) ) 作业：证明规则 2)~6)
2.2.1算法时间复杂性计量
对于同一类问题，采用这类算法的基本运算次数作为算法的运算时间。 例如： “汉诺塔”算法的基本运算是圆盘的移动； 比较排序算法，用算法所用的比较次数作为该类算法的 运算时间； 矩阵相乘：基本运算是两个数的相乘； 树的搜索：基本运算是节点的访问； 图的算法：节点和边的运算。

规则7
对于break语句。为了便于表达从循环体的中途跳转到循环 体的结束,引入break 语句。在时间复杂性分析时可以假设 它不需要任何额外的时间。 规则8 对于过程调用和函数调用语句，它们需要的时间包括两部分， 一部分用于实现控制转移，另一部分用于执行过程(或函 数)本身，这时可以根据过程(或函数)调用的层次，由里向 外运用规则(l)-(7)进行分析，一层一层地剥，直到计算出 最外层的运行时间便是所求。
T ( N , I ) ti .ei ( N .I )
i 1 k
其中ti，i=1,2,..,k,是与N,I无关 的常数。
先看一个实例： 改进冒泡如排序算法的基本步骤如下： for i ←1 to n-1 do {flag ←1 for j ←1 to n-i do if a[j]<a[j+1] then {交换a[j]、a[j+1] flag ←0 /*发生了交换*/ } if flag then beak /* 没有交换，排序结束*/ } enddo 如果将if a[j]<a[j+1] then {….. }当做一个元运算，花的时间为C 当输入的数据已经排好序，做了n-1次元运算； 当输入的数据是增序，则需要做n(n-1)/2次元运算。
递归方程组解的渐进阶的求法——母函数法 递归方程：
1 T ( n) 1 T (n 1) T (n 2) n0 n 1 n 1
设关于T(n)的递归方程的解的母函数为：
G( x) T (i ) x i T (0) T (1) x T (2) x 2 T (3) x 3 .....
渐进符号O的定义
f(n)是某一算法的时间复杂性函数，g(n)是某一函数，当且仅 当存在正的常数C和N0，使得对于所有的n>=N0，有 f(n)<=Cg(n)，记作 f(n)=O(g(n)) 即函数f至多是函数g的C倍，当充分大时，g是f的一个上 界函数，在相差一个非零常数倍的情况下。通常情况下，g 取下列单项的形式： 1 ，log n，n，n log n ，n2 ， n3 ， 2n ，n！
复杂性的渐近性态的概念
一个算法的时间复杂度(Time Complexity)T(n)是 该算法的时间耗费，是该算法所求解问题规模 n的函数。当问题的规模n趋向无穷大时，时间 复杂度T(n)的数量级(阶)称为算法的复杂性的 渐近性态（渐进时间复杂度）。
设T(N)是关于算法A的复杂性函数。一般说来，当N单调 增加且趋于∞时,T(N)也将单调增加趋于∞。对于T(N)， 如果存在T’(N)，使得当N→∞时有：
按照大Ο的定义，有如下运算规则：
1)Ο(f)+Ο(g)=Ο(max(f,g))； 2)Ο(f)+ Ο(g)=Ο(f +g)； 3)Ο(f)· Ο(g)= Ο(f· g)； 4) 如果g(N)= Ο(f(N))，则Ο(f)+ Ο(g)= Ο(f)； 5)Ο(Cf(N))= Ο(f(N))，其中C是一个正的常数； 6) f =Ο(f)；
分析冒泡排序算法的时间复杂性。
for i ←1 to n-1 do for j ←1 to n-i do if a[j]<a[j+1] then 交换a[j]、a[j+1]； 内循环比较 次数：
O(1) O(n i)
j 1
n i
外循环：
O( n i ) O( ( n i )
(T(N )-T’(N ))/T(N ) → 0
那么，我们就说T’(N)是T(N)当N→∞时的渐近性态，或叫 T’(N)为算法A当N→∞的渐近复杂性，因为在数学上， T’(N)是T(N)当N→∞时的渐近表达式。
T’(N)是T(N)中略去低阶项所留下的主项。所以它无疑 比T(N)来得简单。
例如 T(N)=3N 2+4Nlog2N +7 时，T’(N)的一个答案是 3N 2，
显然3N 2比3N 2 +4Nlog2N +7简单得多。
由于当N→∞时T(N)渐近于T’(N)，我们有理由用 T’(N)来替代T(N)作为算法A在N→∞时的复杂性 的度量。这种替代是对复杂性分析的一种简。
即当问题的规模充分大时，只要考察算法复杂性 在渐近意义下的阶。有3种渐近性态和其意义 下的记号：Ο、Ω、θ需要掌握。
累加起来便是外循环的时间复杂性：

i
j 1
O(i) O( i) O(n(n 1) / 2) O(n )
2 i 1 i 1
n
n
根据记号Ο的定义，得到的只是当规模充分大时的一个上界。这 个上界的阶越低则评是某一算法的时间复杂性函数， g(n)是某一函数，当且仅当存在正的 常数C和N0，使得对于所有的n>=N0， 有f(n)≥Cg(n)，记作 f(n)= Ω(g(n)) 当n充分大时，在相差一个非零常数倍的情况下， g是f的一个下界函数。 同理，这个下界的阶越高，则评估就越精确，结 果就越有价值。
1 n 1 T (n) 2T (n 1) 1 n 1
这是一个递归方程。可以用迭代法，迭代法的基 本步骤是通过反复迭代，将递归方程的右端变 换成一个级数，然后求级数的和。 T(n)=2T(n-1)+1 =2[2T(n-2)+1]+1= 22T(n-2)+2+1 = 23T(n-3)+22+2+1 …… = 2n-1T(1)+2n-2+…..2+1 = 2n-1
显然，不可能对规模n的每一种合法的输入I都去 统计ei(n,I),i=1,2,…,k。因此T(n,I)的表达式还 得进一步简化。 只能在规模为n的某些或某类有代表性的合法输 入中统计相应的ei , i=1,2,…,k，评价时间复杂 性。
一般只考虑三种情况下的时间复杂性，即最坏情况、最好情况和平均 情况下的时间复杂性，井分别记为： W(n) = max{ T(n，I) } , I∈Dn B(n) = min { T(n，I) }, I∈Dn A(n)＝∑P( I )T(n，I) I∈Dn Dn是规模为n的合法输入的集合，P(I)是在算法的应用中 出现输入I 的概率。 最具有可操作性和实际价值的是最坏情况下的时间复杂 性。我们对算法的时间复杂性分析的兴趣主要将放在W(n) 上。没有特殊说明时，T(n)一般指的就是W(n)。

如果过程(或函数)出现直接或间接的递归调用，则根据过程(或函数)的内涵建 立起这些待定函数之间的递归关系得到递归方程。最后用求递归方程解 的渐进阶的方法确定最坏情况下的复杂性的渐进阶。
BUILD-MAX-HEAP(A) 1 heap-size[A] ← length[A] 2 for i ← ⌊length[A]/2⌋ downto 1 3 do MAX-HEAPIFY(A, i)