渐进时间复杂度的计算

时间复杂度计算

首先了解一下几个概念。一个是时间复杂度，一个是渐近时间复杂度。前者是某个算法的时间耗费，它是该算法所求解问题规模n的函数，而后者是指当问题规模趋向无穷大时，该算法时间复杂度的数量级。

当我们评价一个算法的时间性能时，主要标准就是算法的渐近时间复杂度，因此，在算法分析时，往往对两者不予区分，经常是将渐近时间复杂度T(n)=O(f(n))简称为时间复杂度，其中的f(n)一般是算法中频度最大的语句频度。

此外，算法中语句的频度不仅与问题规模有关，还与输入实例中各元素的取值相关。但是我们总是考虑在最坏的情况下的时间复杂度。以保证算法的运行时间不会比它更长。

常见的时间复杂度，按数量级递增排列依次为：常数阶O(1)、对数阶O(log2n)、线性阶O(n)、线性对数阶O(nlog2n)、平方阶O(n^2)、立方阶O(n^3)、k次方阶O(n^k)、指数阶O(2^n)。

1. 大O表示法

定义

设一个程序的时间复杂度用一个函数 T(n) 来表示，对于一个查找算法，如下：

int seqsearch( int a[], const int n, const int x)

{

int i = 0;

for (; a[i] != x && i < n ; i++ );

if ( i == n) return -1;

else return i;

}

这个程序是将输入的数值顺序地与数组中地元素逐个比较，找出与之相等地元素。

在第一个元素就找到需要比较一次，在第二个元素找到需要比较2次，……，在第n个元素找到需要比较n次。对于有n个元素的数组，如果每个元素被找到的概率相等，那么查找成功的平均比较次数为:

f(n) = 1/n (n + (n-1) + (n-2) + ... + 1) = (n+1)/2 = O(n)

这就是传说中的大O函数的原始定义。

用大O来表述

要全面分析一个算法，需要考虑算法在最坏和最好的情况下的时间代价，和在平

均情况下的时间代价。对于最坏情况，采用大O表示法的一般提法（注意，这里用的是“一般提法”）是：当且仅当存在正整数c和n0,使得 T(n) <= c*f(n)对于所有的n >= n0 都成立。则称该算法的渐进时间复杂度为T(n) = O(f(n))。这个应该是高等数学里面的第一章极限里面的知识。这里f(n) = (n+1)/2, 那么c * f(n)也就是一个一次函数。就是在图象上看就是如果这个函数在c*f(n)的下面，就是复杂度为T(n) = O(f(n))。

对于对数级，我们用大O记法记为O(log2N)就可以了。

规则

1）加法规则

T(n,m) = T1(n) + T2(n) = O ( max (f(n), g(m) )

2) 乘法规则

T(n,m) = T1(n) * T2(m) = O (f(n) * g(m))

3)一个特例

在大O表示法里面有一个特例，如果T1(n) ＝O©， c是一个与n无关的任意常数，T2(n) = O ( f(n) ) 则有

T(n) = T1(n) * T2(n) = O ( c*f(n) ) = O( f(n) ).

也就是说，在大O表示法中，任何非0正常数都属于同一数量级，记为O(1)。

4)一个经验规则

有如下复杂度关系

c < log2N < n < n * Log2N < n^2 < n^3 < 2^n < 3^n < n!

其中c是一个常量，如果一个算法的复杂度为c 、 log2N 、n 、 n*log2N ,那么这个算法时间效率比较高，如果是 2^n , 3^n ,n!,那么稍微大一些的n就会令这个算法不能动了，居于中间的几个则差强人意.

1）基本知识点：没有循环的一段程序的复杂度是常数，一层循环的复杂度是

O(n),两层循环的复杂度是O(n^2)? （我用^2表示平方，同理 ^3表示立方）；

2）二维矩阵的标准差，残差，信息熵，fft2,dwt2,dct2的时间复杂度: 标准差和残差可能O(n)，FFT2是O(nlog(n))，DWT2可能也是O(nlog(n))；信息熵要求概率，而dct的过程和jpeg一样。因为和jpeg一样,对二难矩阵处理

了.Y=T*X*T'，Z=Y.*Mask，这样子,还有分成8*8子图像了;

3)example：

1、设三个函数f,g,h分别为 f(n)=100n^3+n^2+1000 , g(n)=25n^3+5000n^2 , h(n)=n^1.5+5000nlgn

请判断下列关系是否成立：

（1） f(n)=O(g(n))

（2） g(n)=O(f(n))

（3） h(n)=O(n^1.5)

（4） h(n)=O(nlgn)

这里我们复习一下渐近时间复杂度的表示法T(n)=O(f(n))，这里的"O"是数学符号，它的严格定义是"若T(n)和f(n)是定义在正整数集合上的两个函数，则

T(n)=O(f(n))表示存在正的常数C和n0 ,使得当n≥n0时都满足

0≤T(n)≤C?f(n)。"用容易理解的话说就是这两个函数当整型自变量n趋向于无穷大时，两者的比值是一个不等于0的常数。这么一来，就好计算了吧。

◆(1)成立。题中由于两个函数的最高次项都是n^3,因此当n→∞时，两个函数的比值是一个常数，所以这个关系式是成立的。

◆（2）成立。与上同理。

◆（3）成立。与上同理。

◆（4）不成立。由于当n→∞时n^1.5比nlgn递增的快，所以h(n)与nlgn

的比值不是常数，故不成立。

2、设n为正整数，利用大"O"记号，将下列程序段的执行时间表示为n的函数。

(1) i=1; k=0

while(i

{ k=k+10*i;i++;

}

解答：T(n)=n-1， T(n)=O(n)，这个函数是按线性阶递增的。

(2) x=n; // n>1

while (x>=(y+1)*(y+1))

y++;

解答：T(n)=n1/2 ，T(n)=O(n1/2)，最坏的情况是y=0，那么循环的次数是n1/2次，这是一个按平方根阶递增的函数。

(3) x=91; y=100;