第1章 算法分析的基本概念和方法

1.3. 分析复杂度的基本步骤
五、复杂度比较示意图
各种复杂度比较示意图如下。
1.4. 复杂度的有关概念
一、算法时间复杂度

对于算法的时间复杂度，通常从分平均、最坏、最好几种情 形来衡量，尤其是前两种。 算法的平均复杂性 设Dn是对于所考虑问题来说大小为n的输入的集合，并设i 是Dn的一个元素，p(i)是i出现的概率，t(i)是算法在输入i时 所执行的基本运算次数。那么，算法的平均复杂性定义为： A(n)= i∈Dn p(i)t(i) 算法的最坏复杂性 W(n)= MAX i∈Dnt(i)

在最坏情况下，ti i+1, for 1 i <n;
n(n 1) (i 1) 1 2 i 1
n 1
i
i 1
n 1
n(n 1) 2
Tmax (n) c1n c2 (n 1) c3 (n 1) n(n 1) n(n 1) n(n 1) c4 1 c5 c6 c7 (n 1) 2 2 2 c c c c c c 4 5 6 n 2 c1 c2 c3 4 5 6 c7 n (c2 c3 c4 c7 ) 2 2 O(n 2 )
循环体内计算时间*所有循环次数；
（3）顺序语句 各语句计算时间相加； （4）if-else语句 if语句计算时间和else语句计算时间的较大者。
template<class Type> void insertion_sort(Type *a, int n) { Type key; // for (int i = 1; i < n; i++){ // key=a[i]; // int j=i-1; // while( j>=0 && a[j]>key ){ // a[j+1]=a[j]; // j--; // } a[j+1]=key; // } }
① 复杂度渐近表示的记号：O, , ② 平均时间复杂度，最坏时间复杂度，最好时间复杂度
③ 最优算法

分析算法复杂度的基本方法
① 分析算法时间复杂度的步骤
② 基本运算执行频数的统计方法

数学知识：求和公式、定积分近似求和、递归方程 的求解
学习要求
掌握算法复杂度的基本概念
熟悉算法复杂度分析的基本方法
1.3. 分析复杂度的基本步骤
一、选取一种运算作为基本运算(basic operation)

对算法的分析必须脱离具体的计算机结构和程序设计语言。 因此，比较两个算法的好坏，看其中所需的运算时间的长短 是由算法所需的运算次数决定的。任何一个算法都可能有几 种运算，因此，我们抓住其中影响算法运行时间最大的运算 作为基本运算。如在一个字表中寻找Z的问题，把Z和表中元 素的比较作为基本运算。两个实数矩阵相乘的问题中，则把 两个实数相乘作为基本运算。
1.3. 分析复杂度的基本步骤
四、举例
[例1] 设f(n)=10n2+20n。则有 f(n)=O(n2) f(n)=(n2) f(n)= (n2) [例2] 设f(n)=aknk+ak-1nk-1+…+a1n+ a0 ,(ak>0)。则有 f(n)=O(nk) f(n)=(nk) f(n)= (nk)
1.3. 分析复杂度的基本步骤
3.数集到非负实数集上的 函数。如果存在一个自然数n0和两个正常数c1， c2，使得对于任意的n≥n0 ，均有 c1g(n)≤f(n)≤c2g(n),则，f(n)= (g(n))。 含义： 阶恰好为g(n)的函数。

读法： (g(n))读作“theta g(n)”。
1.3. 分析复杂度的基本步骤
基本运算(basic operation)
在一个算法中，出现的频数最高（在相差一个常数因子的 意义上）的元运算称为基本元算。
常见的基本运算
当分析查找和排序的算法时，如果元素的比较是元运算，


则可作为基本运算； 在矩阵乘法的算法中，数的乘法可作为基本运算； 当遍历链表时，给指针赋值或者更新指针的操作可作为基本 运算； 在图的遍历中，可以将访问节点的操作为基本运算；等等。
第1章 算法分析的基本概念和方法
内容提要
一、算法及其特性
二、算法的时间空间复杂度 三、算法分析(Algorithm Analysis) 1.分析算法时间复杂度的基本步骤 2.算法时间复杂度的有关概念
3.分析、求解算法复杂度的方法
四、最优算法(optimal algorithm)
知识要点

算法分析的概念
i 1 i 1 i 1
n 1
n 1
n 1

在最好情况下，ti=1, for 1 i <n;
Tmin (n) c1n c2 (n 1) c3 (n 1) c4 (n 1) c7 (n 1)
(c1 c2 c3 c4 c7 )n (c2 c3 c4 c7 ) O(n)


算法的空间复杂度：在算法运行期间所需要的内存空间，通 常指除开容纳输入数据之外的附加空间（auxiliary space, or work space）。 通常用渐进形式表示。比如，S(n)= O(n2)、(n2)或 (n2)
1.2. 算法的时间空间复杂度
三、 算法分析 (Algorithm Analysis)
1.1．算法及其特性

一、 算法(algorithm)
算法就是一组有穷的规则，它们规定了解决某 一特定类型问题的一系列运算。

二、算法的五个特性
① 确定性 ② 能行性
③ 有穷性
④ 输入 ⑤ 输出
1.1．算法及其特性
三、衡量算法性能的标准
衡量算法性能一般有下面几个标准： 确定性 易读性 健壮性 算法的时间和空间性能：高效率和低存储空间 本课程中主要讨论算法的时间和空间性能，并以此作为衡量 算法性能的重要标准，而且主要侧重于时间方面。
1.3. 分析复杂度的基本步骤
四、举例
[例3] 设f(n)= 2n ，g(n)= n! 。则有 f(n)=O(g(n)) 但是，f(n)(g(n)) 因此，f(n) (g(n))
此时，记作O(f(n)) < O(g(n))。
1.3. 分析复杂度的基本步骤
五、复杂度比较示意图
各种复杂度比较示意图如下。
[例2] 直接插入排序算法1.5。
以元素的比较作为基本操作。 最好情况下的时间复杂度： (n) 最坏情况下的时间复杂度： (n2 ) 在等概率前提下，平均情况下的时间复杂度：(n2 )
算法分析的基本法则

非递归算法：
（1）for / while 循环 循环体内计算时间*循环次数； （2）嵌套循环
cost c1 c2 c3 c4 c5 c6 c7
times n n-1 n-1 sum of ti sum of (ti-1) sum og (ti-1) n-1
T (n) c1n c2 (n 1) c3 (n 1) c4 t i c5 (t i 1) c6 (t i 1) c7 (n 1)
1.3. 分析复杂度的基本步骤
元运算(elementary operation)

一个计算步骤，如果其时间耗费总是不超过某个常 量，而与输入和算法无关，则称之为元运算。
常见的元运算
算术运算：加、减、乘、除； 比较和逻辑运算； 赋值运算，包括指针赋值（比如，在遍历表或树时 的指针赋值）；等等。
1.3. 分析复杂度的基本步骤
三 、渐近时间复杂度(asymptotic time complexity)
在实际中精确地求一个算法的基本运算次数f(n)等于多 少，往往不容易，甚至有时根本不可能，有些即使求出结果 很长，很繁琐，不易比较，需要简化。这时候我们可以不精 确地估计f(n)。此外，我们分析算法的时间目的主要在于， 能区分不同算法的优劣，在n很小时候，差别不大，随着n的 逐渐增大，差别越来越大，是个极限行为。基于上述原因， 引进下面渐近表示的方法。复杂度渐近表示可以将简洁地表 示出复杂度的数量级别。
（2）Tmin(n) = min{ T(i) | size(i)=n }=O(1)
（3）在平均情况下，假设： (a) 搜索成功的概率为p ( 0 p 1 )； (b) 在数组的每个位置i ( 0 i < n )搜索成功的概率相同，均为 p/n。
Tavg (n)
size ( I ) n
1.2. 算法的时间空间复杂度
一、算法的时间复杂度(Time Complexity)

算法的时间复杂度：在算法运行期间所花费的时间。 通常用渐进形式表示。比如，T(n)= O (n2)、 (n2) 或 (n2)
1.2. 算法的时间空间复杂度
二、算法的空间复杂度(Space Complexity)

1.3. 分析复杂度的基本步骤
2. -记号
设f(n)和g(n)均是从自然数集到非负实数集上的 函数。如果存在常数c>0和一个自然数n0，使得 对于任意的n≥n0 ，均有 f(n)≥cg(n),则，f(n)= (g(n))。 含义： 阶至少为g(n)的函数，即下限。

读法： (g(n))读作“omega g(n)”。
算法分析方法

例：顺序搜索算法
template<class Type>
int seqSearch(Type *a, int n, Type k)
{ for(int i=0;i<n;i++) if (a[i]==k) return i; return -1; }