2011算法1_概 述

Best case: Array A is already sorted in non-decreasing order: tj=1
T ( n ) c 1 n c 2 ( n 1) c 4 ( n 1) c 5 ( n 1) c 8 ( n 1) ( c1 c 2 c 4 c 5 c 8 ) n ( c 2 c 4 c 5 c 8 ) ( n )
2 n j2
t j c6
n j2
( t j 1) c 7
n j2
( t j 1)

c6 2

c7 2
) n ( c1 c 2 c 4
2
c5 2

c6 2

c7 2
c8 ) n (c 2 c 4 c5 c8 )
• Worst-case analysis
• 主方法：
– 给出递归形式T(n)=aT(n/b)+f(n)的界，其中a>=1,B>1,f(n)是给 定的函数 – 需要记忆三种情况。
主定理
• 设a>=1和b>1为常数，设f(n)为一函数，T(n) 由递归式T(n)=nT(n/b)+f(n)对非负整数定义， 其中n/b指取整后的值。那么，T(n)可能有如 下的渐进界：
1. 若对某常数e>0，有f(n)=O(nlogba-e)，则T(n)= θ(nlogba) 2. 若f(n)= θ(nlogba)，则T(n)= θ(nlogbalgn) 3. 若对某常数e>0，有f(n)= Ω(nlogba+e)，且对常数c<1 与所有足够大的n，有af(n/b)<=cf(n)，则T(n)= θ(f(n))
Worst case: Array A is already sorted in non-increasing order: tj=j
T ( n ) c 1 n c 2 ( n 1) c 4 ( n 1) c 5 c 8 ( n 1) ( c5 2 (n )
• Average-case analysis; Probability analysis
16
递归算法复杂性分析
归并排序
1. Merge_sort(array A, int i, int j){ 2. If(i<>j){ 3. m=(i+j)/2 4. Merge_sort(A, i, m) 5. Merge_sort(A, m+1,j) 6. Merge(A,i,m,j) //将求得的两数组合并，其复杂度为C*(j-i+1) 7. } 8. }
18
求解递归式
• 代换法：
– 先猜测有某个界存在，然后再用数学归纳法证明该猜测的正 确性。 – 但并不存在通用的方法来猜测递归式的正确解。这种猜测需 要经验。
• 递归树法：
– 将递归式转换成树形结构，树中的结点代表不同递归层付出 的代价。最后，再利用对和式限界的技术来解出递归式。 – T(n)=2T(n/2)+n
10
算法分析的基本法则
• 非递归算法：
• （1）for / while 循环 • 循环体内计算时间*循环次数； • （2）嵌套循环
• 循环体内计算时间*所有循环次数；
• （3）顺序语句 • 各语句计算时间相加； • （4）if-else语句 • if语句计算时间和else语句计算时间的较大者。
11
3
算法的复杂性
• 算法的复杂性是指算法运行时所需要的计 算机资源的量多少，所需资源量越多则复 杂性越高，反之所需资源量越少则复杂性 越低。其中最为重要的是：
– 时间复杂性（Time complexity） ：需要时间的资 源量。 – 空间复杂性（space complexity） ：需要空间的资 源量。
例子
• T(n)=9T(n/3)+n
– 其中：a=9，b=3，f(n)=n，则nlogba=θ(n2)，因为f(n)= O(nlogba-e)， e=1，对应定理中的第一种情况，所以T(n)=θ(n2)
• T(n)=T(2n/3)+1
– 其中： a=1，b=3/2，f(n)=1，则nlogba=nlog3/21=n0=1。第二种情况 成立。所以T(n)= θ(lgn)
例题1
Program Program 1.8 Add a[0:n-1]
Example: Insertion Sort
Байду номын сангаас13
Example: Insertion Sort Algorithm
• INSERTION-SORT(array A) 1 for j=2 to length[A] 2 do key=A[j] 3 // Insert A[j] to the sorted sequence A[1..j-1]. 4 i=j-1 5 while i>0 and A[i]>key 6 do A[i+1]=A[i] 7 i=i-1 8 A[i+1]=key
算法
• 1. 2. 3. 4. 5.
程序不等于 算法！
算法是定义良好的计算过程，亦即，算法是一系列 的计算步骤，用来将输入数据转换成输出结果。 有穷性： 一个算法必须保证执行有限步之后结束； 确切性： 算法的每一步骤必须有确切的定义； 数据输入：一个算法有0个或多个输入，以刻画运算 对象的初始情况，所谓0个输入是指算法本身给出了 初始条件； 数据输出：一个算法有一个或多个输出，以反映对 输入数据加工后的结果。没有输出的算法是毫无意 义的； 可行性： 算法原则上能够精确地运行，而且人们用 笔和纸做有限次运算后即可完成。
14
Time complexity of an algorithm
• running time of a program as a function of the size of its input: T=T(n), n=length[A]
• INSERTION-SORT(array A) 1 for j=2 to length[A] 2 key=A[j] 3 // Insert A[j] to the sorted // sequence A[1..j-1]. 4 i=j-1 5 while i>0 and A[i]>key 6 { A[i+1]=A[i] 7 i=i-1}
7
复杂性分析的简化
• 令T(N)为表示算法A的复杂性函数，若存在Ť (N)， 使得 Lim N (T(N) – Ť(N)) / T(N) = 0 那么，就可以用Ť(N)来代替T(N) ，从而简化复杂 性的分析。（复杂性渐近性态） 例如：T(N) = 3N2+4NlogN+7，Ť(N) = 3N2，则 Lim N (T(N) – Ť(N)) / T(N) = Lim N 4NlogN+7 / 3N2+4NlogN+7 = 0
8
用阶来表示复杂性
• 在渐进复杂性分析中，只要关心Ť(N)的 阶就够了，不必关心Ť(N)中的常数因子， 这样我们就只需要用Ť(N)的阶来表示该 算法的复杂性。 • 例如，计算一个N维矩阵A的平方的时间 复杂性可估算为2N*N2 = 2N3，即此计算 的时间复杂性为3阶。
9
几个记号
• 设f(N)、g(N)都是定义在正整数集上的函数。 • 上界记号O：表示g(N)是f(N)的上界。 f(n)=О (g(n)) iff 存在正常数c和n0使得对所有 n>n0 有f(n) cg(n) 成立. • 下界记号Ω：表示g(N)是f(N)的上界。 • 同阶记号θ：f(N)=θ(g(N))表示f(N)和g(N)同阶 。
2
衡量算法好坏的标准
• Criteria for choosing an algorithm(怎样衡量一个算 法的好坏) • Correctness or Optimality（正确性或最优性） • Amount of work done (time complexities)（时 间复杂度） • Amount of space used (space complexities) （空间复杂度） • Simplicity and clarity（简单明了） • ……
• 这里人们通常更为关注的是时间复杂性。
4
决定算法复杂性的因素
• 算法的复杂性取决于 • (1)求解问题的规模； • (2)具体的输入数据； • (3)算法本身的设计。
5
时间复杂性的计算
• 时间复杂性T(N, I)的计算为：
T(N, I) = i1 ti ei(N, I) =

k
其中：

ti为执行抽象计算机的第i种指令一次所需要的时间，这里假定抽象 计算机共有k种指令。 ei(N, I)为经过统计后得到的执行抽象计算机的第i种指令的次数。 操作计数(operation count):感兴趣的操作 (程序)步计数(step count):分析全部程序
• T(n)=3T(n/4)+nlgn – 其中： a=3，b=4，f(n)= nlgn，则nlogba=nlog43=n0.793。 因为f(n)= Ω(nlogba+e)，e≈0.2，判断是否满足第三种情 况。对足够大的n， af(n/b) =3(n/4)lg(n/4) <= (3/4)nlgn = cf(n),c=3/4，所以满足第三种情况， T(n)= θ(nlgn)
8
A[i+1]=key
Cost c1 c2 0 c4 c5 c6 c7 c8
Best Worst n n n-1 n-1 n-1 n-1 n-1 n-1 n-1 t 0 ( t 1) 0 ( t 1) n-1 n-1 15
n j2 j