数值分析课件典型例题与习题2

中止准则
|x
(k ) *
L || B || (k ) ( k 1) (k ) || X ( k ) X ( k 1) || x | |x x | || X X * || 1 || B || 1 L
加速(松弛思想)
12:49
Aitken加速方法
超松弛加速方法
8/51
现代迭代方法 (Top 10 Algorithms)
12:49
5/51
Demo1 I=imread('monalisa.pgm'); [U,S,V]=svd(double(I)); s=diag(S); n1=5; Snew=diag([s(1:n1);zeros(size(s,1)-n1,1)]); figure,imshow(U*Snew*V',[]) n2=20; Snew=diag([s(1:n2);zeros(size(s,1)-n2,1)]); figure, imshow(U*Snew*V',[])
a11 a 21 A a n1 a12 a 22 an 2 a1n a2n a nn
a11= u11, · · · , a1n= u1n a21 = m21u11, · · ·, an1 = mn1u11
u12 u1n u22 u2 n unn
严格对角占优矩阵:高斯消元法中约化主元 不等于零,Jacobi方法, GS方法和SOR方法收敛。
例3.严格主对角占优矩阵一定是非奇异的。
例4.严格对角占优矩阵的约化主元ak,k(k-1) ≠ 0 (k=1,· · · ,n) 。 思考: 若A是严格对角占优矩阵, 当0< w <=1时, SOR方法收敛。
T 2
,
max ( AT A)
病因是条件数大,病症是什么呢?
cond( A) 1 || xk x ||A 2 || x0 x* ||A , cond( A) cond( A) +1
* k
max ( A ) min ( A )
23/51
例9.矩阵的Doolittle分解 A = LU, L为单位下三角矩阵,U为上三角矩阵。
Fk–1 = I + mk ekT ekT=[ 0 · · · 010· · ·0 ]
15/51
例1. Fk–1 Fj–1 = I + mk ekT+mj ejT k<j ekTmj =0, k<j F1-1F2-1 · · · Fn-1-1 = I + m1 e1T+· · · +mn-1 en-1T
1 1 1
1 1 m n ,n 1 1 1 m 21 · · · · 1 m n1 m n , n 1 1

F1-1F2-1 · · · Fn-1-1 =
算法的快与慢
|| X(k+1) – X* || ≤ ||B|| || X(k) – X* ||
向量范数a诱导的算子范数是所有与向量范数a相 容矩阵范数的下界(即最坏结果里面最好的) || B ||m
||Bx* ||a || x* ||a
|| B ||a max
x 0
||Bx||a || x||a
a11 U a12 (1) a 22 a1n (1) a2 n ( n 1 ) a nn
4/51
高斯消元法本质是矩阵的分解。
矩阵分解(Top 10 Algorithms)
(1)特征值分解: A=CDC’, [C,D]=eig(A) (2)奇异值分解: A=USV’ , [U,S,V] = svd(A)
1 0.4 0.4 x1 1 0. 4 1 0 . 8 x 2 2 0 . 4 0. 8 1 3 x3
( B) 1.0928203 1
20/51
例6. 设A对称正定矩阵, 证明 x
《数值分析》典型例题 II 三、四章内容提要
典型例题分析
1/51
化难为易
直接法
Ax b
古典迭 代方法
化繁为简 化繁为简
2/51
现代迭 代方法
12:49
初等行变源自文库不改变方程组的解
1.交换矩阵的第i行与第j行的位置 2.以非零数k乘以矩阵的第i行的 每个元素 3.把矩阵的第i行的每个元素的k倍 加到第j行的对应元素上去
1 det （ I -B）= det((D- L)1((D- L)- ((1-)D+U )))=0
19/51
对称正定矩阵:直接法高斯消元法中约化 主元大于零,迭代法GS方法,SOR方法,最速下 降方法和共轭梯度法收敛。
例5.Ax=b,其中A对称正定,问解此方程的Jacobi 迭代法是否一定收敛？
注释1:按O的记法,把n的不同次幂相加的结果仅保留了最 高次幂,因为最高次幂决定了当n趋近无穷时的极限形态。 换而言之,对于大的n ,低阶项对算法的执行时间的估计没 有太大影响, 仅需要近似估计执行时间时可以忽略不计。 注释2: 复杂性对估计求解大型方程组所需的时间有用。 例如在一台特定的计算机上求解n=500个方程的方程组所 需的时间我们可以通过求解一个n=50个方程的方程组得到 一个很好的猜测,即对用掉的时间按比例放大1000倍。
A 1 =6, A

=4, A 2 = 4.4954, A
A1 1 0 1 2 1 4
F
= 4.5826
A 1
1 =1, A 1
1 3 = , A 2
1 = 1.1238, A 2
F
= 1.1456
12/51
条件数为1的矩阵？
正交矩阵AT A I
1 T cond (A) = || A || || A || = ( A A) 2 2 2
最速下降法思想简单,但收敛速度慢。本 质上因为负梯度方向函数下降快是局部性质。 共轭梯度法的关键是构造一组两两共轭 的方向(第k步迭代生成共轭方向张成k维子 空间)。巧妙的是共轭方向可以由上次搜索 方向和当前的梯度方向组合产生。
12:49
9/51
复杂性:
高斯消元法共用乘法和除法次数为n3/3+ n2n/3,常用记号O表示是多少阶的,则O (n3/3)。
24/51
1 u11 m 1 21 m n1 m n , n 1 1
7/51
迭代格式构造
x ( x) 收敛条件(局部vs全局)
x *为 ( x )的不动点, ( x ) 在x *的某邻域N (x * )连续 且 | ( x * ) | 1, 则迭代法 对任意x (0) N (x * )收敛
对任意的f 和任意的初始 向量X(0)迭代法收敛的充 分必要条件是 ( B ) 1和 充分条件是||B|| 1
A

x Ax是向量范数。
T
T
思路 : 对称正定矩阵的Cholesky分解A LL 。 x
2 A
x Ax =x LL x = L x
T T T T A
2 2 A
x +y
LT ( x y ) 2 LT x LT y 2 x
y
A
x a 和 x b 是两个向量范数, a1和a2是两个正实数, 证明 x c =a1 x a +a2 x b 是向量范数。
3/51
直接方法: 高斯消元法
A(n – 1) = Fn-1Fn-2· · · · · · · F1 A 其中Fk 为 Frobenius矩阵。 A=F1-1F2-1 · · · · · · Fn-1-1 A(n – 1) L U
1 m 21 L 1 m n1 m n , n 1 1
16/51
例2.设A为对称矩阵。高斯消元法一步后,A约化为
T a11 1 B 0 证明 B 也是对称矩阵。
1 F1 A m1
T a11 a11 1 I n1 1 A1 0
, m1 T A1 m11
a
j 1
n
ij
A 1 max aij
i 1
A 2 ( AT A), 其中 ( B ) max | i ( B ) |
i
注释 : A
F

i , j 1
a
n
2 i, j
不是向量2范数诱导的算子范数,
11/51
是与向量2范数相容矩阵范数。
1 2 计算A 及其逆矩阵的1范数(列和范数), 0 4 范数(行和范数), 2范数( 谱范数), F 范数及各 范数意义下的条件数。
( AAT ) =1
算子范数cond (I )= || I |||| I || 1
Hilbert矩阵条件数: for i=1:10
c(i)=cond(hilb(i),2);%%vander(1:i)
end,plot(1:10,c')
13/51
范数的威力和魅力: 范数(全局)
问题的好与坏
|| x || || b || 1 (|| A || || A ||) || x || || b ||
10/51
常用的范数: || x ||2 xi2
n i 1 i 1
n
x12 x2 2
xn 2
x 1 xi x1 x2
x
1 i n
xn
, xn
max xi max x1 , x2 ,
1 i n

A max
n 1 j n
1
T
T
22/51
例8. 如果矩阵A对称, 则 ( A) A 2
A对称, 则A CDC T , AT A A2 CDC T CDC T CDDC T
max ( A) i ( A A) | i ( A) | ,cond( A)2 T min ( A A) min ( A)
T 1
T 1
1 a11

B A1
1 a11
1
17/51
约化主元不为零的判断
0 (k =1,2, ,n) 定理3.1 约化主元 a 的充分必要条件是矩阵A各阶顺序主子式 不等于零。即
a11 Dk ak 1 akk a1k 0 (k =1, ,n )
( k 1) k ,k
18/51
12:49
6/51
迭代法思想:
Iterate: To say or do again or again and again
x0 x1 ( x0 )
n
xn ( xn1 )
*
lim ( xn ) x
迭代背后的思想是一种与传统思维模式截然不同的方式, 传统思维方式往往希望一遍做好,一次成功;但是迭代开发意 味着反复地做,不断地根据反馈进行调整。 12:49
21/51
例7. cond( A)2 || A ||2 || A ||2
1
max ( A A)
T
min ( A A)
T
|| A ||2 max ( A A)
T
A和A 特征值互为倒数, A A和AA 特征值相同。
|| A1 ||2 max ( A-T A1 ) max ( A-1 AT )=1/ min ( AT A)
(3) LU分解: PA=LU, [L,U,P]=lu(A) (4)Cholesky分解: A=LLT, R=chol(A) (5) 非负矩阵分解
Learning the Parts of Objects by Non-negative Matrix Factorization,
Nature, 1999
14/51
1 1 Fk m k 1, k m nk
0 0 mk m k 1, k m nk
= I – mkekT 1 ( k = 1, 2, · · · , n – 1) 1