(整理)数值分析课件典型例题与习题2.ppt

0.4
1
0.8
x2
2
0.4 0.8 1 x3 3
(B) 1.0928203 1
20/51
例6.设A对称正定矩阵, 证明 x xT Ax是向量范数。 A
思路 : 对称正定矩阵的Cholesky分解A LLT。
x 2 xT Ax=xT LLT x= LT x 2
A
2
x+y LT ( x y) LT x LT y x y
➢中止准则
| x(k ) x* | L | x(k) x(k1) | 1 L
|| X (k ) X * || || B || || X (k) X (k1) || 1 || B ||
➢加速(松弛思想)
Aitken加速方法
超松弛加速方法
8/51
现代迭代方法 (Top 10 Algorithms)
Hilbert矩阵条件数: for i=1:10 c(i)=cond(hilb(i),2);%%vander(1:i) end,plot(1:10,c')
13/51
范数的威力和魅力: 范数(全局)
问题的好与坏
算法的快与慢
|| x || (|| A || || A1 ||) || b ||
|| x ||
7/51
➢迭代格式构造
x (x)
➢收敛条件(局部vs全局)
x*为( x)的不动点,( x) 对任意的f 和任意的初始
在x*的某邻域N (x* )连续
且 | ( x* ) | 1, 则迭代法
对任意x(0) N (x* )收敛
向量X(0)迭代法收敛的充
分必要条件是(B) 1和
充分条件是||B|| 1
A
2
2
A
A
x
和
a
x
b 是两个向量范数, a1和a2是两个正实数,
证明
x c =a1
x a +a2
x 是向量范数。 b
21/51
例7. cond( A)2 || A ||2|| A1 ||2
max ( AT A) min ( AT A)
|| A ||2 max( AT A)
A和A1特征值互为倒数, AT A和AAT特征值相同。
Learning the Parts of Objects by Non-negative Matrix Factorization,
Nature, 1999
5/51
Demo1 I=imread('monalisa.pgm'); [U,S,V]=svd(double(I)); s=diag(S); n1=5; Snew=diag([s(1:n1);zeros(size(s,1)-n1,1)]); figure,imshow(U*Snew*V',[]) n2=20; Snew=diag([s(1:n2);zeros(size(s,1)-n2,1)]); figure, imshow(U*Snew*V',[])
注释1:按O的记法,把n的不同次幂相加的结果仅保留了最 高次幂,因为最高次幂决定了当n趋近无穷时的极限形态。 换而言之,对于大的n ,低阶项对算法的执行时间的估计没 有太大影响, 仅需要近似估计执行时间时可以忽略不计。
注释2: 复杂性对估计求解大型方程组所需的时间有用。 例如在一台特定的计算机上求解n=500个方程的方程组所 需的时间我们可以通过求解一个n=50个方程的方程组得到 一个很好的猜测,即对用掉的时间按比例放大1000倍。
《数值分析》典型例题 II
三、四章内容提要 典型例题分析
1/51
化难为易
直接法
古典迭 代方法
Ax b
现代迭 代方法
化繁为简
化繁为简
2/51
初等行变换不改变方程组的解
1.交换矩阵的第i行与第j行的位置 2.以非零数k乘以矩阵的第i行的 每个元素 3.把矩阵的第i行的每个元素的k倍 加到第j行的对应元素上去
F1-1F2-1 ···Fn-1-1 = I + m1 e1T+···+mn-1 en-1T
1
1
1
1
1 mn,n1
1
1
····
m21
m
n1
1 mn,n1
1
F1-1F2-1 ···Fn-1-1 =
16/51
例2.设A为对称矩阵。高斯消元法一步后,A约化为
a011
1T
de（t
I
-B）=
det((D-
L)1((D-
L)-
1
((1-
)D+U
)))=0
19/51
对称正定矩阵:直接法高斯消元法中约化 主元大于零,迭代法GS方法,SOR方法,最速下 降方法和共轭梯度法收敛。
例5.Ax=b,其中A对称正定,问解此方程的Jacobi
迭代法是否一定收敛？
1 0.4 0.4 x1 1
|| b ||
|| X(k+1) – X* || ≤ ||B|| || X(k) – X* ||
向量范数a诱导的算子范数是所有与向量范数a相 容矩阵范数的下界(即最坏结果里面最好的)
|| B ||m
||Bx*||a ||x*||a
||
B
||a
max x0
||Bx||a ||x||a
14/51
1
10/51
常用的范数: || x ||2
n
xi2 x12 x22 L xn2
n i1
x 1
xi x1 x2 L xn
i 1
x max 1 i n
xi
max
x1 , x2 , L , xn
n
A
max 1 i n
aij
j1
n
A
1
max 1 jn
i 1
aij
B
证明 B 也是对称矩阵。
1
F1
A
m1
In1
a111
1T
A1
a011
A1
1T m11T
, m1
1 a11
B
A1
1 a11
11T
17/51
约化主元不为零的判断
定理3.1
约化主元
a ( k 1) k ,k
0
(k =1,2,L
,n)
的充分必要条件是矩阵A各阶顺序主子式
不等于零。即
a11 L Dk M
最速下降法思想简单,但收敛速度慢。本 质上因为负梯度方向函数下降快是局部性质。
共轭梯度法的关键是构造一组两两共轭 的方向(第k步迭代生成共轭方向张成k维子 空间)。巧妙的是共轭方向可以由上次搜索 方向和当前的梯度方向组合产生。
9/51
复杂性:
高斯消元法共用乘法和除法次数为n3/3+ n2n/3,常用记号O表示是多少阶的,则O (n3/3)。
m31u12+ m32u22=a32, ···, mn1u12+ mn2u22=an2
m32=(a32- m31u12)/u22, ···, mn2=(an2- mn1u12)/u22
对A的元素aij ,当 j≥k 和 i≥k+1时
k 1
akj mkr urj ukj r 1
k 1
aik mir urk mik ukk r 1
,
max ( AT A) max ( A) min ( AT A) min ( A)
病因是条件数大,病症是什么呢?
|| xk x* ||A 2
k
cond( A) 1 cond( A)+1
|| x0 x* ||A,cond( A)
max ( A) min ( A)
23/51
例9.矩阵的Doolittle分解 A = LU, L为单位下三角矩阵,U为上三角矩阵。
2
5
2
2
1 2
1 3
2
3
1
12
3
1
10
3
28/51
三对角矩阵分解
2 1
2 1
1
3 2
2 4
2
1 / 2
5/2 2
2 4
2
3
5
3
5
2 1 / 2
1 5/2 4/5
2 12 / 5 3
2
2
1
/
2
5
1 5/2 4/5
2 12 / 5 5/4
a ( n1) nn
高斯消元法本质是矩阵的分解。
4/51
矩阵分解(Top 10 Algorithms) (1)特征值分解: A=CDC’, [C,D]=eig(A) (2)奇异值分解: A=USV’ , [U,S,V] = svd(A) (3) LU分解: PA=LU, [L,U,P]=lu(A) (4)Cholesky分解: A=LLT, R=chol(A) (5) 非负矩阵分解
a11 a12 A a21 a22
an1 an2
a1n
a2
n
ann
a11= u11, ···, a1n= u1n a21 = m21u11, ···, an1 = mn1u11
1
m21
1
u11 u12
u22
u1n
u2
n
mn1
mn,n1
1
unn
24/51
m21u12+ u22=a22, ···, m21u1n+ u2n=a2n u22=a22 - m21u12, ···, u2n=a2n- m21u1n
3/51
直接方法: 高斯消元法
A(n – 1) = Fn-1Fn-2·······F1 A 其中Fk 为 Frobenius矩阵。
A=F1-1F2-1 ······Fn-1-1 A(n – 1)
L
U
1
L
m21
mn1
1 mn,n1 1
a11 a12
U
a(1) 22
a1n
a(1) 2n
|| A1 ||2 max( A-T A1) max( A-1AT )=1/ min( AT A)
22/51
例8. 如果矩阵A对称,则(A) A 2
A对称,则A CDCT , AT A A2 CDCTCDCT CDDCT
i ( AT A) | i ( A) |2 ,cond( A)2
2 5 / 2
1
L 1 / 2 1
4/5 1
5 / 4 1
2 1
U
5/2
2
12 / 5 2
5 / 2
29/51
三对角矩阵分解 A = L U
b1 c1
1 c1
A a2 b2
2
2
c2
an
bn
n
n
步骤I:
1k
b1 ak
/ k1, k
Crout分解：
①更新顺序: 先列后行 ②行除列不除 ③旧元素减去所在行和列前k-1分量点乘的加27和/51
求矩阵的Doolittle分解
1 2 1 2
1 2 1 2
A
2
2
1
5 2 3
3 3 2
2
5
3
2
2
1
5 2 3
3 3 2
2
5
3
1 2 1 2
1 2 1 2
2
11
2 2 3
6/51
迭代法思想:
Iterate: To say or do again or again and again
x0 x1 ( x0 ) L xn ( xn1 ) L
lim
n
(
xn
)
x*
迭代背后的思想是一种与传统思维模式截然不同的方式, 传统思维方式往往希望一遍做好,一次成功;但是迭代开发意 味着反复地做,不断地根据反馈进行调整。
A 2
(
AT
A)
,
其中
(
B)
max i
|
i
(
B)
|
n
注释 : A F
ai2, j 不是向量2范数诱导的算子范数,
i , j1
是与向量2范数相容矩阵范数。
11/51
计算A
1
0
2 4
及其逆矩阵的1范数(列和范数),
范数(行和范数), 2范数(谱范数), F 范数及各
范数意义下的条件数。
A =6, A =4, A = 4.4954, A = 4.5826
25/51
矩阵L和矩阵U的元素计算公式
k 1
ukj akj mkr urj r 1Fra bibliotekk 1
mik (aik mir urk ) / ukk r 1
计算次序
1 23
45 6
u11 u12
u1n
A
m21
u22
u2n
mn1
mn,n1
unn
26/51
Doolittle分解：
①更新顺序: 先行后列 ②列除行不除 ③旧元素减去所在行和列前k-1分量点乘的加和
ak1 L
a1k M 0 (k=1,L ,n) akk
18/51
严格对角占优矩阵:高斯消元法中约化主元 不等于零,Jacobi方法, GS方法和SOR方法收敛。
例3.严格主对角占优矩阵一定是非奇异的。
例4.严格对角占优矩阵的约化主元ak,k(k-1) ≠ 0 (k=1,···,n) 。
思考: 若A是严格对角占优矩阵, 当0< w <=1时, SOR方法收敛。
1
2
F
A1
1 0
1 2
1 4
A1
=1,
1
A1
=
3 2
,
A1
= 1.1238,
2
A1
= 1.1456
F
12/51
条件数为1的矩阵？
正交矩阵AT A I
cond(A)2 = || A ||2|| A1 ||2 = ( AT A) ( AAT ) =1
算子范数cond(I )= || I |||| I || 1
Fk
1 mk1,k
mnk
1
=
I
–
mkekT
( k = 1, 2, ···, n – 1)
1
0
0
mk
mk
1,k
mnk
Fk–1 = I + mk ekT ekT=[ 0 ···0 1 0 ···0 ]
15/51
例1. Fk–1 Fj–1 = I + mk ekT+mj ejT k<j ekTmj =0, k<j