数值线性代数简明教程—centre

max ||·||是 Rn 的一向量范数，if|||A|||=
||A||,A∈Rn*n，then|||·|||
|| x||=1
是 Rn*n 的一矩阵范数。
7 向量范数诱导出的算子范数：
max ∑ 行和范数：||A||∞=
n 1
|aij|
1≤i≤n
max ∑ 列和范数：||A||1=
n 1
|aij|
1≤ j≤n
华中科技大学……学习笔记系列
作者：centre
∑ ∑ � A ∈ Cn*n, 则 ∞ AK 收 敛 时 ， 有 ∞ AK=(I-A)-1 且 ∋ 算 子 范 数 St,||(I-A)-1
0
0
∑ - m AK||≤||A||m+1/(1-||A||) 0
� ||·||是 Cn*n 的一矩阵范数，||I||=1,设 A∈Cn*n 有||A||<1,则 I-A 可逆且 ||(I-A)-1 ||≤1/(1-||A||)
8 谱范数：||A||2=SQRT(λmax(A'A))=MAX{|y'Ax|:x,y∈Cn,||x||2= ||y||2=
1}=||A'||2=SQRT(||A'A||2)=||A||2=||VA||2=||AU||2( ∀ 正交阵 U,V)
∑ 9
Frobenius 范数：||A||F=(
N 1
|aij|2)1/2.
设(*)解存在,x 为任一给定解，则全部解集合为 x+N(A)
(*)解唯一 N(A)=0
x∈XL,S, A'Ax=A'b 12 正则化方法：C=A'A,d=A'b,Cholesky 分解 C=L'L,Ly=d,L'x=y→x � A+=(A'A)-1A'称为 A 的 Moore-Penrose 广义逆 � x=A+b,x+δx=A+(b+δb)=A+b~ � 设 b1,b1~分别 b,b~在 R(A)上的正交投影，b1≠0,则 � 设 A 的列向量线性无关，则 k2(A)2=k2(A'A) 13 Householder 变换： � 定义：w∈Rn,||w||2=1,定义 H∈Rn*n，为 H=I-2ww' � 性质：H'=H,H'H=H2=I,Hx 是 x 关于 w 的垂直超平面的镜像反射。 � 定理：w=(x-αe1)/||x-αe1||2 时 Hx=αe1,α=±||x||2. � 算法：v=x±||x||2e1,w=v/||v||2. � 修正：
10 敏度分析：(A+δA)(x+δx)=b+δb(b=Ax)得(A+δA)δx=δb-δAx 得 δ x=(I+A-1 δ A)-1A-1( δ b- δ Ax) 得 || δ x|| ≤ ||A-1||(|| δ b||+|| δ A|| ||x||)/(1-||A-1|||| δ A||) 得 || δ x||/||x|| ≤ ||A-1||||A||(|| δ A||/||A||+||δb||/||b||)/(1-||A-1||||δA||) � K(A)=||A-1||||A||为 Ax=b 的条件数 � 推论：||·||是 Rn*n 的一矩阵范数，||I||=1,设 A∈Rn*n 非奇异，δA 满足 ||A-1||||δA||<1,则 A+δA 也非奇异，有||(A+δA)-1-A-1||/||A-1||≤(k||
b x + k+1 ij j
bij xjk+gi)
1
i +1
ω>1 为超松驰迭代；ω<1 为低松弛迭代；ω=1 为 G-S 迭代
xk+1=Lωxk+ω(D-ωL)-1b （其中 Lω=ω(D-ωL)-1[(1-ω)D+ωU]） 收敛性质：
A 严格对角占优 OR 不可约对角占优，ω∈（0，1）
A 实对称正定，ω∈（0，2）
� 谱半径：ρ(A)=max{|λ|:λ∈λ(A);A∈Cn*n}
� ∀ 矩阵范数||·||有ρ(A)≤||A||
� ∀ ε>0, ∋ 算子范数||·||,st,||A||≤ρ(A)+ε
lim � A∈Cn*n,则
AK=0
k →∞
Hale Waihona Puke Baidu
ρ(A)<1
∑∞ AK 收敛 0
----穷则投资自己，达则投资天下---
� v1=x1-||x||2=(x12-||x||22)/(x12+||x||22)避免两相近数相减 � H=I-2vv'/v'v=I-βvv'不必求 w,只需求β&v � V 规格化为第一个分量为 1 的向量正好可把后 n-1 个分量存于 x 的 后 n-1 个化为 0 的分量位置。
� 为避免溢出，以 x/||x||∞代替 x 来构造 v 14 正交化方法：(基于 2 范数的正交不变性)min||Q'Ax-Q'b||2. � QR 分解定理：A∈Rm*n,(m>n)则 A=Q(R,0)',Q 是正交阵，R 是具非负对角元的 上三角，且 m=n&A≠0 时上述分解唯一。 � ||Ax-b||22=||Q'(Ax-b)||22=||Q'(Q(R,0)'x-b)||22=||Rx-C1||22+||C2||22 � QR 分解法：QR 分解；c1=Q1'b；Rx=c1;求出 x（以斜对角线的方式存在 A 左下） 15 古典迭代法：(此后部分属于间接解法) � Jacobi 迭代：Ax=b (D-L-U)x=b xk+1=D-1(L+U)xk+D-1b=(I-D-1A)xk+D-1b
----穷则投资自己，达则投资天下---
华中科技大学……学习笔记系列
设 A 的特征值 0<λ1≤……≤λn,||x||A=sqrt(xTAx) ||xk-x*||A≤((λn-λ1)/(λn+λ1))k||x0-x*||A ||P(A)x||A≤maxp(λi)||x||A.其中 P(t)是实系数多项式 18 CG 法：（对称正定矩阵整体下山最佳方向）
华中科技大学……学习笔记系列
作者：centre
1 三角方程组解法：前代法，回代法求解 Ly=b
2 Gauss 变换法：A=LU
Lk=I-lkek',Lk-1=I+lkek', lk=(0…0，lk+1,k…ln,k)',lik=aik(K-1)/akk(K-1),(i=k+1…n) A(K-1)=Lk-1…L1A,L=(LN-1…L1)-1,U=A(N-1). 存储：用 A(K)的元素冲掉 A(K-1)相应位置的元素。运算量：2n3/3
定理：xk∈Rn, lim ||xk-x||=0 k →∞
lim ||xi(K)-xi||=0 k →∞
6 矩阵范数： 定义：Rn*n→R,正定性,齐次性,三角不等式,+相容性(||AB||≤||A||||B||)。
矩阵范数和向量范数满足||Ax||v≤||A||m||x||v,则||·||m 与||·||v 相容。
K −1 1
liPlkP)/lkK.lkK=sqrt(akK-
K −1 1
lKPlKP).
4 LD'L 分解法：（改进的平方根法，避免开方运算）
∑ ∑ ∑ vk=dkljk.dj=ajj-
j−1 1
ljkvk=ajj-
j−1 1
ljkljkdk.lij=(aij-
j−1 1
likvk)/dj.
5 向量范数： 定义：Rn→R,正定性(||x||≥0,||x||=0 当且仅当 x=0),齐次性(||αx||=|
� If||B||1<1,then,G-S 迭 代 收 敛 ||xk-x*||1 ≤ ||x1-x0||1 μ ~k/(1- μ
max ∑ max ∑ ∑ ~)(1-s)【s=
n j+1
|bij|,μ~=
j−1 1
|bij|/(1-
n j+1
|bij|)
j
j
max ∑ ∑ ≤||B||1<1,μ=
n i +1
作者：centre
给定初始向量 X0,第一步仍选负梯度方向为下山方向，P0=r0,α0=r'0r0/P'0AP0, X1=X0+α0P0,r0=b-AX1. 对 k+1 步，下山方向为过 XK 由 RK,PK-1 张成的二维平面，X=XK+ζK+ηPK-1.
Ψ(ζ,η)=X'AX-2b'X →X~=XK+ζ0rK+η0PK-1. 令βk-1=η0/ζ0,XK+1=XK+αKPK.得αK=r'kPk/P'kAPk,βk=-r'k+1APk/P'kAPk, PK=rK+βkPK-1,rK+1=rK-αKAPK. 性质：P'irj=0,0≤i<j≤k;r'irj=0,P'iAPj=0,i≠j,0≤i,j≤k; Krylov 子空间：Κ(A,r0,k+1)=span{r0…AKr0}=span{r0…rk}=span{P0…Pk} 共轭梯度法得到的近似解是离方程组最近的
� IF 迭代法 M 有||M||=q<1,||I||=1,则||xk-x*||≤||x1-x0||qk/(1-q) � IF 迭代法 M 有||M||=q<1,||I||=1,则||xk-x*||≤||xk+1-xk||q/(1-q) � B 是 Jacobi 迭代阵：
� If||B||∞<1,then,G-S 迭代收敛||xk-x*||∞≤||x1-x0||∞μk/(1-μ)
α|*||x||),三角不等式(||x+y||≤||x||+||y||)
性质：连续实函数 P 范数：||x||p=(|x1|p+…+|xn|p)1/p,p≥1.
p=1,2，∞时最重要的范数(证：|x'y|≤||x||p||y||q (1/p+1/q=1)) 定理： ∀ ||·||α&||·||β ∋ C1,C2,ST ∀ x∈Rn,C1||x||α≤||x||β≤C2||x||α。
≠0,Jacobi&G-S 迭代均收敛。
� If A 严格对角占优或不可约对角占优，A=A',aii>0，then,A>0
16 SOR 法：（要求 A 有较好的性质，计算ωopt 非常困难） xk+1=xk+Δx=(1-ω)xk+ω(D-1Lxk+1+D-1Uxk+D-1b)
i −1
n
∑ ∑ 得 xik+1=(1-ω)xik+ω(
δA||/||A||)/(1+k||δA||/||A||)(表明 k 也可以作为矩阵求逆的条件数) � A∈Rn*n,非奇异 min{||δA||2/||A||2:A+δA 奇异}=1/k2(A)
11 LS 问题：Ax=b,A∈Rn*n(*)
m>n 超定(矛盾)方程组，m<n 欠定方程组
(*)解存在 rank(A)=rank([A,b])
SOR 收敛 ω∈（0，2）
ρ（Lω）<1
最佳松弛因子：
λ+ω-1= ± uω*sqrt(λ)
λ=(uω/2 ± (uω/2)2 - (ω -1) )2,
得ωopt=2/(1+ 1- ρ（B）ρ（B）)时
ρ（Lω）=(1- 1- ρ（B）ρ（B）)/(1+ 1- ρ（B）ρ（B）)
17 最速下降法：（对称正定矩阵局部下山最佳方向） Minφ(x)=xTAx-2bTx gradφ(x)=2(Ax-b)=-2r (其中 rk=b-Axk) Φ(x*+y)=φ(x*)+yTAy≥φ(x*) 令 xk+1=xk+αkPk。 F(α)=Φ(xk+αkPk)=α2PkTAPk-2αrkTPk+Φ(xk) F'(α)=0 得αk=rkTPk/PkTAPk.此时Φ(xk+1)-φ(xk)=-(rkTPk)2/PkTAPk. 收敛性质：
|bij|/(1-
i −1 1
|bij|)≤||B||∞<1,】
i
� If A=A',aii>0,then, Jacobi 收敛 0<A<2D � A>0 G-S 迭代收敛
� 弱严格对角占优，严格对角占优，可约（可分）的，不可约（不可分）的
� If A 严格对角占优或不可约对角占优(=弱严格对角占优+不可约)，then,|A|
----穷则投资自己，达则投资天下---
华中科技大学……学习笔记系列
作者：centre
� Gauss-Seidel：Ax=b (D-L-U)x=b xk+1=(D-L)-1Uxk+(D-L)-1b(省存储量)
� 单步线性定常迭代，迭代矩阵，常数项，初始向量
� ∋ |G|≠0，ST，G(I-M)=A,Gg=b,(xk+1=Mxk+g),则迭代法与线性方程组相容 � 迭代法收敛 MK→0 ρ(M)<1
主元 aii(K-1)均不为零
A 的 i 阶顺序主子式|Ai|≠0
A 的顺序主子阵均非奇异 ∋ 唯一单位下三角阵 L&上三角阵 U,ST,A=LU
3 Cholesky 分解法：（对正定线性方程组）
Cholesky 分解定理：A 对称正定 ∋ 一对角元均为正数的下三角阵 L，ST,A=LL'
∑ ∑ lik=(aik-