第4章 矩阵的分解

Step2.令 U1 AV1D1, 得U1=[u1，u2，… ，ur],
扩充为标准正交基 酉矩阵U。
1 2 例 求矩阵A的奇异值分解，A= 0 0 。 0 0
2、矩阵U，V的空间性质：
左奇异向量
V=[v 1，v2，，vr ， ，v n] =[V1 V2]C n×n的列向 量是空间C n的标准正交基。 U=[u 1，u2，，ur ， ，u m] =[U1 U2]C m×m的列 向量是空间C m的标准正交基。
U1 的列向量是R（A）的标准正交基。 U2的列向量是R （A）的标准正交基。 右奇异向量
V2的 （A） 的标准正交基。
例题：图像的数字化技术与矩阵的奇异值分解
计算机处理图像技术的第一步是图像的数字化 存储技术，即将图像转换成矩阵来存储。 转换的原理是将图形分解成象素（pixels）的一 个矩形的数阵，其中的信息就可以用一个矩阵 A=（a ij）m×n来存储。矩阵A的元素a ij是一个 正的数，它相应于象素的灰度水平（gray level） 的度量值。 由于一般来讲，相邻的象素会产生相近的灰度 水平值，因此有可能在满足图像清晰度要求的 条件下，将存储一个m×n阶矩阵需要存储的 m×n个数减少到n+m+1的一个倍数。
2、奇异值的定义： （P099） AC m×n，秩（A）=r，设AHA的特征值1 2 r 0，r+1= r+2 == n =0，则矩阵的奇异值
di
i ,
i 1,2,..., r.
二、矩阵的奇异值分解
1、Theorem 4.4.1（P099）
设AC m×n，秩（A）=r，则存在酉矩阵 UC m×m，VC n×n，使得
A–1 = A + ；
例 求下列特殊矩阵的广义逆； 零矩阵0； + 0 =0 m × n 对角矩阵
n×m
2、M-P 广义逆的惟一性
Theorem 如果A有M-P广义逆，则A的M-P广义逆 是惟一的。 3、M-P广义逆的存在性及其求法
Theorem 任何矩阵都有M-P广义逆。 求法： • 设A满秩分解A=BC，则
各种标准形的理论和计算方法 矩阵的分块
常见的矩阵标准形与分解 常见的标准形
等价标准形 相似标准形 合同标准形
I r 0 Amn pmm Qnn 0 0 1 Ann PJ A P
Ann CCT
AT=A
本节分解：
三角分解
满秩分解
等价标准形
可对角化矩阵的谱分解
一、矩阵A的奇异值及其性质
1、矩阵AHA和AAH的性质：
AC m×n，AHAC n×n，AAHC m×m ， 都是Hermite矩阵。 Theorem 2.7.8（P052）
1. 秩（A）＝秩（AHA）=秩（AAH）。 2. AHA 和AAH 的非零特征值相等。 3. AHA和AAH 是半正定矩阵。 AHA和AAH 的特征值是非负实数：1 2 n
相似标准形
4.1 LU分解(图灵Turing, 1948)
LU分解：AFnn， 存在下三角形矩阵L ， 上三角形矩阵U ，使得A=LU。
1 0 7 1 A 3 2 0 3 1 1 1 1 0 0 1 0 7 1 0 0 2 21 LU 1 9 1 0 0 2 2
A C (CC ) (B B) B
H H 1 H 1
H
• 奇异值分解可以用于求广义逆(Theorem 4.5.3,P105) 设A奇异值分解 ：（可以不讲）
D D 0 H A V U ，则 A V 0 0 0
1
0 H U 0
a1 a 例 设向量 2 的M-P广义逆。 an
(1 , 1 ) ... ( n , 1 ) 2 ... ( n , 2 ) n
4.2 QR分解
例 P090 例4.2.1
此例中矩阵是列满秩的
例 P091 例4.2.2
此例表明即使矩阵不是列满秩的，也可以用G-S正交化 方法，但是其QR分解不是唯一的。
d1 D 0 其中 0 0 , D d r
A UV H ,
证明思想： D2 Step1. AHA正规，VHAHAV= 酉矩阵V。
V [V1,V2 ], V1 [ 1,..., 2 ]
， 0
1 2 例 设 A 1 2， 求A+。 1 2
3、M-P广义逆的性质
Theorem 4.5.2 (P103) ： 1. （ A + ）+=A 2. （A + ） H =（A H ）+ 3. （A）= +A+ 4. A列满秩，则A+=（ A H A ） –1A H ，A行满 秩，则A+=AH （AAH） –1。 5. A有满秩分解：A=BC，则A+=C+B+。
Ak u v u v u v
H 1 1 1 H 2 2 2
H k k k
有在秩为k （kn）的所有矩阵中，矩阵Ak所对应的图象和 矩阵A所对应的图象最相近。一般的，k越大图象就越清晰。 经典的方法是选取接近 k，使 Ak 的存储量比 A的存储量减少 20%。
存储矩阵Ak只需要存储k个奇异值，k个m维向 量ui和n维向量vj的所有分量，共计k（m+n+1） 个元素。 如果m=n=1000，存储原矩阵A需要存储 1000×1000个元素。取k=100时，图象已经非 常清晰了，这时的存储量是100（2000+1） =200100个数。 和矩阵A比较，存储量减少了80%。
A +与A–1 性质的差异比较：
（AB）–1=B –1 A –1 ，一般不成立（AB）+=B+A+。(只有满秩分解成立) （A–1）k =（Ak） –1 ，但不成立（A+）k=（Ak）+
Application: 可以简化求解线性方程的算法
Ax LUx b Step1: Ly b Step2 : Ux y
4.2 QR分解
1. 利用Gram-Schmidt正交化过程的QR分解 Theorem 设矩阵ACmn ，R(A)=n(列满秩)。则 存在非奇异上三角阵R，和矩阵Q，QHQ=E，使 得A=QR。
Er A P 0 0 Er Q P Er 0 0 0 Q BC
列 满 秩
行满秩
满秩分解的实现：向量组最大无关组的求法
例 求矩阵A的满秩分解
1 1 2 3 A (1 , 2 , 3 , 4 ) 1 0 1 0 0 1 1 3 1 0 1 0 1 1 行初等 0 1 1 3 , B 1 0 , A BC 0 0 0 0 0 1 1 0 1 0 C 0 1 1 3
4.2 QR分解(不做要求)
对于一般的方阵，无论其是否列满秩，都 可以利用Householder方法得到QR分解。
4.3 满秩分解
已知的结论
Er 0 Er Amn ~ , i.e., A P 0 0 0 矩阵的满秩分解 0 Q， P, Q可逆 0
对秩为r 的矩阵AFmn ，存在秩为r的矩 阵 B Fmr，CFrn ，使得A=BC为A 的满 秩分解。
压缩数字化图形存储量的方法主要是应用矩阵的奇 异值分解和矩阵范数下的逼近。如果图象的数字矩 阵A的奇异值分解为：A=UVT， 其展开式：
A u v u v u v
H 1 1 1 H 2 2 2
H r r r
压缩矩阵A的方法是取一个秩为k （kr）的矩阵Ak 来逼近 矩阵A。 Ak按如下方法选取：
第4章、 矩阵的分解
Matrix Factorization and Decomposition
矩阵分解的概述
矩阵的分解： 矩阵分解的原则：
实际应用的需要 显示原矩阵的某些特性 矩阵化简的方法之一 A=A1+A2+…+Ak A=A1A2 …Am 矩阵的和 矩阵的乘积
理论上的需要 计算上的需要
主要技巧：
总结：矩阵的满秩分解的做法
对ACmn 做行初等变换得行最简形H，取H的前r行所成 矩阵为C，取A的列向量组的最大无关组所成矩阵为B， 则 B Cmr，CCrn ，其秩序均为r，且A=BC。
例 P098 例4.3.2； 例 P098 例4.3.1（此矩阵为列满秩矩阵）
4.4 奇异值分解(Singular Value Decomposition)
Problem: 矩阵的奇异值分解是酉等价型的分
D 0 D 矩阵A等价于= 0 0 mn
解: AC m×n，酉矩阵UC m×m, VC n×n ,使得A=U VH。 d
1
d2
dr
奇异值分解基本适用于内积空间中与矩阵秩相 关的问题 A的奇异值分解依赖于正规矩阵A HA 的酉相似 分解的。
4.5 Moore-Penrose（M-P）广义逆
由Moore 1920年提出，1955年由Penrose发展。 1、 Definition设A C m n ，如果 XC n m ，使得 1. AXA=A 2. XAX=X 3. （AX）H = AX 4. （XA）H =XA 则称G为A的M-P广义逆，记为G=A+。 例 讨论原有的逆的概念和M-P广义逆的关系。
Remark: 这样的分解称之为QR分解。
实施步骤
A (1,2 ,...,n )
G-S正交化
单位化
1, 2 ,..., n
1, 2 ,..., n