矩阵分析第四章

− 2 1 − 2 1 x1 1 1 0 1 练习：求方程组 ：求方程组 练习 x2 = 的解。 1 −1 0 − 2 x3 1 1 −1 1
第三节
矩阵的奇异值分解
R∈Crr×r 正线上三角
由R1, R2均为正线上三角矩阵可得: R1 = R2, 从而U1 = U2. 推论1：设A∈Crr×n, 则∃唯一的U∈Urr×n和r阶正线下三角矩 阵L使 A = LU. 证明: 自己练习
推论2：设A∈Cnn×n, 则∃唯一的U1∈Un×n和n阶正线上三角矩 阵R使 A = U1R; ∃唯一的U2∈Un×n和n阶正线下三角矩阵L使 A = LU2. 证明: 自己练习 推论3：设A∈Crm×n, 则∃唯一的U1∈Urm×r, U2∈Urr×n, r阶正线 上三角矩阵R, 及r阶正线下三角矩阵L使 A = U1RLU2. − 2 1 − 2 证明: 自己练习 例1：求矩阵A的UR分解, 其中
Er PAQ = 0
1 3 2 1 4 1 3 2 1 4 r ←r −r −r → 2 6 1 0 7 例 1: A = 2 6 1 0 7 3 9 3 1 11 0 0 0 0 0
3 3 2 1
1 3 2 1 4 1 3 2 1 4 r ←r − 2r ( −1 / 3) r − − → 0 0 − 3 − 2 − 1 − − → 0 0 1 2 / 3 1 / 3 0 0 0 0 0 0 0 0 0 0
为了引入矩阵的奇异值，先介绍两个引理。 引理：∀A∈Cm×n, rank(AHA) = rank(AAH) = rank(A) 定理：先证 定理： 先证rank(AHA) = rank(A). 只需证: N(AHA) = N(A), 因为∀A∈Cm×n, dimN(A) = n − dimR(A) = n − rank(A). 设x∈Cn是AHAx = 0的解, 则xHAHAx = 0, 即(Ax)HAx = 0, 从而Ax = 0; 反之, 设x∈Cn是Ax = 0的解, 则AHAx = 0. 所以, N(AHA) = N(A). 又因∀A∈Cm×n: rank(A) = rank(AH), 从而有 rank(AHA) = rank(AAH) = rank(A) 引理：∀A∈Cm×n, AHA及AAH都是正半定Hermite矩阵
2 2 1 2
1 3 0 − 1 / 3 10 / 3 r ←r − 2r → 0 0 1 2 / 3 1 / 3 0 0 0 0 0
1 1 2
取第1列和第3列构成E2, 则B由A的第1列和第3列构成, 即
1 2 B = 2 1 , 3 3
第二节
矩阵的正交三角分解(UR, QR分解)
定理：设 定理 ：设A∈Crm×r, 则∃唯一的U∈Urm×r和r阶正线上三角矩阵 R使 A = UR 证明：存在性. 设A = (α1, α2, L, αr), 其中α1, α2, L, αr线性无 关, 可用Schmidt方法对其正交化为β1, β2, L, βr, 则:
⇒
α 1 = β1 α 2 = k 21 β1 + β 2 α 3 = k 31 β1 + k 32 β 2 + β 3 LLL α r = k r1 β1 + k r 2 β 2 + L + k r , r −1 β r −1 + β r
并设 ν 1 =|| β1 ||−1 β1 , ν 2 =|| β 2 ||−1 β 2 , L , ν r =|| β r ||−1 β r , 则:
将上两式代入BC = B1C1，得： B1(θ1θ2)C1 = B1C1 因此有: B1HB1(θ1θ2)C1C1H = B1HB1C1C1H 其中B1HB1, C1C1H都是可逆矩阵, 因此 θ 1θ 2 = E ⇒ θ 2 = θ 1− 1 (2) 将(1)的结果代入CH(CCH)−1(BHB)−1BH即可得到.
令 k1AHx1 + k2AHx2 + L + kpAHxp = 0 上式两边左乘A, 得: λi(k1x1 + k2x2 + L + kpxp) = 0 ⇒ k1 = k2 = L = kp = 0 表明AHxj, j = 1, 2, L, p是线性无关的. 因此, AAH的p重特征值也是 AHA的p重特征值. 再由AAH 与AHA的大于零的特征值个数相同, 可知: λi = µi > 0, i = 1, 2, L, r. 定义：设 定义： 设A∈Crm×n, AAH的正特征值为λi, AHA的正特征值为 µi. 称
第四章 矩阵分解 矩阵分解
第一节 矩阵的满秩分解
定理：设 定理 ：设A∈Crm×n, 则∃B∈Crm×r, C∈Crr×n使 A = BC 证明：设 证明 ：设A的前r个列线性无关, 则∃P∈Cmm×m, 使
⇒
Er D PA = (即对A做初等行变换 ) 0 0 D −1 E r −1 E r A=P 0 0 =P 0 (E r D ) = BC
1 A= 1 1
1 −1 −1
1 0 1
解：设A = (α1, α2, α3), 用Schmidt方法将α1, α2, α3标准正交 化得:
−3 1 1 1 ν1 = , , , 2 3 2 3 2 3 2 3 2 1 1 ν2 = ,− ,− 0, 6 6 6 1 1 ν3 = , 0, 0, − 2 2
−1
Er m× r r×n ( ) 其中 : B = P ∈ C , C = E D ∈ C r r r 0
若A的前r个列线性相关, 则∃P∈Cmm×m, Q∈Cnn×n使
D −1 E r −1 ( ) ⇒ A = P E D Q = BC r 0 0 −1 E r m× r −1 r ×n ( ) 其中 : B = P ∈ C , C = E D Q ∈ C r r r 0
定理：设 定理： 设A∈Crm×n, λi是AAH的特征值, µi是AHA的特征值, λi, µi都是实数。另设 λ1 ≥ λ2 ≥ L ≥ λr > λr+1 = λr+2 = L = λm = 0, µ1 ≥ µ2 ≥ L ≥ µr > µr+1 = µr+2 = L = µn = 0, 则: λi = µi > 0, i = 1, 2, L, r. 证明：设 证明 ：设x1, x2, L, xp是AAH (正规矩阵)对应于特征值λi≠0的 线性无关特征向量, 则: AAHxj = λixj, j = 1, 2, L, p. ⇒ (AHA)(AHxj) = λi(AHxj), j = 1, 2, L, p. 表明AHxj, j = 1, 2, L, p是AHA(正规矩阵)的对应于特征值 λi≠0的特征向量(但还不能认为λi = µi ). 下证它们也是线性 无关的.
β1 = α 1
(α 2 , β1 ) β2 = α2 − β1 ( β1 , β1 )
β3 = α3 −
LLL
(α 3 , β1 ) (α , β ) β1 − 3 2 β 2 ( β1 , β1 ) (β 2 , β 2 )
(α r , β1 ) (α r , β 2 ) (α r , β r −1 ) βr = αr − β1 − β2 − L − β r −1 ( β1 , β1 ) (β 2 , β 2 ) ( β r −1 , β r −1 )
R = UHA
T T
T
令U = (ν1, ν2, ν3), 则UHU = E3. 由 A = UR得
即:
−3 2 3 H R =U A = 0 0 2 3 = 0 0
1 2 3 2 6 0
1 2 3 −1 6 −1 2
1 − 2 1 − 2 2 3 1 1 − 1 1 6 1 − 1 0 1 1 − 1 1 2
⇒
′ k11 A = (α 1 , α 2 , L, α r ) = (ν 1 , ν 2 , L, ν r )
U∈Urm×r A = UR
′ L k r′1 k 21 ′ O k 22 M O k r′, r −1 ′ k rr
⇒
唯一性. 设A = U1R1 = U2R2, 则: AHA = (U1R1)HU1R1 = R1HR1 = R2HR2.
δ i = λi = µ i , i = 1, 2, L, r
为矩阵A的正奇异值, 简称为奇异值.
• 若A本身为正规阵, 即AAH = AHA, 则: A = Udiag(λ1, λ2, L, λn)UH ⇒ ⇒ ⇒ AH = Udiag(λ1, λ2, L, λn)UH AAH = Udiag(λ1λ1, λ2λ2, L, λnλn)UH A的奇异值为A的非零特征值之模长.
来自百度文库
表明: AAH的特征值为λ1λ1, λ2λ2, L, λnλn. 定理：设 定理： 设A∈Crm×n, δ1 ≥ δ2 ≥ L ≥ δr是A的r个正奇异值, 则: ∃U∈Um×m, V∈Un×n, 使
′ = βi > 0 , 其中k ii LLL ′νr α r = k r′1ν 1 + k r′2ν 2 + L + k r′, r −1ν r −1 + k rr
′ν1 α1 = k11 ′ ν 1 + k 22 ′ ν2 α 2 = k 21 ′ ν 1 + k 32 ′ ν 2 + k 33 ′ ν3 α 3 = k31
而C就是变换后的前2行，即
1 3 0 − 1 / 3 10 / 3 C = 0 0 1 2 / 3 1/ 3
1 / 3 1 0 − 1 / 9 10 / 9 r /3 A → 0 0 1 2 / 3 1 / 3 0 0 0 0 0
1
所以，也可取第2列和第3列构成E2, 则B由A的第2列和第3列 构成, 即
3 2 B = 6 1 , 9 3
而C就是再次变换后的前2行，即
1 / 3 1 0 − 1 / 9 10 / 9 C = 0 0 1 2 / 3 1/ 3
定理： 定理 ：若A = BC = B1C1均为A的满秩分解，则： (1) ∃θ∈Crr×r满足B = B1θ, C = θ −1C1; (2) CH(CCH)−1(BHB)−1BH = C1H(C1C1H)−1(B1HB1)−1B1H . 证明： 证明 ：(1) 由BC = B1C1有： BCCH = B1C1CH 因为 rankC = rank(CCH) (见本章第三节引理), CCH∈Crr×r, 由 上式得: B = B1C1CH(CCH)−1 = B1θ1, 其中 θ1 = C1CH(CCH)−1. 同理可得: C = (BHB)−1BHB1C1 = θ2 C1, 其中: θ2 = (BHB)−1BHB1.
− 2/ 3 4/ 3 4 / 6 1/ 6 0 1/ 2
例2：设A∈Cnm×n, b∈Cn, 证明方程组 Ax = b 有解, 并求其解 证明: 对A∈Cnm×n, 一定∃唯一的U∈Unm×n和n阶正线上三角 矩阵R, 使得: A = UR. 从而: URx = b ⇒ UHURx = UHb 由于UHU = En, ⇒ Rx = UHb ⇒ x = R−1UHb