矩阵论-第五章-广义逆及最小二乘

§5.1 矩阵的酉交分解、满秩分解和奇值分解
在线行空间中，知道一个线性变换在不同基偶下的矩阵表示是 相抵的或等价的。用矩阵的语言来说，就是：若
A, B ∈ C m×n ，倘有非异矩阵 P (m × n) ， Q(n × n) 存在，使
B = PAQ
则称 A 与 B 相抵的或等价的。利用初等变换容易证明 A ∈ C m×n ，秩为
= B + A+ H A H
= B + ( AA+ ) H = B + AA+ = B + AA+ AA+ = ( B + A) H ( A+ A) H A+
= AA+
+
(4)同(3)可证。 故 A+ 存在。 唯一性：若 B + 也满足 Penrose 方程，则
B + = B + AB + = B + AA+ AB +
= B + ( AA+ ) H ( AB + ) H = B + A+ H AH B + H AH = B + A+ H ( AB + A) H
广义逆或 moore-Penrose 逆。 1) AA+ A = A 2) A+ AA+ = A+ 3) ( AA+ ) H = AA+ 4) ( A+ A) H = A+ A (5.2-1) (5.2-2) (5.2-3) (5.2-4)
从定义中可以看到， 若 A 是可逆阵 （此时自然有 m = n ） ， 则 A−1 是 满足这四个方程的，这就是说 A+ 包括了 A−1 这个特例。(3)(4)两个方 程，说明了要求 AA+ 和 A+ A 都是 H 阵。在实空间中，自然就要求其成
使 证明：
A = HK
(5.1-7)
⎛ Δ 0⎞ ∃U ,V ,U H AV = ⎜ r ⎟ ⎝0 0⎠
r (Δ r ) = r
由此有
⎛ Δ 0⎞ A = U ⎜ r ⎟V H ⎝0 0⎠ ⎛ Δ 0 ⎞⎛ K ⎞ = (U1 ,U 2 ) ⎜ r ⎟ ⎜ ' ⎟ ⎝ 0 0 ⎠⎝ K ⎠
= U1Δ r K = HK
B = ( R, R ' ) ⎛ RH ⎞ B =⎜ ⎜ R' H ⎟ ⎟ ⎝ ⎠
H
( r × n) (n × r )
(5.1-6)
按上述作法，注意此时 B H 是列满秩的，可知酉交阵 V (n × n) ，能使
H ⎛ Δr ⎞ V B =⎜ ⎟, ⎝0 ⎠ H H
(n × r )
H 其中 Δ r 是非异上三角镇。
0⎞ 0⎟ ⎠
(证毕)
通常称 λi 为 A 的正奇值。这个定理说明了：在酉空间中，任一 矩阵都酉相抵于一个实矩阵，其左上角为 r 阶对角阵， r 为 A 的秩， 这个事实当然是引人注目的。 顺便提一下， 且其对角元式 A 的正奇值。 这些定理在欧式空间中也成立，读者仔细读过证明后，便会了解这句 话的根据。那时把 " H " 换成 "T " 就行了。
= A+
H + ⎛ ⎛D 0⎞ ⎞ 0⎞ H ⎛D H + H (3) ( AA ) = ⎜ U ⎜ V V⎜ ⎟ U ⎟ ⎜ ⎝0 0⎟ ⎟ 0 0 ⎠ ⎠ ⎝ ⎝ ⎠ H
H
⎛ ⎛ DD + 0 ⎞ ⎞ UH ⎟ = ⎜U ⎜ ⎟ ⎜ ⎝ 0 ⎟ 0 ⎠m×m ⎝ ⎠
H
⎛ D 0 ⎞ H ⎛ D+ 0 ⎞ H =U ⎜ ⎟ U ⎟V V ⎜ 0 0 0 0 ⎝ ⎠ ⎝ ⎠
⎛ D 0 ⎞ H ⎛ D+ 0 ⎞ ⎛D 0⎞ H H + (1) AA A = U ⎜ V V⎜ ⎟ U U⎜ ⎟ ⎟V 0 0 0 0 0 0 ⎝ ⎠ ⎝ ⎠ ⎝ ⎠ ⎛ DD + D 0 ⎞ H ⎛D 0⎞ H =U ⎜ ⎟V = U ⎜ ⎟V 0⎠ ⎝0 0⎠ ⎝ 0 =A H H ⎛ D+ 0 ⎞ ⎛ D 0 ⎞ H ⎛ D+ 0 ⎞ + + H H (2) A AA = V ⎜ V V⎜ ⎟ U U⎜ ⎟ U ⎟ ⎝0 0⎠ ⎝0 0 ⎠ ⎝0 0 ⎠ ⎛ D + DD + 0 ⎞ ⎛ D+ 0 ⎞ H H =V ⎜ ⎟ U =V ⎜ ⎟U 0 0 0 0 ⎝ ⎠ ⎝ ⎠
Ax = b, A ∈ C m×n ; x ∈ C n , b ∈ C n
有解时，是否有矩阵 G ，能将解表成 Gb 。在下一节中，再把解的含 义推广，使得任一方程组都有“解” ，然后在统一的观点下，将“解” 表出。 尽管近二三十年来，对广义逆的研究已经相当深入。出于应用上 的需要，有各种广义逆，但是我们这里只着重讨论最主要而常见的一 种 A+ ，至于其他一些广义逆，我们将出一些于本章习题中，有兴趣 的读者不妨对之作一点简单的研讨。 定义 (Penrose) A ∈ C m×n ,则满足下列四个方程的 A+ ， 称为 A 的
则 使 其中 而
∃U (m × m),V (n × n),U HU = I m ,V HV = I ⎛ D 0⎞ ∈ R m×n U H AV = ⎜ ⎟ ⎝0 0⎠
D = diag ( λ1 , λ2 , , λr )
(5.1-8) (5.1-9)
λ1 ≥ λ2 ≥
≥ λr > 0
是 AH A 的非零特征值。
r ，则必有 P ， Q ，使
⎛ I 0⎞ PAQ = ⎜ r ⎟ ∈ C m×n ⎝0 0⎠
其中 I r 是 r 阶单位阵。
(5.1-1)
在酉空间中，上面的说法，当然也成立，如果加上 P ， Q 是酉 交阵的要求，情形又如何呢？下面就来讨论这个问题。 定理 5.1.1 (酉交分解) A ∈ C m×n ，且秩为 r ，则
1< i ≤ r j < i,1 < i ≤ r
更一般的有 uiH a j = 0 将 u1 , u2,
(5.1-3)
, ur 扩充为 C m 的一个酉交基，设为
u1 , u2,
, ur , ur +1 ,
um
则显然有 一般的有 记
uiH ui = uiH ai = 0
niH a j = 0
i >1
为实对称阵，把 " H " 换成 "T " 好了。 首先要探讨的是：对任一 A 是否有满足定义的 A+ 存在。 若有，又有多少？ 定理 5.2.1 满足 Penrose 方程的 A+ 存在且唯一。 证明： 存在性： A ∈ C m×n ， A 有奇值分解，即存在酉交阵 U ,V ， 使 注意到 故有 可知 取 则
⎛ u1H a1 , u1H a2 , u1H an ⎞ ⎜ ⎟ H H u a u a 0 ⎜ 2 2 2 n ⎟ an ) = ⎜ ⎟ H H u a u a 0 r r r n ⎜ ⎟ ⎜0 ⎟ 0 ⎝ ⎠
⎛R =⎜ ⎝0
R' ⎞ ⎟ 0 ⎠
( m × n)
(5.1-5)
其中 R 是 r 阶非异上三角镇， R ' 是 r × (n − r ) 型的阵。 记 则
注意到
H Δr 使 H 阵，且正定，故有 Vr (r × r )
VrHVr = I r ，能使
⎛ λ1 ⎜ λ2 H H Vr Δ r Δ rVr = ⎜ ⎜ ⎜ ⎝
⎞ ⎟ ⎟ ⎟ ⎟ λr ⎠
= [diag ( λ1 , λ2 ,
λr )]2
(5.1-10)
= D2
其中有 显然有
源自文库
λ1 ≥ λ2 ≥
+
⎛D 0⎞ H A =U ⎜ ⎟V 0 0 ⎝ ⎠
D = diag ( λ1 , λ2 ,
λr ), λi > 0, i = 1, 2, r
, 1
D −1 = diag (
1
λ1
,
1
λ2
λr
)
D + = D −1
⎛ D+ 0 ⎞ H n×n A =V ⎜ ⎟ U ∈C ⎝0 0 ⎠
H
H
(5.2-5)
λr > 0
(5.1-11)
H ( D −1 ) H VrH Δ r Δ rVr D −1
记
U r = Δ rVr D −1
则由上式可知 U r 是 r 阶酉交阵。 由(5.1-11)式有 令
U rH Δ rVr = D
⎛ Vr 0 ⎞ V2 = ⎜ ⎟ ⎝ 0 In−r ⎠
(5.1-12)
⎛U r 0 ⎞ U2 = ⎜ ⎟ ⎝ 0 I m −r ⎠
§ 5.2 广义逆
对广义逆的研究，大致是源于对方程组
Ax = b
的解的表示法而兴起。在一方程中，若 A ∈ C m×n 且 det A ≠ 0 ，有唯一 解 A−1b 。但除此而外，就没有类似的表示法了，于是就能产生了：有 解、无解、有无穷多解等的讨论。一般来说, A 的型是行数与列数未 必一致的，问题也就更显得复杂了。这里我们先来寻求当方程组
(5.1-4)
i > j ,1 < i ≤ m
U = (u1 , u2 ,
ur , ur +1
um )
则 U 是酉交阵，且
⎛ u1H ⎞ ⎜ H ⎟ ⎜ u2 ⎟ ⎜ ⎟ ⎜ ⎟ H H ⎜ U A = ur ⎟ ( a1 , a2 , ⎜ H ⎟ ⎜ ur +1 ⎟ ⎜ ⎟ ⎜ ⎟ ⎜uH ⎟ ⎝ m ⎠
则 U 2 ,V2 各为 m 阶， n 阶酉交阵。取
U = U1U 2 ； V = VV 1 2
则有
U H AV = U 2 HU1H AVV 1 2
⎛ U r H 0 ⎞ ⎛ Δ r 0 ⎞ ⎛ Vr 0 ⎞ =⎜ ⎟⎜ ⎟ ⎟⎜ In−r ⎠ ⎝ 0 0 ⎠⎝ 0 In−r ⎠ ⎝0 ⎛ U r H Δ rVr 0 ⎞ =⎜ ⎟ 0⎠ ⎝0 ⎛D =⎜ ⎝0
于是
BV = ( Δ r ,0 )
( r × n)
而 Δ r 是非异下三角镇。
⎛ R, R ' ⎞ ⎛ Δr 0 ⎞ ⎛B⎞ 故有 U AV = ⎜ V = V = ⎟ ⎜ ⎟ ⎜0 ⎟ ⎝ ⎠ ⎝0 0⎠ ⎝ 0, 0 ⎠
H
(证毕)
推论
(满秩分解) A ∈ C m×n ，秩为 r ，则有
H ∈ C m×n , K ∈ C r× x , r ( H ) = r ( K ) = r
显然有
r(H ) = r(K ) = r
(证毕)
酉交分解定理，秩说明了 Δ r 是非异下三角镇，至于它的元，特 别是对角线上的元，除了知道是非零元以外，就谈不出其他性质了。 然而利用酉交分解，可以进一步作出有特征的分解，这就是奇值分解 (Singular Value Decomposition)。 定理 5.1.2 (奇值分解) A ∈ C m×n ， r ( A) = r
证明：按酉交分解定理，有 U1 (m × n) 使 即 故有
H
V1 (n × n) ，
⎛ Δ 0⎞ U1H AV1 = ⎜ r ⎟ ⎝0 0⎠ ⎛ Δ 0⎞ A = U1 ⎜ r ⎟V1H ⎝0 0⎠
H ⎛ Δr 0⎞ H ⎛ Δ r 0 ⎞ H A A = V1 ⎜ ⎟U1 U1 ⎜ ⎟V1 0 0 0 0 ⎝ ⎠ ⎝ ⎠ H ⎛ Δr Δ r 0⎞ H = V1 ⎜ ⎟V1 0⎠ ⎝0
第五章
广义逆及最小二乘解
在应用上见得最频繁的、大约莫过于线性方程组了。作一番调查或 整理一批实验数据，常常归结为一个线性方程组：
Ax = b
然而是否是相容方程呢？倘若不是， 又如何处理呢？最小二乘解是常 见的一种处理方法。其实它不过是最小二乘法的代数形式而已。 广义逆从 1935 年 Moore 提出以后，未得响应。据说： (S.L.Campbell ＆ C.D.Meyer.Jr Generalized Inverses of Linear Transformations 1979 P9)原因之一，可能是他给出的定义，有点晦 涩。其后，1955 年 Penrose 给出了现在大都采用的定义以后，对广 义逆的研究起了影响，三十年来，广义逆无论在理论还是应用上都有 了巨大发展，一直成为了线性代数中不可缺少的内容之一。 为了讨论的顺利进行，我们在第一节中先给出点准备，作出矩 阵的奇值分解。
, ar , ar +1 ,
(5.1-2)
an )
, ar 标准正交化为 , ur
按 Gram-schmidt 正交化法，将 a1 , a2,
u1 , u2,
niH u j = δ ij ，1 ≤ i, j ≤ r
且 ui 是 a1 , a2,
niH u j = 0
, ai 的线性组合，注意到 u1 就是 a1 上的单位向量，故
∃U (m × n),V (n × n),U HU = I m ,V HV = I n ，使 ⎛Δ 0⎞ U H AV = ⎜ r ⎟ (m × n) ⎝0 0⎠
其中 Δ r 为 r 阶非异下三角阵。 证明： A 的秩为 r ，故 A 有 r 个线性无关列，不妨设前 r 个列是 线性无关的，因为倘若非如此，则经过一系列的列交换，可以把它们 调到前 r 列，这无异于对 A 乘上某一排列阵，排列阵是酉交阵，而酉 交阵的积仍是酉交阵，故不是普遍性。 记 A 为 A = (a1 , a2,