矩阵的奇异值分解研究

i 0, (i 1,2, , n)
性质3 (1) 设 A C r mn (r 0) ,则 A H A是Hermit矩阵,且其特征值 均是非负实数; (2) rank ( A H A) rankA ;
(3) 设 A C m n , 则 A O 的充要条件为 A H A O 把性质2中的等式改写为
定义2.19 设 A C nn ,若A H A AA H E,则称A为酉矩阵. 定义2.20 设 A C nn ,若存在酉矩阵P,使得 P H AP B
,则A称酉相似于B.
性质1 若A是n阶实对称矩阵， i (i 1,2,, n) 是的特征值，则 恒存在正交阵Q，使得 QAQ diag (1 , 2 , , n ) 而且Q的n个列向量是的一个完备的标准正交特征向量系。 性质2 若 A R nn ，是非奇异矩阵，则存在正交阵P和Q， 使得 P T AQ diag ( 1 , 2 , , n ) 其中.
从而正交矩阵
V
，
1 6 1 6 2 6
1 2 1 2 0
3 1 , 3 1 3 1
以及
3 0 rankA 2, Σ 0 1
1 0 1 0 1 1 0 0 0 1 6 1 6 2 6
此，所有正交相抵的矩阵构成了正交相抵等价类。在正交相
抵等价类中的任一矩阵A，奇异值分解
A UDV T 中的
矩阵都是相同的，D称为正交相抵等价类中的标准形矩阵。
人有了知识，就会具备各种分析能力， 明辨是非的能力。 所以我们要勤恳读书，广泛阅读， 古人说“书中自有黄金屋。 ”通过阅读科技书籍，我们能丰富知识， 培养逻辑思维能力； 通过阅读文学作品，我们能提高文学鉴赏水平， 培养文学情趣； 通过阅读报刊，我们能增长见识，扩大自己的知识面。 有许多书籍还能培养我们的道德情操， 给我们巨大的精神力量， 鼓舞我们前进。
H 1
，则
U U 1 U 2 (u1 , , ur , ur 1 , , um )
U U1 E r ,
U U2 O
H 2
于是
U H AV U H AV1
H U1 AV2 U H U1 Σ 2

O

U 1H U `1 Σ O Σ O U HU Σ O O O 2 1
V V1
1 1 2 1 经计算 5 1 1 U 1 AV1 Σ 0 0 0 2 5 , 0 0 0 5 3 将U 扩张成 R 的正交标准基
V2
.
A Pdiag ( 1 , 2 , , n )Q 1 称上式是A的正交对角分解.
性质4 (1) 设 A C m n ,则A酉相似于对角阵的充分必要条件 是A为正规矩阵; (2) 设
A R
n n ,且A的特征值都是实数,则正交相似于对角矩
阵的充要条件A是为正规矩阵.
二.矩阵的奇异值分解
B B (U AV ) (U AV ) V A (U ) U AV
T T T T
1
1
1 T
1
V ( A A)V V ( AA)V
T T
1
上式表明 AT A 与 B T B 相似,而相似矩阵有相同的特征值, 所以A与B有相同的奇异值.证毕
直接验证可知, 正交相抵具有自反性、对称性和传递性，因
，求它的奇异值分解.
解 经过计算，矩阵
1 0 1 H A A 0 1 1 1 1 2
的特征值为 1 3, 2 1, 3 0 ,对应的特征向量分别是 ，
1 1 1 x1 1 , x 2 1, x 3 1 2 0 1
1 0 0 U U 1 U 2 0 1 0 0 0 1 1 则A的奇异值分解是 1 0 0 5 0
1
0 5 2 0 5
2 5 1 5
1 0 1 例11 设矩阵 A 0 1 1 0 0 0
§4 矩阵的奇异值分解
矩阵的奇异值分解在矩阵理论中的重要性是不言而喻的，它在 最优化问题、特征值问题、最小二乘方问题、广义逆矩阵问题
和统计学等方面都有十分重要的应用。
一.预备知识 为了论述和便于理解奇异值分解，本节回顾线性代数有关知识。
定义2.14 若实方阵Q满足 Q T Q E ,则称Q是正交矩阵.
定义2.15 若存在正交矩阵P,使得 P T AP B ,则称A正交相似于B. n n 定义2.16 A C 共轭转置矩阵记为 A H ,即 A H A T . 定义2.17 若 A H A ,则称A为Hermit矩阵. 定义2.18 设 A C nn ,若 A H A AA H,则称A为正规矩阵.
矩阵V,使得
Σ O H A U O O V
（2.41）
其中矩阵 Σ diag ( 1 , 2 ,, r ) ,而数
1 , 2 , , r
是矩阵A的所有非零奇异值.称式（2.41Leabharlann Baidu是矩阵A的奇异值分解.
证 根据性质3, A H A 是Hermit矩阵,且其特征值均是非负实数,
则有


O V1 Σ 2 O

O

,
A AV1 V1 Σ V1H A H AV1 Σ 2
由
H
2 ,得
或
( AV1 Σ 1 ) H ( AV1 Σ 1 ) E r
,
其中.
1 Σ

1 r r
rankA rankA H A 1
O 5 0 O 0 0
λ1 2 Σ V H ( A H A)V O 成立的正交矩阵为 λ n
5, 2 0 ，
Σ ( 5 )11 ，且使得
所以
Σ A U O
O H V O
(证毕)
由上述定理的证明过程可知,A的奇异值是由A唯一确定的, 但是,由于酉矩阵U和V是不唯一的,故A的奇异值分解(2.41)
式也是不惟一的.
1 例10 求矩阵 A 0 0
2 0 的奇异值分解. 0
解: 可以求得矩阵
计算
U 1 AV1 Σ 1
1 2 1 1 3 2 0 0
V1 ，
1 6 1 6 2 6
0 1
1 2 1 2 0
现在开始论述矩阵的奇异值分解。 定义2.21 设 A C r mn ( r 0) ，A H A 的特征值为
1 2 r r 1 n 0
则称 i i (i 1,2,, n) 是A的奇异值；规定零矩阵0的奇异值 都是0. 定理2.9 设 A C mn ( r 0) , 则存在m阶酉矩阵U和n阶酉 r
1 2 1 2 1 0 0 H A A 2 0 0 0 0 2 4 0 0
的特征值是
T
1 5, 2 0 ,对应的特征向量可取为
T
x1 (1, 2) , x 2 (2,1) ，于是可得
，奇异值为 1
三. 正交相抵矩阵
定义2.22 设
A, B R mn ,若存在m阶正交矩阵U和n阶正交矩
B U 1 AU
阵V,使得 B U 1 AV ,则称A与B正交相抵. 在上述定义中,若A和B都是n阶方阵,U=V,则
即A与B正交相似.可见正交相似概念是正交相抵概念的特殊情况. 定理2.10 正交相抵的两个矩阵具有相同的奇异值. 证 若 B U 1 AV ,则
且
1 2 r r 1 n 0
记为
AH A
显然, 是
λ1 2 Σ H H V ( A A)V O λn
正规矩阵.根据性质4,存在n阶酉矩阵V,使得
O O
或
Σ A AV V O
1 5 2 5
2 ， 其中 5 1 5
V1
1 2 5 ,V 5 2 2 1 5 5
Σ O H A U O O V 0 1 0 0 0 0 1 0
或
由 A H AV2 O
,得 ( AV2 ) H ( AV2 ) O
AV2 O
1 令 ，则 U H U E U 1 AV1 Σ (u1 , u 2 , , ur ) 1 1 r
根据线性代数理论知，可将两两正交的单位列向量 u1 , u2 , , ur
扩充为 C m 的标准正交基 u1 , u 2 , , ur , ur 1 , , um ，记矩阵 U 2 (ur 1 , , um ) 是m阶酉矩阵，且
1 2 1 2 0
1 2 1 2 0
构造 .
0 U 2 0 , U U 1 1
的奇异值分解是
U2
.
1 2 1 2 0
1 2 1 2 0
0 0 1
H
2
O O
其中:
1 2 Σ r
设V有分块形式
V V1 V2 ,V1 C
n r r
,V 2 C
n ( n r ) nr
2 Σ A H AV A H AV1 A H AV2 V1 V2 O H H 2 即 A AV2 O A AV1 V1 Σ
A
1 2 1 2 0
1 2 1 2 0
0 3 0 0 0 0 1 0 0 0 0 1
1 6 1 2 1 3
1 6 1 1 2
3
2 6 0 1 3