矩阵分析与计算--05-矩阵分解-02-Schur、SVD

H
, , 0,
2 r
, 0},
i i 1 0, i 1, 2, , r 1
则称 1 , 2 , , r 为矩阵A的非零奇异值
由酉相抵标准型定理，则有
对任意矩阵A F
mn
, 总可以取A的如下分解
矩阵的 奇异值分解
A U m A VnH
其中U、V 为酉矩阵， 1 A 0
1 0 U =U1 0 U 2

U H AU R
问题：U1,U2能否为Householder变换阵？
Ax1 1 x1 H H AH 1 1 H1 x1 1 H1 x1 H1 x1 1e1 1 * H H1 AH1 0 T
2.有关结论与应用
• Hermite矩阵正定性的定义 设 A C nn ，且 AH A ，即A是 Hermite矩阵。如果对任意 0 x C n 都有
x Ax 0 ( 0)
H
则称A是Hermite正定矩阵（半正定矩阵）
f ( x) x Ax
H
Hermite二次型
11
结论1
推论: Hermite正定矩阵的行列式大于零
13
结论2
设 AC
mn
，则AHA和AAH 是半正定矩阵 的特征值全为非负实数；
H H A A AA 1） 和
（2）AAH 与AH A 的非零特征值相同
3) rank( AH A) rank( AAH ) rank A
14
结论3 正规矩阵
A A AA A为正规矩阵
A1 11
由于 1 1, 故1可扩展成C n空间的一组标准正交基，令
U1 1 , 2 ,
,n
则U1为酉矩阵，并且
AU1 A 1 , 2 , 11 , A 2 ,
, n A1 , A 2 , , A n
, A n
1
, n }
i ui uiH
n
记uiuiH Ai，则
i 1
则{Ai }满足 AH A 0，A2 A i i i i Ai Aj 0, i j n A E i i 1
A i ui uiH i Ai

矩阵的Schur分解在理论上很重要，是很多重 要定理证明的出发点 矩阵的Schur分解是一种理论上的存在，而实 际上通常不方便通过有限次运算而获得，通常 用迭代方法进行逼近的矩阵分解 在内积空间中讨论问题，涉及： – 空间 Cn、 Cnn，


1.Schur定理
设矩阵A的特征值为1，2， ，n ,则总存在相似酉 矩阵U ,将A化为上三角阵。即U AU R，且R的对 角线元素为1，2， ，n
n
为上三角形矩阵，从而结论成立
问题

Schur定理：U AU R
H
2 U TU 2 0 T 2
H 2
证明Schur定理的关键步骤：
1 1 H AU1 U1 U1 AU1 , 0 T 0 T
Matrix Analysis and Computations
矩 阵 分 析 与 计 算 ——矩阵分解（二）
Matrix Decomposition 理学院 2011年10月
本讲主要内容 Schur分解、谱分解与奇异值分解
Schur分解 • 分解定理 • 定理的应用 谱分解
奇异值分解
一、矩阵的Schur分解
T
( n 1)( n 1)
由归纳假设，有 2 3 H
U 2 TU 2
1 0 令U =U1 , 则U 为一酉矩阵 0 U2 1 0 H 1 0 H U AU U AU1 H 1 0 U2 0 U2 1 0 H 1 1 0 U U1 0 U H 1 0 U 0 T 2 2
r
AA
酉
矩阵U，V的空间性质:右左奇异向量
将矩阵A的奇异值分解A U AV H 进行移项
AV U AV HV U A
H1 AH1H e1 1e1
Schur定理：U AU R N
H
推论1 如果矩阵A 为Hermite矩阵,则总存在酉矩阵U ,使得 U H AU diag(1，2， ，n )

概念：A为厄米特矩阵
A A H A为反厄米特矩阵 A A
H
推论2 如果矩阵A 为实对称矩阵,则存在正交矩阵Q,使得 U T AU diag(1，2， ，n )
设A (aij ) C nn 为Hermite矩阵
a11 a12 Ak a1k a12 a22 a2 k a1k a2 k akk
k det Ak
(k 1,
, n)
（4）A是Hermite正定矩阵 分别称为A的k阶顺序主子阵和顺序主子式，则 k det Ak 0 (k 1, , n)

由于反Hermite矩阵为正规矩阵，有
A为反Hermite矩阵 A酉相似于对角阵，对角线上元 素为A的特征值，特征值或为0或为纯虚数
结论4
定理2：设A C nn , 则A为正规矩阵 A酉相似于对 角阵，且对角线上元素为A的特征值
源自文库
由于酉矩阵为正规矩阵，有
A为酉矩阵 A为特征值均落在单位圆周上的 正规矩阵 A为酉矩阵 A酉相似于对角阵，且对角线 上元素为A的特征值，特征值的模均为1
n
1 AU1 U1 0 T
1 0 1 1 0 U AU 0 U H 0 U 0 T 2 2
H
1 H 0 U TU 2 2
1 2 H U AU

2.概念：酉相抵

1. 酉相抵：
酉
F 上的m n矩阵A与B称为酉相抵，如果有m阶 和n阶酉方阵U 和V , 使UAV B, 记为A B
酉相抵关系是一种等价关系！也称为“酉等价”

酉相抵标准型定理：
酉相抵标准型定理
定理3
设A F mn ,rankA = r ,记
2 specAH A 12 , 2 ,
结论4
定理2：设A C nn , 则A为正规矩阵 A酉相似于对 角阵，且对角线上元素为A的特征值

由于Hermite矩阵为正规矩阵，有
A为Hermite矩阵 A酉相似于对角阵，对角线上元 素为A的特征值，所有特征值均为实数
结论4
定理2：设A C nn , 则A为正规矩阵 A酉相似于对 角阵，且对角线上元素为A的特征值

1
酉矩阵： U U
H
1
U 为酉矩阵 U的列(行)向量为C n的标准正交基
任意复方阵都可以酉相 似于一个上三角矩阵
U AU R=+N
H
定理证明：对n作数学归纳法
当n =1，结论显然成立。 假设结论对n-1的矩阵成立，下面考虑A为n方阵 取矩阵A的一个特征值为 1 ，设其对应的单位特 征向量为 1 ，则有
i 1 i 1 n n
ui uiH Ai
Ai 为正交 投影阵
正规矩阵的 谱分解
2.2 单纯矩阵的谱分解

n阶单纯矩阵A
P AP diag{1 , 2 , , n } 设P （1 , 2 , , n）,则 Ai i i
1
T 2 1 记P T n
i Ai
T i
Ai 为A的 投影阵
单纯矩阵的 谱分解
三、矩阵的奇异值分解
Singular value decomposition
(SVD)
1.概述



前面介绍的Jordan分解、Schur分解、谱分解 只适用于方阵。 对角矩阵比上三角矩阵更容易计算 奇异值分解把矩阵分解称为酉矩阵与对角矩阵 的乘积 奇异值分解基本适用于内积空间中与矩阵秩相 关的问题 A的奇异值分解依赖于正规矩阵A HA的酉相似 分解的。
A Udiag{1 , 2 , AH Udiag{1 , 2 , , n }U 1 , n }U 1
于是 AAH Udiag{1 1 , 2 2 , , n n }U 1 AH A 于是A是正规矩阵
必要性 由Schur定理，

1 2 H U AU R
设 A是Hermite矩阵，则下列条件等价
(1) A 是Hermite正定矩阵（半正定矩阵）； (2) A 的特征值全为正实数（非负实数）
(3) P C nn ,使得A P H P
（4）A是Hermite正定矩阵
k det Ak 0 (k 1, , n)
12
Hermite矩阵的正定性
n
则 RR H U H AU (U H AU ) H U H AU (U H AHU )
U H AUU H AHU U H AAHU U H AH AU H H H U A UU AU (U H AU ) H U H AU R H R
故R是正规矩阵，由于R是上三角矩阵，故R为对角阵
H H

对角矩阵、酉矩阵、Hermite矩阵、反Hermite矩阵均 是正规矩阵


A是正规矩阵，B与A酉相似，则B也是正规矩 阵 正规的上（下）三角矩阵必为对角矩阵
nn
定理2：设A C
, 则A为正规矩阵 A酉相似于对
角阵，且对角线上元素为A的特征值
定理2证明：

充分性
设矩阵A酉相似于对角阵，则有 U H AU U 1 AU diag{1 , 2 , , n }
, r2 , 0,
, 0}, i 0, i 1, 2,
,r
D1 0 则A酉相抵于矩阵 , 其中 0 0 mn 1 D1 r rr
概念：非零奇异值
设A F
mn
,rankA = r ,记
2 1 2 2
specA A , ,
A为Hermite矩阵 A酉相似于对角阵，对角线上元 素为A的特征值，所有特征值均为实数 A为反Hermite矩阵 A酉相似于对角阵，对角线上元 素为A的特征值，特征值或为0或为纯虚数
A为酉矩阵 A为特征值均落在单位圆周上的正规矩阵
y
反 Hermite 矩阵
酉矩阵
x
Hermite 矩阵
n n j 1
A i C A i tij j
则T C
n n 11 , t2 j j , , tnj j j 1 j 1 tn1 1 t21 0 t22 tn 2 1 1 , 2 , , n U1 0 tnn 0 t2 n
正规矩阵的特征值位置决定矩阵的类型
二、谱分解
定理2：设A C nn , 则A为正规矩阵 A酉相似于对 角阵，且对角线上元素为A的特征值

对正规矩阵A，有
U H AU U 1 AU diag{1 , 2 , 设U （u1 , u2 , , un）,则 A Udiag{1 , 2 , , n }U
A Pdiag{1 , 2 , 1T
, n }P1
A i i iT
i 1
n
记i iT Ai，则
则{Ai }满足 A2 A i i Ai Aj 0, i j n A E i i 1
T A i i i i A i i 1 i 1 n n