奇异值分解的一些特性以及应用小案例
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第一部分：预备知识
1.1 矩阵的F-范数与矩阵迹的关系
引理：设m n
A R
⨯∈，令()ij m n A a ⨯=，则2211
||||||()()m n
T T F
ij
i j A a
tr AA tr A A ===
==∑∑；其中，()tr ∙定义如下：
令方阵11
12121
22212r r r r rr m m m m m m M m m m ⎡⎤
⎢⎥⎢
⎥=⎢⎥⎢⎥
⎣⎦
，则11221
()r rr ii
i tr M m m m m ==+++=∑ ，即矩阵M 的迹。注意，()tr ∙只能作用于方阵。
那么，下面来看下为什么有2211
||||||()()m n
T T F
ij
i j A a
tr AA tr A A ===
==∑∑？
首先，22
11
||||||m n
F
ij
i j A a
===
∑∑这个等式是矩阵F-范数的定义，即一个矩阵的F-范数等于矩阵中每个元素的平方和。
其次，因11121212221
2
()n n ij m n
m m mn a a a a a a A a a a a ⨯⎡⎤⎢⎥⎢⎥==⎢⎥
⎢⎥⎣⎦ ，则11
2111222212m m T n n mn a a a a a a A a a a ⎡⎤
⎢⎥⎢⎥=⎢⎥
⎢
⎥
⎣⎦
，易得2211
()()||||||m
n
T T
ij
F i j tr AA tr A A a
A ====
=∑∑。（T AA 或T
A A 的第r 个对角元素等于第r
行或列元素的平方和，所有对角元素之和就是矩阵每个元素的平方和，即有上式成立。）此过程如图1和图2所示。
1112111
2112122212
2221
2
12n m n m T m m mn n n mn a a a a a a a a a a a a AA a a a a a a ⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥=⨯⎢⎥⎢⎥⎢⎥⎢
⎥
⎣⎦⎣⎦
图1. T AA 方阵迹的形成过程
1121111
12112
22221
222121
2
m n m n T n n mn m m mn a a a a a a a a a a a a A A a a a a a a ⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥=⨯⎢⎥⎢⎥⎢⎥⎢
⎥
⎣⎦⎣⎦
图2. T A A 方阵迹的形成过程
1.2 矩阵AB 的迹等于矩阵BA 的迹
设m n
A R ⨯∈，n m
B R
⨯∈，令
()ij m n
A a ⨯=，
()ij n m
B b ⨯=，则()()tr AB tr BA =。
分析如下：
11121212221
2
()n n ij m n
m m mn a a a a a a A a a a a ⨯⎡⎤⎢⎥⎢⎥==⎢⎥
⎢⎥
⎣⎦
111212122212
()m m ij n m
n n nm b b b b b b B b b b b ⨯⎡⎤⎢⎥⎢⎥==⎢⎥
⎢
⎥
⎣⎦
图3. 11
()m
n
ij
ji
i j tr AB a b
===
∑∑
111212122212()m m ij n m
n n nm b b b b b b B b b b b ⨯⎡⎤⎢⎥⎢⎥==⎢⎥
⎢
⎥
⎣⎦
11121212221
2
()n n ij m n
m m mn a a a a a a A a a a a ⨯⎡⎤⎢⎥⎢⎥==⎢⎥
⎢⎥
⎣⎦
图4. 11
()n
m
ji ij
j i tr BA b a ===
∑∑
第二部分：奇异值分解
本部分主要在矩阵奇异值分解（Singular Value Decomposition ）U SVD =的基础之上，从理论上分析降维之后信息到底损失了多少，以及为什么要选取奇异值最大的那部分矩阵块；紧接着，举个例子来展示取不同奇异值的情况下，信息损失了多少，让大家进一步直观地理解其中的机理。
2.1 矩阵U 的奇异值分解：U SVD =
设矩阵m n
U R
⨯∈()m n >，奇异值分解为：U SVD =；其中，m m S R ⨯∈，m n
V R ⨯∈，
n n D R ⨯∈，如下式所示：
111121111
1211112122
1222221
22221222121
212
0000000
0m m n m m n nn n n mn m m mm n n nn v u u u s s s d d d v u u u s s s d d d v u u u s s s d d d ⎡⎤
⎢⎥⎡⎤⎡⎤⎡⎤⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥⎢⎥=⨯⨯⎢
⎥
⎢⎥⎢⎥⎢⎥
⎢⎥⎢⎥⎢
⎥⎢⎥
⎢⎥⎣⎦⎣⎦⎣⎦
⎢
⎥⎣⎦
其中，矩阵S 和D 都是正交矩阵，即
T m S S I =，T m SS I =，T n DD I =，T n D D I =，