SVD矩阵的奇异值分解

矩阵的乘法规则怎样定义？
矩阵的相似是什么意思？
P AP B ~A
特征值的本质是什么？
1
Ax x
纯粹的数学理论描述、证
明不能令人满意和信服 ！
一、线性空间和矩 阵的几个核心概念
空
基本定义:
间
存在一个集合，在这个集合上定义某某概 念，然后满足某些性质”，就可以被称为空间. 为什么要用“空间”来称呼一些这样的集 合呢？奇怪!
T
2 由 A y 0 解得 y 1
则
N ( A ) span( y)
T
T C ( A ) N ( A ) 显然
C(AT) dim r Row space all ATy
C(A) dim r
Column space
all Ax
互为正交补
Rn Nullspace Left nullspace ATy=0
称式（3）为正交矩阵A的正交对角分解
矩阵与线性变换
在线性空间中，当选定一组基之后，不
仅可以用一个向量来描述空间中的任何一个
对象，而且可以用矩阵来描述该空间中的任
何一个运动（变换）.也即对于任何一个线性
变换，都能够用一个确定的矩阵来加以描述.
.
在线性空间中选定基之后，向量刻画对象， 矩阵刻画对象的运动. 而使某个对象发生对应运动的方法，就是 用代表那个运动的矩阵，乘以代表那个对象的 向量.用矩阵与向量的乘法施加运动. 矩阵是线性空间中的线性变换的一个描述
三维的空间
1. 由很多（实际上是无穷多个）位置点组成；
2. 这些点之间存在相对的关系；
3. 可以在空间中定义长度、角度；
4. 这个空间可以容纳运动.
这里我们所说的运动是从一个点到另一个点的 跳跃（变换）,而不是微积分意义上的“连续” 性的运动.
容纳运动是空间的本质特征
“空间”是容纳运动的一个对象
(1)
其中 i (i 1, 2,...n) 为矩阵A的特征值，而Q的n个列向
量组成A的一个完备的标准正交特征向量系. 对于实的非对称矩阵A，不再有像式（1）的分解， 但却存在两个正交矩阵P和Q，使 PT AQ 为对角矩阵， 即有下面的正交对角分解定理.
定理
设
A R nn 非奇异，则存在正交矩阵P和Q，
线性变换不同于线性变换的一个描述 对于同一个线性变换，选定一组基，就可 以找到一个矩阵来描述这个线性变换；换一组
基，就得到一个不同的矩阵.
所有这些矩阵都是这同一个线性变换的描
述，但又不是线性变换本身.
同一个线性变换的矩阵具有性质： 若A和B是同一个线性变换的两个不同矩阵， 则一定存在非奇异矩阵P，使得
b
Mb M (Ib) Mb a
变换

a Ia
a
Mb
Mb (MI )b Mb
坐标

T M
( RM ) ( RM ) I TI
I
从变换的观点来看，对坐标系M施加R变换， 就是对组成坐标系M的每一个向量施加R变换. 从坐标系的观点来看，对坐标系M的每一个 基向量，把它在I坐标系中的坐标找出来,然后通 过R组成一个新的（坐标系）矩阵.
则有 QT ( AT A)Q 2 或者 ( AQ 1 )T AQ 再令 P AQ 1 ,于是有
PT P ( AQ 1 )T ( AQ 1 ) I
即P为正交矩阵，且使
PT AQ diag (1,2 ,...n )
改写式(2)为
A P diag (1,2 ,...n ) QT
Amn
2
n
Column space
C( A ) {Ax : x R } R
n
m
span(1 , 2,
1 3 5 0 7 0 0 0 1 2 1 3 5 1 9
, n )
Amn
n=5
Row space
C ( A ) {A x : x R } R
- 3 5 7 1 0 0 其中2 = 0 ,3 1 ,5 0 0 0 2 0 0 1
dim N ( R) n r 5 2 3
Pivot rows
m=3 n=5
r=2
1 and 2
Pivot columns 1 and 4
rankR dim C( R) dim C( R ) 2
T
Null space
N ( A) {x : Ax 0, x R }
n
N ( R) {x : Rx 0, x R }
使得
PT AQ diag (1,2 ,...n )
(2)
其中 i 0(i 1, 2,...n) 证 因为A非奇异，所以 AT A 为实对称正定矩阵，于是存 在正交矩阵Q使得， QT ( AT A)Q diag (1, 2 ,...n ) 其中 i 0(i 1, 2,...n) 为 AT A 特征值 令 i i (i 1, 2,...n) , diag ( , ,... ) 1 2 n
明确、使它华丽、使它完美. 使它更易于
理解和使用. 这个过程也就是一个人学懂
数学的过程.
数无形时少直观,
形无数时难入微,
数形结合百般好, 隔离分家万事休.
--------华罗庚
将抽象思维形象化 将理论知识实用化
二、矩阵的四个基本子空间
基本定义 记：
1 2 1 m
1 0 A33 X 0 1 1 1 3 x1 2 x2 0 5 x3
由
R
33
1 0 0
0 1 0
3 x1 2 x2 0 0 x3
X , X L(1,2 ) X C(A ) N ( A)
矩阵既是坐标系，又是变换.
数学定义： 矩阵就是由 行 n列数 m
放在一起组成的数学对象
数学书上的语言是经过千锤百炼的。这 种抽象的语言，精准的描述了人类对数学某 些局部理解的精微. 这些描述的语言可能可以有更完善的改 进，就像编写的程序有些地方的语句可以改
得更巧妙更坚固一样.
数学容许我们每个人按自己的理解方 式来理解, 这就看你怎样对它加工，使它
线性代数的几个基本概念
(一)
张剑湖
2010年7月
引 言
F

(a, b，c)
实用 直观
几何的抽象化
抽象
数学的表述方式和抽象性产生了全面的升华 !
按照现行的国际标准，线性代数是通 过公理化、系统性表述的，具有很强的逻
ห้องสมุดไป่ตู้
辑性、抽象性，是第二代数学模型.
通常的教学模式 概念——相应定理公式——例题求解
直觉性丧失！
问
向量是什么？
题
向量表面上只是一列数，但是其实由于它 的有序性， 所以除了这些数本身携带的信息之 外，还可以在每个数的对应位置上携带信息. 线性空间中的任何一个对象，通过选取基 和坐标的办法，都可以表达为向量的形式. 向量是具有n个相互独立的性质（维度） 的对象的表示
矩阵是什么？
Rm
N(A) dim n-r
Ax=0
N(AT) dim m-r AX=b有解 b N(AT)
xr
Row space
Axr b x xr xn
Column space
b
Ax
xn
nullspace
Axn 0
Action of A on
Left nullspace
x xr xn
集合，而空间的运动由变换所规定.
矩阵
矩阵是什么？ 1. 矩阵只是一堆数，如果不对这堆数建立一 些运算规则. 2. 矩阵是一列列向量，如果每一列向量列举
了对同一个客观事物的多个方面的观察值.
3. 矩阵是一个图像，它的每一个元素代表相 对位置的像素值. 4. 矩阵是一个线性变换，它可以将一些向量 变换为另一些向量. 要回答“矩阵是什么”，取决于你从什 么角度去看它.
n
Rmn
1 3 5 0 7 , , , , 0 0 0 1 2 1 2 3 4 5 0 0 0 0 0
x k22 k33 k55
有三个自由变量：x2 , x3 , x5 . 方程 Rx 0 有解：
dim N ( R) n r
矩阵与坐标系
n 维线性空间里的方阵 A 的 n 个 n维向量
如果线性无关，那么它们就可以成为度量
n维
线性空间的一组基，事实上就是一个坐标系体系.
1 A 0
0 1

矩阵描述了一个坐标系
b b?
1 b 0 0 b Ib 1
b

M b MIb M b ?
方程组 Rx b 中，若 b 不等于 0
且有解，则其解不会构成子空间，因为没
有0元素.
Left nullspace
N ( R ) { y : R y 0, y R }
T T m
Left nullspace??
R y0 y R0
T T
T
y1 1, 3, 5, 0, 7 y2 0, 0, 0, 1, 2 y3 0, 0, 0, 0, 0
A P BP
即同一个线性变换在不同的坐标系下表现为不同 的矩阵，但其本质相同，所以特征值相同.
1
相似矩阵，就是同一个线性变换的不同的
描述矩阵. 或者说相似矩阵都是同一个线性变
换的描述 .
线性变换可以用矩阵的形式呈现，也就是 说，矩阵是形式，而变换 ——也就是各种映射 才是本质， 而代数的重要任务之一就是研究各 种数学结构之间的关系——也就是映射.
例4
若
1 2 A 3 6
2 2 分解 得 xr xn 4 1 1 2 2 1 T Axr 10 C ( A ) 3 6 4 3 1 2 2 0 Axn N ( A) 3 6 1 0
0,
0, 0, 0, 0
T
y (0,0, y3 ) N (R )
dim N ( R ) m r
T
例2
设
A33
1 0 3 1 0 3 0 1 2 R33 0 1 2 1 1 5 0 0 0
行基
1 =（ 1， 0， 3） 2 =（ 0， 1，） 2
T T m
n
span( , ,
T 1 T 2
, )
T m
Amn
1 3 5 0 7 0 0 0 1 2 1 3 5 1 9
m=3
rankA dim C( A) dim C( A )
T
Amn
1 3 5 0 7 0 0 0 1 2 1 3 5 1 9
1 2
1，， 0 3） X=0 1 X=（ 0， 1，） 2 X = 0 2 X=（
T
C(AT ) L(1, 2 )
(1,0,3) (0,1,2)
N(A) (3,2,-1)
1 例3 A 2
则
2 4
3 1 6
2
3
C( A) span( 1 )
4 x 3
三、矩阵的奇异值分解
应用领域
1.最优化问题； 特征值问题； 最小二乘问题； 广义逆矩阵问题等. 2.统计分析； 信号与图像处理； 系统理论和控制等.
矩阵的正交对角分解
若A是n阶实对称矩阵，则存在正交矩阵Q，使得
QT AQ diag (1, 2 ,...n )
r=2
设A的行阶梯形为
R rref ( A)
Rmn
1 3 5 0 7 0 0 0 1 2 0 0 0 0 0
则存在可逆矩阵B使得
BA R
Notice
A B R
1
C ( A) C ( R)
例1
Rmn
1 3 5 0 7 0 0 0 1 2 0 0 0 0 0