矩阵的奇异值分解

Ax=0
N(AT) dim m-r AX=b有解 ⇔ b ⊥ N(AT)
xr
Row space
Axr = b
x = xr + xn
Column space
b
Ax
xn
nullspace
Axn = 0
Action of A on
Left nullspace
x = xr + xn
例4
若
1 A= 3
T
Null space N ( A ) = { x : A x = 0, x ∈ R }
n
= N ( R ) = { x : Rx = 0, x ∈ R }
n
1 3 5 0 7 Rm×n = 0 0 0 1 2 = [ β1, β2 , β3 , β4 , β5 ] 0 0 0 0 0
有三个自由变量：x 2 , x 3 , x 5 . 方程 Rx = 0 有解：
x = k2η 2 + k3η3 + k5η5
dim N ( R ) = n − r
- 3 −5 −7 1 0 0 其 中 η 2 = 0 ,η 3 = 1 ,η 5 = 0 0 0 −2 0 0 1
Am × n
β2
L
βn ]
Column space
C ( A ) = { Ax : x ∈ R } ⊂ R
n
m
= sp a n ( β1 , β 2, L , β n )
Am×n
1 3 5 0 7 0 0 0 1 2 = 1 3 5 1 9
n=5
Row space
L (α1 , α 2 ) ⊥ X
C(A ) ⊥ N ( A)
T
⇒
C(A T ) = L (α 1 , α 2 )
(1,0,3) (0,1,2)
N(A) (3,2,-1)
1 例3 A = 2
则 由
2 4
3 = [β 1 6
β2
β3]
C ( A ) = span (β1) A
T
2 y = 0 解得 y = − 1
三维的空间
1. 由很多（实际上是无穷多个）位置点组成； 由很多（实际上是无穷多个）位置点组成； 2. 这些点之间存在相对的关系； 这些点之间存在相对的关系； 3. 可以在空间中定义长度、角度； 可以在空间中定义长度、角度； 4. 这个空间可以容纳运动. 这个空间可以容纳运动 容纳运动
这里我们所说的运动是从一个点到另一个点的 跳跃（变换） 而不是微积分意义上的 连续” 而不是微积分意义上的“ 跳跃（变换）,而不是微积分意义上的“连续” 性的运动.
容纳运动是空间的本质特征
“空间”是容纳运动的一个对象 空间” 集合，而空间的运动由变换所规定. 集合，而空间的运动由变换所规定.
矩阵
矩阵是什么？ 矩阵是什么？ 1. 矩阵只是一堆数，如果不对这堆数建立一 些运算规则. 2. 矩阵是一列列向量，如果每一列向量列举 了对同一个客观事物的多个方面的观察值.
2 6
分解
4 x= 3
1 Axr = 3 1 Axn = 3
2 2 得 xr + xn = + 4 − 1 2 2 1 T 4 = 10 3 ∈ C ( A ) 6
2 2 0 − 1 = 0 ∈ N ( A ) 6
数无形时少直观, 数无形时少直观, 形无数时难入微, 形无数时难入微, 数形结合百般好, 数形结合百般好, 隔离分家万事休. 隔离分家万事休.
--------华罗庚
将抽象思维形象化 将理论知识实用化
二、矩阵的四个基本子空间
基本定义 记：
α1 α 2 = [β = 1 M α m
dim N (R) = n − r = 5 − 2 = 3
方程组 方程组
不等于 R x = b 中，若 b 不等于 0
且有解， 其解不会构成子空间 且有解，则其解不会构成子空间，因为没 会构成子空 有0元素. 元素.
Left nullspace
N ( R ) = { y : R y = 0, y ∈ R }
C ( AT ) = { AT x : x ∈ R m }
T 1 T 2
⊂ R
T m
n
= sp a n (α , α , L , α )
Am×n
1 3 5 0 7 = 0 0 0 1 2 1 3 5 1 9
m=3
rankA = dim C ( A ) = dim C ( A )
三、矩阵的奇异值分解
应用领域
1.最优化问题； 1.最优化问题； 最优化问题 特征值问题； 特征值问题； 最小二乘问题； 最小二乘问题； 广义逆矩阵问题等. 广义逆矩阵问题等. 2.统计分析； 2.统计分析； 统计分析 信号与图像处理； 信号与图像处理； 系统理论和控制等. 系统理论和控制等.
A= B R
C ( A) ≠ C ( R )
例1
Rm×n
1 3 5 0 7 = 0 0 0 1 2 0 0 0 0 0
Pivot rows 1 and
m=3 n=5 r=2
2
Pivot columns 1 and 4
rankR = dim C ( R ) = dim C ( R ) = 2
T
Am×n
1 3 5 0 7 = 0 0 0 1 2 1 3 5 1 9
r=2
设A的行阶梯形为
R = rref ( A )
Rm × n 1 0 = 0 3 0 0 5 0 0 0 0 1 7 2 0
−1
则存在可逆矩阵B使得
BA = R
Notice
r r r M b = MI b = M b = ?
r b
r r r r 变换 M b = M ( I b) = M b = a
⇒
r a
r r a = Ia
r Mb
r r r 坐标 M b = ( MI )b = M b
⇒Байду номын сангаас
T M
( RM ) = ( RM ) I = TI
I
从变换的观点来看，对坐标系M施加R变换， 就是对组成坐标系M的每一个向量施加R变换. 从坐标系的观点来看，对坐标系M的每一个 基向量，把它在I坐标系中的坐标找出来,然后通 过R组成一个新的（坐标系）矩阵.
则
N ( A T ) = span ( y ) C (A) ⊥ N (A
T
显然
)
C(AT) dim r Row space all ATy Column space all Ax
C(A) dim r
互为正交补
Rn Nullspace Left nullspace ATy=0
Rm
N(A) dim n-r
由
⇒
R 3× 3
1 0 = 0
0 1 0
3 x1 x = 0 2 2 0 x3
⇒ ⇒ ⇒
0 3 α 1 ⋅ X = （1 ，，） ⋅ X = 0 1 2 α 2 ⋅ X = （0 ，， ）⋅ X = 0
α1 ⊥ X ,α2 ⊥ X
通常的教学模式 概念——相应定理公式——例题求解 概念——相应定理公式——例题求解 ——相应定理公式——
直觉性丧失！ 直觉性丧失！
问
向量是什么？ 向量是什么？
题
向量表面上只是一列数，但是其实由于它 的有序性， 所以除了这些数本身携带的信息之 外，还可以在每个数的对应位置上携带信息. 线性空间中的任何一个对象，通过选取基 和坐标的办法，都可以表达为向量的形式. 向量是具有n个相互独立的性质（维度） 向量是具有n个相互独立的性质（维度） 的对象的表示
.
在线性空间中选定基之后，向量刻画对象， 在线性空间中选定基之后，向量刻画对象， 矩阵刻画对象的运动. 矩阵刻画对象的运动 而使某个对象发生对应运动的方法， 而使某个对象发生对应运动的方法，就是 用代表那个运动的矩阵， 用代表那个运动的矩阵，乘以代表那个对象的 用矩阵与向量的乘法施加运动. 向量.用矩阵与向量的乘法施加运动 矩阵是线性空间中的线性变换的一个描述
矩阵与坐标系
n 维线性空间里的方阵 A 的 n 个 n 维向量
如果线性无关，那么它们就可以成为度量
n
维
线性空间的一组基，事实上就是一个坐标系体系 .
1 A = 0
0 1
⇒
矩阵描述了一个坐标系
r r b = b?
r 1 b= 0 r 0 r b = Ib 1
r b
⇒
3. 矩阵是一个图像，它的每一个元素代表相 对位置的像素值. 4. 矩阵是一个线性变换，它可以将一些向量 变换为另一些向量. 要回答“矩阵是什么” 要回答“矩阵是什么”，取决于你从什 么角度去看它. 么角度去看它.
矩阵与线性变换 矩阵与线性变换
在线性空间中，当选定一组基之后， 在线性空间中，当选定一组基之后，不 仅可以用一个向量来描述空间中的任何一个 对象，而且可以用矩阵来描述该空间中的任 对象， 何一个运动（变换） 也即对于任何一个线性 何一个运动（变换）.也即对于任何一个线性 变换，都能够用一个确定的矩阵来加以描述 变换，都能够用一个确定的矩阵来加以描述.
T T m
Left nullspace??
R y = 0 ⇔ y R = 0
T T
T
+ y2 [ 0, 0, 0, 1, 2 ] + y3 [ 0, 0, 0, 0, 0 ]
y1 [1, 3, 5, 0, 7 ]
[0,
0, 0, 0, 0 ]
T
y = (0, 0, y3 ) ∈ N ( R )
dim N ( R ) = m − r
矩阵是什么？ 矩阵的乘法规则怎样定义？ 矩阵的相似是什么意思？
P AP = B ~A
特征值的本质是什么？
−1
Ax = λ x
纯粹的数学理论描述、 纯粹的数学理论描述、证 明不能令人满意和信服 ！
一、线性空间和矩 阵的几个核心概念
空
基本定义: 基本定义
间
存在一个集合， 存在一个集合，在这个集合上定义某某概 念，然后满足某些性质”，就可以被称为空间. 然后满足某些性质” 就可以被称为空间 为什么要用“空间”来称呼一些这样的集 合呢？奇怪!
线性代数的几个基本概念
(一)
张剑湖 2010年7月 年 月
引 言
F
⇔
(a, b，c) ，
实用 直观
几何的抽象化
抽象
数学的表述方式和抽象性产生了全面的升华 !
按照现行的国际标准， 按照现行的国际标准，线性代数是通 过公理化、系统性表述的， 过公理化、系统性表述的，具有很强的逻 辑性、抽象性，是第二代数学模型. 辑性、抽象性，是第二代数学模型.
线性变换不同于线性变换的一个描述 对于同一个线性变换，选定一组基，就可 以找到一个矩阵来描述这个线性变换；换一组 基，就得到一个不同的矩阵. 所有这些矩阵都是这同一个线性变换的描 述，但又不是线性变换本身.
同一个线性变换的矩阵具有性质： 同一个线性变换的矩阵具有性质： 若A和B是同一个线性变换的两个不同矩阵， 则一定存在非奇异矩阵P，使得
矩阵既是坐标系，又是变换.
数学定义： 数学定义： 矩阵就是由
m行 n 列数
放在一起组成的数学对象
数学书上的语言是经过千锤百炼的。这 种抽象的语言，精准的描述了人类对数学某 些局部理解的精微. 这些描述的语言可能可以有更完善的改 进，就像编写的程序有些地方的语句可以改 得更巧妙更坚固一样.
数学容许我们每个人按自己的理解方 式来理解, 这就看你怎样对它加工，使它 明确、使它华丽、使它完美. 使它更易于 理解和使用. 这个过程也就是一个人学懂 数学的过程.
T
例2 设
A3×3
1 0 3 1 0 0 1 2 ⇒ 0 1 = R3×3 = 1 1 5 0 0
3 2 0
行基
α 1 = （ ，，） α 2 = （0 ，，） 1 0 3 1 2
1 0 A3×3 X = 1 0 1 1 3 x1 x = 0 2 2 5 x3
A = P
−1
BP
即同一个线性变换在不同的坐标系下表现为不同 的矩阵，但其本质相同，所以特征值相同.
相似矩阵， 相似矩阵，就是同一个线性变换的不同的 描述矩阵. 描述矩阵 换的描述 . 或者说相似矩阵都是同一个线性变
线性变换可以用矩阵的形式呈现，也就是 说，矩阵是形式，而变换 ——也就是各种映射 才是本质， 而代数的重要任务之一就是研究各 种数学结构之间的关系——也就是映射.