第四章矩阵因子分解
正矩阵因子分解法
正矩阵因子分解法
正矩阵因子分解法，也称为Cholesky分解，是一种用于解决线性方程组的方法。
它的基本思想是将对称正定矩阵分解成两个因子，一个是下三角矩阵，另一个是它的转置。
下面我们来解释一下这个分解法的具体步骤。
1. 对称正定矩阵A的分解
Cholesky分解是从对称正定矩阵A开始的。
我们将A分解成下三角矩阵L和它的转置L^T的乘积，即A=LL^T。
在这个式子中，L是下三角矩阵，L^T是L的转置矩阵。
2. 判断矩阵是否对称正定
在进行Cholesky分解之前，需要先判断矩阵是否对称正定。
如果矩阵不是对称正定的，则Cholesky分解法不适用于该矩阵。
3. 下三角矩阵L的求解
对于下三角矩阵L的求解，我们可以采用以下的迭代公式：L(i, j) = (A(i, j) - Σ(k=1)^{j-1}L(i, k)L(j, k))/L(j, j)，其中i≥j，L(i, i)=sqrt(A(i, i) - Σ(k=1)^{i-1}L(i, k)^2)。
4. 解方程组
在进行了三步之后，我们就可以使用得到的L来解方程组Ax=b，即先解Ly=b，然后解L^Tx=y。
这样我们就得到了方程组的解。
Cholesky分解法的优点是计算速度快，特别是对于大规模稠密矩阵的解法。
此外，它还可以用于其他数学问题，比如说最小二乘问题，高斯随机场等。
但该方法缺点在于，如果矩阵不是对称正定的，则该方法不适用。
同济大学研究生课程教学大纲
同济大学研究生课程教学大纲课程名称所在院（系、所）适用专业填表日期同济大学研究生院培养处制课程编号：（请用4号字填写）课程名称：（请用黑体4号字填写）英文名称：（请用4号字填写）开课单位：（请用宋体5号字填写）开课学期：（请用宋体5号字填写）课内学时：（请用宋体5号字填写）教学方式：（请用宋体5号字填写）适用专业：（请用宋体5号字填写）考核方式：（请用宋体5号字填写）预修课程：（请用宋体5号字填写）一、教学目标与要求（请用宋体5号字填写）二、课程内容与学时分配（请用宋体5号字填写）三、实验及实践性环节（注：此项没有的不填）（请用宋体5号字填写）四、教材（序号，编著者姓名，教材名称，出版社，版次，出版日期）（请用宋体5号字填写）主要参考书（序号，编著者姓名，教材名称，出版社，版次，出版日期）（请用宋体5号字填写）大纲撰写负责人：（请用宋体5号字填写）授课教师：（请用宋体5号字填写）课程编号：000109课程名称：矩阵论英文名称：The Theory of Matrices开课单位：081（理学院数学系）开课学期：1课内学时：60 教学方式：讲授适用专业：工科各专业考核方式：考试预修课程：线性代数、高等数学一、教学目标与要求本课程较全面、系统地介绍矩阵的基本理论、方法和某些应用，重点是线性空间及其映射、变换，以及矩阵运算等。
难点是理解线性空间、线性映射、线性变换的不变子空间、λ矩阵在相抵下的标准形和矩阵算子范数等抽象概念以及计算线性映射在基下的矩阵、-的各种因子分解等。
通过本课程中基本概念和基本定理的阐述和论证，培养研究生的抽象思维与逻辑推理能力，提高研究生的数学素养。
在重视数学论证的同时，强调数学概念的物理、力学等实际背景，培养研究生应用数学知识解决实际工程技术问题的能力。
通过本课程的学习，要求研究生掌握矩阵的基本理论和方法，为学习后续课程、开展科学研究打好基础。
二、课程内容与学时分配第一章线性空间与内积空间（8学时）1．1 预备知识：集合·映射与数域 1．2 线性空间1．3 基与坐标 1．4 线性子空间1．5 线性空间的同构 1．6 内积空间第二章线性映射与线性变换（8学时）2．1 线性映射及其矩阵表示 2．2 线性映射的值域与核2．3 线性变换 2．4 特征值与特征向量2．5 矩阵的相似对角形 2．6 线性变换的不变子空间2．7 酉（正交）变换与酉（正交）矩阵第三章λ-矩阵与矩阵的Jordan标准形（8学时）3．1 一元多项式 3．2 λ-矩阵及其在相抵下的标准形3．3 λ-矩阵的行列式因子和初等因子 3．4 矩阵相似的条件3．5矩阵的Jordan标准形3．6 Cayley-Hamilton定理与最小多项式第四章矩阵的因子分解（8学时）4．1 初等矩阵 4．2 满秩分解4．3 三角分解 4．4 QR分解4．5 Schur定理与正规矩阵 4．6 奇异值分解第五章 Hermite 矩阵与正定矩阵（6学时）5．1 Hermite 矩阵与Hermite 二次型 5．2 Hermite 正定（非负定）矩阵5．3 矩阵不等式 5．4 Hermite 矩阵的特征值* 第六章 范数与极限（10学时）6．1 向量范数 6．2 矩阵范数6．3 矩阵序列与矩阵级数 6．4 矩阵扰动分析第七章 矩阵函数与矩阵值函数（4学时）7．1 矩阵函数 7．2 矩阵值函数7．3 矩阵值函数在微分方程组中的应用 7．4 特征对的灵敏度分析* 第八章 广义逆矩阵（6学时）8．1 广义逆矩阵的概念 8．2 广义逆矩阵A -与线性方程组的解8．3 极小范数广义逆A m -与相容方程组的极小范数解8．4 最小二乘广义逆A i -与矛盾方程组的最小二乘解8．5 广义逆矩阵A +与线性方程组的极小最小二乘解第九章 Kronecker 积与线性矩阵方程（2学时）9．1 矩阵的Kronecker 积 9．2 矩阵的拉直与线性矩阵方程9．3 矩阵方程AXB C =与矩阵最佳逼近问题* 9．4 矩阵方程AX B =的Hermite 解与矩阵最佳逼近问题* 9．5 矩阵方程AX XB C +=和X AXB C-=* 第十章 非负矩阵* 10．1 非负矩阵与正矩阵 10．2 素矩阵与不可约矩阵10．3 随机矩阵 10．4 M —矩阵注：带“*”者为机动的内容。
第四章 矩阵
Ch5 P234 习题4（1）
13.正交矩阵
定义7：P370CH9
1.正交矩阵的充要条件
A
（a
）正交（A是实矩阵）
ij
A为正交阵
A1为正交阵
A为正交阵
A*为正交阵
A1 A
2）A正交，则A的特征值的模为1；
3）A正交，则 A 1； 4） A、B正交，则AB正交.
,A )为准对角阵，则 S
秩A=秩A +秩A
1
2
L
秩AS
4）A=diag(A1,A 2 ,L
,A ) S
B=diag(B ,B 1
2
,L
,B ) S
那么 AB diag( A1B1,L , AS BS )
5）A=diag(A1,A 2 ,L
,A ) S
B=diag(B ,B 12
,L
,B ) S
8) 设A为n m复矩阵，则 秩A=秩A=秩AA=秩AA
9) A,B为n n矩阵，AB=0,则 秩A+秩B n,(P200.18)
10) A为n n矩阵, A2 E,则
秩（A+E）+秩(A-E)=n；（P .3） 203
11) A为n n矩阵, A2 A,则
秩A+秩(A-E)=n；（P .4） 203
1）设 A, B 为n阶矩阵，则
① tr(A B) trA trB
② tr(kA) ktrA
③ trA trA ④ trAB trBA
2）A ~ B 那么 trA trB
3) A为n阶方阵，则A的特征多项式为
则有 E A
n
b n1 n1
正定矩阵因子分解法
正定矩阵因子分解法正定矩阵因子分解法是一种非常有效的矩阵分解技术，是矩阵分析和数据处理中的重要工具。
在数学、物理、工程、计算机科学等许多学科中都有广泛的应用。
本文将从概念、原理、应用等方面介绍正定矩阵因子分解法。
一、概念正定矩阵是指对于任意非零的列向量x，都有x’Ax>0的矩阵A。
其中x’表示x的转置，意义是x的行向量，x是一列向量。
正定矩阵因子分解法是把一个正定矩阵分解成两个较小的正定矩阵相乘的过程。
具体来讲，若A是一个n×n正定矩阵，则可以将它写成A=LL’的形式，其中L是一个n×r矩阵，r≤n，L’是L的转置，即r×n矩阵。
此时L被称为A的正定矩阵因子分解。
二、原理A的正定矩阵因子分解需要用到Cholesky分解。
Cholesky分解是对称正定矩阵的一种特殊分解形式，于1914年由法国数学家Cholesky提出，具体来说就是将对称正定矩阵A分解为A=LL’的形式，其中L是一个下三角矩阵，而L’为其转置。
这种分解形式在计算过程中比一般LU分解有更快的速度和更小的误差。
Cholesky分解的一个显著特点是只用考虑一个三角矩阵，而不需要LU 分解中的两个矩阵。
因此，它的实现比LU分解要容易，速度也更快。
此外，Cholesky分解也很适合数值计算，因为它能够避免数值精度的问题。
三、应用正定矩阵因子分解法在科学计算中有广泛的应用，例如统计学、信号处理、金融工程等领域。
在人工智能领域中，它被广泛应用于深度学习、矩阵分解等问题中。
举个例子，正定矩阵因子分解法在PCA（主成分分析）中起到关键作用。
PCA是一种线性映射，通过将向量投影到代表数据不同方面的主轴上来降低数据维度，从而得到一个更小的数据集。
在这个过程中，用到了数据的协方差矩阵，而协方差矩阵必须是正定的，因此需要用到正定矩阵分解。
四、总结正定矩阵因子分解法是一种重要的矩阵分解技术，它能够将一个大的正定矩阵分解成两个较小的正定矩阵相乘的形式。
正定矩阵因子分解法
正定矩阵因子分解法
正定矩阵因子分解法是将一个正定矩阵表示为若干个因子的乘积的方法，其中每个因
子也是正定矩阵。
正定矩阵因子分解法可以用于解决许多问题，例如：
1. 矩阵求逆
2. 矩阵特征值分解
4. 线性方程组求解
等等。
在正定矩阵因子分解法中，其中一个很重要的步骤是矩阵的对称平方根分解。
对称平
方根分解是将一个正定矩阵表示为一个下三角矩阵和它的转置矩阵的乘积的方法。
这个下
三角矩阵就是原矩阵的对称平方根。
当一个正定矩阵被成功地分解成若干个因子的乘积时，我们可以使用这些因子来求解
各种问题。
例如，我们可以使用这些因子来快速求解一个线性方程组，这个线性方程组的系数矩
阵是正定的。
具体来说，我们可以首先将系数矩阵写成对称平方根的形式，然后将方程组
转化为一个新的方程组，其中系数矩阵是一个对称三角矩阵。
最后，我们可以使用回代法
来求解这个新的方程组，从而得到原方程组的解。
除了线性方程组的求解，正定矩阵因子分解法还可以用于求解矩阵特征值和特征向量，以及计算矩阵和向量的广义逆。
总之，正定矩阵因子分解法是一个非常重要和有用的技术，在许多领域中都得到了广
泛的应用。
矩阵分析与计算--04-矩阵分解-01-Jordan标准型
则 A( ) 的 k 级行列式因子为
Dk ( ) d1 ( )d 2 ( ) d k ( ), k 1,2, r.
26
2）（定理4） 矩阵的Smith标准形是唯一的. 证：设 矩阵 A( ) 的标准形为
A( ) 与C ( ) 等价.
16
2) A( )与 B( ) 等价 存在一系列初等矩阵
P1 PS , Q1 Qt 使 A( ) P1 PS B( )Q1 Qt .
17
七、λ－矩阵的对角化
都等价于下列形式的矩阵
d1 ( ) d 2 ( )
19
1 2 1 1 2 0 [1,3] 1 3 1 1 2 1 2 1 1 3 1 0 2 0 3 2 0 0 1 2 0 [21(2 1),[31( 1)]] 0 3 2
2.（定理2）任意一个非零的 s n 的 一矩阵 A( ) 称之为 A( )的 Smith标准 形.
d r ( )
0
0
其中 r 1, d i ( ) ( i 1,2, 多项式，且
, r ) 是首项系数为1的
d i ( ) d i 1 ( ) ( i 1,2,
1
( )
1
i行 j行 1
14
② 初等矩阵皆可逆.
p( i , j )1 p( i , j )
p( i (c ))1 p( i ( 1 c ))
p( i , j( ( ))) p( i , j( ( )))
某211高校研究生课程《矩阵论》第4章l矩阵的因子分解剖析
(4.6.1)
引理4.6.2 设A C mn ,则
(1) AH A与AAH的特征值均为非负实数 ； (2) AH A与AAH的非零特征值相同，并且非零特征
值的个数(重特征值按重数计算)等于rank ( A).
定义4.6.1 设ACmn ,如果存在非负实数和非零向量
u Cn, v Cm使得
Au v, AH v u
定理4.6.1 若A是正规矩阵，则 A的奇异值是A的特征 值的模。
定理4.6.2 设 A是 m n 矩阵，且rank(A) = r，则存在 m阶酉矩阵V 和 n 阶酉矩阵U使得
V
H
AU
0
0 0
(4.6.5)
其中 diag(1,, r )，且1 r 0.
(4.6.5)称为矩阵 A的奇异值分解.
d1 a11 ,
dk
k k 1
,
k 2,, n
分解式 A LDU称为矩阵A的LDU分解。
一般说来，即使A是n阶非奇异矩阵， A未必 能作LU分解和LDU分解。
定义4.3.1 设ei是n 阶单位矩阵的第i列(i=1,2,…n)， 以e1, e2,, en为列作成的矩阵[ei1 , ei2 , , ein ] 称为 n 阶 排列矩阵，其中 i1, i2 ,, in 是1,2,…n的一个排列。
推论4.5.2 若 A是n 阶实对称矩阵，则 A正交相似于实 对角矩阵，即存在n 阶正交矩阵 Q 使得
QT AQ
(4.5.13)
其中 diag(1,, n )，i (i 1,, n)是A的实
特征值。
4.6 奇异值分解
引理4.6.1 设A C mn ,则
rank( AH A) rank( AAH ) rank( A)
矩阵分解发展历程
矩阵分解，也称为矩阵因子分解或矩阵分解，是矩阵理论中的一种重要技术。
以下是矩阵分解的发展历程：
1. 早期阶段：矩阵分解的思想在早期的线性代数教材中就已经出现，但当时并没有引起广泛的关注。
2. 1901年：法国数学家Édouard Goursat开展了关于矩阵分解的研究，他提出了Goursat定理，该定理描述了任意一个可逆矩阵如何可以被分解为一些初等矩阵的乘积。
3. 1909年：挪威数学家Harald Bohr和英国数学家F. Murnaghan 分别独立地提出了矩阵的谱分解，也就是将一个矩阵分解为一个对称正定矩阵和一个上三角矩阵的乘积。
4. 1928年：英国数学家Hugh Everett提出了Everett定理，该定理给出了任意一个矩阵如何可以被分解为一些行阶梯形矩阵的乘积。
5. 1932年：德国数学家Eberhard M气象学家和物理学家合作，将矩阵分解应用到气象学中，用来模拟和研究大气环流。
6. 1960年代：随着计算机科学和数值分析的兴起，矩阵分解开始广泛应用于各个领域，如线性方程组的求解、最优化问题、控制论、信号处理等。
7. 1980年代：随着稀疏矩阵技术和并行计算的快速发展，矩阵分解的算法和实现也在不断改进和优化，以适应大规模和高性能计算的需求。
8. 2000年代至今：随着机器学习和数据科学的发展，矩阵分解被广泛应用于数据分析和处理中，如推荐系统、社交网络分析、自然语言处理等。
总之，矩阵分解是一个古老而又充满活力的研究领域。
随着科学技术的发展，矩阵分解的应用范围越来越广泛，其理论和方法也在不断地发展和完善。
矩阵论复习
可求出 A(λ ) 的行列式因子 （3）将矩阵 A(λ )的不变因子 d 1 (λ ), d 2 (λ ),L , d r (λ ) 分解成 一次因式的幂： 一次因式的幂：
(λ − λ1 ) n1 , (λ − λ 2 ) n2 ,L , (λ − λ s ) ns
可求出 A(λ ) 的初等因子
4.Jordan标准形的求法 标准形的求法 4. （1）求矩阵 A 的初等因子
& & & C n = V λ1 + V λ 2 + L + V λ r
（3） A 的每一个特征值的几何重数等于代数重数. 的每一个特征值的几何重数等于代数重数. 的一维不变子空间的直和. （4） C n 可以分解成 A 的一维不变子空间的直和 的初等因子都是一次式. （5）A的初等因子都是一次式 的初等因子都是一次式 的最小多项式m(λ)没有重零点 没有重零点. （6）A的最小多项式 的最小多项式 没有重零点
即 A (ε 1 , ε 2 , L , ε n ) = (ε 1 , ε 2 , L , ε n ) A .
4.线性变换的值域与核 4.线性变换的值域与核 维线性空间V上的线性变换 ε 上的线性变换， 设A 是 n 维线性空间 上的线性变换，1 , ε 2 ,L , ε n 是 V 的一组基， 的一组基，A 在这组基下的矩阵是 A，则 ， （1）A 的核为Ker ( A ) = {α ∈ V | A (α ) = 0}; （2）A 的值域为R( A ) = { A (α ) | α ∈ V };
α = x 1ε 1 + x 2 ε 2 + L + x n ε n .
2.线性子空间 2.线性子空间 是线性空间， 是 的非空子集， （1）设V是线性空间，W是V 的非空子集，则W是V 的 是线性空间 是 子空间的充分必要条件是
矩阵因式分解公式
矩阵因式分解公式是将一个矩阵分解成几个矩阵的乘积的公式。
常见的矩阵因式分解公式包括以下几种：
1. 特征值分解：对于一个$n\times n$的方阵$A$，可以将其分解为特征值和特征向量的乘积，即$A=PDP^{-1}$，其中$P$是特征向量组成的矩阵，$D$是对角矩阵，其对角线上的元素是$A$的特征值。
2. 奇异值分解：对于一个$m\times n$的矩阵$A$（其中$m\geq n$），可以将其分解为奇异值和奇异向量的乘积，即$A=UΣV^T$，其中$U$是$m\times m$的酉矩阵，$Σ$是$m\times n$的对角矩阵，其对角线上的元素是$A$的奇异值，$V$是$n\times n$的酉矩阵。
3. Cholesky 分解：对于一个正定对称矩阵$A$，可以将其分解为下三角矩阵$L$的平方，即$A=L^TL$。
4. QR 分解：对于一个$m\times n$的矩阵$A$（其中$m\geq n$），可以将其分解为一个正交矩阵$Q$和一个上三角矩阵$R$的乘积，即$A=QR$。
以上是常见的矩阵因式分解公式，不同的分解公式适用于不同的矩阵类型和问题。
第4章 矩阵分解-1
3 1 2
H2H1A
0
1
1
R
0
0
0
矩阵分析简明教程
Q
H
H 1
21
1 3
1
2 2
2 1 2
2
2 1
所求的QR分解为
A QR
8
0 1 1
矩阵分析简明教程
1 5
x1 2x2 x3 5x2 3x3
0 1
12 5
x3
4 5
(
5 12
)
3 5
x1
2x2 x2
1 3 0
x3
1 3
(2)
x1 x2
1 3 0
x3 1 3
(II )
矩阵分析简明教程
用矩阵形式表示，系数矩阵
1 2 1 r12 (3) 1 2 1
角方阵 R ，使得
A QR
当 m = n 时 ，Q 就 是 酉 矩 阵 或 正 交 矩 阵 。
矩阵分析简明教程
例 1 将下列矩阵进行QR分解：
1 2 2
A
1 0
0 1
2 1
4
矩阵分析简明教程
解： 1 (1,1，0, )T， 1 1 (1,1，0)T
1
||
1 1
||
1 (1,1, 0)T 2
定理4.2.3 设 e1 1, 0,, 0T C n ,
x1 , x2 ,, xn T C n , 0
令
x1
x1 ,
,
x1
0 ，u
e1
x1 0
e1
H E 2uuH是n 阶Householder矩阵，且
H -e1
矩阵分析简明教程
定理4.2.4（QR分解）设 A为 任 一 n 阶 矩 阵 则必存在 n 阶酉矩阵 Q 和 n 阶上三角方
第4章-矩阵分解
于是存在 m 阶可逆矩阵 P ，使得 PA B 或者 A P1B ． 将 P 1
分块为 P 1 (F , S ) ，其中
F C mr 且 rankF r ， S C m(mr) 且 rankS m r ，
则有
A P1B (F, S)G0 FG， 其中 F 是列满秩矩阵， G 是行满秩矩阵．
若 k 0 ，就取 k
1
kH k
k ，（ k
2,3,n) ．
可以验证 1, 2 , n 为“正交向量组”，且每个向量或为零向量， 或为单位向量．而且每个 j 是1, 2 j 的线性组合．反过来上述作 法也保证了每个 j 是 1 , 2 j 的线性组合．因此存在复数 rij 使得
P (e j1 , e j2 ,, e jn ) 称为置换矩阵，这里 j1 j2 jn 是1,2,, n 的一个全排列．
0 0 1 0
例如，矩阵
P
(e3
,
e4
,
e1
,
e2
)
=
0 1 0
0 0 1
0 0 0
1 0 0
就是一个
4
阶置换
矩阵．
置换矩阵 P (e j1 , e j2 ,, e jn ) 有如下一些性质： （1） P 是正交矩阵； （2）对任意 A C mn ， AP 是将 A 的列按 j1 , j2 ,, jn 的次序
1
P
1
A
P
0
r12 2
r n11n 1
r
n2 2n
n
0
b12
2
b1n
b2n
，
n
对给定的 0 ，可选择 r ，使得 bij 成立． 1i jn
矩阵因式分解
矩阵因式分解（LU分解）与列昂惕夫投入产出模型矩阵的因式分解是把一个矩阵A表示为两个或更多个矩阵的乘积，是将复杂的数据进行分解，其中有多种方法，例如：LU分解，秩分解，QR分解，奇异值分解，谱分解等。
这里主要介绍对LU分解的认识。
根据参考的书籍，这里的LU分解只限于一系列具有相同系数矩阵的线性方程：Ax=b1, Ax=b2, … , Ax=b p （1）当A为可逆矩阵时，可计算A-1，然后计算A-1 b1，A-1 b2，等等。
但是，真正在社会实践的运用中，又是如何计算并使用的呢？实际而言，（1）中的第一个方程是由行变换解出的，并同时得出矩阵A的LU分解。
设A为m×n阶矩阵，则A m×n可进行化简为阶梯形，此时不必行对换，那么A可写成形式A=LU，L是m×m下三角矩阵，主对角线元素全是1，U是A的一个等价的m×n阶梯形矩阵。
如下：这样的一个分解称为LU分解，矩阵L是可逆的，我们称L为单位下三角矩阵。
由上，我们可知，当A=LU时，方程Ax=b可写成L（Ux）=b，把Ux写成y，可以有解下面一对方程来求解x：Ly=bUx=y首先解Ly=b然后解Ux=y求得x，如下，每个方程都比较容易解，因和都是三角矩阵。
下面，举出一道例题;例：求下列矩阵的LU分解：因为A有4行，故L为4×4矩阵，L的计算方式为第一列是A的第一列除以它的第一行主元元素，L如下：比较A与L的第一列。
把A的第一列的后3个元素变换为零同时也为L的后三列变换，下面是A变为阶梯形U:将上述A到U的行变化结果放入L中：故得到所求出的L和U满足LU=A，利用LU分解，我们可以进行线性方程组的计算，简化这种计算。
后我又参考了网络上的最新信息，得到即使矩阵不可逆，LU仍然可能存在。
实际上，如果一个秩为k的矩阵的前k个顺序主子式不为零，那么它就可以进行LU分解，但反之则不然。
目前，在任意域上一个方块矩阵可进行LU分解的充要条件已经被发现，这些充要条件可以用某些特定子矩阵的秩表示。
第四章 矩阵分解
矩阵分析第四章 矩阵分解§4.1: 矩阵的满秩分解 §4.2: 矩阵的正交三角分解 §4.3: 矩阵的奇异值分解 §4.4: 矩阵的极分解 §4.5: 矩阵的谱分解矩阵分解前言矩阵分解定义: 将一个已知矩阵表示为另一些较为简单或 较为熟悉的矩阵的积(或和)的过程称为矩阵分解. 例:(1)对任意n阶正规矩阵A,存在酉阵U∈Un×n使 A=Udiag(λ1,…,λn)U*, 其中λ1,…,λn为A的所有特征值的任一排列. (2)对任意n阶正定矩阵A,存在可逆阵Q∈Cnn×n使A=Q*Q,或存 在唯一正定阵B使A=BB. 矩阵分解意义:有利于研究已知的矩阵. 例如,利用正定阵A的平方根B为正定阵可证: 对任意Hermite阵H,AH或HA都有实特征值.1( AH∼(A1/2)-1AHA1/2=A1/2HA1/2∈Hn×n )2初等变换与初等矩阵(p73)三类初等变换: (行(列)变换←→左(右)乘) (1)将矩阵A的两行互换等价于用第一类初等矩阵P(i,j)左 乘A; (2)将矩阵A的第i行乘以k≠0等价于用第二类初等矩阵 P(i(k))=diag(1,…,1,k,1,…,1)左乘A. (3)将矩阵A的第j行乘以k≠0后再加到第i行等价于左乘第 三类初等矩阵P(i,j(k)).P (i , j ) =⎛1 ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎝ 1 0 1 1 1 0 1 1初等变换与初等矩阵举例⎛1 ⎞⎛ 1 4 7 ⎞ ⎛ 1 4 7 ⎞ ⎜ 0 1 ⎟⎜ 2 5 8 ⎟ = ⎜ 3 6 9 ⎟ ; ⎜ ⎟⎜ ⎟ ⎜ ⎟ ⎜ 1 0 ⎟⎜ 3 6 9 ⎟ ⎜ 2 5 8 ⎟ ⎝ ⎠⎝ ⎠ ⎝ ⎠ ⎛1 4 7⎞⎛1 ⎞ ⎛ 1 7 4⎞ ⎜ 2 5 8⎟⎜ 0 1⎟ = ⎜ 2 8 5⎟ ⎜ ⎟⎜ ⎟ ⎜ ⎟ ⎜ 3 6 9⎟⎜ 1 0⎟ ⎜ 3 9 6⎟ ⎝ ⎠⎝ ⎠ ⎝ ⎠⎛1 ⎞⎛1 4 7⎞ ⎛ 1 4 7 ⎞ ⎜ ⎟⎜ ⎟ ⎜ ⎟ 0.2 ⎟ ⎜ 2 5 8 ⎟ = ⎜ 0.4 1 1.6 ⎟ ; ⎜ ⎜ 1⎟⎜ 3 6 9 ⎟ ⎜ 3 6 9 ⎟ ⎝ ⎠⎝ ⎠ ⎝ ⎠⎛1 4 7⎞⎛1 ⎞ ⎛ 1 4 7 / 9⎞ ⎜ ⎟⎜ ⎟ ⎜ ⎟ ⎜ 2 5 8⎟⎜ 1 ⎟ = ⎜ 2 5 8/9⎟ ⎜ 3 6 9⎟⎜ 1/ 9 ⎟ ⎜ 3 6 1 ⎟ ⎝ ⎠⎝ ⎠ ⎝ ⎠---- i ---- j⎞ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ 1⎠P (i , j ( k )) =⎛1 ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎝1k 1⎞ ⎟ ⎟ ⎟ ---⎟ ⎟ ⎟ ---⎟ ⎟ ⎟ 1⎠i j3⎛1 ⎞⎛ 1 2 3⎞ ⎛ 1 2 3 ⎞ ⎜ ⎟⎜ ⎟ ⎜ ⎟ ⎜ −4 1 ⎟ ⎜ 4 5 6 ⎟ = ⎜ 0 −3 −6 ⎟ ; ⎜ 1⎟⎜ 7 8 9⎟ ⎜ 7 8 9 ⎟ ⎝ ⎠⎝ ⎠ ⎝ ⎠−3 ⎞ ⎛ 1 2 0 ⎞ ⎛ 1 2 3⎞⎛1 ⎜ ⎟⎜ ⎟ ⎜ ⎟ ⎜ 4 5 6⎟⎜ 1 ⎟ = ⎜ 4 5 −6 ⎟ ⎜7 8 9⎟⎜ 1 ⎟ ⎜ 7 8 −12 ⎟ ⎝ ⎠⎝ ⎠ ⎝ ⎠4初等变换与初等矩阵的性质3类初等矩阵都是可逆的(行列式不为0). 将A依次作初等矩阵P1,…,Pr对应的行(列)初等变换等价 于左(右)乘A以可逆矩阵Pr…P1(P1…Pr). 可适当选第一类初等矩阵的乘积P使PA(AP)的行(列)是A 的行(列)的任意排列; 可适当选第三类初等矩阵 P(i,j(k))中的k使P(i,j(k))A的(i,j)元变为0; 可适当选第二类初等矩阵P(i(k))中的k使P(i(k))A的非 零(i,i)元变为1. 存在初等矩阵的乘积P和Q,使PAQ= ,其中r=rankA.初等变换与初等矩阵的性质续命题:设A∈Crm×n前r列线性无关,则用初等行变换可把A变为⎛ Er ⎜ ⎝ 0 ⎛1 ⎜ ⎜ D⎞ ⎜ = ⎜ ⎟ 0 ⎠ ⎜ ⎜ ⎜ ⎜ ⎝ 1 1 * * * * *⎞ ⎟ *⎟ *⎟ ⎟ *⎟ ⎟ ⎟ ⎟ ⎠一般地,∀A∈Crm×n都存在m,n阶可逆阵P和Q使PAQ=5证:因前r列线性无关,故用第一类初等矩阵左乘可使A的 (1,1)元≠0. 再用第二类初等矩阵左乘可使a11=1; 最后用若干第三类初等矩阵左乘可使A的第一列=e1. 因前2列线性无关,故新的第2列与e1线性无关且≠0, 故用第一类行变换可使(2,2)元≠0,…可使A的第2列=e2. ….可使A的第r列=er.此时空白处必为0元.安徽大学 章权兵1矩阵分析§4.1: 矩阵的满秩分解⎛ 1 ⎜ A = ⎜ −2 ⎜ 0 ⎝ 0 0 0 0⎞ ⎛1 ⎟ ⎜ 1 ⎟ , 没 有 P ∈ C 33 × 3 使 P A = ⎜ ⎟ ⎜ 0⎠ ⎝0 0 0 0⎞⎛1 ⎟⎜ 1⎟⎜0 0⎟⎜0 ⎠⎝ 0 0 1 0⎞ ⎛ 1 ⎟ ⎜ 1 ⎟ = ⎜ −2 0⎟ ⎜ 0 ⎠ ⎝ 0 1 0 0⎞ ⎟ 0⎟ 0⎟ ⎠1⎞ ⎟ ⎟. 0⎟ ⎠定义:对任意矩阵A∈Crm×n,A=BC 称为A的一个满秩分 解,如果B∈Crm×r,C∈Crr×n. 例:⎛1 ⎜ ⎜1 ⎜0 ⎝ 1 2 1 2 3 1 3 ⎞ ⎛1 ⎟ ⎜ 2 ⎟ = ⎜1 − 1⎟ ⎜ 0 ⎠ ⎝ 1⎞ ⎟⎛ 1 2 ⎟⎜ ⎜0 1 ⎟⎝ ⎠ ⎛1 4 ⎞ ⎜ ⎟ = ⎜1 ⎟ 1 1 − 1⎠ ⎜ ⎝0 0 1 2⎞ ⎟⎛ 1 3 ⎟⎜ ⎜0 1 ⎟⎝ ⎠ −1 0 1 1 5 ⎞ ⎟ − 1⎟ ⎠⎛ 1 ⎜ A P ( 2, 3) = ⎜ − 2 ⎜ 0 ⎝⎛ 1 0 0 ⎞ ⎛ 1 0 0 ⎞ ⎛ 1 0.5 0 ⎞ ⎜ ⎟⎜ ⎟ ⎜ ⎟ PAQ = P (2,1(0.5)) AP (2, 3) = ⎜ 0.5 1 0 ⎟ ⎜ −2 1 0 ⎟ = ⎜ 0 1 0 ⎟ ⎜ 0 0 1⎟⎜ 0 0 0⎟ ⎜ 0 0 0⎟ ⎝ ⎠⎝ ⎠ ⎝ ⎠m=3,n=4,r=2. 注:可能存在不仅是常数差别的两个实质不同的满 秩分解.矩阵满秩分解的存在定理定理4.1.1:任意矩阵A∈Crm×n,都有满秩分解: A=BC,B∈Crm×r,C∈Crr×n. 证:由初等矩阵性质知: 存在可逆阵P∈Cmm×m和Q∈Cnn×n,使 PAQ= 从而 A⎛ Er ⎜ ⎜ 0 ⎝ 0 ⎞ ⎛ Er ⎟=⎜ 0⎟ ⎜ 0 ⎠ ⎝ ⎛ Er ⎞ -1 ⎜ ⎟ ( E r =P ⎝ 0 ⎠ ⎞ ⎟ ⎟ (E r ⎠ 0)存在定理中矩阵B,C的决定对于A的前r列线性无关的情形:⎛E PA = ⎜ r ⎝ 0 D ⎞ ⎛ Er ⎞ = (Er 0 ⎟ ⎜ 0 ⎟ ⎠ ⎝ ⎠ D)⎛E A = P −1 ⎜ r ⎝ 0D⎞ Er ⎞ −1 ⎛ ⎟= P ⎜ ⎟ (Er 0 ⎠ ⎝ 0 ⎠D ) = BC其中0)⎛E ⎞ B = P −1 ⎜ r ⎟ ; C = ( Er ⎝0⎠D)Q-10)= BC,⎛ 其中B=P-1 ⎜Er ⎞ ⎜ 0 ⎟ ,C= ⎟ ⎝ ⎠(ErQ-1满足所要求的条件.C是PA的前r行(即所有非0行)组成的矩阵, B和C的秩显然都是r.10矩阵B的进一步决定对于A的前r列线性无关的情形: 要求PA的前r列化为(Er,0)T,故有 B=P-1(Er,0)T ⇒ PB=(Er,0)T=PA1, 其中,A1为A前r列组成的子矩阵,由此推出B=A1. (参看P.183-184定理的证明及例4.1.1,例4.1.2) 对下例,A的第1,3两列也线性无关. 令A1为A第1,3两列组成的子矩阵,并将A的第1,3 两列化为(E2,0)T,C为所得矩阵的前2行. 则不难看出也有 A=BC和B=A1.求矩阵满秩分解的初等变换方法再以A= ⎜ 1 ⎜⎛1 1 2 3 ⎞ ⎟ 2 3 2 ⎟ 为例作说明如下: ⎜ 0 1 1 −1⎟ ⎝ ⎠①用初等行变换把A前两列变为(E2 0)T⎛1 1 2 3 ⎞ ⎛1 1 2 3 ⎞ ⎛1 0 1 4 ⎞ ⎛1 1⎞ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟⎛1 0 1 4 ⎞ ⎜ 1 2 3 2 ⎟ → ⎜ 0 1 1 −1 ⎟ → ⎜ 0 1 1 −1⎟ = ⎜ 1 2 ⎟ ⎜ 0 1 1 −1⎟ ⎠ ⎜ 0 1 1 −1 ⎟ ⎜ 0 1 1 −1 ⎟ ⎜ 0 0 0 0 ⎟ ⎜ 0 1 ⎟ ⎝ ⎝ ⎠ ⎝ ⎠ ⎝ ⎠ ⎝ ⎠ a1 a2 ②用初等行变换把A的1,3两列变为(E2 0)T ⎛1 1 2 3 ⎞ ⎛1 1 2 ⎜ ⎟ ⎜ ⎜1 2 3 2 ⎟ → ⎜0 1 1 ⎜ 0 1 1 −1 ⎟ ⎜ 0 1 1 ⎝ ⎠ ⎝ 3 ⎞ ⎛ 1 −1 0 5 ⎞ ⎛ 1 2 ⎞ ⎟ ⎜ ⎟ ⎜ ⎟ ⎛ 1 −1 0 5 ⎞ −1 ⎟ → ⎜ 0 1 1 − 1 ⎟ = ⎜ 1 3 ⎟ ⎜ ⎟ 0 1 1 −1 ⎠ −1 ⎟ ⎜ 0 0 0 0 ⎟ ⎜ 0 1 ⎟ ⎝ ⎠ ⎝ ⎠ ⎝ ⎠a1 a3安徽大学 章权兵2矩阵分析关于矩阵满秩分解的注矩阵满秩分解不唯一;但同一矩阵的两个满秩分 解的因式矩阵之间存在密切关系(见定理4.1.2). A∈Crm×n ⇒ r=rank A ≤ min{m,n} A的秩等于它的行秩,列秩或行列式秩. A的行(列)秩是它的行(列)最大线性无关组的行 (列)数;A的行列式秩是其非0子式的最大阶数. A=BC ⇒ rank A≤rank B 且 rank A≤rank C rank A=rank A*13引理4.3.1引理4.3.1:对任意矩阵A∈Crm×n有 rank(AA*)=rank(A*A)=rank A*=rank A=r. 证:因方程组Ax=0的解空间维数等于n-rank A, (*) 故为了证明 rank(A*A)=rank A 只须证明下列两个方程组有相同的解空间即可 Ax=0 ⑴ ⑵ A*Ax=0 显然,x满足⑴ ⇒ x满足⑵. x满足⑵ ⇒ x*A*Ax=0,即(Ax,Ax)=0 ⇒ Ax=0,即x满足⑴. 注:利用A的任意性以A*代A由(*)得 rank A=rank A*=rank((A*)*A*)=rank(AA*)同一矩阵两个满秩分解间的关系定理4.1.2:若A=BC=B1C1均为A∈Crm×n 的满秩分解, 则存在θ∈Crr×r,使得B=B1θ,C=θ-1C1. 证:若A=BC=B1C1,则BCC*=B1C1C*. 由p.190引理4.3.1知:rank(CC*)=rank C=r, 从而 CC*∈Crr×r为可逆矩阵,且满足B=B1C1C*(CC*)-1. 由上式推出r≥rank(C1C*)≥rank B=r,即rank(C1C*)=r. 进而 θ=C1C*(CC*)-1∈Crr×r,满足B=B1θ. 同理可证 C=(B*B)-1B*B1C1=θ′C1,θ′∈Crr×r. 因此,BC=B1C1 ⇒ B1θθ′C1=B1C1 ⇒ B1*B1θθ′C1C1* = B1*B1C1C1* 引理4.3.1 ⇒ θθ′=E ⇒ θ′=θ-1定理4.1.2的补充命题:设A=B1C1为A∈Crm×n的满秩分解, 则A=BC是A的满秩分解,当且仅当 ∃θ∈Crr×r, B=B1θ,C=θ-1C1. 证: 必要性由定理4.1.2给出. 充分性. 若存在θ使(*)成立,则B,C给出A的满秩分解： BC=B1C1=A. (*)§4.2: 矩阵的正交三角分解满秩矩阵的分解 行(列)满秩矩阵的分解 一般矩阵的分解满秩矩阵的正交三角分解定理4.2.1:∀A∈Cnn×n都可唯一地分解为A=UR(或A=LU),其中 U∈Un×n,R(L)为正线上(或下)三角矩阵. 证:(存在性)令A=(α1, … ,αn),则α1, … ,αn线性无关, 用Schmidt方法从α1, … ,αn得标准正交组ν1,…,νn满足⎧ ⎪ ⎪ ⎨ ⎪ ⎪α ⎩α 1 = C 11ν 11αn2= C 21ν1+ C 22 ν22∀i,Cii=‖βi‖>0n= C n 1ν+ Cn2ν+ ... + C nn νC 21 C 22于是其中,U=(ν1,…,νn)为酉矩阵,R为正线上三角矩阵.⎛ C 11 ⎜ A= (α 1 ,..., α n ) = (ν 1 ,..., ν n ) ⎜ ⎜ ⎜ ⎜ ⎝C n1 ⎞ ⎟ C n2 ⎟ ⎟ ⎟ C nn ⎟ ⎠=UR,安徽大学 章权兵3矩阵分析β1=α1 , β2=α2-((α2,β1)/(β1,β1))β1 , β3=α3-((α3,β1)/(β1,β1))β1-((α3,β2)/(β2,β2))β2 , . . . νi=(1/‖βi‖)βi, βi=‖βi‖νi, i=1,2,… α1=β1=‖β1‖ν1; C11=‖β1‖>0 α2=((α2,β1)/(β1,β1))β1+β2=C21ν1+‖β2‖ν2;C22=‖β2‖>0正交三角分解唯一性证明定理4.2.1:∀A∈Cnn×n都可唯一地分解为A=UR(或A=LU), 其中U∈Un×n,R(L)为正线上三角矩阵. (唯一性) 设还有U′∈Un×n和正线上三角矩阵R′使A=U′R′. 则有 UR=U′R′ ⇒ U′*U = R′R-1 = W 矩阵 W=U′*U∈Un×n,且W=R′R-1 仍然是正线上三角矩阵. (正线上三角阵的逆和积仍是正线上三角阵) 于是,由p.162的引理3.9.1知 W=E. 即 (U′)*U=R′R-1=E. 由此式立即推出:U=U′E=U′ & R′=ER=R. 得证唯一性.α3=C31ν1+C32ν2+‖β3‖ν3; . . .C33=‖β3‖>0正交三角分解下三角情形的证明定理4.2.1:∀A∈Cnn×n都可唯一地分解为A=LU,其中 U∈Un×n,L为正线下三角矩阵. 证: ∀A∈Cnn×n ⇒ AT∈Cnn×n. 存在唯一的U′∈Un×n和正线上三角矩阵R,使AT=U′R. 于是A=(AT)T=(U′R)T=RTU′T=LU, 其中,U=U′T∈Un×n,L=RT为正线下三角矩阵.列(行)满秩矩阵的正交三角分解定理4.2.2:∀A∈Crm×r(Crr×n)都可唯一地分解为A=UR (A=LU), 其中U∈Urm×r(Urr×n),R(L)为r阶正上线(下)三角矩阵. (定理4.2.1为m=n=r时的特例) 证:(存在性)令A=(α1, … ,αr),则α1, … ,αr线性无关, 用Schmidt方法求得标正组ν1,…,νr满足⎧ ⎪ ⎪ ⎨ ⎪ ⎪α ⎩αr2α 1 = C 1 1ν 1 = C 2 1ν 1 + C 2 2ν22∀i,Cii>0.r= C r 1ν 1 + C r 2ν+ . . . + C r rν因此A=UR,其中U=(ν1,…,νr)∈Urm×r, R=⎛ C 11 ⎜ ⎜ ⎜ ⎜ ⎝C 21 C 22C r1 ⎞ ⎟ Cr2 ⎟ ⎟ ⎟ C rr ⎠定理4.2.2唯一性证明定理4.2.2: ∀A∈Crm×r都可唯一地分解为A=UR,其中 U∈Urm×r,R为r阶正线上三角矩阵. (唯一性) 设还有U′∈Urm×r和正线上三角矩阵R′∈Cr×r 使A=U′R′. 则有 R*R=A*A=(R′)*R′, 于是由定理3.9.1⑹,A*A是正定Hermite矩阵. 故A*A可唯一地表示为乘积R*R,其中R为正线上三角阵. 因此必有R=R′. 进而,由UR=U′R′给出U=U′,得证唯一性.一般矩阵的正交三角分解定理4.2.3:∀A∈Crm×n可分解为A=U1R1L2U2,其中U1∈Urm×r, U2∈Urr×n,R1和L2分别为r阶正线上三角和下三角矩阵. 证:由矩阵的满秩分解知: 存在列满秩矩阵B和行满秩矩阵C使A=BC. 存在U1∈Urm×r和r阶正上线上三角矩阵R1使得B=U1R1. 存在r阶正线下三角矩阵L2和U2∈Urr×n使得C=L2U2. 从而A=U1R1L2U2满足条件.安徽大学 章权兵4矩阵分析用UR(LU)分解方法解方程组例4.2.1:用UR(LU)方法解方程组 Ax=b (*) − 2 ⎞ 1 ⎛ 1 ⎞ 其中 ⎛ − 3 ⎜ ⎟ ⎜ ⎟⎜ 1 A = ⎜ 1 ⎜ ⎜ 2 ⎝ 1 1 − 1 − 1 0 1 ⎟ ⎜ 0 ⎟, b = ⎜ 2 ⎟ ⎜ ⎟ ⎜ 1 ⎠ ⎝ ⎟ ⎟. ⎟ ⎟ ⎠§4.3: 矩阵的奇异值分解引理4.3.1:对任意矩阵A∈Crm×n有 rank(AA*)=rank(A*A)=rank A*=rank A=r. 引理4.3.2: ∀A∈Cm×n,AA*∈Cm×m 与 A*A∈Cn×n 均为 半正定Hermite矩阵. 证:由(A*A)*=A*A 和 ∀x∈Cn,x*A*Ax=(Ax,Ax)≥0 得证:A*A∈Cn×n 为半正定Hermite矩阵. 同理可证: AA*∈Cm×m 为半正定Hermite矩阵.解:令A=(α1,α2,α3),易见α1,α2,α3线性无关, 用Schmidt方法得标准正交组ν1,ν2,ν3如教本所示. 则A=UR,R为正线上三角矩阵,U=(ν1,ν2,ν3)∈U34×3 于是 R=U*A,代入(*)式得 URx=b ⇒ Rx=U*b ⇒ x=R-1U*b 最后求得 x=(-5/2,-1/2,3)T.AA*∈Cm×m与A*A∈Cn×n的特征值定理4.3.1: ∀A∈Cm×n, AA*∈Cm×m与A*A∈Cn×n的非零特 征值(正特征值)全同. 证法1:不难验证下列矩阵等式:⎛ AA* 0 ⎞⎛ Em A ⎞ ⎛ AA* ⎜ * ⎟⎜ ⎟=⎜ ⎜ A 0 ⎟⎜ En ⎟ ⎜ A* ⎠ ⎝ ⎝ ⎠⎝⎜ 因S= ⎜ ⎝ ⎛ Em定理4.3.1的另一证法证法2:设λ≠0是AA*的非零特征值: AA*x=λx, λ≠0,x≠0 则 A*x≠0, A*A(A*x)=λ(A*x) 所以λ也是A*A的非零特征值. 同理可证： A*A的任一非零特征值也是AA*的非零特征值.AA* A⎞ ⎛ Em A ⎞⎛ 0 ⎟=⎜ ⎟⎜ En ⎟⎜ A* A* A ⎟ ⎜ ⎠⎝ ⎠ ⎝0 ⎞ ⎟ A* A⎟ ⎠0 ⎞ −1 0 ⎞ ⎛ AA * 0 ⎞ A⎞ ⎛ 0 ⎛ 0 ⎟ = S⎜ * ⎜ ⎜ ⎟S ~ ⎜ * ⎜ ⎟ ⎟ * ⎟ * ⎟ En ⎟ 可逆,故 ⎜ A* 0 ⎟ ⎝ A A A⎠ ⎝ A A A⎠ ⎠ ⎠ ⎝ *)=0与det(λE-A*A)=0有相同非零解, 从而det(λE-AA得证AA*与A*A有相同的非零特征值.奇异值的概念定义4.3.1:∀A∈Crm×n,AA*∈Cm×m或A*A∈Cn×n 的正特征 值的算术平方根称为A的正奇异值(简称奇异值, 共有r个记为 α1,…,αr). 例:求A= ⎜ − 1 ⎜⎜ 0 ⎝ ⎛ 1 0⎞ ⎟ 1⎟∈ C 0⎟ ⎠3× 2 2正规矩阵的奇异值定理4.3.2:正规矩阵的奇异值是其非零特征值的模. 证:设A为正规矩阵,则有U∈Un×n使 A=Udiag(λ1, … ,λn)U* A*=Udiag(λ 1 ,..., λ n )U* 从而 AA*=Udiag(|λ1|2, … ,|λn|2)U* 得证A的正奇异值是A的非零特征值的模.的奇异值.解: A*A=⎜ −1 ⎜⎝⎛2−1⎞ ⎟ 1⎟ ⎠,det(λE-A)=λ2-3λ+1的两个根:(3±√5)/2 均为正, A的奇异值为:α1=((3+√5)/2)1/2;α2=((3-√5)/2)1/2. 例4.3.1:见P.191.安徽大学 章权兵5矩阵分析矩阵的酉等价关系定义:设A,B∈Cm×n,若有S∈Cmm×m,T∈Cnn×n 使B=SAT,则称B 与A等价;若有U∈Um×m,V∈Un×n使B=UAV,则称B与A酉等价. 不难证明Cm×n中的等价或酉等价关系R是等价关系. ∀A∈Cm×n,ARA：A=EmAEn (ARB⇒BRA)： A=UBV⇒B=U*AV*,U*∈Um×m,V*∈Un×n (ARB & BRC⇒ARC)：A=UBV & B=U′CV′⇒A=UU′CV′V 注1: A与B酉等价当且仅当它们有相同的奇异值. 注2: ∀A∈Cm×n的酉等价类中有一个最简单形状的矩阵 (见定理4.3.3). ( A∈Crm×n等价于diag(Er,0)=PAQ )奇异值分解定理1定理4.3.3:令α1,…,αr为A∈Crm×n的全部正奇异值; ∆=diag(α1,…,αr),则有U∈Um×m,V∈Un×n使 U*AV= ⎜ 0 ⎜⎛ ∆ 0⎞ ⎟ =D∈C m×n r 0⎟ ⎝ ⎠(*)U满足U*AA*U是对角矩阵,V满足V*A*AV是对角矩阵. ( A=UDV*称为A的奇异值分解式) 证: 因AA*为m阶半正定矩阵,故有U∈Um×m使⎛ ∆2 0⎞ ⎟ 0⎟ ⎝ ⎠ 分块U=(U1,U2),则U1∈Urm×r,U2∈Um-rm×(m-r)U*AA*U=diag(α12,…,αr2,0,…0)= ⎜ 0 ⎜对角阵 次酉阵奇异值分解定理1续⎛ ∆2 ⎜ ⎝ 0 ⎛ U1* ⎞ ⎛ U1* AA *U1 U1* AA *U 2 ⎞ 0 ⎞ ⎛ U1* ⎞ ⎟ ⎟ = ⎜ * ⎟ AA *(U1 , U 2 ) = ⎜ * ⎟ ( AA *U1 , AA *U 2 ) = ⎜ * * U2 ⎠ 0 ⎠ ⎝U 2 ⎠ ⎝ ⎝ U 2 AA *U1 U 2 AA *U 2 ⎠奇异值分解定理1续令 V1=(v1,…,vr),则v1,…,vr为标准正交组. 将此标正组扩大为Cn的标正基:v1,…,vr,vr+1,…,vn, 令V=(v1,…,vn)=(V1,V2)∈Un×n,其中V2=(vr+1,…,vn). 易见 0=V1*V2=∆-1U1*AV2 ⇒ U1*AV2=0 综合以上得⎛ U * AV U 1* AV2 ⎞ ⎛U * ⎞ ⎟ U * AV = ⎜ 1* ⎟ A(V1 , V2 ) = ⎜ 1* 1 ⎜ U AV U * AV ⎟ ⎜U ⎟ 2 2⎠ ⎝ 2 1 ⎝ 2⎠ ⎛ U * AA * U 1∆−1 =⎜ 1 ⎜ 0 ⎝ 0 ⎞ ⎛ ∆2 ∆−1 ⎟=⎜ 0⎟ ⎜ 0 ⎠ ⎝ 0⎞ ⎛ ∆ 0⎞ ⎟=⎜ ⎟ 0⎟ ⎜ 0 0⎟ ⎠ ⎠ ⎝比较(1,1)块得 ∆2=U1*AA*U1 比较(2,2)块得 0=U2*AA*U2=(U2*A)(U2*A)* ⇒ U2*A=0. ( ∀M∈Cm×n,MM*=0 ⇒ 0=tr(MM*)=Σ2 i,j|mij|⇒ ∀i,j,mij=0 ⇒ M=0 ) 令 V1=A*U1∆-1∈Cn×r 则 V1*V1=∆-1U1*AA*U1∆-1=∆-1∆2∆-1=E ⇒ V1∈Urn×r奇异值分解定理2定理4.3.4:令α1,…,αr为A∈Crm×n的全部正奇异值; ∆=diag(α1,…,αr),则有U1∈Urm×r,V1∈Urn×r 使 A=U1ΔV1 . 证:由定理4.3.3直接推出⎛∆ A = U ⎜ ⎜ 0 ⎝ 0 0 ⎞ ⎟V ⎟ ⎠*关于奇异值分解定理的注(1)定理4.3.3的证明同时给出了因子矩阵U,V的求法. (U(V)是使AA*(A*A)酉相似对角化的变换矩阵) (2)矩阵U,V的列分别是AA*,A*A的对应特征向量. 证: 只证U(类似可证V). U*AA*U=diag(λ1,…,λm),λi为AA*的特征值. 令 U=(u1,…,um), 则 (AA*u1,…,AA*um)=AA*(u1,…,um) =(u1,…,um)diag(λ1,…,λm) =(λ1u1,…,λmum) ⇒ ∀i,AA*ui=λiui A*A=VD*U*UDV*=Vdiag(λ1,…,λm)V* ⇒ ∀i,A*Avi=λivi= (U 1 , U2⎛∆ )⎜ ⎜ 0 ⎝0 0⎞ ⎛ V 1* ⎟⎜ * ⎟⎜ V ⎠⎝ 2⎞ ⎟ ⎟ ⎠⎛V * ⎞ = (U 1∆ , 0 )⎜ 1* ⎟ = U 1∆ V1* ⎜V ⎟ ⎝ 2⎠安徽大学 章权兵6矩阵分析奇异值分解例1例4.3.1: 求 A=⎛1 ⎜ ⎜0 ⎜0 ⎝ 2⎞ ⎟ 0⎟ 0⎟ ⎠奇异值分解例2例:求 A= 解: AA* =⎛1 ⎜ ⎜2 ⎝ 0 0 0⎞ ⎟ 0⎟ ⎠的奇异值分解式.的奇异值分解式.解: AA*=diag(5,0,0),σ(AA*)={5,0,0},Δ=(√5). U1∈U13×1是AA*对应于5的单位特征向量x=(1,0,0)T,U=E3. V1=A*U1∆-1= ⎜ ⎜⎛1 ⎝2 0 0 ⎛1⎞ 0 ⎞⎜ ⎟ ⎟⎜ 0 ⎟ ⎟ 0 ⎠⎜ ⎟ ⎝0⎠⎛1 ⎜ ⎜2 ⎝2⎞ * ⎟ 4 ⎟ ,σ(AA )={5,0},r=1,Δ=(√5). ⎠U1∈U12×1是AA*对应于5的单位特征向量x=(1/√5,2/√5)T V1=A*U1∆-1 = ⎜ 0⎜0 ⎝ ⎛1 ⎜ 2⎞ ⎟⎛ 0 ⎟⎜ ⎜ 0 ⎟⎝ ⎠1 5 2 5( )=1 51 5⎛1⎞ ⎜ ⎟ ⎜ 2⎟ ⎝ ⎠, V=1 5⎛1 ⎜ ⎜2 ⎝− 2⎞ ⎟ 1 ⎟ ⎠⎞ ⎟ ⎟ ⎠( )=1 51 5⎛1 ⎜ ⎜0 ⎜0 ⎝2⎞ ⎛1⎞ ⎟⎛ 1 ⎞ ⎜ ⎟ 0 ⎟⎜ ⎟ = ⎜ 0 ⎟ ⎜2⎟ 0 ⎟⎝ ⎠ ⎜ 0 ⎟ ⎠ ⎝ ⎠所以A的奇异值分解式是 A=UDV*= ⎜ 0 ⎜⎝0 ⎛1 ⎜ 0 1 0 0⎞⎛ 5 ⎜ 0⎟⎜ 0 ⎟ 1⎟⎜ 0 ⎠⎝ 0⎞ ⎟⎛ 0⎟⎜ 0⎟⎝ ⎠1 5 −2 5 1 2 5⎛1⎞ ⎞ ⎜ ⎟ ⎟ = ⎜0⎟ 5 ⎠ ⎜0⎟ ⎝ ⎠( 5 )(1 52 5)=U1∆ V 1*所以A的奇异值分解式是 ⎛ 15 * = ⎜ A = U1ΔV1 ⎜ 2 ⎝ 5⎞ ⎟( ⎟ ⎠5 ) (1, 0 , 0 )§4.4: 矩阵的极分解定义:令A∈Cn×n,A=HU或A=UH称为A的极分解式,如果 U∈Un×n,H∈Cn×n 是半正定Hermite矩阵. 特例: n=1时,由复数的指数表示式 a=ρeiθ 有 A=(a)=(ρ)(eiθ)=HU, H=(ρ)是半正定Hermite矩阵,U=(eiθ)是酉矩阵. 下面的定理证明： 矩阵的极分解式存在并且是唯一的.满秩方阵的极分解定理4.4.1: ∀A∈Cnn×n,存在U∈Un×n 和n阶正定Hermite矩阵 H1,H2 使 A=H1U (H12=AA*,即H1=√(AA*))或 A=UH2;并且这 样的分解式是唯一的. 证: 由定理3.9.1和定理3.9.4, 正定Hermite矩阵A*A存在唯一正定矩阵H2=(A*A)1/2. 令U=AH2-1, 则 U*U=(AH2-1)*AH2-1 =H2-1A*AH2-1=H2-1H22H2-1=E, 从而U∈Un×n使A=UH2;因H2可逆且唯一,故U也唯一. ( 另一半的证明: A=UH2=UH2U*U=H1U, H1=UH2U*为正定Hermite矩阵. AA*=H1UU*H1=H12 & H1为正定Hermite阵 ⇒ H1唯一. )非满秩方阵的极分解定理4.4.2: ∀A∈Crn×n,存在U∈Un×n和唯一n阶秩r半正定 Hermite矩阵H1,H2使A=H1U (H12=AA*,即H1=√(AA*)) 或 A=UH2 (即H2=√(A*A)). 证:存在性 由奇异值分解定理有U1,V∈Un×n使A=U1DV*, D=diag(α1,…,αr,0,…,0). 令H1=U1DU1*,H2=VDV*,U=U1V*,则H1,H2,U满足要求 A=U1DU1*U1V*=H1U; A=U1V*VDV*=UH2. 唯一性 若A=H1U,则AA*=H12 ⇒H1=(AA*)1/2唯一. 注:也可用上述方法证明定理4.4.1. 思考:定理4.4.2中U是否唯一? 不一定唯一! 没有U=AH2-1矩阵极分解的一个经典应用定理4.4.3: ∀A∈Cn×n 为正规矩阵当且仅当存在 U,U′∈Un×n和(同一个)n阶半正定Hermite矩阵H使 A=HU=U′H. 证:必要性 设A*A=AA*.由定理4.4.2,存在U∈Un×n和n 阶半正定Hermite矩阵H1,H′使A=H1U=UH′. 因此 H1=(AA*)1/2=(A*A)1/2 =H′. (AA*=H1UU*H1=(H1)2,A*A=H′U*UH′=(H′)2) 充分性 设A=HU=U′H. 则 AA*=HU(HU)*=H2 , A*A=(U′H)*U′H=H2 =AA*安徽大学 章权兵7。
矩阵的标准型分解课件
满秩分解法是将一个矩阵分解为一个或多个秩为1的矩阵的乘 积的方法。通过这种方法，可以将一个复杂的矩阵问题转化 为多个简单的问题，便于分析和计算。满秩分解在数值分析 、线性代数等领域有广泛应用。
约当标准型分解法
总结词
将矩阵通过一系列行变换和列变换化为 约当型，得到标准型分解。
VS
ቤተ መጻሕፍቲ ባይዱ
详细描述
约当标准型分解法是将一个矩阵通过一系 列行变换和列变换化为约当型的方法。约 当型是一种特殊形式的矩阵，其特点是每 一对角线上的元素都是非零的，且其他位 置上的元素都为零。约当标准型分解在解 决线性方程组、判断矩阵是否可逆等问题 中有广泛应用。
应用广泛
在许多领域中，如线性代 数、数值分析、控制论等 ，标准型分解都发挥着重 要的作用。
矩阵标准型分解的历史背景
早期研究
矩阵的标准型分解思想可 以追溯到19世纪末，当时 数学家开始研究矩阵的分 解问题。
关键进展
20世纪初，数学家如埃尔 米特、嘉当和克莱因等做 出了重要贡献，推动了标 准型分解理论的发展。
各个元素。
三阶矩阵的标准型分解实例
总结词
通过三阶矩阵的实例，进一步展示标准型分 解的复杂性和计算技巧。
详细描述
选取一个三阶矩阵B，对其进行一系列初等 行变换和初等列变换，将其化为标准型矩阵 。在变换过程中，详细解释每一行变换的步 骤和计算方法，以及如何得到标准型矩阵的
各个元素。
高阶矩阵的标准型分解实例
性质
标准型分解具有唯一性，即对于同一个矩阵，其标准型分解是唯一的。此外， 标准型分解还具有可交换性，即矩阵的乘法运算和标准型分解的顺序可以交换 。
矩阵标准型分解的重要性
01
02
04南航戴华矩阵论第四章l矩阵的因子分解
定理4.3.2（LDU分解定理）设A是n阶非奇异矩阵,
则存在唯一的单位下三角矩阵L，对角矩阵
D=diag(d1, d2,…,dn )和单位上三角矩阵U使得
A LDU
的充分必要条件是A的所有顺序主子式均非零，即
k 0 (i 1, , n 1) ，并且
上（下）三角矩阵的性质
• 什么是矩阵的LU分解？ • 矩阵的LU分解是否存在？如果存在， LU分解
是否唯一？ • 如何计算矩阵的LU分解？ • LU分解有什么应用？
Hale Waihona Puke 定理4.3.1（LU分解定理）设 A 是 n 阶非奇异矩 阵，则 存在唯一的单位下三角矩阵L和上三角矩 阵U使得
A LU
的充分必要条件是A的所有顺序主子式均非零, 即
其中 . vHu 1
(4.1.2)
(3) 对任意非零向量 a,b C n ,可适当选取 u, v和使得
E(u,v, )a b
(4.1.3)
4.1.2 初等下三角矩阵
令u li (0,,0,li1,i ,,lni )T ,v ei , 1，则
Li Li (li ) E(li , ei ,1)
取u = v = w, σ=2，并且w是单位向量，即
||w|| =1，初等矩阵
H (w) E(w, w,2) I 2wwH
(4.1.7)
称为Householder矩阵或初等Hermite矩阵。
定理4.1.2 Householder矩阵H(w)具有如下性质：
(1) det(H (w)) 1;
E(u, v, ) I uvH
(4.1.1)
称为初等矩阵.
矩阵的LU分解
第四章 矩阵的分解将矩阵分解为具有某种特性的因子之积，从以我们所熟悉的Gauss 消去法为依据而导出的LU 分解，到上个世纪60、70年代以Givens 和Householder 变换发展起来的QR 分解，在矩阵理论的研究与应用中都具有十分重要的意义。
这些特殊的分解式一方面反映了原矩阵的某些数值特征，另一方面，分解的方法与过程也为某些数值计算方法和理论分析提供了有效的工具。
§4.1n 阶矩阵的三角分解和LU 分解在线性代数中我们已经学过应用Gauss 消去法求解n 元线性方程组b Ax =， 其中：()nn ija A ⨯=，()Tn x x x x ,,,21 =，()Tn b b b b ,,,21 =。
Gauss 消去法的基本思路是将系数矩阵化为上三角形矩阵，或将增广矩阵化为上阶梯形矩阵，而后回代求解。
现在应用所谓选主元素法来实施Gauss 消去法的消去过程，至于回代过程我们不做讨论。
设()A A =0，记A 的k 阶顺序主子式为k ∆()n k ,,2,1 =。
如果()00111≠=∆a ，令()()011011a a c i i = ()n i ,,3,2 =，构造Frobenius 矩阵：⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=11121211 n n c c c L ，⎪⎪⎪⎪⎪⎭⎫⎝⎛---=-111212111 n n c c c L则()()()()()()()()()1002020220101201101100A a a a a a a a AL nn n n n =⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=- （4.1.1） 因此，在()0A的第一列中除主元素()011a 外，其余元素均被化为零。
式（4.1.1）即为()()110A L A =，由于倍加变换不改变矩阵行列式的值，所以由()1A 得到A 的二阶顺序主子式为()()1220112a a =∆。
如果()()01220112≠=∆a a ，则必有()0122≠a 。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
（Matrix Factorization and Decomposition）
教学要求 ➢掌握矩阵的满秩分解； ➢掌握矩阵的三角分解； ➢掌握矩阵的正交分解； ➢掌握Schur定理和正规矩阵的定义； ➢熟练掌握矩阵的奇异值分解；
数据集中可能包含大量特征，维灾难使得数据分析很 困难，
初等下三角矩阵性质
(1)det(Li)=1,
No 1
1
0
Image L1 i
l 1 i 1 i
0
0
l ni
1
(2)用初等下三角矩阵左乘矩阵A，等于将A的第i行依次乘以
-li+1i,…,-lni 分别加到第i+1行到第n行上去。
No (3)设A=(aij) nn,且a jj 0，并且取
§4.2 矩阵的满秩分解
满秩分解定理：设 ACrmn为任意矩阵，则存在 B C rm r,C C rrn 使得 A=BC,
其中B为列满秩矩阵,C为行满秩矩阵.
➢任一非（行或列）满秩的非零矩阵可表示为一列满秩矩 阵和一行满秩矩阵的积； ➢B的列可取为A的列的任一极大线性无关组； ➢C可取为其行为A的行所生成的空间的基, 然后用定理确 定矩阵B。 ➢应用于极小最小二乘解和极小范数最小二乘解的算法中 。
1,2…n的一个排列.
➢ P是排列阵的充要条件是P为一系列形如P(i,j)的初等交换
矩阵的乘积.
排列阵的性质：
1. P是排列阵，则PT和P-1也是排列阵，且PT=P-1
2. P1 ，P2是排列阵，则P1P2是排列阵
3.
P
( e i1
,ein
),
A
A1
An
(a1 , a n
1.维归约（降维）：利用旧属性的线性组合得到新属性， 使得新属性相互正交，捕获到数据的最大变差（PCA：主 成分分析(principle components analysis)和SVD）
2.选择特征子集：嵌入（决策树分类其），过滤和包装 （搜索，特征加权等）
）
矩阵的各种分解在矩阵计算中也扮演相当重要的角色。 由于变换即矩阵，所以各种分解从根本上看是各种变换， 其目的是将矩阵变换成特殊的矩阵。
1 2 1 0 1 2 1 2 0 1 1 1
1
22
13
3
0
0
1
1
2 1
2 4 3 1 4 5 0 0 0 0 0 0
4 8 6 2 8 10 0 0 0 0 0 0
由此可知rank(A)=2，且该矩阵第一列、第三列是线性无关的。
选取
1
B 1 2 4
1
2 3
C 42 2
6
1 C 0
2.取L= L11：因为L1是一系列初等下三角矩阵乘积（对应
初等行变换），所以L是单位下三角矩阵。
例 1 求下列矩阵的LU分解：
1 2 1
A
3
1
0
1 1 2
解：
1 2 1 1 0 0
( A,
I)
3
1
0 0 1 0
1 1 2 0 0 1
1 2 1 1 0 0 0 5 3 3 1 0 0 1 3 1 0 1
1 2 1 1 0 0
0 5
3
3 1 0
0 0 12 / 5 2 / 5 1 / 5 1
从而得 L1 A U , 这里
1 0 0 1 2 1
L1
3
1 0 ,U 0 5
3
2 / 5 1 / 5 1 0 0 12 / 5
因为 所以
1 0 0
L
L11
3
1 0
1 1 / 5 1
1 0 0 1 2
例1 求下面矩阵的满秩分解
1 2 1 0 1 2
1
2
2
1
3
3
2 4 3 1 4 5
4 8 6 2 8 10
解 思路：对矩阵A实施初等行变换得简化阶梯形矩阵H （阶梯型的非零行的第一个非零元为1，其所在的列其它元 素为0）,取A的r个使H阵满秩的列为B，将H全为零的行去掉 后即可构成行满秩矩阵C。
（主对角线上元素全为1的下三角矩阵）与唯一的上三角矩 阵U ，使得
ALU 的充要条件是A的所有顺序主子式均非零，即
kA1 1....k k..0,k1,2,.n ..1
矩阵的LU分解也称为Doolitte分解 若L为下三角矩阵,U为单位上三角矩阵,称为Crout分解。
定理2 ( LDU分解定理 ) 设A是n阶非奇异矩阵，则存在唯一的单位下三角矩阵L，
Image lk
i
akj ajj
,ki
1,...n,
则LiA在(i+1,j),(i+2,j)…(n,j)的位置上为0
(4)
1
0
1
No Li L j
li1i
Image 0
0
1 l j1 j
l ni
l nj 0 1
定理1 ( LU分解定理 ) 设A是n阶非奇异矩阵，则存在唯一的单位下三角矩阵L
2 0
0 1
1 1
1 2
1 1
C
26 2
同样，我们也可以选取
1
B 1 2 4
0
1 1
C 42 2
2
1 C 0
2 0
1 1
0 1
1 2
2 1
C 26 2
由上述例子可以看出矩阵的满秩分解形式并不唯一。
但是不同的分解形式之间有如下联系：
注：如果 A BC B1C1 均为矩阵A 的满秩分解，那么存在
矩阵 GCnnn满足
B B1G , C G 1C 1
§4.3 矩阵的三角分解
定义1 如果方阵A可以分解成一个单位下三角矩阵L与一个上三 角矩阵U的乘积
A LU
则称其为A的 LU 分解或三角分解。
初等下பைடு நூலகம்角矩阵
1
0
No
Li
1 li1i 1
Image
0
0
l ni
1
A
LU
3
1
0 0 5
1 1 / 5 1 0 0
1
3
12 / 5
说明
1. 即使矩阵A非奇异，如果A不满足前n-1个顺序主子式 非零，未必能做LU分解，
2.适当改变非奇异矩阵的行的次序，可使改变后的矩阵 做LU分解，引入排列阵的概念
定义1 设e1, e2,…, en是n阶单位矩阵I的n个列向量，矩阵 P=(ei1, ei2, ,…, ein )称为一个n阶排列阵，其中i1, i2,…, in是
对角矩阵D=diag(d1,d2,…dn)和单位上三角矩阵U ，使得 A=LDU
的充要条件是A的所有顺序主子式均非零，即
1...k k A1...k0,k1,2,..n. 1
并且
d1
a11,dk
k k1
,k
2,...n,
矩阵的LU分解方法
矩阵的LU分解方法有很多种，这里主要介绍初等行变换消 元法 步骤： 1. 通过初等行变换将A化为上三角矩阵U： （A，I）（U，L1）