武汉大学《现代控制理论》数学知识回顾 第四章 矩阵的范数-特征值矩阵分解法
矩阵的特征分解和奇异值分解
矩阵的特征分解和奇异值分解在线性代数中，矩阵的特征分解和奇异值分解是两种重要的分解方法。
特征分解可以将一个方阵分解为特征向量和对应的特征值，而奇异值分解则适用于非方阵，将矩阵分解为奇异向量和对应的奇异值。
本文将详细介绍这两种分解方法的原理和应用。
一、特征分解特征分解是将一个方阵分解为特征向量和对应的特征值的过程。
对于一个n阶方阵A，存在特征向量x和对应的特征值λ，使得满足下式：Ax = λx其中λ是一个标量，x是非零向量。
特征分解的步骤如下：1. 求方阵A的特征多项式：先计算A减去λ乘以单位矩阵I的行列式，得到特征多项式。
2. 求特征多项式的根：解特征多项式的方程，得到所有特征值λ。
3. 求特征向量：对每个特征值λ，带入原方程组(A-λI)x = 0，求解齐次线性方程组，得到特征向量x。
4. 归一化特征向量：对每个特征值对应的特征向量进行归一化处理。
特征分解是一种重要的矩阵分解方式，可以用于求解线性方程组、矩阵运算和特征值问题等。
特征分解的结果可以提供矩阵的基本性质和结构信息。
二、奇异值分解奇异值分解是将一个m×n矩阵分解为奇异向量和对应的奇异值的过程。
对于一个m×n矩阵A，存在奇异向量u和v以及对应的奇异值σ，使得满足下式：Av = σu其中σ是一个非负标量，u和v是非零向量。
奇异值分解的步骤如下：1. 求矩阵A的转置矩阵A'的乘积AA'的特征值和对应的特征向量。
2. 求矩阵A的乘积A'A的特征值和对应的特征向量。
3. 计算奇异值：将特征值开根号得到矩阵A的奇异值。
4. 求解奇异向量：将特征向量与奇异值对应，得到矩阵A的奇异向量。
奇异值分解是一种常用的矩阵分解方法，它能够提取矩阵的结构信息和重要特征。
奇异值分解在信号处理、图像压缩、数据降维和推荐系统等领域得到广泛应用。
三、特征分解与奇异值分解的比较特征分解和奇异值分解都是将矩阵分解为向量和标量的过程，但它们的目的和应用场景有所不同。
现代控制理论中的数学知识
Chapter0 数学知识0.1复数的指数形式如下图，复平面上的一个单位矢量，其长度为1，其方向与x 轴的夹角为θ，该矢量可以用指数形式θj e 来表示。
由此可以得到Euler 公式： θθθsin cos e j j +=实部和虚部分别为：θθsin cos ==y xjj j j j 2e e sin 2e e cos θθθθθθ---=+=著名的Euler 公式将“实函数”与“虚函数”联系起来。
例1：利用Euler 公式可以简便的得到三角函数的“倍角公式” 22)sin (cos )(θθθj e j +=，左边=θθθθ2sin 2cos )(22j e e j j +==，右边θθθθcos sin 2)sin (cos 22j +-=， 比较两边“实部”和“虚部”得 θθθθθθcos sin 22sin sin cos 2cos 22=-=定义：双曲余弦函数 2cosh x x e e x -+≡，双曲正弦函数 2sinh xx e e x --≡得到关系式： jx x cos cosh =，jx j x sin sinh -= 0.2矩阵知识 0.2.1 矩阵形式单位矩阵 ⎪⎪⎪⎭⎫⎝⎛=10000001 I ， 纯量矩阵⎪⎪⎪⎭⎫ ⎝⎛=⎪⎪⎪⎭⎫ ⎝⎛==a a a aI A 00000010000001 ； 对角矩阵 0=ij a ，j i ≠ ⎪⎪⎪⎭⎫⎝⎛=n a a A 0000001 ；上(下)三角矩阵:0=ij a ，j i j i <>,⎪⎪⎪⎭⎫ ⎝⎛=nn n a a a A 000...111 上；⎪⎪⎪⎭⎫⎝⎛=nn n a a a A ...000111 下；jyθx对(反)称矩阵:jiij ji ij a a a a -==，⎪⎪⎪⎭⎫ ⎝⎛=nn n n a a a a A ......1111 对称；⎪⎪⎪⎭⎫ ⎝⎛-=nn n n a a a a A ......1111 反称； 任一矩阵都可分解为对称矩阵与反称矩阵之和：反称矩阵对称矩阵22TT A A A A A -++= A 、B 可交换（BA AB =）的充要条件是AB 为反称矩阵。
特征值 分解
特征值分解特征值分解是矩阵理论中的一个重要概念，它可以将一个矩阵分解为特征向量和特征值的乘积形式。
特征值分解在数学、物理、工程等领域具有广泛的应用。
本文将围绕特征值分解展开讨论，介绍其定义、性质及应用。
一、特征值分解的定义特征值分解是指将一个n阶矩阵A分解为特征向量矩阵P和特征值矩阵Λ的乘积形式，即A=PΛP^(-1)，其中P是由A的n个线性无关的特征向量组成的矩阵，Λ是一个对角矩阵，其对角线上的元素为A的n个特征值。
特征值分解可以用于求解线性方程组、矩阵的幂运算、矩阵的对角化等问题。
此外，特征值分解还与矩阵的谱半径、矩阵的条件数等相关，具有重要的理论和应用价值。
二、特征值分解的性质1. 特征向量的性质：特征向量是非零向量，与其对应的特征值相乘，得到的结果仍为该特征向量的倍数。
2. 特征值的性质：特征值可以是实数或复数，对称矩阵的特征值均为实数，非对称矩阵的特征值可以是复数。
3. 特征值的数量：一个n阶矩阵最多有n个特征值，特征值的个数等于矩阵的秩。
4. 特征值的重复性：特征值可能存在重复，即不同的特征向量对应同一个特征值。
特征向量和特征值之间存在着密切的关系，通过特征值分解可得到矩阵的特征向量和特征值，从而可以进一步分析矩阵的性质和应用。
三、特征值分解的应用1. 矩阵对角化：特征值分解可以将一个矩阵对角化，即将其转化为对角矩阵的形式。
对角化后的矩阵具有简洁的形式，在计算和分析上更加方便。
2. 线性方程组的求解：通过特征值分解可以求解线性方程组。
将系数矩阵进行特征值分解后，可以得到方程组的解析解。
3. 矩阵的幂运算：特征值分解可以简化矩阵的幂运算。
对于一个特征值为λ的特征向量x，矩阵A的幂运算A^k可以表示为A^k=PΛ^kP^(-1)。
4. 图像处理：特征值分解在图像处理中有广泛的应用。
通过特征值分解可以提取图像的主要特征，实现图像的降维和去噪等操作。
5. 物理学应用：特征值分解在量子力学等物理学领域有着重要的应用。
矩阵的特征值分解及其应用
矩阵的特征值分解及其应用矩阵的特征值分解是矩阵理论中的重要分支，它在许多领域中都有着广泛的应用。
本文将介绍矩阵的特征值和特征向量的概念，特征分解的方法以及矩阵特征分解在数据降维和信号处理中的应用。
一、矩阵的特征值与特征向量矩阵是线性代数中的一个重要概念，在数学、工程、物理等许多领域都有广泛的应用。
一个$n \times n$的矩阵$A$可以看作是由$n$个列向量组成的，分别是$A$的第$1$列到第$n$列。
对于一个$n \times n$矩阵$A$，如果存在一个非零向量$\vec{x}$和一个实数$\lambda$，使得：$$ A \vec{x} = \lambda \vec{x} $$那么$\lambda$就是矩阵$A$的一个特征值，$\vec{x}$就是矩阵$A$对应于特征值$\lambda$的一个特征向量。
特别地，当$\vec{x} = 0$时，我们把$\lambda$称为矩阵$A$的零特征值。
二、特征分解的方法矩阵的特征值分解就是把一个矩阵分解成若干个特征值和特征向量的线性组合。
具体地说，对于一个$n \times n$的矩阵$A$，它可以写成：$$ A = Q \Lambda Q^{-1} $$其中$Q$是一个$n \times n$的可逆矩阵，$\Lambda$是一个$n \times n$的对角矩阵，它的对角线上的元素是矩阵$A$的特征值。
接下来我们来介绍一种求矩阵特征分解的方法，也就是QR算法。
QR算法是一种迭代算法，它的基本思路是通过相似变换把一个矩阵变成上三角矩阵，然后再通过相似变换把上三角矩阵对角线上的元素化为矩阵的特征值。
具体的步骤如下：1. 对于一个$n \times n$的矩阵$A$，我们可以先对它进行QR 分解，得到一个$n \times n$的正交矩阵$Q$和一个$n \times n$的上三角矩阵$R$，使得$A=QR$。
2. 计算$RQ$，得到一个新的$n \times n$的矩阵$A_1=RQ$。
矩阵分解 特征值分解
矩阵分解特征值分解
矩阵分解（Matrix decomposition）是将一个矩阵拆分为多个较
小矩阵的过程。
矩阵分解在数学和计算机科学中具有广泛的应用，可以用于优化计算、数据压缩、降维、概率模型等领域。
其中，特征值分解（Eigenvalue decomposition）是矩阵分解的
一种常见形式。
对于一个方阵A，可以将其分解为以下形式：
A = QΛQ^-1
其中，Q是一个正交矩阵，Λ是一个对角矩阵，对角线上的元
素为A的特征值。
特征值分解表示矩阵A可以通过正交变换
Q变为对角矩阵Λ。
特征值分解的应用非常广泛，例如在机器学习中，特征值分解可以用于主成分分析（PCA）和奇异值分解（SVD）等算法中，用于降维和特征提取。
此外，在工程学中，特征值分解也常用于振动分析和结构动力学等领域。
尽管特征值分解在理论上很有用，但是对于大型稠密矩阵，计算特征值分解的复杂度较高，通常需要使用数值方法来近似求解。
常用的数值方法包括幂迭代法、QR迭代法和雅可比迭代
法等。
矩阵分析引论--第四章--矩阵的奇异值分解-向量范数、向量范数
n
定义 E
xi2 .
证明
a,
都与
b
E 等价.
i 1
利用 a
x11 xn n
( x1 ,, xn )连续，
在单位球面
S
y
(
y1 ,,
yn
n
)
i 1
yi2
1
上
取得最大值M与最小值m.
目录 上页 下页 返回 结束
第四章第一二节 向量范数、矩阵范数
第二节 矩阵范数
定义4-2 设A P nn ,定义非负实数 A， 满足下列条件: (1) 正定性：当A 0时，A 0; (2) 齐次性：kA k A (k P); (3) 三角不等式： A B A B . (4) AB A B . 则称非负实数||A||为n×n方阵的范数.
则称非负实数||||为向量 的范数.
此时称线性空间V 为线性赋范空间.
目录 上页 下页 返回 结束
第四章第一二节 向量范数、矩阵范数
设V是内积空间， V ,定义： ( , ),
则 • 是V上的一个范数，称为由内积引出的范数.
向量范数的性质：
P124, 1
(1) 0 0 ;
(2) 0时， 1 1 ;
A F
n
2
aij
tr( AH A）
i , j1
是与 2相容的方阵范数. 称为 F 范数.
注：当U为酉矩阵时，有
F范数的优点
A的酉相似矩阵的F 范数相同.
目录 上页 下页 返回 结束
第四章第一二节 向量范数、矩阵范数
常用的矩阵范数
n
(1)
A
1
max
1 jn i 1
aij
矩阵分解总结
矩阵分解总结
矩阵分解总结：
矩阵分解是一种被广泛应用于各个领域的数学方法，它将一个复杂的矩阵表示
为几个简化的矩阵相乘的形式。
矩阵分解在数据压缩、机器学习、信号处理等领域中具有重要的作用。
一种常见的矩阵分解方法是奇异值分解（SVD），它将一个矩阵分解为三个矩
阵的乘积，分别是左奇异向量矩阵、奇异值对角矩阵和右奇异向量矩阵。
SVD在
图像处理、推荐系统等领域中得到了广泛的应用。
另一种常见的矩阵分解方法是QR分解，它将一个矩阵分解为一个正交矩阵和
一个上三角矩阵的乘积。
QR分解在线性回归、最小二乘法等问题中起到了重要的
作用。
矩阵分解还有其他多种方法，如LU分解、Cholesky分解等。
它们各自在不同
领域具有独特的优势和应用。
矩阵分解的目标是将一个大型、复杂的问题简化为多个小型、简单的问题，进而提高计算效率和问题求解的准确性。
通过矩阵分解，我们可以发现矩阵中的隐藏模式、结构和特征，从而更好地理
解和处理数据。
无论是在科学研究、工程技术还是商业应用中，矩阵分解都起到了重要的作用，为进一步的数据分析和决策提供了有力支持。
总结起来，矩阵分解是一种重要的数学方法，它将复杂的矩阵拆解为简单的因子，以便更好地分析和处理数据。
不同的矩阵分解方法在不同领域有着广泛的应用，为数据科学和工程技术领域带来了重要的进展。
矩阵的特征分解
矩阵的特征分解是线性代数中的一个重要概念，在许多应用中都有着广泛的应用。
特征分解是将一个矩阵表示成特征向量与特征值的乘积的过程。
在本文中，我们将介绍特征分解的原理、方法以及应用。
首先，让我们先来了解一下什么是特征向量与特征值。
给定一个n阶矩阵A，如果存在一个非零向量v，使得Av=λv，其中λ为一个实数，则v称为A的特征向量，λ称为A的特征值。
特征向量是由矩阵A在向量空间中的变换后的方向，而特征值则表示特征向量在变换中的缩放比例。
接下来，我们介绍特征分解的原理。
对于任意一个n阶矩阵A，如果它有n个线性无关的特征向量v1, v2, ..., vn，并且它们对应的特征值分别是λ1,λ2, ..., λn，那么矩阵A可以表示为以下形式的特征分解：A = PDP^-1，其中P是由特征向量组成的矩阵，D是由特征值组成的对角矩阵。
特征分解的方法有多种，其中最常用的是通过特征多项式来求解特征值和特征向量。
我们可以通过求解A的特征多项式的根，即特征值，来得到特征向量。
具体来说，设A是一个n阶矩阵，特征多项式为f(λ) = |A-λI|，其中I是单位矩阵。
然后我们可以通过求解f(λ) = 0得到特征值，进而得到对应的特征向量。
特征分解在数据分析、图像处理、信号处理等领域有着广泛的应用。
在数据分析中，特征分解可以帮助我们发现数据中的模式和结构。
例如，我们可以通过将数据矩阵进行特征分解，得到特征向量以及对应的特征值，根据特征值的大小来判断数据的主要特征，并进一步进行降维和分类等操作。
在图像处理中，特征分解可以用于图像压缩和图像识别。
通过对图像矩阵进行特征分解，我们可以得到包含图像主要特征的特征向量，从而可以压缩图像的存储空间，同时也可以通过比较特征向量的差异来进行图像的识别和匹配。
在信号处理中，特征分解可以用于信号的降噪和提取特征。
通过对信号矩阵进行特征分解，我们可以区分信号中的噪声和有用的信息，并进一步进行降噪和提取特征等操作。
矩阵论范数知识点总结
矩阵论范数知识点总结一、概述矩阵论是线性代数的一个分支，它研究矩阵及其性质。
矩阵的范数是矩阵的一种性质的度量，它在矩阵分析、数值线性代数、优化理论等领域中有着广泛的应用。
本文将对矩阵范数的定义、性质、应用以及相关的其他知识点进行总结和介绍。
二、矩阵的定义在数学中，矩阵是一个按照矩形排列的复数或实数集合。
也可以看成是一个数域上的矩形阵列。
矩阵的元素可以是实数、复数或者是其他的数学对象。
一个n×n矩阵A是一个由n×n个元素（a_ij）组成的矩形数组。
三、范数的定义在数学中，范数是定义在向量空间中的一种函数，它通常被用来衡量向量的大小或长度。
对于矩阵来说，范数是一种度量矩阵大小的方法。
对于一个矩阵A，它的范数通常记作||A||。
矩阵的范数满足以下性质：1. 非负性：||A|| ≥ 0，并且当且仅当A = 0时，||A|| = 02. 齐次性：对于任意标量c，||cA|| = |c| * ||A||3. 三角不等式：||A+B|| ≤ ||A|| + ||B||四、矩阵范数的种类矩阵范数一般有几种不同的类型。
1. Frobenius范数：矩阵A的Frobenius范数定义为||A||_F = sqrt(Σ_(i=1)^m Σ_(j=1)^n|a_ij|^2)2. 1-范数：矩阵A的1-范数定义为||A||_1 = max(Σ_(i=1)^n |a_ij|)3. 2-范数：矩阵A的2-范数定义为||A||_2 = max(Σ_(i=1)^m Σ_(j=1)^n |a_ij|^2)^(1/2)4. ∞-范数：矩阵A的∞-范数定义为||A||_∞ = max(Σ_(j=1)^n |a_ij|)五、矩阵范数的性质矩阵范数具有一些重要的性质，下面将介绍其中一些主要性质。
1. 非负性：||A|| ≥ 0，并且当且仅当A = 0时，||A|| = 02. 齐次性：对于任意标量c，||cA|| = |c| * ||A||3. 三角不等式：||A+B|| ≤ ||A|| + ||B||4. 乘法范数：||AB|| ≤ ||A|| * ||B||5. 谱半径：对于任意矩阵A，它的谱半径定义为rho(A) = max|λ_i(A)|6. 对称矩阵：对于对称矩阵A，其2-范数定义为rho(A)，即||A||_2 = rho(A)，其中rho(A)是A的最大特征值六、矩阵范数的应用矩阵范数在数学和工程领域有着广泛的应用，下面将介绍一些主要的应用。
矩阵的特征分解与奇异值分解
矩阵的特征分解与奇异值分解矩阵是线性代数中重要的概念之一，广泛应用于各个领域。
在矩阵的研究中，特征分解与奇异值分解是两个常用的方法。
本文将对矩阵的特征分解和奇异值分解进行详细介绍，并探讨它们在实际应用中的意义。
一、特征分解特征分解是一种将矩阵分解为特征向量和特征值的方法。
对于一个n阶方阵A，如果存在非零向量x和标量λ，使得Ax=λx成立，那么向量x称为矩阵A的特征向量，标量λ称为矩阵A的特征值。
特征分解的目的就是将矩阵A表示为特征向量和特征值的线性组合。
特征分解的步骤如下：1. 求出矩阵A的特征方程det(A-λI)=0，其中I是单位矩阵。
2. 解特征方程得到矩阵A的特征值λ。
3. 对于每一个特征值λ，求出对应的特征向量x。
4. 将特征向量和特征值组合，得到矩阵A的特征分解。
特征分解在实际应用中有广泛的用途，例如在图像处理中，可以利用特征分解对图像进行降维处理，提取图像的主要特征；在物理学中，特征分解可以用于求解量子力学中的定态问题等。
二、奇异值分解奇异值分解是一种将矩阵分解为奇异值和特征向量的方法。
对于一个m×n的矩阵A，假设它的秩为r，那么奇异值分解的结果可以表示为A=UΣV^T，其中U是一个m×r的正交矩阵，Σ是一个r×r的对角矩阵，V^T是一个r×n的正交矩阵。
奇异值分解的步骤如下：1. 求出矩阵A的转置矩阵A^T与矩阵A的乘积AA^T的特征值和特征向量。
2. 对特征值进行排序，得到矩阵A的奇异值。
3. 根据奇异值计算矩阵A的奇异向量。
4. 将奇异向量和奇异值组合，得到矩阵A的奇异值分解。
奇异值分解在数据压缩、图像处理、语音识别等领域有广泛的应用。
例如在图像处理中，可以利用奇异值分解对图像进行压缩，减少存储空间的占用；在语音识别中，奇异值分解可以用于提取语音信号的主要特征。
总结：特征分解和奇异值分解是矩阵分解的两种常用方法。
特征分解将矩阵分解为特征向量和特征值的线性组合，而奇异值分解将矩阵分解为奇异值和特征向量的线性组合。
矩阵论四 矩阵的分解
1
mk1,k
mmk
1
1
Lk Lk
A (k ) b (k)
A(k 1) b (k1)
即
1
Lk A(k )
Hale Waihona Puke 1 mk1,kmmk
a (1) 11
1
1
a(k) kk
a(k) k 1k
a(k) mk
a(k)
kk 1
a(k) k 1k 1
a(k) mk 1
a (1) 1n
使得
PA
Ir 0
D
0
于是有
A
P1
Ir 0
Ir
其中
D BC
B
P1
Ir
0
Crmr ,C
Ir
D Crrn
r 如果 A 的前 列线性相关，那么只需对 A r 作初等列变换使得前 个列是线性无关的。然
后重复上面的过程即可。这样存在
P Cmmm , Q Cnnn
且满足
PAQ
Ir 0
由此可知 Rank( A) 2 ，且该矩阵第一列，
第三列是线性无关的。选取
1
B 1 2 4
1
2 3
C 42 2
6
C
1 0
2 0
0 1
1 1
1 2
1 1
C 26 2
同样，我们也可以选取
1
B 1 2 4
0
1 1
C 42 2
2
1 C 0
2 0
1 1
0 1
1 2
2 1
C 26 2
（2）对此矩阵只实施初等行变换可以得到
非奇异矩阵a。k(kk)当 0，(k 2,3,,时n)，直接进行消元计算,当
第四章 矩阵分解
矩阵分析第四章 矩阵分解§4.1: 矩阵的满秩分解 §4.2: 矩阵的正交三角分解 §4.3: 矩阵的奇异值分解 §4.4: 矩阵的极分解 §4.5: 矩阵的谱分解矩阵分解前言矩阵分解定义: 将一个已知矩阵表示为另一些较为简单或 较为熟悉的矩阵的积(或和)的过程称为矩阵分解. 例:(1)对任意n阶正规矩阵A,存在酉阵U∈Un×n使 A=Udiag(λ1,…,λn)U*, 其中λ1,…,λn为A的所有特征值的任一排列. (2)对任意n阶正定矩阵A,存在可逆阵Q∈Cnn×n使A=Q*Q,或存 在唯一正定阵B使A=BB. 矩阵分解意义:有利于研究已知的矩阵. 例如,利用正定阵A的平方根B为正定阵可证: 对任意Hermite阵H,AH或HA都有实特征值.1( AH∼(A1/2)-1AHA1/2=A1/2HA1/2∈Hn×n )2初等变换与初等矩阵(p73)三类初等变换: (行(列)变换←→左(右)乘) (1)将矩阵A的两行互换等价于用第一类初等矩阵P(i,j)左 乘A; (2)将矩阵A的第i行乘以k≠0等价于用第二类初等矩阵 P(i(k))=diag(1,…,1,k,1,…,1)左乘A. (3)将矩阵A的第j行乘以k≠0后再加到第i行等价于左乘第 三类初等矩阵P(i,j(k)).P (i , j ) =⎛1 ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎝ 1 0 1 1 1 0 1 1初等变换与初等矩阵举例⎛1 ⎞⎛ 1 4 7 ⎞ ⎛ 1 4 7 ⎞ ⎜ 0 1 ⎟⎜ 2 5 8 ⎟ = ⎜ 3 6 9 ⎟ ; ⎜ ⎟⎜ ⎟ ⎜ ⎟ ⎜ 1 0 ⎟⎜ 3 6 9 ⎟ ⎜ 2 5 8 ⎟ ⎝ ⎠⎝ ⎠ ⎝ ⎠ ⎛1 4 7⎞⎛1 ⎞ ⎛ 1 7 4⎞ ⎜ 2 5 8⎟⎜ 0 1⎟ = ⎜ 2 8 5⎟ ⎜ ⎟⎜ ⎟ ⎜ ⎟ ⎜ 3 6 9⎟⎜ 1 0⎟ ⎜ 3 9 6⎟ ⎝ ⎠⎝ ⎠ ⎝ ⎠⎛1 ⎞⎛1 4 7⎞ ⎛ 1 4 7 ⎞ ⎜ ⎟⎜ ⎟ ⎜ ⎟ 0.2 ⎟ ⎜ 2 5 8 ⎟ = ⎜ 0.4 1 1.6 ⎟ ; ⎜ ⎜ 1⎟⎜ 3 6 9 ⎟ ⎜ 3 6 9 ⎟ ⎝ ⎠⎝ ⎠ ⎝ ⎠⎛1 4 7⎞⎛1 ⎞ ⎛ 1 4 7 / 9⎞ ⎜ ⎟⎜ ⎟ ⎜ ⎟ ⎜ 2 5 8⎟⎜ 1 ⎟ = ⎜ 2 5 8/9⎟ ⎜ 3 6 9⎟⎜ 1/ 9 ⎟ ⎜ 3 6 1 ⎟ ⎝ ⎠⎝ ⎠ ⎝ ⎠---- i ---- j⎞ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ ⎟ 1⎠P (i , j ( k )) =⎛1 ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎜ ⎝1k 1⎞ ⎟ ⎟ ⎟ ---⎟ ⎟ ⎟ ---⎟ ⎟ ⎟ 1⎠i j3⎛1 ⎞⎛ 1 2 3⎞ ⎛ 1 2 3 ⎞ ⎜ ⎟⎜ ⎟ ⎜ ⎟ ⎜ −4 1 ⎟ ⎜ 4 5 6 ⎟ = ⎜ 0 −3 −6 ⎟ ; ⎜ 1⎟⎜ 7 8 9⎟ ⎜ 7 8 9 ⎟ ⎝ ⎠⎝ ⎠ ⎝ ⎠−3 ⎞ ⎛ 1 2 0 ⎞ ⎛ 1 2 3⎞⎛1 ⎜ ⎟⎜ ⎟ ⎜ ⎟ ⎜ 4 5 6⎟⎜ 1 ⎟ = ⎜ 4 5 −6 ⎟ ⎜7 8 9⎟⎜ 1 ⎟ ⎜ 7 8 −12 ⎟ ⎝ ⎠⎝ ⎠ ⎝ ⎠4初等变换与初等矩阵的性质3类初等矩阵都是可逆的(行列式不为0). 将A依次作初等矩阵P1,…,Pr对应的行(列)初等变换等价 于左(右)乘A以可逆矩阵Pr…P1(P1…Pr). 可适当选第一类初等矩阵的乘积P使PA(AP)的行(列)是A 的行(列)的任意排列; 可适当选第三类初等矩阵 P(i,j(k))中的k使P(i,j(k))A的(i,j)元变为0; 可适当选第二类初等矩阵P(i(k))中的k使P(i(k))A的非 零(i,i)元变为1. 存在初等矩阵的乘积P和Q,使PAQ= ,其中r=rankA.初等变换与初等矩阵的性质续命题:设A∈Crm×n前r列线性无关,则用初等行变换可把A变为⎛ Er ⎜ ⎝ 0 ⎛1 ⎜ ⎜ D⎞ ⎜ = ⎜ ⎟ 0 ⎠ ⎜ ⎜ ⎜ ⎜ ⎝ 1 1 * * * * *⎞ ⎟ *⎟ *⎟ ⎟ *⎟ ⎟ ⎟ ⎟ ⎠一般地,∀A∈Crm×n都存在m,n阶可逆阵P和Q使PAQ=5证:因前r列线性无关,故用第一类初等矩阵左乘可使A的 (1,1)元≠0. 再用第二类初等矩阵左乘可使a11=1; 最后用若干第三类初等矩阵左乘可使A的第一列=e1. 因前2列线性无关,故新的第2列与e1线性无关且≠0, 故用第一类行变换可使(2,2)元≠0,…可使A的第2列=e2. ….可使A的第r列=er.此时空白处必为0元.安徽大学 章权兵1矩阵分析§4.1: 矩阵的满秩分解⎛ 1 ⎜ A = ⎜ −2 ⎜ 0 ⎝ 0 0 0 0⎞ ⎛1 ⎟ ⎜ 1 ⎟ , 没 有 P ∈ C 33 × 3 使 P A = ⎜ ⎟ ⎜ 0⎠ ⎝0 0 0 0⎞⎛1 ⎟⎜ 1⎟⎜0 0⎟⎜0 ⎠⎝ 0 0 1 0⎞ ⎛ 1 ⎟ ⎜ 1 ⎟ = ⎜ −2 0⎟ ⎜ 0 ⎠ ⎝ 0 1 0 0⎞ ⎟ 0⎟ 0⎟ ⎠1⎞ ⎟ ⎟. 0⎟ ⎠定义:对任意矩阵A∈Crm×n,A=BC 称为A的一个满秩分 解,如果B∈Crm×r,C∈Crr×n. 例:⎛1 ⎜ ⎜1 ⎜0 ⎝ 1 2 1 2 3 1 3 ⎞ ⎛1 ⎟ ⎜ 2 ⎟ = ⎜1 − 1⎟ ⎜ 0 ⎠ ⎝ 1⎞ ⎟⎛ 1 2 ⎟⎜ ⎜0 1 ⎟⎝ ⎠ ⎛1 4 ⎞ ⎜ ⎟ = ⎜1 ⎟ 1 1 − 1⎠ ⎜ ⎝0 0 1 2⎞ ⎟⎛ 1 3 ⎟⎜ ⎜0 1 ⎟⎝ ⎠ −1 0 1 1 5 ⎞ ⎟ − 1⎟ ⎠⎛ 1 ⎜ A P ( 2, 3) = ⎜ − 2 ⎜ 0 ⎝⎛ 1 0 0 ⎞ ⎛ 1 0 0 ⎞ ⎛ 1 0.5 0 ⎞ ⎜ ⎟⎜ ⎟ ⎜ ⎟ PAQ = P (2,1(0.5)) AP (2, 3) = ⎜ 0.5 1 0 ⎟ ⎜ −2 1 0 ⎟ = ⎜ 0 1 0 ⎟ ⎜ 0 0 1⎟⎜ 0 0 0⎟ ⎜ 0 0 0⎟ ⎝ ⎠⎝ ⎠ ⎝ ⎠m=3,n=4,r=2. 注:可能存在不仅是常数差别的两个实质不同的满 秩分解.矩阵满秩分解的存在定理定理4.1.1:任意矩阵A∈Crm×n,都有满秩分解: A=BC,B∈Crm×r,C∈Crr×n. 证:由初等矩阵性质知: 存在可逆阵P∈Cmm×m和Q∈Cnn×n,使 PAQ= 从而 A⎛ Er ⎜ ⎜ 0 ⎝ 0 ⎞ ⎛ Er ⎟=⎜ 0⎟ ⎜ 0 ⎠ ⎝ ⎛ Er ⎞ -1 ⎜ ⎟ ( E r =P ⎝ 0 ⎠ ⎞ ⎟ ⎟ (E r ⎠ 0)存在定理中矩阵B,C的决定对于A的前r列线性无关的情形:⎛E PA = ⎜ r ⎝ 0 D ⎞ ⎛ Er ⎞ = (Er 0 ⎟ ⎜ 0 ⎟ ⎠ ⎝ ⎠ D)⎛E A = P −1 ⎜ r ⎝ 0D⎞ Er ⎞ −1 ⎛ ⎟= P ⎜ ⎟ (Er 0 ⎠ ⎝ 0 ⎠D ) = BC其中0)⎛E ⎞ B = P −1 ⎜ r ⎟ ; C = ( Er ⎝0⎠D)Q-10)= BC,⎛ 其中B=P-1 ⎜Er ⎞ ⎜ 0 ⎟ ,C= ⎟ ⎝ ⎠(ErQ-1满足所要求的条件.C是PA的前r行(即所有非0行)组成的矩阵, B和C的秩显然都是r.10矩阵B的进一步决定对于A的前r列线性无关的情形: 要求PA的前r列化为(Er,0)T,故有 B=P-1(Er,0)T ⇒ PB=(Er,0)T=PA1, 其中,A1为A前r列组成的子矩阵,由此推出B=A1. (参看P.183-184定理的证明及例4.1.1,例4.1.2) 对下例,A的第1,3两列也线性无关. 令A1为A第1,3两列组成的子矩阵,并将A的第1,3 两列化为(E2,0)T,C为所得矩阵的前2行. 则不难看出也有 A=BC和B=A1.求矩阵满秩分解的初等变换方法再以A= ⎜ 1 ⎜⎛1 1 2 3 ⎞ ⎟ 2 3 2 ⎟ 为例作说明如下: ⎜ 0 1 1 −1⎟ ⎝ ⎠①用初等行变换把A前两列变为(E2 0)T⎛1 1 2 3 ⎞ ⎛1 1 2 3 ⎞ ⎛1 0 1 4 ⎞ ⎛1 1⎞ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟ ⎜ ⎟⎛1 0 1 4 ⎞ ⎜ 1 2 3 2 ⎟ → ⎜ 0 1 1 −1 ⎟ → ⎜ 0 1 1 −1⎟ = ⎜ 1 2 ⎟ ⎜ 0 1 1 −1⎟ ⎠ ⎜ 0 1 1 −1 ⎟ ⎜ 0 1 1 −1 ⎟ ⎜ 0 0 0 0 ⎟ ⎜ 0 1 ⎟ ⎝ ⎝ ⎠ ⎝ ⎠ ⎝ ⎠ ⎝ ⎠ a1 a2 ②用初等行变换把A的1,3两列变为(E2 0)T ⎛1 1 2 3 ⎞ ⎛1 1 2 ⎜ ⎟ ⎜ ⎜1 2 3 2 ⎟ → ⎜0 1 1 ⎜ 0 1 1 −1 ⎟ ⎜ 0 1 1 ⎝ ⎠ ⎝ 3 ⎞ ⎛ 1 −1 0 5 ⎞ ⎛ 1 2 ⎞ ⎟ ⎜ ⎟ ⎜ ⎟ ⎛ 1 −1 0 5 ⎞ −1 ⎟ → ⎜ 0 1 1 − 1 ⎟ = ⎜ 1 3 ⎟ ⎜ ⎟ 0 1 1 −1 ⎠ −1 ⎟ ⎜ 0 0 0 0 ⎟ ⎜ 0 1 ⎟ ⎝ ⎠ ⎝ ⎠ ⎝ ⎠a1 a3安徽大学 章权兵2矩阵分析关于矩阵满秩分解的注矩阵满秩分解不唯一;但同一矩阵的两个满秩分 解的因式矩阵之间存在密切关系(见定理4.1.2). A∈Crm×n ⇒ r=rank A ≤ min{m,n} A的秩等于它的行秩,列秩或行列式秩. A的行(列)秩是它的行(列)最大线性无关组的行 (列)数;A的行列式秩是其非0子式的最大阶数. A=BC ⇒ rank A≤rank B 且 rank A≤rank C rank A=rank A*13引理4.3.1引理4.3.1:对任意矩阵A∈Crm×n有 rank(AA*)=rank(A*A)=rank A*=rank A=r. 证:因方程组Ax=0的解空间维数等于n-rank A, (*) 故为了证明 rank(A*A)=rank A 只须证明下列两个方程组有相同的解空间即可 Ax=0 ⑴ ⑵ A*Ax=0 显然,x满足⑴ ⇒ x满足⑵. x满足⑵ ⇒ x*A*Ax=0,即(Ax,Ax)=0 ⇒ Ax=0,即x满足⑴. 注:利用A的任意性以A*代A由(*)得 rank A=rank A*=rank((A*)*A*)=rank(AA*)同一矩阵两个满秩分解间的关系定理4.1.2:若A=BC=B1C1均为A∈Crm×n 的满秩分解, 则存在θ∈Crr×r,使得B=B1θ,C=θ-1C1. 证:若A=BC=B1C1,则BCC*=B1C1C*. 由p.190引理4.3.1知:rank(CC*)=rank C=r, 从而 CC*∈Crr×r为可逆矩阵,且满足B=B1C1C*(CC*)-1. 由上式推出r≥rank(C1C*)≥rank B=r,即rank(C1C*)=r. 进而 θ=C1C*(CC*)-1∈Crr×r,满足B=B1θ. 同理可证 C=(B*B)-1B*B1C1=θ′C1,θ′∈Crr×r. 因此,BC=B1C1 ⇒ B1θθ′C1=B1C1 ⇒ B1*B1θθ′C1C1* = B1*B1C1C1* 引理4.3.1 ⇒ θθ′=E ⇒ θ′=θ-1定理4.1.2的补充命题:设A=B1C1为A∈Crm×n的满秩分解, 则A=BC是A的满秩分解,当且仅当 ∃θ∈Crr×r, B=B1θ,C=θ-1C1. 证: 必要性由定理4.1.2给出. 充分性. 若存在θ使(*)成立,则B,C给出A的满秩分解： BC=B1C1=A. (*)§4.2: 矩阵的正交三角分解满秩矩阵的分解 行(列)满秩矩阵的分解 一般矩阵的分解满秩矩阵的正交三角分解定理4.2.1:∀A∈Cnn×n都可唯一地分解为A=UR(或A=LU),其中 U∈Un×n,R(L)为正线上(或下)三角矩阵. 证:(存在性)令A=(α1, … ,αn),则α1, … ,αn线性无关, 用Schmidt方法从α1, … ,αn得标准正交组ν1,…,νn满足⎧ ⎪ ⎪ ⎨ ⎪ ⎪α ⎩α 1 = C 11ν 11αn2= C 21ν1+ C 22 ν22∀i,Cii=‖βi‖>0n= C n 1ν+ Cn2ν+ ... + C nn νC 21 C 22于是其中,U=(ν1,…,νn)为酉矩阵,R为正线上三角矩阵.⎛ C 11 ⎜ A= (α 1 ,..., α n ) = (ν 1 ,..., ν n ) ⎜ ⎜ ⎜ ⎜ ⎝C n1 ⎞ ⎟ C n2 ⎟ ⎟ ⎟ C nn ⎟ ⎠=UR,安徽大学 章权兵3矩阵分析β1=α1 , β2=α2-((α2,β1)/(β1,β1))β1 , β3=α3-((α3,β1)/(β1,β1))β1-((α3,β2)/(β2,β2))β2 , . . . νi=(1/‖βi‖)βi, βi=‖βi‖νi, i=1,2,… α1=β1=‖β1‖ν1; C11=‖β1‖>0 α2=((α2,β1)/(β1,β1))β1+β2=C21ν1+‖β2‖ν2;C22=‖β2‖>0正交三角分解唯一性证明定理4.2.1:∀A∈Cnn×n都可唯一地分解为A=UR(或A=LU), 其中U∈Un×n,R(L)为正线上三角矩阵. (唯一性) 设还有U′∈Un×n和正线上三角矩阵R′使A=U′R′. 则有 UR=U′R′ ⇒ U′*U = R′R-1 = W 矩阵 W=U′*U∈Un×n,且W=R′R-1 仍然是正线上三角矩阵. (正线上三角阵的逆和积仍是正线上三角阵) 于是,由p.162的引理3.9.1知 W=E. 即 (U′)*U=R′R-1=E. 由此式立即推出:U=U′E=U′ & R′=ER=R. 得证唯一性.α3=C31ν1+C32ν2+‖β3‖ν3; . . .C33=‖β3‖>0正交三角分解下三角情形的证明定理4.2.1:∀A∈Cnn×n都可唯一地分解为A=LU,其中 U∈Un×n,L为正线下三角矩阵. 证: ∀A∈Cnn×n ⇒ AT∈Cnn×n. 存在唯一的U′∈Un×n和正线上三角矩阵R,使AT=U′R. 于是A=(AT)T=(U′R)T=RTU′T=LU, 其中,U=U′T∈Un×n,L=RT为正线下三角矩阵.列(行)满秩矩阵的正交三角分解定理4.2.2:∀A∈Crm×r(Crr×n)都可唯一地分解为A=UR (A=LU), 其中U∈Urm×r(Urr×n),R(L)为r阶正上线(下)三角矩阵. (定理4.2.1为m=n=r时的特例) 证:(存在性)令A=(α1, … ,αr),则α1, … ,αr线性无关, 用Schmidt方法求得标正组ν1,…,νr满足⎧ ⎪ ⎪ ⎨ ⎪ ⎪α ⎩αr2α 1 = C 1 1ν 1 = C 2 1ν 1 + C 2 2ν22∀i,Cii>0.r= C r 1ν 1 + C r 2ν+ . . . + C r rν因此A=UR,其中U=(ν1,…,νr)∈Urm×r, R=⎛ C 11 ⎜ ⎜ ⎜ ⎜ ⎝C 21 C 22C r1 ⎞ ⎟ Cr2 ⎟ ⎟ ⎟ C rr ⎠定理4.2.2唯一性证明定理4.2.2: ∀A∈Crm×r都可唯一地分解为A=UR,其中 U∈Urm×r,R为r阶正线上三角矩阵. (唯一性) 设还有U′∈Urm×r和正线上三角矩阵R′∈Cr×r 使A=U′R′. 则有 R*R=A*A=(R′)*R′, 于是由定理3.9.1⑹,A*A是正定Hermite矩阵. 故A*A可唯一地表示为乘积R*R,其中R为正线上三角阵. 因此必有R=R′. 进而,由UR=U′R′给出U=U′,得证唯一性.一般矩阵的正交三角分解定理4.2.3:∀A∈Crm×n可分解为A=U1R1L2U2,其中U1∈Urm×r, U2∈Urr×n,R1和L2分别为r阶正线上三角和下三角矩阵. 证:由矩阵的满秩分解知: 存在列满秩矩阵B和行满秩矩阵C使A=BC. 存在U1∈Urm×r和r阶正上线上三角矩阵R1使得B=U1R1. 存在r阶正线下三角矩阵L2和U2∈Urr×n使得C=L2U2. 从而A=U1R1L2U2满足条件.安徽大学 章权兵4矩阵分析用UR(LU)分解方法解方程组例4.2.1:用UR(LU)方法解方程组 Ax=b (*) − 2 ⎞ 1 ⎛ 1 ⎞ 其中 ⎛ − 3 ⎜ ⎟ ⎜ ⎟⎜ 1 A = ⎜ 1 ⎜ ⎜ 2 ⎝ 1 1 − 1 − 1 0 1 ⎟ ⎜ 0 ⎟, b = ⎜ 2 ⎟ ⎜ ⎟ ⎜ 1 ⎠ ⎝ ⎟ ⎟. ⎟ ⎟ ⎠§4.3: 矩阵的奇异值分解引理4.3.1:对任意矩阵A∈Crm×n有 rank(AA*)=rank(A*A)=rank A*=rank A=r. 引理4.3.2: ∀A∈Cm×n,AA*∈Cm×m 与 A*A∈Cn×n 均为 半正定Hermite矩阵. 证:由(A*A)*=A*A 和 ∀x∈Cn,x*A*Ax=(Ax,Ax)≥0 得证:A*A∈Cn×n 为半正定Hermite矩阵. 同理可证: AA*∈Cm×m 为半正定Hermite矩阵.解:令A=(α1,α2,α3),易见α1,α2,α3线性无关, 用Schmidt方法得标准正交组ν1,ν2,ν3如教本所示. 则A=UR,R为正线上三角矩阵,U=(ν1,ν2,ν3)∈U34×3 于是 R=U*A,代入(*)式得 URx=b ⇒ Rx=U*b ⇒ x=R-1U*b 最后求得 x=(-5/2,-1/2,3)T.AA*∈Cm×m与A*A∈Cn×n的特征值定理4.3.1: ∀A∈Cm×n, AA*∈Cm×m与A*A∈Cn×n的非零特 征值(正特征值)全同. 证法1:不难验证下列矩阵等式:⎛ AA* 0 ⎞⎛ Em A ⎞ ⎛ AA* ⎜ * ⎟⎜ ⎟=⎜ ⎜ A 0 ⎟⎜ En ⎟ ⎜ A* ⎠ ⎝ ⎝ ⎠⎝⎜ 因S= ⎜ ⎝ ⎛ Em定理4.3.1的另一证法证法2:设λ≠0是AA*的非零特征值: AA*x=λx, λ≠0,x≠0 则 A*x≠0, A*A(A*x)=λ(A*x) 所以λ也是A*A的非零特征值. 同理可证： A*A的任一非零特征值也是AA*的非零特征值.AA* A⎞ ⎛ Em A ⎞⎛ 0 ⎟=⎜ ⎟⎜ En ⎟⎜ A* A* A ⎟ ⎜ ⎠⎝ ⎠ ⎝0 ⎞ ⎟ A* A⎟ ⎠0 ⎞ −1 0 ⎞ ⎛ AA * 0 ⎞ A⎞ ⎛ 0 ⎛ 0 ⎟ = S⎜ * ⎜ ⎜ ⎟S ~ ⎜ * ⎜ ⎟ ⎟ * ⎟ * ⎟ En ⎟ 可逆,故 ⎜ A* 0 ⎟ ⎝ A A A⎠ ⎝ A A A⎠ ⎠ ⎠ ⎝ *)=0与det(λE-A*A)=0有相同非零解, 从而det(λE-AA得证AA*与A*A有相同的非零特征值.奇异值的概念定义4.3.1:∀A∈Crm×n,AA*∈Cm×m或A*A∈Cn×n 的正特征 值的算术平方根称为A的正奇异值(简称奇异值, 共有r个记为 α1,…,αr). 例:求A= ⎜ − 1 ⎜⎜ 0 ⎝ ⎛ 1 0⎞ ⎟ 1⎟∈ C 0⎟ ⎠3× 2 2正规矩阵的奇异值定理4.3.2:正规矩阵的奇异值是其非零特征值的模. 证:设A为正规矩阵,则有U∈Un×n使 A=Udiag(λ1, … ,λn)U* A*=Udiag(λ 1 ,..., λ n )U* 从而 AA*=Udiag(|λ1|2, … ,|λn|2)U* 得证A的正奇异值是A的非零特征值的模.的奇异值.解: A*A=⎜ −1 ⎜⎝⎛2−1⎞ ⎟ 1⎟ ⎠,det(λE-A)=λ2-3λ+1的两个根:(3±√5)/2 均为正, A的奇异值为:α1=((3+√5)/2)1/2;α2=((3-√5)/2)1/2. 例4.3.1:见P.191.安徽大学 章权兵5矩阵分析矩阵的酉等价关系定义:设A,B∈Cm×n,若有S∈Cmm×m,T∈Cnn×n 使B=SAT,则称B 与A等价;若有U∈Um×m,V∈Un×n使B=UAV,则称B与A酉等价. 不难证明Cm×n中的等价或酉等价关系R是等价关系. ∀A∈Cm×n,ARA：A=EmAEn (ARB⇒BRA)： A=UBV⇒B=U*AV*,U*∈Um×m,V*∈Un×n (ARB & BRC⇒ARC)：A=UBV & B=U′CV′⇒A=UU′CV′V 注1: A与B酉等价当且仅当它们有相同的奇异值. 注2: ∀A∈Cm×n的酉等价类中有一个最简单形状的矩阵 (见定理4.3.3). ( A∈Crm×n等价于diag(Er,0)=PAQ )奇异值分解定理1定理4.3.3:令α1,…,αr为A∈Crm×n的全部正奇异值; ∆=diag(α1,…,αr),则有U∈Um×m,V∈Un×n使 U*AV= ⎜ 0 ⎜⎛ ∆ 0⎞ ⎟ =D∈C m×n r 0⎟ ⎝ ⎠(*)U满足U*AA*U是对角矩阵,V满足V*A*AV是对角矩阵. ( A=UDV*称为A的奇异值分解式) 证: 因AA*为m阶半正定矩阵,故有U∈Um×m使⎛ ∆2 0⎞ ⎟ 0⎟ ⎝ ⎠ 分块U=(U1,U2),则U1∈Urm×r,U2∈Um-rm×(m-r)U*AA*U=diag(α12,…,αr2,0,…0)= ⎜ 0 ⎜对角阵 次酉阵奇异值分解定理1续⎛ ∆2 ⎜ ⎝ 0 ⎛ U1* ⎞ ⎛ U1* AA *U1 U1* AA *U 2 ⎞ 0 ⎞ ⎛ U1* ⎞ ⎟ ⎟ = ⎜ * ⎟ AA *(U1 , U 2 ) = ⎜ * ⎟ ( AA *U1 , AA *U 2 ) = ⎜ * * U2 ⎠ 0 ⎠ ⎝U 2 ⎠ ⎝ ⎝ U 2 AA *U1 U 2 AA *U 2 ⎠奇异值分解定理1续令 V1=(v1,…,vr),则v1,…,vr为标准正交组. 将此标正组扩大为Cn的标正基:v1,…,vr,vr+1,…,vn, 令V=(v1,…,vn)=(V1,V2)∈Un×n,其中V2=(vr+1,…,vn). 易见 0=V1*V2=∆-1U1*AV2 ⇒ U1*AV2=0 综合以上得⎛ U * AV U 1* AV2 ⎞ ⎛U * ⎞ ⎟ U * AV = ⎜ 1* ⎟ A(V1 , V2 ) = ⎜ 1* 1 ⎜ U AV U * AV ⎟ ⎜U ⎟ 2 2⎠ ⎝ 2 1 ⎝ 2⎠ ⎛ U * AA * U 1∆−1 =⎜ 1 ⎜ 0 ⎝ 0 ⎞ ⎛ ∆2 ∆−1 ⎟=⎜ 0⎟ ⎜ 0 ⎠ ⎝ 0⎞ ⎛ ∆ 0⎞ ⎟=⎜ ⎟ 0⎟ ⎜ 0 0⎟ ⎠ ⎠ ⎝比较(1,1)块得 ∆2=U1*AA*U1 比较(2,2)块得 0=U2*AA*U2=(U2*A)(U2*A)* ⇒ U2*A=0. ( ∀M∈Cm×n,MM*=0 ⇒ 0=tr(MM*)=Σ2 i,j|mij|⇒ ∀i,j,mij=0 ⇒ M=0 ) 令 V1=A*U1∆-1∈Cn×r 则 V1*V1=∆-1U1*AA*U1∆-1=∆-1∆2∆-1=E ⇒ V1∈Urn×r奇异值分解定理2定理4.3.4:令α1,…,αr为A∈Crm×n的全部正奇异值; ∆=diag(α1,…,αr),则有U1∈Urm×r,V1∈Urn×r 使 A=U1ΔV1 . 证:由定理4.3.3直接推出⎛∆ A = U ⎜ ⎜ 0 ⎝ 0 0 ⎞ ⎟V ⎟ ⎠*关于奇异值分解定理的注(1)定理4.3.3的证明同时给出了因子矩阵U,V的求法. (U(V)是使AA*(A*A)酉相似对角化的变换矩阵) (2)矩阵U,V的列分别是AA*,A*A的对应特征向量. 证: 只证U(类似可证V). U*AA*U=diag(λ1,…,λm),λi为AA*的特征值. 令 U=(u1,…,um), 则 (AA*u1,…,AA*um)=AA*(u1,…,um) =(u1,…,um)diag(λ1,…,λm) =(λ1u1,…,λmum) ⇒ ∀i,AA*ui=λiui A*A=VD*U*UDV*=Vdiag(λ1,…,λm)V* ⇒ ∀i,A*Avi=λivi= (U 1 , U2⎛∆ )⎜ ⎜ 0 ⎝0 0⎞ ⎛ V 1* ⎟⎜ * ⎟⎜ V ⎠⎝ 2⎞ ⎟ ⎟ ⎠⎛V * ⎞ = (U 1∆ , 0 )⎜ 1* ⎟ = U 1∆ V1* ⎜V ⎟ ⎝ 2⎠安徽大学 章权兵6矩阵分析奇异值分解例1例4.3.1: 求 A=⎛1 ⎜ ⎜0 ⎜0 ⎝ 2⎞ ⎟ 0⎟ 0⎟ ⎠奇异值分解例2例:求 A= 解: AA* =⎛1 ⎜ ⎜2 ⎝ 0 0 0⎞ ⎟ 0⎟ ⎠的奇异值分解式.的奇异值分解式.解: AA*=diag(5,0,0),σ(AA*)={5,0,0},Δ=(√5). U1∈U13×1是AA*对应于5的单位特征向量x=(1,0,0)T,U=E3. V1=A*U1∆-1= ⎜ ⎜⎛1 ⎝2 0 0 ⎛1⎞ 0 ⎞⎜ ⎟ ⎟⎜ 0 ⎟ ⎟ 0 ⎠⎜ ⎟ ⎝0⎠⎛1 ⎜ ⎜2 ⎝2⎞ * ⎟ 4 ⎟ ,σ(AA )={5,0},r=1,Δ=(√5). ⎠U1∈U12×1是AA*对应于5的单位特征向量x=(1/√5,2/√5)T V1=A*U1∆-1 = ⎜ 0⎜0 ⎝ ⎛1 ⎜ 2⎞ ⎟⎛ 0 ⎟⎜ ⎜ 0 ⎟⎝ ⎠1 5 2 5( )=1 51 5⎛1⎞ ⎜ ⎟ ⎜ 2⎟ ⎝ ⎠, V=1 5⎛1 ⎜ ⎜2 ⎝− 2⎞ ⎟ 1 ⎟ ⎠⎞ ⎟ ⎟ ⎠( )=1 51 5⎛1 ⎜ ⎜0 ⎜0 ⎝2⎞ ⎛1⎞ ⎟⎛ 1 ⎞ ⎜ ⎟ 0 ⎟⎜ ⎟ = ⎜ 0 ⎟ ⎜2⎟ 0 ⎟⎝ ⎠ ⎜ 0 ⎟ ⎠ ⎝ ⎠所以A的奇异值分解式是 A=UDV*= ⎜ 0 ⎜⎝0 ⎛1 ⎜ 0 1 0 0⎞⎛ 5 ⎜ 0⎟⎜ 0 ⎟ 1⎟⎜ 0 ⎠⎝ 0⎞ ⎟⎛ 0⎟⎜ 0⎟⎝ ⎠1 5 −2 5 1 2 5⎛1⎞ ⎞ ⎜ ⎟ ⎟ = ⎜0⎟ 5 ⎠ ⎜0⎟ ⎝ ⎠( 5 )(1 52 5)=U1∆ V 1*所以A的奇异值分解式是 ⎛ 15 * = ⎜ A = U1ΔV1 ⎜ 2 ⎝ 5⎞ ⎟( ⎟ ⎠5 ) (1, 0 , 0 )§4.4: 矩阵的极分解定义:令A∈Cn×n,A=HU或A=UH称为A的极分解式,如果 U∈Un×n,H∈Cn×n 是半正定Hermite矩阵. 特例: n=1时,由复数的指数表示式 a=ρeiθ 有 A=(a)=(ρ)(eiθ)=HU, H=(ρ)是半正定Hermite矩阵,U=(eiθ)是酉矩阵. 下面的定理证明： 矩阵的极分解式存在并且是唯一的.满秩方阵的极分解定理4.4.1: ∀A∈Cnn×n,存在U∈Un×n 和n阶正定Hermite矩阵 H1,H2 使 A=H1U (H12=AA*,即H1=√(AA*))或 A=UH2;并且这 样的分解式是唯一的. 证: 由定理3.9.1和定理3.9.4, 正定Hermite矩阵A*A存在唯一正定矩阵H2=(A*A)1/2. 令U=AH2-1, 则 U*U=(AH2-1)*AH2-1 =H2-1A*AH2-1=H2-1H22H2-1=E, 从而U∈Un×n使A=UH2;因H2可逆且唯一,故U也唯一. ( 另一半的证明: A=UH2=UH2U*U=H1U, H1=UH2U*为正定Hermite矩阵. AA*=H1UU*H1=H12 & H1为正定Hermite阵 ⇒ H1唯一. )非满秩方阵的极分解定理4.4.2: ∀A∈Crn×n,存在U∈Un×n和唯一n阶秩r半正定 Hermite矩阵H1,H2使A=H1U (H12=AA*,即H1=√(AA*)) 或 A=UH2 (即H2=√(A*A)). 证:存在性 由奇异值分解定理有U1,V∈Un×n使A=U1DV*, D=diag(α1,…,αr,0,…,0). 令H1=U1DU1*,H2=VDV*,U=U1V*,则H1,H2,U满足要求 A=U1DU1*U1V*=H1U; A=U1V*VDV*=UH2. 唯一性 若A=H1U,则AA*=H12 ⇒H1=(AA*)1/2唯一. 注:也可用上述方法证明定理4.4.1. 思考:定理4.4.2中U是否唯一? 不一定唯一! 没有U=AH2-1矩阵极分解的一个经典应用定理4.4.3: ∀A∈Cn×n 为正规矩阵当且仅当存在 U,U′∈Un×n和(同一个)n阶半正定Hermite矩阵H使 A=HU=U′H. 证:必要性 设A*A=AA*.由定理4.4.2,存在U∈Un×n和n 阶半正定Hermite矩阵H1,H′使A=H1U=UH′. 因此 H1=(AA*)1/2=(A*A)1/2 =H′. (AA*=H1UU*H1=(H1)2,A*A=H′U*UH′=(H′)2) 充分性 设A=HU=U′H. 则 AA*=HU(HU)*=H2 , A*A=(U′H)*U′H=H2 =AA*安徽大学 章权兵7。
矩阵特征值分解及其在几何中的应用
矩阵特征值分解及其在几何中的应用矩阵是数学中的一个重要概念，它可以用于描述矢量空间中的线性变换。
而在矩阵的运算中，特征值分解是一种常见的方法，它可以将一个矩阵分解为特征值和特征向量的形式，这种分解不仅在数学上有重要的应用，而且在几何学、物理学等领域也有广泛的应用。
矩阵特征值分解的定义矩阵特征值分解是指将一个 n×n 的矩阵 A 分解为以下两个部分的乘积形式：A = PΛP^-1其中，Λ 是一个 n×n 的对角矩阵，对角线上的元素就是矩阵 A 的特征值；P 是一个 n×n 的可逆矩阵，每一列都是矩阵 A 的一个特征向量；P^-1 表示 P 的逆矩阵。
矩阵特征值分解的意义矩阵特征值分解的意义在于，通过分解可以将矩阵 A 看作是由特征向量和特征值构成的线性组合。
这种分解可以提供关于矩阵结构的重要信息，例如矩阵的对称性、矩阵的奇异性等，从而帮助我们更好地理解矩阵在各种领域中的应用。
矩阵特征值分解在几何中的应用矩阵特征值分解在几何学中有广泛的应用。
在三维空间中，我们可以通过特征值分解来研究椭球体的形状。
具体来说，当我们将椭球体表示为 x^2/a^2 + y^2/b^2 + z^2/c^2 = 1 的形式时，椭球体的形状可以由椭球体的主轴长度和方向所对应的特征值和特征向量求得。
这种方法不仅在计算机图形学中有广泛的应用，而且在天文学、地质学等领域中也有着重要的应用。
另外，特征值分解还可以用于计算矩阵的奇异值分解，这是一种广泛应用于图像处理和模式识别的技术。
例如，在图像压缩中，我们可以使用奇异值分解来减少图像中的数据量，以满足存储空间的限制。
同样的，这种方法在语音识别、数据挖掘等领域中也有广泛的应用。
总结矩阵特征值分解是将一个矩阵分解为特征值和特征向量的形式。
这种分解不仅在数学上有着重要的应用，而且在几何学、物理学等领域中也有广泛的应用。
通过特征值分解，我们可以研究各种领域中的诸多问题，例如椭球体的形状、图像压缩、语音识别等。
武汉大学《现代控制理论》数学知识回顾 第一章 动态系统与控制的介绍
现代控制理论讲义第一章线性代数回顾1.1 引言动态系统是随着时间而变化的系统。
动态系统模型通常用一对差分方程来描述。
研究内容包括：系统的内部变量和输出对输入和初始状态的响应；如何通过系统的输入/输出（I/O）测量值来推断系统的内部特性；如何控制系统输入得到期望的系统性能，等等。
重点关注的是线性模型（在这类模型里，主要是定常模型，即线性定常模型），原因如下：z线性模型描述了微小操作导致的小扰动，多数的控制设计也是为了调节这种扰动。
z线性模型比非线性模型容易处理，可以找到系统、详细的设计方法。
z通过适当选取位置和形式，工程系统通常由工作在线性状态的模块组成，避免了非线性环节的引入。
线性代数是描述线性系统中多变量间相互作用的基本工具。
在本课程的最初部分（第4或5讲），通过研究几个最小二乘的问题，来回顾线性代数中“Ax=y”或线性方程的相关知识。
同时也有助于引入一些与动态系统相关的思想方法——例如：通过有限脉冲响应（FIR）线性时不变（LTI）离散时间（DT）系统I/O量测的回归处理，得到脉冲响应系数的估计。
之后，我们会详细讲解多输入多输出线性定常系统的表达形式、结构和特性。
线性代数中的特征值－特征向量（Aυ=λυ）是重点，会花费较多时间。
按照这种方法，在课程结尾，通过检查多输入多输出线性定常系统的控制设计、鲁棒性等方面的内容将学过的东西贯穿起来。
对于将来在系统、控制、估计、识别、信号处理和通信方面的工作来说，本课程的内容是有价值的基础知识。
下面列出了需要回顾的一些重要概念，请查阅你所熟悉的线性代数课本。
有一些思想可能是全新的（例如分块矩阵）。
1.2向量空间回顾向量空间的定义：向量，标量域，向量加法（满足结合律和交换律），标量乘法（满足结合律和分配律）；存在零向量0，使得对于任意的x有x＋0＝x，以及标准化条件0x＝0，1x＝x。
用定义判断下面前四个例子是向量空间，而第五、第六个不是向量空间：z。
z实数域上的实连续函数f（t），以及向量加法（将函数按对应点相加，f（t）＋g（t））和数乘（将函数乘上一个常数，a*f（t））的定义。
特征值分解
特征值分解矩阵的特征值分解和奇异值分解2008-04-07 20:17定理:（奇异值分解）设A为m*n阶复矩阵，则存在m阶酉阵U和n阶酉阵V，使得:A = U*S*V’其中S=diag(σi,σ2,……,σr)，σi>0(i=1,…,r)，r=rank(A)。
推论：设A为m*n阶实矩阵，则存在m阶正交阵U和n阶正交阵V，使得A = U*S*V’其中S=diag(σi,σ2,……,σr)，σi>0(i=1,…,r)，r=rank(A)。
1、奇异值分解非常有用，对于矩阵A(m*n)，存在U(m*m)，V(n*n)，S(m*n)，满足A = U*S*V’。
U和V中分别是A的奇异向量，而S是A的奇异值。
AA'的正交单位特征向量组成U，特征值组成S'S，A'A的正交单位特征向量组成V，特征值（与AA'相同）组成SS'。
因此，奇异值分解和特征值问题紧密联系。
2、奇异值分解提供了一些关于A的信息，例如非零奇异值的数目（S的阶数）和A的秩相同，一旦秩r确定，那么U 的前r列构成了A的列向量空间的正交基。
关于奇异值分解中当考虑的对象是实矩阵时: S对角元的平方恰为A'A特征值的说明. (对复矩阵类似可得)从上面我们知道矩阵的奇异值分解为: A=USV, 其中U,V是正交阵(所谓B为正交阵是指B'=B-1, 即B'B=I), S为对角阵.A'A=V'S'U'USV=V'S'SV=V-1S2V上式中, 一方面因为S是对角阵, S'S=S2, 且S2对角元就是S的对角元的平方. 另一方面注意到A'A是相似与S2的, 因此与S2有相同特征值.其实奇异值可以认为是一种特殊的矩阵范数！。
矩阵特征值分解与奇异值分解
矩阵特征值分解与奇异值分解1.原理矩阵特征值分解是一种将一个矩阵分解为特征向量和特征值的方法。
对于一个n×n的方阵A，如果存在非零向量v和数λ，使得Av=λv，其中v为特征向量，λ为特征值，那么矩阵A的特征值分解可以表示为A=VΛV^(-1)，其中V为由矩阵A的n个特征向量组成的矩阵，Λ为由特征值组成的对角矩阵。
2.性质（1）特征值的个数等于矩阵的秩；（2）特征向量组成的矩阵V是可逆矩阵；（3）特征向量组成的矩阵V的列向量是线性无关的。
3.应用（1）矩阵相似变换：特征值分解可以将一个矩阵通过相似变换转化为对角矩阵，方便矩阵的计算和分析。
（2）数据降维：特征值分解可以将高维数据降为低维，保留主要特征，有助于数据的可视化和分析。
（3）图像压缩：特征值分解可以对图像进行压缩，减少存储空间和传输带宽的占用。
1.原理奇异值分解是一种将一个m×n的矩阵分解为三个矩阵的乘积的方法。
对于一个m×n的矩阵A，其奇异值分解可以表示为A=UΣV^T，其中U为m×m的酉矩阵，Σ为m×n的对角矩阵（对角线上的元素为奇异值），V 为n×n的酉矩阵。
2.性质奇异值分解有以下几个重要的性质：（1）奇异值最大的那些对应的左奇异向量和右奇异向量是矩阵A的主要特征分量；（2）奇异值分解是矩阵的一种最优逼近，在最小二乘意义下，将一个矩阵分解为三个矩阵的乘积时，奇异值最大的那些对应的分量可以得到最小的近似误差。
3.应用奇异值分解在很多领域都有广泛的应用，例如：（1）图像处理：奇异值分解可以用于图像去噪、图像压缩和图像恢复等方面。
（2）推荐系统：奇异值分解可以用于推荐系统中的协同过滤算法，通过分解用户-物品评分矩阵，得到用户和物品的特征向量，从而进行推荐。
（3）主题模型：奇异值分解可以用于主题模型中的矩阵分解算法，通过分解文档-词项矩阵，得到文档和词项的潜在语义表示。
总结：矩阵特征值分解和奇异值分解是两种常用的矩阵分解方法。
矩阵论矩阵分解精品
【关键字】方法、条件、问题、矛盾、有效、继续、充分、保持、提出、研究、位置、需要、需求、作用、标准、反映、检验、分析、逐步、推广、满足、保证、解决、优化、方向、转变、规范、不改变、规范化第四章 矩阵分解把矩阵分解为形式比较简单或具有某种特性的一些矩阵的乘积，在矩阵理论的研究与应用中，都是十分重要的．因为这些分解式的特殊形式一方面能明显地反映出原矩阵的某些数值特征，如矩阵的秩、行列式、特征值及奇异值等，另一方面分解的方法与过程往往提供了某些有效的数值计算方法和理论分析根据．本章将介绍几种常用的矩阵分解形式．§4．1 矩阵的三角分解三角矩阵的计算，如求行列式、求逆矩阵、求解线性方程组等，都是很方便的，因此首先研究是否可将矩阵分解成一些三角矩阵的乘积． 一、三角分解及其存在惟一性问题定义4.1 设C n n A ⨯∈，如果存在下三角矩阵C n n L ⨯∈和上三角矩阵C n n R ⨯∈，使得A =LR则称A 可以作三角分解．关于三角分解的存在性有如下一些结论．定理4.1 设C n nn A ⨯∈，则A 可以作三角分解的充分必要条件是0k ∆≠(k =1，2，…，n －1)，其中det k k A ∆=为A 的k 阶顺序主子式，而k A 为A 的k 阶顺序主子阵。
证 必要性．已知A 可以作三角分解，即A ＝LR ，其中L ＝()()0ijijn nl li j ⨯=，＜，()()0ij ijn nR r ri j ⨯==，＞．将A ，L 和R 进行分块，得这里k A ，k L 和k R 分别是A ，L 和R 的k 阶顺序主子阵，且k L 和k R 分别是上三角矩阵和下三角矩阵．由矩阵的分块乘法运算，得 由于 所以＝11110(1,2,,1)kk kk l l r r k n =-≠充分性．对阶数n 用归纳法证明．当n =1时，()()()111111A a a ==，结论成立．设对n =k 结论成立，即k k k A L R =，其中k L 和k R 分别是上三角矩阵和下三角矩阵，且由det det det 0k k k k A L R ∆==≠知，k L 与k R 均可逆．则当n =k +1时，有其中()T 111,,,,k k k k c a a ++=，()T 111,,,,k k k k r a a ++=．故由归纳假设知A 可以作三角分解． 证毕这个定理说明，并不是每个可逆矩阵都可以作三角分解．如矩阵0110A ⎛⎫= ⎪⎝⎭就不能作三解分解．定理4.2 设C n nr A ⨯∈，且A 的前r 个顺序主子式不为零，即0k ∆≠(k =1，2，…，r )，见A 可以作三角分解．证 由定理4.1知，r A 可以作三角分解，即r r r A L R =，且r L 和r R 分别是可逆的上三角矩阵和下三角矩阵．将矩阵A 分块为由于rank r A ＝rank A =r ，所以A 的后n －r 行可由前r 行线性表示，即存在矩阵()C n r rB -⨯∈，使得21r A BA =，2212A BA =，从而 即得到A 的一种三角分解．证毕该定理的条件仅是充分的．如矩阵0012A ⎛⎫= ⎪⎝⎭的秩为1，不满足定理的条件，但等，都是A 的三角分解．需要指出的是，即使一个方阵的三角分解存在，它也不是惟一的．这是因为如果A =LR 是A 的一个三角分解，令D 是对角元素都不为零的对角矩阵，则A ＝(LD )()1D R LR -=，其中L LD =，1R D R -=也分别是下三角矩阵和上三角矩阵，即又得到了A 的另一个三角分解．为讨论惟一性问题，需规范化三角分解．定义4.2 设C n n A ⨯∈．如果A 可分解成A ＝LR ，其中L 是对角元素为1的下三角矩阵(称为单位下三角矩阵)，R 是上三角矩阵，则称之为A 的Doolittle 分解；如果A 可分解为A =LR ，其中L 是下三角矩阵，R 是对角元素为1的上三角矩阵(称为单位上三角矩阵)，则称之为A 的Crout 分解；如果A 可分解为A =LDR ，其中L 是单位下三角矩阵，D 是对角矩阵，R 是单位上三角矩阵，则称之为A 的LDR 分解．定理4.3 设C n nn A ⨯∈，则A 有惟一LDR 分解的充分必要条件是k ∆≠0(k =1，2，…，n －1)．此时对角矩阵D =diag(1d ，2d ，…，n d )的元素满足证 由定理4.1，A 可作三角分解A =LR 的充分必要条件是k ∆≠0(k =1，2，…，n －1)．记()1122diag ,,,L nn D l l l =，()1122diag ,,,R nn D r r r =由L 和R 可逆知L D 与R D 也可逆，从而这是A 的LDR 分解．再证惟一性．设A 有两个LDR 分解 于是上式左边是单位下三角矩阵，右边是上三角矩阵，所以都应该是单位矩阵，即有 从而又由1RR -是单位上三角矩阵知11,RR I D D I --==，故 故A 的LDR 分解是惟一的． 将A ，L ，D ，R 进行分块，得其中k A ，k L ，k D ，k R 分别是A ，L ，D ，R 的k 阶顺序主子阵．则有k k k k A L D R = (k =1,2,…,n )根据 得1111,kkk k d d -∆=∆=∆ (k =2,3,…,n ) 证毕推论 设C n nn A ⨯∈．则A 有惟一Doolittle 分解或Crout 分解的充分必要条件是k ∆≠0(k =1，2，…，n －1)．上述定理4.3的结论可以适当放宽，即当C n n A ⨯∈(不要求A 可逆)时，A 有惟一LDR 分解的充分必要条件是k ∆≠0(k =1，2，…，n －1)．证明略去． 二、三角分解的紧凑计算格式现在阐述直接计算三角分解的方法，以下总假设C n nn A ⨯∈，且A 可以作三角分解，即A 的所有顺序主子式不为零．由A 的Doolittle 分解A =LR ，得 于是由上式可导出求A 的Doolittle 分解的紧凑计算格式为 具体计算时，可按下图所示一框一框地逐步进行．对同一框中的元素，kk r 必须在计算ik l 之前先算出，其余元素的计算先后没有影响．由算法公式可知，在计算出ij r 或ij l 后，ij a 就不再使用了，因此算出的ij r 或ij l 就可以放在A 的相应元素的位置上．图4.1与上面的推导类似，可以得到Crout 分解的紧凑计算格式：例4.1 求矩阵A ＝213121243-⎛⎫ ⎪⎪ ⎪⎝⎭的Doolittle 分解和Crout 分解．解 由Doolittle 分解的紧凑计算格式得11112r a ==，12121r a ==-，13133r a ==21211112a l r ==，3131111a l r == 故A 的Doolittle 分解为而由Crout 分解的紧凑计算格式得考虑Hermite 正定矩阵的三角分解，有如下的结果．定理4.4 设C n n A ⨯∈是Hermite 正定矩阵，则存在下三角矩阵C n n G ⨯∈，使得 称之为A 的Cholesky 分解．证 由定理1.27知k ∆>0(k =1，2，…，n )，故A 有惟一的LDR 分解A =LDR根据H A A =和LDR 分解的惟一性得HR L =，即又由定理4.3知，对角矩阵D=diag(1d ，2d ，…，n d )的对角元素i d >0(i =1，2，…，n )，于是A =LH L 令G =L则G 是下三角矩阵，且H A GG =．证毕设()ijn nA a ⨯=，()()0ijijn nG g gi j ⨯==，＜，则由H A GG =(只比较下三角部分的元素)得从而得到求Hermite 正定矩阵A 的Cholesky 分解的紧凑计算格式：例4.2 已知矩阵A =520231011-⎛⎫ ⎪-- ⎪ ⎪-⎝⎭，求A 的Cholesky 分解．解 容易验证A 是实对称正定矩阵．由Cholesky 分解的紧凑计算格式得故A 的Cholesky 分解为如果线性方程组Ax =b 的系数矩阵C n nn A ⨯∈，且k ∆≠0(k =1，2，…，n －1)，则A 可作三角分解A =LR ．于是便得与Ax =b 同解的、具有以三角矩阵为系数矩阵的两个线性方程组Ly =b ， Rx =y由第一个方程组递推求得y ，再代入第二个方程组通过回代解出x ． 例4.3 求解线性方程组Ax =b ，其中 解 例4.1已求得 由Ly =b 递推求得而由Rx =y 通过回代求得§4.2 矩阵的QR 分解矩阵的QR 分解在解决最小二乘问题、特征值计算等方面，都是十分重要的．本节首先介绍Householder 矩阵和Givens 矩阵，这也是在求矩阵的QR 分解时用到的主要工具． 一、Householder 矩阵与Givens 矩阵定义4.3 设n u C ∈是单位向量，即H1u u =，称为Householder 矩阵或初等反射矩阵．由Householder 矩阵H 确定的n C 上的线性变换y =Hx 称为Householder 变换或初等反射变换． Householder 矩阵具有下列性质．定理4.5 设C n n H ⨯∈是Householder 矩阵，则 (1)H H H =(Hermite 矩阵)； (2)H H H I =(酉矩阵)； (3)2H I =(对合矩阵)； (4)1H H -=(自逆矩阵)； (5)r I O O H ⎛⎫⎪⎝⎭是n +r 阶Householder 矩阵； (6)det H =－1．证 只证(5)和(6)．由于H 是Householder 矩阵，所以存在C n u ∈，且H 1u u =，使得H 2H I uu =-．从而其中0u u ⎛⎫= ⎪⎝⎭，由于故r I O O H ⎛⎫⎪⎝⎭是n +r 阶Householder 矩阵． 因为取行列式即得证毕Householde 矩阵的应用主要基于下述结果．定理4.6 设C n z ∈是单位向量，则对任意C n x ∈，存在Householder 矩阵H ，使得Hx =αz ，其中2x α=，且H x z α为实数． 证 当x =0时，任取单位向量u ，则当x =αz ≠0时，取单位向量u 满足H 0u x =，则有 当x ≠αz 时，取2x zu x z αα-=- (4.1)则有()()()()()()H22HH22x z x z Hx I x x z x z xx x z x z x z ααααααα⎛⎫-- ⎪=- ⎪-⎝⎭-=---- (4.2)由于代入式(4.2)得证毕推论1 对任意C n x ∈，存在Householder 矩阵H2H I uu =-，使得1Hx e α=，其中2x α=，且H 1x e α为实数．推论2 对任意R nx ∈，存在Householder 矩阵T 2H I uu =- (R n u ∈且T1u u =) 使得1Hx e α=，其中2x α=±．以上两推论的结果称为用Householder 变换化向量x 与1e 共线(或同方向)．例4.4 用Householder 变换化下列向量与1e 共线： （1）()T1,2,2x =；（2）()T2i,i,2x =- 解 （1）取23xα==，计算于是T122122123221H I uu ⎛⎫⎪=-=- ⎪ ⎪-⎝⎭，使得13Hx e =．（2）由于23x =，为使23x α==且H12i x e αα=为实数，可取α＝3i ，于是使13i Hx e =．读者可分别取α＝－3和α＝－3i 计算之．以下在3R 中说明将Householder 矩阵称为初等反射矩阵的原因．考虑法向量为单位向量u 且过原点O 的平面π(见图4.2)．任取向量3R x ∈，将x 分解为x ＝v +w (v ∈π， w ⊥π)图4.2从而 故可见向量x 经过Householder 变换后，变成了以u 为法向量的平面π的对称向量x ，也即关于平面π的反射向量x ．在平面解析几何中，任一向量x 依顺时针方向旋转角度θ后变为向量y (见图4.3)，则显然x 与y 有相等的长度，且在给定的直角坐标系下，如果x 的坐标为(1ξ，2ξ)，y 的坐标为(1η，2η)，则它们满足称T 为平面旋转矩阵．显然它是正交矩阵，且det T =1．推广到C n 上，有图4.3 定义4.4 设c ，s C n ∈，且满足221c s +=，称n 阶方阵(4.3)为Givens 矩阵或初等旋转矩阵．由Givens 矩阵pq T 确定的C n上的线性变换pq y T x =称为Givens 变换或初等旋转变换．容易验证，当221c s +=时，存在实数α，β，θ，使得i cos c e αθ-=，i sin s e βθ-=．特别地，当c ，s 为实数且221c s +=时，存在实数θ，使得c =cos θ，s =sin θ，此时pq T 可以解释为R n 上由p e 和q e 构成的平面旋转矩阵．由定义可直接得到Givens 矩阵的有关性质：Givens 矩阵pq T 是酉矩阵，且det 1pq T =． Givens 矩阵的应用主要基于下述定理和推论． 定理4.7 对任意义()T12,,,C n n x ξξξ=∈，存在Givens 矩阵pq T ，使得pq T x 的等q个分量为零，第p 个分量为非负实数，其余分量不变．证 设()T12,,,n pq T x ηηη=，其中pq T 如式(4.3)，则有当220p q ξξ+=时，取c =1，s =0．则pq T I =，此时0p q ηη==，(),k k k p q ηξ=≠，结论成立．当220p q ξξ+≠时，取c ξ=s ξ=(4.4)则推论 设()T12,,,n n x C ξξξ=∈．则存在Givens 矩阵12T ，13T ，…，1n T ，使得称之为用Givens 变换化向量x 与1e 同方向． 证 由定理4.7，存在Givens 矩阵12T ，使得 对12T x ，又存在Givens 矩阵13T ，使得 如此继续下去，最后得T211312121,0,,0nnk k T T T x x e ξ=⎛⎫==⎪ ⎪⎝⎭∑ 证毕 例4.5 用Givens 变换化下列向量与1e 同方向： (1)()T1,2,2x =；(2)()T2i,i,2x =-． 解(1)取1c =，1s = 使得1202T x =⎪ ⎪⎝⎭．又取2c =，223s =则使得131213030T T x e ⎛⎫ ⎪== ⎪ ⎪⎝⎭．(2)取1c =，1s =使得1202T x = ⎪ ⎪⎝⎭．又取23c =，223s =，则使得131213030T T x e ⎛⎫ ⎪== ⎪ ⎪⎝⎭．二、矩阵的QR 分解定义4.5 设C n n A ⨯∈．如果存在n 阶酉矩阵Q 和n 阶上三角矩阵R ，使得A =QR (4.5)则称之为A 的QR 分解或酉-三角分解．当R n n A ⨯∈时，称式(4．5)为A 的正交-三角分解． 定理4.8 任意C n n A ⨯∈都可以作QR 分解． 证法1 将矩阵A 按列分块为()12,,,n A a a a =，由定理4．6知，存在n 阶Householder 矩阵1H ，使得1111H a a e =，于是 其中()()111C n n n B -⨯--∈．再将1n B -按列分块为()12,,n n B b b -=，则存在n －1阶Householder矩阵2H ，使得2212H b e α=，这里()T111,0,,0C n e -=∈．记则2H 是n 阶Houscholder 矩阵，且有 其中()()222C n n n C -⨯--∈．继续这一步骤，在第n －1步得其中()1,2,,1k H k n =-都是n 阶Houscholder 矩阵．注意到k H 均是自逆矩阵，则有这里121n Q H H H -=是酉矩阵，R 是上三角矩阵．法2 将矩阵A 按列分块A ＝()12,,,n a a a ，由定理4.7的推论知，存在n 阶Givens矩阵12T ，…，1n T ，使得于是对于其第2列，又存在n 阶Givens 矩阵23T ，…，2n T ，使得 从而其中2C n k c -∈ （k =3，…，n ）．如此进行下去，最后得于是 其中HH HH H 1212321,n n n n Q T T T T T -=是酉矩阵，R 是上三角矩阵．证毕该定理的证明过程给出了用Householder 变换和Givens 变换求矩阵QR 分解的方法． 当A 是可逆矩阵时，有如下的结论．定理4.9 设C n nn A ⨯∈．则A 可惟一地分解为A =QR其中Q 是n 阶酉矩阵，C n nn R ⨯∈是具有正对角元的上三角矩阵． 证 将矩阵A 按列分块为()12,,,n A a a a =．由于A 可逆，所以1a ，2a ，…，n a 线性无关．用Schmidt 正交化方法将其正交化：其中,,i j ij j ja p p p λ⎡⎤⎣⎦=．再将kp (k =1，2，…，n )单位化得则有 故其中()12,,,n Q q q q =是酉矩阵，R 是具有正对角元的上三角矩阵．再证惟一性．设A 有两个QR 分解其中Q ，1Q 是酉矩阵，R ，1R 是具有正对角元的上三角矩阵．于是 式中11D R R -=仍是具有正对角元的上三角矩阵．由于()()HH H 11I Q Q Q D Q D D D === (4.6)即D 还是酉矩阵，所以D 是单位矩阵(请读者证明之)，故11Q Q D Q ==，1R DR R ==即这种QR 分解是惟一的．证毕在定理4.9中，如果不要求上三角矩阵R 具有正对角元，则矩阵A 的不同QR 分解仅在于酉矩阵Q 的列和上三角矩阵R 的对应行相差模为1的因子．这是因为11D R R -=只保证是可逆的上三角矩阵，又由式(4.6)知D 是酉矩阵，从而D 是对角元素的模为1的对角矩阵．于是11Q QD -=，1R DR = 可见1Q 与Q 的列，且1R 与R 的对应行相差模为1的因子．定理4.9的推证过程，给出了用Schmidt 正交化方法求可逆矩阵QR 分解的方法．例4.6 已知矩阵031042212A ⎛⎫ ⎪=- ⎪ ⎪⎝⎭，求A 的QR 分解．解法1 利用Householder 变换． 因为()T10,0,2a =，取1122a α==，作单位向量于是T 1110012010100H I u u ⎛⎫ ⎪=-= ⎪ ⎪⎝⎭，1212042031H A ⎛⎫⎪=- ⎪ ⎪⎝⎭又因()T24,3b =，取2225b α==，作单位向量于是T 2224312345H I u u ⎛⎫=-=⎪-⎝⎭，记 故A 的QR 分解为法2 利用Givens 变换． 取110,1c s ==，则 又取2243,55c s ==-，则 故A 的QR 分解为法3 利用Schmidt 正交化方法．设()T10,0,2a =，()T23,4,1a =，()T31,2,2a =-，则1a ，2a ，3a 线性无关．正交化得()T110,0,2p a ==，()T22113,4,02p a p =-=， 再单位化()T 1110,0,12q p ==，T22134,,0555q p ⎛⎫== ⎪⎝⎭于是故A 的QR 分解为QR 分解有许多应用，兹举一例说明之．对于线性方程组Ax =b 来说，如果C n nn A ⨯∈，则有A =QR ，其中Q 是n 阶酉矩阵，C n nn R ⨯∈是上三角矩阵．在Ax =b 两边同时左乘HQ ，则有H H Q Ax Q b =，即H Rx Q b =．通过回代即可求出x ．又由于HQ 是一个酉矩阵，它左乘任一向量都不改变其2-范数，故可抑制计算过程中的误差积累．所以QR 分解在数值计算中是常用的工具之一定理4.9还可以作如下的推广．定理4.10 设C m nn A ⨯∈，则A 可惟一分解为A ＝QR其中C m nn Q ⨯∈且满足H Q Q I =，C n nn Q ⨯∈是具有正对角元的上三角矩阵． 三、矩阵酉相似于Hessenberg 矩阵Schur 定理1.22表明n 阶方阵A 总可以酉相似于上三角矩阵T ，这一结论在矩阵理论中起着重要的作用．但Schur 定理的证明过程并未给出如何求酉矩阵和相应的上三角矩阵T 的方法，且由于T 的对角元素就是A 的特征值，要求出它是不容易的．现在考虑是否能使n 阶方阵A 酉相似于一个与上三角矩阵比较接近的矩阵? 定义4.5 如果()C ijn n n nA a ⨯⨯=∈的元素满足()01ij a j i =+＞，即则称A 为上Hessenberg 矩阵．如果A 的元素满足()01ij a i j =+＞，则称A 为下Hessenberg矩阵．如果A 的元素满足()01ij a i j =-＞，则称A 为三对角矩阵． 定理4.10 设C n n A ⨯∈，则A 可酉相似于上Hessenberg 矩阵．证 将矩阵A 分块为选择n －1阶Householder 矩阵1H ，使得1111H a e α=，其中()T111,0,,0C n e -=∈．令T 11100H H ⎛⎫= ⎪⎝⎭，则1H 是n 阶Householder 矩阵，且其中2a ，2b ，22C n c -∈，()()222C n n A -⨯-∈．选择n －2阶Householder 矩阵2ˆH ，使得2221ˆˆH a e α=，其中()T 21ˆ1,0,,0C n e -=∈，令222ˆI O H OH ⎛⎫= ⎪ ⎪⎝⎭，则2H 是n 阶Householder 矩阵，且其中3a ，3b ，3c ，()33C n d -∈，()()333C n n A -⨯-∈．继续这一过程共n －2步，即可得到上Hessenberg 矩阵H ，即 令122n Q H H H -=，则Q 是酉矩阵，且H Q AQ H =．证毕该定理的证明过程给出了用Householder 变换化矩阵酉相似于上Hessenberg 矩阵的方法．同样，用Givens 变换也能完成这一过程，只需注意在化简时对矩阵左乘Givens 矩阵后，右边应相应乘上该矩阵的共轭转置(读者考虑其原因)．推论1 设R n n A ⨯∈，则A 可正交相似于实的上Hessenberg 矩阵． 推论2 设C n n A ⨯∈是Hermite 矩阵，则A 可酉相似于三对角矩阵． 证 由定理4.10，存在n 阶酉矩阵Q ，使得其中H 是上Hessenberg 矩阵．注意到H A A =，于是 即H 也是Hermite 矩阵，故H 是三对角矩阵．证毕推论3 设R n n A ⨯∈是对称矩阵，则A 可正交相似于实的三对角矩阵． 例4．7 化实对称矩阵 正交相似于三对角矩阵．解法1 利用Householder 变换． 因为()T10,0,1a =，取1121a α==，计算则又因为()T23,4a =，取2225a α==，计算则故正交矩阵120010430055340055100Q H H ⎛⎫ ⎪ ⎪- ⎪==⎪ ⎪ ⎪ ⎪⎝⎭，使得TQ AQ H =． 法2 利用Givens 变换． 取10c =，11s =，则又取2234,55c s ==-，则 故正交矩阵T T243400104300553400551000Q T T ⎛⎫ ⎪ ⎪- ⎪==⎪ ⎪ ⎪ ⎪⎝⎭，使得TQ AQ H =． 作为本节结论的应用，以下叙述计算一般方阵求全部特征值的QR 方法，该方法由J ．G ．F ．Francis 于1961年首先提出，至今被认为是求全部特征值和特征向量的最有效方法之一．设C n n A ⨯∈．记1A A =，求1A 的QR 分解111A Q R =；记211A R Q =，再求出2A 的QR 分解222A Q R =；如此一直做下去，一般的迭代格式为k k k A Q R =，1k k k A R Q += (k =1，2，…)其中k Q 为酉矩阵，k R 是上三角矩阵．这就是QR 方法．可以证明，QR 方法生成的矩阵序列{}k A 中每一矩阵都与A 酉相似，且在一定条件下，当k →+∞时，k A 将收敛于一个上三角矩阵，此上三角矩阵的对角元素即为A 的全部特征值．在QR 方法中，每一步需要做一次QR 分解和一次矩阵乘法，计算量较大，所以在实际计算时总是先将A 经酉相似化为上Hessenberg 矩阵H ，然后对H 用QR 方法计算，此时由QR 方法生成的矩阵序列保持是上Hessenberg 矩阵，但当k →+∞时，其第i +1行、i 列元素趋于0(i =1，2，…，n －1)．§4.3 矩阵的满秩分解本节论述将非零矩阵分解为一个列满秩矩阵和一个行满秩矩阵的乘积问题，这种分解在广义逆矩阵的研究中是一个有力的工具．本节首先介绍矩阵的Hermite 标准形，为后面的讨论作些准备．一、Hermite 标准形在线性代数中已研究过等价矩阵的概念．定义4.6 设A ，C m n B ⨯∈．如果A 经过有限次初等变换变成矩阵B ，则称矩阵A 与B文档收集于互联网，已重新整理排版.word 版本可编辑,有帮助欢迎下载支持.等价． 关于等价矩阵有如下结论(证明参见线性代数教材)．定理 4.11 设 A， B Cmn ．则(1)A 与 B 等价的充分必要条件是 rankA=rankB；(2)A与B等价的充分必要条件是，存在SCmm m和TCnn n，使得SAT=B如果只对 A 作初等行变换，则有定理 4.12设ACmn r(r>0)，则A可通过初等行变换化为满足如下条件的矩阵H：(1)H 的前 r 行中每一行至少含一个非零元素，且第一个非零元素是 1，而后 m－r 行元素均为 0；(2)若 H 中第 i 行的第一个非零元素 1 位于第 ji 列(i=1，2，…，r)，则j1 < j2 <…< jr(3)H 的第 j1 ， j2 ，…， jr 列为 Im 的前 r 列．即有称H为A的Hermite标准形或行最简形．采用矩阵说法即为，存在SCmm m，使得SA=H．为了求出定理 4.12 中的变换矩阵 S，可采用下述方法：构造 m×(m+n)矩阵(A， Im )，由可见，对(A，Im )作初等行变换，当把其左边一半 A 化为 Hermite 标准形 H 时，右边一半 Im就把 S 记录下来了．定义 4.7 以 n 阶单位矩阵 I n 的 n 个列向量 e1 ， e2 ，…， en 为列构成的 n 阶方阵称为 n 阶置换矩阵，这里 i1 ， i2 ，…， in 是 1，2，…，n 的一个全排列．置换矩阵有如下一些性质(证明留给读者)． 定理 4.13 设 P ei1 , ei 2 , , ei n 是置换矩阵．则(1)P 是正交矩阵；(2)对任意 A Cmn ，AP 是将 A 的列按 i1 ， i2 ，…， in 的次序重新排列所得到的矩阵．如果将 A 的 Hermite 标准形 H 的第 j1 ， j2 ，…， jr 列依次调换到前 r 列的位置，相当于用置换矩阵 P=( e j1 ， e j 2 ，…， e j r ，…)右乘矩阵 H，则有定理 4.14设ACmn r(r>0)，则存在SCmm m和n阶置换矩阵P，使得 SAP Ir OKO K Crnr(4.8)如果对上面的矩阵再进行初等列变换，可得到 A 的等价标准形定理 4.15设ACmn r(r>0)，则存在SCmm m和TCnn n，使得SAT Ir OOO (4.9)为求出定理 4.15 中的变换矩阵 S 和 T，可采用如下两种方法．方法一A,Im初等行变换H,S， HIn 初等列变换 Ir OTO O 方法二 以化成A对矩阵 InIm O 的前m行仅施行初等行变换，对前n列仅施行初等列变换，就可11文档来源为:从网络收集整理.word 版本可编辑.文档收集于互联网，已重新整理排版.word 版本可编辑,有帮助欢迎下载支持.从而记录到 S 和 T 2 4 1 1例 4.8已知矩阵 A 112 21 22 1 ．(1)求 A 的 Hermite 标准形 H 和所用的变换矩阵 S；(2)求置换矩阵 P，化 A 为式(4.8)的形式；(3)求 A 的等价标准形和所用的变换矩阵 S 和 T．解 (1)因为所以 A 的 Hermite 标准形 H 和所用的变换矩阵 S 为1 2 0 1 1 31 30 H 0 00 01 001,S 1 3 12 310 1 (2)取 4 阶置换矩阵(4.10)则(3)由得变换矩阵变换矩阵 S 同式(4.10)，使得二、矩阵的满秩分解定义 4.8设ACmn r(r>0)，如果存在FCmr r和GCrn r，使得则称之为 A 的满秩分解．A=FG定理 4.16设ACmn r(r>0)，则A的满秩分解总是存在的．证 当 r=m 时， A Im A 是 A 的一个满秩分解；而当 r=n 时， A AIn 是 A 的一个满秩分解．下设0<r<min{m，n}．由定理4.15，存在SCmm m和TCnn n，使得于是 其中FS 1 Ir O Cmn r，GIrOT1Crn r．该定理的证明过程即给出求满秩分解的一种方法．证毕2 4 例 4.9 求矩阵 A 1 2 1 21 112 的满秩分解．2 1 解 例 4.8 已求出了 A 的等价标准形和所用的变换矩阵 S 和 T．可求得取 S 1 的前 2 列，T 1 的前 2 行即得到 F 和 G，故 A 的满秩分解为需要指出的是，矩阵 A 的满秩分解不是惟一的．这是因为任取 D Crrr ，则其中FFDCmr r，GD1GCrn r，又得到A的另一个满秩分解．利用定理 4.16 所给出的方法求满秩分解的计算工作量较大．下面介绍较简便的一种方法．定理 4．17设ACmn r(r>0)，且A的Hermite标准形H如式(4．7)．取A的第j1,j2 ,, jr列构成矩阵 F，又取 H 的前 r 行构成矩阵 G，则 A=FG 即为 A 的一个满秩分解．12文档来源为:从网络收集整理.word 版本可编辑.文档收集于互联网，已重新整理排版.word 版本可编辑,有帮助欢迎下载支持.证 取 n 阶置换矩阵 P=( e j1 ， e j 2 ，…， e j r ，…)，由 G 的取法知 GP= Ir , KK Crnr 令 P1 ej1 , ej 2 , , ej r ，则有 GP1 Ir ．为确定矩阵 F 使得 A=FG，给其两边右乘矩阵 P1 ，得可见 F 由 A 的 j1 ， j2 ，…， jr 列构成．又由r=rankA=rank(FG)≤rankF知FCmr r．显然GCrn r．证毕利用定理 4.17 所述方法求 A 的满秩分解时，需要首先求出 A 的 Hermite 标准形 H，但 并未用到变换矩阵 S，因此不需求之． 2 4 1 1例 4.10求矩阵A 1 12 21 22 1 的满秩分解．解 例 4.8 已求得可见 j1 1 ， j2 3 ，故 A 的满秩分解为利用矩阵的满秩分解处理一些矩阵问题时，有时会十分方便．例 4.11设ACmn r(r>0)．证明A可分解为A=QD其中 QCmr r且 QHQIr，DCrn r．证 作 A 的满秩分解由定理 4.10 可将 F 分解为F=QR其中 QCmr r且 QHQIr，RCrr r是具有正对角元的上三角矩阵．于是A=QRG=QD其中DRGCrn r．§4.4 矩阵的奇异值分解矩阵的等价标准型具有很简单的形式（见式 4.9），但他仅反映了矩阵的秩特性，如果对变换矩阵 S 和 T 增加更多的限制，如要求 S 和 T 取为酉矩阵，则可以保留矩阵更多的特性。
线性代数中的矩阵特征值分解
线性代数中的矩阵特征值分解矩阵特征值分解是矩阵分析中非常重要的概念之一。
它在众多实际问题中有着广泛的应用，如图像处理、网络分析、物理模拟等。
本文将介绍矩阵特征值分解的定义、性质和计算方法。
1. 定义矩阵特征值分解是指将一个n阶方阵A分解为一个对角阵Λ和一个可逆矩阵P的乘积，即A = PΛP⁻¹。
其中，Λ为特征值构成的对角阵，P的列向量为A的特征向量。
2. 性质矩阵特征值分解具有如下性质：(1) 特征值是矩阵的特征多项式的根；(2) 特征值的代数重数等于其几何重数，即每个特征值对应的特征向量个数；(3) 特征向量线性无关；(4) 特征值分解可用于计算矩阵的幂；(5) 特征值分解适用于对角化和对称矩阵。
3. 计算方法矩阵特征值分解的计算方法有多种，下面介绍两种常用的方法：(1) 幂法：幂法是一种迭代方法，通过不断迭代估计矩阵的特征值和特征向量。
该方法的基本思想是选取一个初始向量并进行矩阵乘法，迭代至收敛。
通过取迭代过程中的向量极限得到特征值和特征向量的估计值。
(2) QR方法：QR方法是一种迭代方法，通过将矩阵进行QR分解逐步迭代得到特征值和特征向量。
该方法的基本思想是将矩阵分解为正交矩阵Q和上三角矩阵R的乘积，然后对R进行迭代直到收敛，得到对角线上的元素作为特征值的估计值。
4. 应用矩阵特征值分解在实际问题中有着广泛的应用。
举例来说，对于图像处理来说，矩阵特征值分解可以用于图像压缩和降噪；对于网络分析来说，矩阵特征值分解可以用于图的聚类和节点重要性的评估；对于物理模拟来说，矩阵特征值分解可以用于求解量子问题和模拟振动系统。
总之，矩阵特征值分解是线性代数中的重要概念，它可以帮助我们理解和解决很多实际问题。
通过掌握矩阵特征值分解的定义、性质和计算方法，我们可以更好地应用这一概念，并提高在实际问题中的分析能力和解决能力。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
现代控制理论讲义第四章矩阵范数和奇异值分解4.1 引言在这一讲中，我们将引入矩阵范数的概念。
之后会介绍矩阵的奇异值分解或者叫SVD。
SVD 揭示了矩阵的2范数，它的值意义更大：它使一大类矩阵扰动问题得以解决，同时也为后面稳定鲁棒性的概念打下基础；它还解决了所谓的完全最小二乘问题，该问题是我们前面讲的最小二乘问题的推广；还帮我们澄清在矩阵求逆计算中碰到的态性的概念。
在下一讲中，我们会花更大的篇幅来叙说SVD的应用。
例 4.1 为了提高大家对矩阵范数研究和应用的兴趣，我们首先从一个例子开始，该例子提出了与矩阵求逆有关的矩阵态性问题。
我们所感兴趣的问题是矩阵求逆对矩阵扰动的敏感程度。
考虑求下列矩阵的逆马上就可以求得现在我们假设对一个受到扰动的矩阵求逆求逆后，结果就成了在这里表示A中的扰动，表示中的扰动。
显然中一项的变化会导致中的变化。
如果我们解，其中，得到，加入扰动后，解得。
在这个结果中，我们仍然可以清楚的看到开始数据仅有的变化，却导致解产生的变化。
以上例子中我们看到的要比在标量情况下差的多。
如果是标量，那么，所以的倒数中小数部分的变化和的变化在同一量级上。
因此，在上例中的现象完全是在矩阵的时候才出现的。
看上去好像和是近似奇异的事实有关——因为它的列几乎不独立，且它的行列式值要比它的最大元素小很多，等等。
随后（见下一讲），我们会找到衡量奇异程度的合理方法，同时还要说明在求逆情况下，这种方法和灵敏度的关系如何。
在理解这种灵敏度和扰动的细节关系之前，我们首先要找到度量向量和矩阵量级的方法。
在第一讲中我们已经引入了向量范数的概念，所以我们现在来看一下矩阵范数的定义。
4.2 矩阵范数一个维复数矩阵可以看成（有限维）赋范向量空间中的一个算子：其中，这里的范数指的是标准欧氏范数。
定义的归纳2-范数如下：术语“归纳”是指在向量和的范数的基础上，使得以上矩阵范数的定义有意义。
该定义中，归纳范数表示矩阵在中单位圆上向量扩大的倍数，也就是说，它表示矩阵的增益。
除了用2-范数来度量向量和，我们还可以用范数，感兴趣的是的情况。
它的定义是：需要考虑的一个很重要的问题是，在第一讲向量范数定义的情况下，归纳范数是否是真正的范数呢？下面，我们来回顾定义范数的三个条件：现在我们证明是上的范数——利用前面的定义：1．对任意都有，所以。
进一步有，因为是在单位圆上的最大值。
2．对任意的，由得。
3．三角不等式仍然成立，因为：归纳范数有两条额外重要的性质：1．，它是由定义直接推得的结论；2．对于称为子乘性质。
也可以直接由定义得出：除以得：由此我们得出结果。
归纳2-范数将是本讲以及下一讲的重点，在我们深入研究它的更多细节之前，我们先引出另外两个常用的归纳范数，-范数和-范数。
我们还会讲到一个重要的矩阵范数，它不是归纳范数，而叫做范数。
我们很容易证明和（注意当的时候，这两个定义就成了我们学过的列向量的-范数和-范数。
）归纳-范数的证明要分两步，即：1．证明等式的值中存在上限2．对于某些，证明该上限是可以求出来的：为了看到这些步骤如何执行，我们给出一些有关-范数的细节。
令，并考虑：上面的不等式说明了上限由下式给出为了证明该上限可以通过某向量求得，用表示取得最大值的位置，即。
定义向量为：显然且-范数的证明完全类似，留给读者自己去完成。
在矩阵范数中有的不是归纳范数，也就是满足前面说过的那三条的函数。
范数就是其中最重要的一个：换句话说，范数定义为矩阵各元素的平方和的根，也就是说，当把矩阵仅仅当作中的一个向量时，那么范数也就是矩阵通常的欧氏2-范数。
虽然可以证明范数不是归纳范数，但是它却仍然具有归纳范数的子乘性质。
还有一些其它的范数的定义（有些不具有子乘性质），不过我们只对上面我们讲的几个感兴趣。
4.3 奇异值分解在我们讨论矩阵的奇异值分解之前，我们先看几个关于矩阵的常识和定义。
一些矩阵常识：z如果，，那么就是单位矩阵。
像Matlab中一样，在这里上角标表示转置矩阵的复数共轭，也称为厄密共轭或者共轭转置。
z如果，，那么就是正交的，其中上角标表示转置。
z性质：如果是单位矩阵，那么。
z如果（也就是和它的厄密共轭阵相等，在这种情况下，我们称为厄密共轭阵），那么就一定存在一个单位矩阵使得。
z对任意的矩阵A，和都是厄密共轭阵，所以它们都可以通过单位矩阵变成对角阵。
z对任意的矩阵A，和的特征值通常都是实的和非负的（很容易通过反证法进行证明）。
定理4.1（奇异值分解，或称）给定任意矩阵，A可以写成：其中。
称作的奇异值，按照降序排列为：证明：我们只证的情况；其他的情况和该例的证明十分类似。
是厄密共轭阵，所以可以通过单位矩阵进行对角化，有：注意，由于是正定的，所以中的对角元素也都是正实数。
我们可以写出。
定义，其中。
的行是正交的，这一点可以从下面的计算中看出：。
选择矩阵，使得在中，且是单位矩阵。
定义维矩阵。
这意味着也就是。
例 4.2 在本讲一开始给定的矩阵，它的（在Matlab中输入可以很方便的求出结果）是：观察：它说明了使得对角化；它说明了使得对角化；如果、用它们的列来表示，即：那么：它是的另一种写法。
称为的左奇异向量，称为右奇异向量。
从这里可以看出，也可以认为是：该式是的加权和，其中权值是奇异值和在上投影的乘积。
说明（因为，其中是标量权值）。
因为的列向量是独立的，所以，且构成了空间的基底。
的零空间由决定：例4.3 奇异值分解的一个应用就是求解系统的代数方程组。
设是一个维复数矩阵，是中的一个向量。
设的秩是且。
我们来找出线性系统的解法。
把奇异值分解过程用到上，我们得到：其中是一个非奇异对角阵。
单位矩阵、用列的形式表示成：该方程组有解的充要条件是对所有在内的都满足。
否则，该方程组是不相容的。
该条件意味着向量必须要和的最后列正交。
所以，该线性系统方程组可以写成：利用上面的方程以及的可逆性，系统方程组可以重新写成：再根据我们得到解的形式如下：通过前面的观察，我们知道向量张成的核空间，因此该线性系统方程组的通解就是：其中系数取任意复数，在区间中。
4.4 矩阵范数关系奇异值分解法可以用来求解矩阵的归纳2-范数。
定理 4.2它说明最大幅值就是最大的奇异值。
证明：对，它的上限值就可以求出了。
（注意它相当于，因此，。
）奇异值分解的另一个应用，是计算2-范数等于1的满秩矩阵的最小幅值。
定理 4.3 给定，假设。
那么注意，如果，那么就会存在一个，使得最小值达到零（将重新写成它的形式就看出来了）。
证明：对任意的图4.1：的映射图解。
注意，。
对于。
现在注意当时，取得最小值；证毕。
范数也可以由奇异值很简单的表示出来。
下面这个证明留给读者去完成：例4.4 矩阵不等式两个方阵如果满足下列关系，我们说：这个结论可以对任意矩阵，而不必是方阵，习题习题 4.1 对任意的维矩阵，证明下式成立：习题 4.2 假设。
找出的特征值和奇异值之间确定的关系。
当不对称时，结论还成立吗？习题 4.3 如果，证明。
习题 4.4 该问题利用迭代结构，说明了存在的必要性。
证明，其中和为单位矩阵，等价于证明。
用的定义，证明存在单位向量（在-范数度量的前提下）和，使得，其中。
我们可以将上一问的和都扩展到正交基，也就是说，我们可以找到第一列分别是和的单位矩阵和：证明，一种方法是通过变换可以找到，具体如下：同样可以得到的表达式。
现在，定义，说明为什么注意：请说出以上矩阵左下角元素是的理由是什么？证明并结合，推出，因而在下一次迭代中，我们将以上步骤应用到上，等等。
一直到迭代结束，我们就得到了。
[之所以这是目前仅有的证明存在性的方法而不是算法，是因为它一开始就引入了和，但并没有给出计算他们的方法。
计算比较好的算法确实存在——参看和的著作，，，是众多应用中数值计算方面的一座里程碑。
]习题 4.5 设维矩阵被分解为以下形式：其中和是单位矩阵，是一个维可逆矩阵（——也可以实现这种分解）。
的或伪逆，记为定义为维矩阵，形式如下：（在Matlab中，可以调用命令来计算它。
）证明和是对称的，且、。
（这四个条件其实就是的不同形式的定义。
）证明，当是列满秩时，有当是行满秩时，有。
证明在所有使取得最小值（如果不是列满秩的话，会有很多）的中，具有最小长度的那一个由给定。
习题 4.6 本题中的矩阵都是实数矩阵。
假设其中是正交矩阵，是可逆矩阵。
（回忆一下，对于任意具有列满秩的矩阵都存在这种分解。
）同时，令矩阵如下：其中和的划分方法一致。
求使的范数, 或等价的平方范数取得最小值的矩阵，记为。
也就是找到同时，确定的值。
（结果要用矩阵和来表示。
）你在中的可以写成吗？可以写成吗？其中，表示的。
求解使取得最小值的，用表示。
其中和是给定的且有合适维数的矩阵。
（结果要用和表示。
）习题 4.7 结构化奇异值已知是复数方阵，定义结构化奇异值函数如下：其中表示某个矩阵集合。
如果，请证明，其中是的谱半径，定义为，是的特征值。
如果，证明。
如果，证明其中习题 4.8 重新考虑前一问题中定义的复方阵的结构化奇异值函数。
如果有更多的结构，就可能计算出的精确值。
在本题中，假设是秩1矩阵，那么可以写成，其中是维复向量。
根据下列条件，计算：为了简化计算，在的定义下，使的范数最小化。