武汉大学《现代控制理论》数学知识回顾 第四章 矩阵的范数-特征值矩阵分解法

现代控制理论讲义

第四章

矩阵范数和奇异值分解

4.1 引言

在这一讲中，我们将引入矩阵范数的概念。之后会介绍矩阵的奇异值分解或者叫SVD。SVD 揭示了矩阵的2范数，它的值意义更大：它使一大类矩阵扰动问题得以解决，同时也为后面稳定鲁棒性的概念打下基础；它还解决了所谓的完全最小二乘问题，该问题是我们前面讲的最小二乘问题的推广；还帮我们澄清在矩阵求逆计算中碰到的态性的概念。在下一讲中，我们会花更大的篇幅来叙说SVD的应用。

例 4.1 为了提高大家对矩阵范数研究和应用的兴趣，我们首先从一个例子开始，该例子提出了与矩阵求逆有关的矩阵态性问题。我们所感兴趣的问题是矩阵求逆对矩阵扰动的敏感程度。

考虑求下列矩阵的逆

马上就可以求得

现在我们假设对一个受到扰动的矩阵求逆

求逆后，结果就成了

在这里表示A中的扰动，表示中的扰动。显然中一项的变化

会导致中的变化。如果我们解，其中，得到

，加入扰动后，解得。

在这个结果中，我们仍然可以清楚的看到开始数据仅有的变化，却导致解产生

的变化。

以上例子中我们看到的要比在标量情况下差的多。如果是标量，那么

，所以的倒数中小数部分的变化和的变化在同一量级上。

因此，在上例中的现象完全是在矩阵的时候才出现的。看上去好像和是近似奇异的事实有关——因为它的列几乎不独立，且它的行列式值要比它的最大元素小很多，等等。随后（见下一讲），我们会找到衡量奇异程度的合理方法，同时还要说明在求逆情况下，这种方法和灵敏度的关系如何。

在理解这种灵敏度和扰动的细节关系之前，我们首先要找到度量向量和矩阵量级的方法。在第一讲中我们已经引入了向量范数的概念，所以我们现在来看一下矩阵范数的定义。

4.2 矩阵范数

一个维复数矩阵可以看成（有限维）赋范向量空间中的一个算子：

其中，这里的范数指的是标准欧氏范数。定义的归纳2-范数如下：

术语“归纳”是指在向量和的范数的基础上，使得以上矩阵范数的定义有意义。该定

义中，归纳范数表示矩阵在中单位圆上向量扩大的倍数，也就是说，它表示矩阵的增益。

除了用2-范数来度量向量和，我们还可以用范数，感兴趣的是的情

况。它的定义是：

需要考虑的一个很重要的问题是，在第一讲向量范数定义的情况下，归纳范数是否是真正的范数呢？下面，我们来回顾定义范数的三个条件：

现在我们证明是上的范数——利用前面的定义：

1．对任意都有，所以。进一步有，因为

是在单位圆上的最大值。

2．对任意的，由得。

3．三角不等式仍然成立，因为：

归纳范数有两条额外重要的性质：

1．，它是由定义直接推得的结论；

2．对于

称为子乘性质。也可以直接由定义得出：

除以得：

由此我们得出结果。

归纳2-范数将是本讲以及下一讲的重点，在我们深入研究它的更多细节之前，我们先

引出另外两个常用的归纳范数，-范数和-范数。我们还会讲到一个重要的矩阵范数，它不是归纳范数，而叫做范数。

我们很容易证明

和

（注意当的时候，这两个定义就成了我们学过的列向量的-范数和-范数。）

归纳-范数的证明要分两步，即：

1．证明等式的值中存在上限

2．对于某些，证明该上限是可以求出来的：

为了看到这些步骤如何执行，我们给出一些有关-范数的细节。令，并考虑：

上面的不等式说明了上限由下式给出

为了证明该上限可以通过某向量求得，用表示取得最大值的位置，即。定义向量为：

显然且

-范数的证明完全类似，留给读者自己去完成。

在矩阵范数中有的不是归纳范数，也就是满足前面说过的那三条的函数。范数就是其中最重要的一个：

换句话说，范数定义为矩阵各元素的平方和的根，也就是说，当把矩阵仅仅当作

中的一个向量时，那么范数也就是矩阵通常的欧氏2-范数。虽然可以证明

范数不是归纳范数，但是它却仍然具有归纳范数的子乘性质。还有一些其它的范数的定义（有些不具有子乘性质），不过我们只对上面我们讲的几个感兴趣。

4.3 奇异值分解

在我们讨论矩阵的奇异值分解之前，我们先看几个关于矩阵的常识和定义。

一些矩阵常识：

z如果，，那么就是单位矩阵。像Matlab中一样，在这

里上角标表示转置矩阵的复数共轭，也称为厄密共轭或者共轭转置。

z如果，，那么就是正交的，其中上角标表示转置。

z性质：如果是单位矩阵，那么。

z如果（也就是和它的厄密共轭阵相等，在这种情况下，我们称为厄密

共轭阵），那么就一定存在一个单位矩阵使得。

z对任意的矩阵A，和都是厄密共轭阵，所以它们都可以通过单位矩阵变成对角阵。

z对任意的矩阵A，和的特征值通常都是实的和非负的（很容易通过反证法进行证明）。

定理4.1（奇异值分解，或称）给定任意矩阵，A可以写成：

其中

。称作的奇异值，按照降序排列为：

证明：我们只证的情况；其他的情况和该例的证明十分类似。是厄密共轭阵，所以可以通过单位矩阵进行对角化，有：

注意，由于是正定的，所以中的对角元素也都是正实

数。我们可以写出。定义，其中

。的行是正交的，这一点可以从下面的计算中看出：

。选择矩阵，使得

在中，且是单位矩阵。定义维矩阵。这意味着

也就是。

例 4.2 在本讲一开始给定的矩阵，它的（在Matlab中输入可以很方便的求出结果）是：

观察：

它说明了使得对角化；

它说明了使得对角化；

如果、用它们的列来表示，即：

那么：