周国标师生交流讲席之四

《周国标师生交流讲席004》 2007.9.30本次讲席讨论求解数值线性代数两大主要问题的基本思想之一——等价变换思想，这两大基本问题分别是： ,Ax b Ax x λ==。

1．如第一章所述，数值线性代数是数值计算的一个重要领域，主要研究Ax b Ax x λ==和两大类矩阵方程及其扩展的问题的数值计算方法及其相关的数学理论，问题的核心对象是矩阵()n n n n A R C ⨯⨯∈，所以又称为矩阵计算，它是数值计算中近代发展最快，蕴含的数学思想空前活跃，研究成果也相当丰富的领域。

数值线性代数包括线性方程组问题、矩阵特征值问题，最小二乘问题和奇异值问题的数值计算，其中前两者为两大基本、也是基础问题。

针对矩阵A 的阶数大小，以及A 的对称性，正定性，稀疏性，奇异性，带状性等等结构特征，求解,Ax b Ax x λ==的数值方法大体分为直接法和间接法两大类。

大家在第一章已经知道了什么叫直接法和间接法，这里不多解释。

采用等价线性变换来化简问题的求解难度，是贯穿于数值线性代数的一个成功有效的数学思想，它指通过等价线性变换，将矩阵A 变为较为简单特殊的矩阵B ，使变换后对矩阵B 有关的计算求解更为直接，有利于原问题的求解。

这里“等价”的含义是指变换前后的问题的解相同（或者说变换前后的两问题是同解方程问题）。

根据这一思想，已提出了一批有效的数值方法。

下面来分析这一思想是如何体现在求解,Ax b Ax x λ==两类问题上的。

（1）线性代数方程组Ax b =由线性代数的理论可知，方程11m n n m A x b ⨯⨯⨯=有解的充分必要条件是秩（A ，b ）=秩A ，其中（A ，b ）称为方程Ax b =的增广矩阵。

由于对矩阵A 的初等行变换不改变矩阵A 的秩，而对矩阵A 的初等行变换对应一个非奇异矩阵P 左乘于矩阵A ，所以，若有非奇异矩阵P ，使PAx Bx Pb d ===，那么，秩（A ，b ）= 秩A = 秩PA= 秩P （A ，b ）= 秩（PA ，Pb ）= 秩（B ，d ）。

对于标准的线性方程组Ax b =（指A 为n 阶方阵），为了使得从Bx d =中容易求出x ，最理想的矩阵B 是单位阵，这时，Bx x d Pb ===，未知向量x 直接求出，此时的非奇异矩阵P ，是A 的逆阵1A -。

理论上，可由初等行变换 ),(),(),(),(1-===A I P B P PA I A P这样，可以求得A 的逆阵1A -。

但从数值计算的复杂度角度看，这样做是不妥的。

所以，要求退而求其次，改为实施矩阵A 的三角化。

三角形方程组的求解虽然不是一步能够解出x ，但毕竟容易求出——这就是我们在中学学过的Guass 消元法的思想萌芽，由此发展起来的Guass 消元法是数值求解Ax b =的直接法的基础。

例1．1 用Guass 消元法求解 ⎪⎩⎪⎨⎧=++=++=++)3(11163)2(1852)1(174)(321321321x x x x x x x x x I解：用初等行变换消去（2）（3）中的1x （即使1x 的系数为0），具体的说，用（--2）乘（1），加到（2）上，用（--3）乘（10，加到（3）上，就可得到与方程组（I ）等价的下列（II ）：1232323471(1)()361(2)'6102(3)'x x x II x x x x ++=⎧⎪--=-⎨⎪--=-⎩第2步，再利用初等行变换消去(3)'中的2x ，可得与（II ）等价的（III ）：123233471()36120x x x III x x x ++=⎧⎪--=-⎨⎪=⎩此时的方程组（III ）已是所谓的上三角形方程组，可用反向回代的方法（即先得3x ，再得2x ，最后得1x ），不难得到方程组（III ）的解，也是原方程组的解：(1/3,1/3,0)T x =-。

显然，上述思想和方法可以运用到任意高阶的Ax b =上，其实质是用一组初等行变换把系数矩阵A 变为一个三角形矩阵，即寻找一个非奇异的行变换P （对应的变换矩阵为P ），使PA U =，这里U 为上三角形矩阵。

这个过程可用下图表示。

************0*******00******000*PA A U ⎛⎫⎛⎫ ⎪ ⎪ ⎪ ⎪ ⎪ ⎪=⇒= ⎪ ⎪ ⎪ ⎪ ⎪ ⎪⎝⎭⎝⎭。

（1. 1） 这个过程称为将矩阵A 非奇异上三角化，或者将矩阵A 非奇异下三角零化。

这个变换过程导致原方程组的求解基本实现，所以，需要仔细研究这样的非奇异矩阵P 如何有效地生成。

这是我们将在下一节研究的核心问题之一。

如果有的同学还不理解这个过程，恐怕深究下去在你的线性代数的基础，不太清楚为什么实行初等行变换后，前后两方程组是“等价”的。

希望这样的同学先复习有关的内容，也可以找参加本学期初“数学复习班”的同学一起讨论。

（2）矩阵特征值问题Ax x λ=。

理论上我们知道，矩阵特征值可从特征方程 det()0I A λ-= 求出，我们在本科学线性代数时，用这样的方法计算过。

不过，我们在练习中做的题基本上是解3阶矩阵的，最多是4阶了，因为阶数高了，行列式的展开就够麻烦的了。

即使你化了九牛二虎之力，将行列式展开成一个高阶的代数方程，它的数值求解也非易事。

所以，数值计算不走这样“理论上正确，但实际计算困难”之路。

那么，路在何方？我们在线性代数里熟悉一条重要结论：对矩阵作相似变换可保持其特征值不变，即相似变换具有保谱功能。

设矩阵A 相似于矩阵B ，即存在非奇异矩阵P ，使得1B P AP -=，则不难证明det()det()I A I B λλ-=-，从而,A B 的特征多项式相等，两者的特征值就相同。

如果变换后的矩阵B 的特征值比较容易求出，那么，矩阵A 的特征值也就随之而得，问题解决！什么样的矩阵的特征值容易求出呢？对角阵和三角阵！这样的矩阵的特征值就是其对角线上的全部元素。

所以，如果对矩阵A 能找到一个相似变换，得到的矩阵B 恰为对角阵或三角阵，那么，矩阵A 的特征值问题就基本解决（这里没有说彻底解决，是因为还有计算特征向量的问题）。

线性代数有相应的理论结果支持这样的思路。

对于对称矩阵，我们熟悉下面的结果：引理1. 1 设n n A R ⨯∈为对称矩阵，则存在正交矩阵T ，使得112(,,,)T n T AT T AT diag λλλ-==Λ= (1. 2)其中对角矩阵Λ的对角线上的元素恰为A 的所有特征值，而正交矩阵T 的诸列恰是各特征值,1,2,,i i n λ= 对应的标准化的特征向量,1,2,,i x i n = 。

上述引理称为对称阵的正交对角化，从数学的观点看，这是一个很深刻有很优美的结果。

如果矩阵A 是Hermite 矩阵，只需在上述引理中将正交矩阵T 改为酉矩阵即可。

对于非对称矩阵，无法做到一般性的正交对角化（虽然有时也可存在这样的矩阵），但是，我们可以推而其次，实现酉三角化。

这便有著名的Schur 三角化定理。

引理1. 2 设n n A C ⨯∈的特征值为12,,,n λλλ ，则存在酉矩阵U ，使得121**0*00H n U AU U AU T λλλ-⎛⎫ ⎪ ⎪=== ⎪ ⎪⎝⎭ 。

(1. 3) 证明：对阶数n 用数学归纳法。

当n =1，结论是显然的。

假设对1n -阶矩阵，定理的结论成立，现在此基础上来证明对n 阶矩阵结论也成立。

设111Ax x λ=，且1x 已标准化（即其长度为，1||1x =）。

将1x 扩充为nC 上的一个标准正交基：12,,,n x x x ，并记112(,,,)n U x x x = ，那么1U 为酉矩阵。

这里要注意，2,,n x x 不一定是矩阵A 的其他特征向量，但它们与1x 够成一个正交基，在n C 中的正交基不是唯一的。

这样，我们就有 111()H H i j n n U AU U AU x Ax -⨯==具体地，上式的右边可表为1112121222212H H H n H H H H H H n n n n x Sx x Ax x Ax x Ax x Ax x Ax x Ax x Ax x Ax ⎛⎫ ⎪ ⎪ ⎪ ⎪ ⎪⎝⎭其中第1列元素为 111111,1()()0,2,,H H H i i i i x Ax x x x x i nλλλ=⎧===⎨=⎩ ，因此，1111**00H U AU A λ⎛⎫ ⎪ ⎪= ⎪ ⎪⎝⎭， 其中1A 为1n -阶矩阵。

由于矩阵A 与11H U AU 酉相似，故两者的特征值相同。

记1n -阶矩阵1A 的1n -个特征值为23,,,n λλλ 。

由归纳假定知，存在1n -阶酉矩阵S ，使得231***H n S A S λλλ⎛⎫ ⎪ ⎪= ⎪ ⎪⎝⎭ 记 2100T U S ⎛⎫= ⎪⎝⎭，和12U U U =， 则U 为n 阶酉矩阵，且有 12112()H H H U AU U AU U U AU U -==2H U =11**00A λ⎛⎫ ⎪ ⎪ ⎪ ⎪⎝⎭ 2U 11**01010000T T H A S S λ⎛⎫ ⎪⎛⎫⎛⎫ ⎪= ⎪ ⎪ ⎪⎝⎭⎝⎭ ⎪⎝⎭1121*******0*0H n S A S λλλλ⎛⎫⎛⎫ ⎪ ⎪ ⎪ ⎪ ⎪== ⎪ ⎪ ⎪ ⎪⎝⎭ ⎪⎝⎭。

□ 当实矩阵A 的特征值为实值12,,,n λλλ 时，则存在正交矩阵Q ，使得121***T n Q AQ Q AQ λλλ-⎛⎫ ⎪ ⎪== ⎪ ⎪⎝⎭ .由(1.2)和（1.3）,如果能寻找到酉矩阵U 或正交矩阵Q , 那么矩阵A 的特征值12,,,n λλλ 就找到了。

这似乎是说，矩阵特征值问题基本解决了。

但是，问题在于这样的酉矩阵U （或正交矩阵Q ）怎么求法？一般的说，这个新问题不比原问题（指矩阵特征值问题）更简单。

理论上只给出了存在性，并没有给出具体求法。

在数值求解矩阵特征值问题上，现在的主流算法（即我们在第5章要仔细研究的QR 方法）避免直接求酉矩阵U 或正交矩阵Q ，而将矩阵A 作正交三角化 111A A Q R ==， 其中1Q 为酉（正交）阵，1R 为上三角阵。

然后，构作211A R Q =。

不难知111H R Q A =，故有2111H A Q AQ =可见 2A 与1A 正交相似，两者特征值相同。

再继续对2A 作正交三角化，222A Q R =， 构作322A R Q =， 同理，3A 与2A 相似。

按此继续下去，可得正交相似的矩阵序列1{}k k A ∞=。

在一定的条件下可以证明，此矩阵序列1{}k k A ∞=将收敛与一个三角矩阵，从而此三角矩阵的队角元素便是矩阵A 的特征值。

上述过程就是著名的QR 方法（矩阵的分解算法是20 世纪的十大算法之一）。