6线性方程组的直接解法

方程组（1）的求解问题的条件数 。常用的是对应于 p 范数，通常记作 p ( A) ；特别当 p=2 时称作谱条件数。关于条件数的一些最基本的性质，可总结为如下定理。 定理 1 设 A R nn 非奇异。则
（1） ( A) 1 ， ( A) ( A1 ) ， ( A) (aA), a 0 ； （2） 2 ( A) 1 ( A) / n ( A) ，其中 1 ( A) ， n ( A) 分别表示 A 的最大和最小奇异值； （3）若 A 是正规矩阵，则
| | A1 | | δ |A | | |。则 1 A δA 可逆，并且有
|| δA || || ( A δA) A || || A || , 1 || δA || || A || 1 || A ||
1 1

这表明 ( A) || A || || A1 || 亦可作为矩阵求逆问题的条件数。
A
而利用不等式（9） ，又可得
1
( I δAA )
1 1
δA x
δA A1 1 δA A1
x 。 （11）
( A δA)
1
A ( I δAA )
1
1 1

A1 1 δA A1
。
（12）
将（11）和（12）代人（10） ，可得
δx
δA x δb 。 1 δA A1
， 所以 A( x x ) r ， 故 xx A r，
1
x x A1 r 。
b A x ,
故
A 1 。 x b
xx x
（2）由 A( x x ) r ，有
A1 A
r b
cond( A)
r b
。
r A ( x x ) ，即 ( x x )
x (0) A1 (δb δAx) 。
dA1 (t ) dA(t ) 1 A1 (t ) A (t ) dt dt
将（3）代入 x ( ) 的 Taylor 展开式

（3）
x( ) x(0) x(0) O( 2 ) ，
并取范数，可得

x ( ) x x
（1）求排列方阵 P ，Q 和分解： PAQ=LU, 其中 U 是上三角矩阵， L (lij ) 是满足 | lij | 1 的单位下三角矩阵。 （2）将方程组（2.1）分解为四个简单易解的方程组进行求解。
δA δb ( A) O( 2 ) ， A b
（6）
（6）表明，解 x 的相对误差大约是 A 与 b 的相对误差之和的 ( A) 倍。从这个意义来 讲， ( A) 的大小反映了方程组（1）的解对微小扰动的敏感程度。因此我们称 ( A) 为线性
0 1 A 1 0
这样一类非常良态（条件数 1 ( A) =1）的矩阵，也不存在 LU 分解。 （2）数值稳定性差。误差分析的结果表明，按 Gauss 消去法计算得到的解 x ，满足
( A E) x b 。
其中
E n 3 A 5 L U O( 2 ) ，
其系数矩阵 A 是对称 正定矩阵 ，它的最 大特征值 和最小特征 值分别为
1 2 和
2 0.0002 。因此由定理 1 的（3）知，其谱条件数为 2 ( A) =10000，这表明其系数矩阵
的条件数是很大的， 因而才会出现其解对扰动十分敏感的现象。 这进一步说明条件数的大小 确实在一定程度上反映了线性方程组求解问题的病态程度。 因此，当 ( A) 很大时，我们就说线性方程组（1 ）的求解问题是病态的 ，或者说矩阵 A 是病态的；否则就说其是良态的。 由范数等价定理可知，对于任意两个不同范数定义的条件数 ( A) 和 ( A) ，必存在
1 2 1 A
的特征值都是 1，而 2 ( A) 2
100
R100100 ， 2 1
（7）
。
在矩阵计算概论中我们曾考察过的方程组
1.0001 0.9999 x1 2 0.9999 1.0001 x 2 ， 2
r A
。
1 又因 x A b ，所以 x A b ，因此，
1
1 1 1 。故 x A b
xx x

1
r
A1 A b

r 1 。 cond( A) b
§2 基本解法回顾
设 A R nn ， b R n 且 A 非奇异，这一节我们来简要地复习一下求解线性方程组
Ax b
1 1 2 Hn 1 n 1 1 n
1 2 1 3 1 n 1 n 1
1 3 1 4 1 n 1 1 n2
1 ( i j 1) 。 1 2n 2 1 2n 1 1 n 1 n 1
上式两边取范数，可得
1 1 1 δx ( A δA) A b ( A δA) δb 。
（10）
利用恒等式
ຫໍສະໝຸດ Baidu
( A δA)1 A1 A1 ( I δAA1 )1 δAA1
事实上，由 A ( A δA) δA 可得，
( A δA)1 A I ( A δA)1 δA ，
即得 事实上，由
( A δA)1 A1 A1 ( I δAA1 )1 δAA1 。 A ( A δA) δA1 ( I A1 )1 ( I A1 ) A1 O 得 A1 ( I δAA1 )1 A1 ( I δAA1 )1 δAA1 A1 O ， ( A δA)1 A1 ( I δAA1 )1 δAA1 A1 O ，
线性方程组的直接解法
§ 1 线性方程组的条件数
我们曾对一个矩阵计算问题的病态性这个概念作了概略的定性说明。 现在我们来考虑如 何对线性方程组的病态程度做出定量估计。 设 A R nn 是非奇异的， b R n 。我们来考虑线性方程组
Ax b ， 之解 x 对数据 A 和 b 的微小扰动的敏感程度。为此，考虑如下的含参数方程组
δb A1 δA O( 2 ) ， x
（4）
其中的矩阵范数是相应的向量范数诱导出的算子范数，现定义
( A) A A1 或者 cond( A) A A1 ，
并利用不等式
（5）
b A x 。
由（4）可得
x ( ) x x
1 ， 1 δA A1
（9）
因此，
x δx ( A δA)1 (b + δb) ( A δA)1 b ( A δA)1 δb 。
将 x A1b 代入上式，并移项，可得
1 1 1 δx ( A δA) A b ( A δA) δb 。
定理 2
设 A R nn ， b R n 且 A 非奇异，b 非零， x 是 Ax b 的精确解， x 是近
似解， r b Ax （称为对应于 x 的剩余向量） 。则有
xx r r 1 cond( A) 。 cond( A) b x b
证明 因而 又有
x b ， x Ax b Ax （ 1） 由A 得A
因而
( A δA)1 A1 A1 ( I δAA1 )1 δAA1
并注意到不等式（9） ，可得
1 1 1 1 1 1 1 1 1 ( A δA) A b A ( I δAA ) δAA b A ( I δAA ) δAx
的最基本的解法。
(2.1)
2.1 Gauss 消元法
大家知道，当 A 是稠密矩阵时，目前求解（2.1）的最有效是选主元的 Gauss 消元法。 因此，我们首先复习这一方法的要点。
1．Gauss 消元法的基本步骤
（1）利用 Gauss 变换求 A 的 LU 分解：A=LU，其中 L 是单位下三角矩阵，U 是上三 角矩阵； （2）求解方程组 Ly=b，得 y； （3）求解方程组 Ux=y，得（2.1）的解 x。 这一方法简单易行，然而它却有两个致命弱点： （1）适用范围小。能够对 A 进行 LU 分解的矩阵的前提是 A 从 1 到 n-1 阶顺序主子式皆不 为零。因此，像
2 ( A) max / min ；
( A) ( A)
（4）若 A 是酉矩阵，则 2 ( A) 1 ； （5）若 U 是酉矩阵，则
2 ( A) 2 (UA) 2 ( AU ) 。
这一性质称作 2 ( A) 是酉不变的。 证明留给读者。 定理 1 的（3）表明，对于一个正规矩阵而言。有“大”的谱条件数的充分必要条件是 特征值的模的最大者与最小者之比“大” 。但这对一般矩阵来讲是不成立的。即使特征值相 等，它们的条件数也可能很大。例如
n nn
满足 || A1 || || δA || 1 。若 x
和 x δx 分别是方程组
Ax b
的解，则
和
( A δA)( x δx) b δb
|| δx || || δA || || δb || ( )， || x || 1 || δA || || A || || b || || A ||
( A δA) x( ) b δb,
其 中 δA R nn ， δb R n ，
（1） （2）
x(0) x ，
充 分 小 。 显 然 ， 在 0 的 充 分 小 邻 域 内
x( ) ( A δA)1 (b δb) 是 的可微向量值函数，且易知
其条件数 2 ( A) e3.5n 随着 n 的增加而非常迅速地增加。因此，其阶数越高，病态程度就越 为严重。 阶数分别为 3，5，6，8，10 的 Hilber 矩阵的条件数分别约为 5× 102 ，5× 105 ，1.5× 107 ， 1.5× 1010 ，1.6× 1012 。 定理 2 设 A R nn 非奇异， b R 非零，且 δA R
两个正数 c1 和 c2 ，使得
c1 ( A) ( A) c2 ( A),
n A Rn n 。
因此，若一个矩阵 A 在 范数下是病态的，即 ( A) 很大，则 ( A) / c1 以很大，其中 c1 是 与 A 无关的正数；反过来，若 A 在 范数下有 ( A) 很大，则 c2 ( A) 亦很大，c2 亦是与 A 无关的正数。从这个意义上来说，一个矩阵病态与否与具体的范数无关。 一个十分典型的病态矩阵是所谓的 Hilber 矩阵，其定义为
其中 ( A) || A || || A || ，矩阵范数是由相应的向量范数诱导出的算子范数。
1
（8）
证明
注意到
A δA ( I δAA1 ) A
和
δAA1 δA A1 1 ，
据第一章的定理 3.7 和定理 3.9 知，可逆，而且
( I δAA1 )1
A1
（13）
（13）两边同除以 x ，并注意到
b Ax A x ，
就有
δx x
即不等式（8） 。

A1 A 1 δA A
1
δA δb 。 b A
注
定 理 2 的 证 明 过 程 也 证 明 了 ： 如 果 A R nn 可 逆 ， 且 δA R nn 满 足


这里 L 和 U 分别是 L 和 U 计算的结果。 是机器精度，由于其中 || L || || U || 的可能很大， 因此数值稳定性差。 理论分析的结果表明， 产生上述两个问题的主意原因是零主元素和小主元素的出现。 因 此，选主元的 Gauss 消元法就随之而产生。
2．全选主元素的 Gauss 消元法