第2章解线性代数方程组的迭代法

第二章解线性代数方程组的迭代法
2. 1 引言
在许多实际问题中，常常需要求解这样的线性代数方程组，它的系数矩阵数很高，但非零元素很少，人们称其为大型稀疏线性代数方程组，对于这类方程组，如果它乂不具有带状性，那么，再用直接法求解就不太有效，因为用直接法进行消元或矩阵的三角分解时，没有考虑到系数矩阵的稀疏性，破坏了系数矩阵的形状，导致了计算量的增加和存储单元的浪费，于是，人们常用迭代法求解大型稀疏线性代数方程组。

迭代法只需要存储系数矩阵的非零元素，这样，占用内存在单元较少，能解高阶线性代数方程组。

山于迭代法是通过逐次迭代来逼近方程组的解，因此，收敛性和收敛速度是构造迭代法时要注意的问题。

那么，是否可以构造一种适用于一般情况的迭代法呢？回答是否定的，这是因为不同的系数矩阵具有不同的性态，一般地，每一种迭代法都具有一定的适用范围，在本章的学习中将会看到，有时，某种方法对一类方程组迭代收敛，而对另一类方程组进行迭代时就会发散。

因此，我们应该学会针对具有不同性质的线性代数方程组，构造合适的迭代方法。

本章主要介绍一些基本的迭代法，并在一定的范围内讨论其中儿种方法的收敛法。

2. 2 基本迭代法
考虑线性方程组
如坷+如勺+…+气兀”二勺
a2t x i+a22x2 + - + a2…x n =b2
■•••
••••
••••
(2. 1)
采用矩阵和向量记号，我们可以把(2.1)式写成
Ax = h
(2.2)
其中，
为非奇异矩阵，设
下面我们介绍雅可比(Jacobi)迭代，高斯-塞德尔(Gauss-Seidel)迭代与
S0R迭代以及SS0R迭代的基本思想和算法。

为了方便地给出矩阵表示式，我们引进下列矩阵分裂：
4SD-U,
(2.3)
其中
-a2\
-a n\
(1)雅可比迭代的基本思想
从式(2.1)的第i个方程中解出
X t=(/ = 1,2,•••,«)
我们把迭代前面的值代入上式右边，山计算得到等式左边的值作为一次迭代的新值，然后再把这个新值代入右边，再从左边得到一个新值，如此反复，就得到了雅可比迭代公式。

算法2.1 雅可比迭代法。

选定初值
占e R n
,对
心1,2,…，
计算
*
•■•
•••
•■•
•沪=—ft -丈诃i - £计)。

帀/-I /-/+1
•••
•••
•••
妒=丄©7詔Z…-％出『)•
(2.4)
由式(2.4)及釆用矩阵A的分裂记号式(2.3),可以得到
于是得到雅可比迭代的矩阵表示形式：
. （2.5）
（2）高斯-塞徳尔迭代的基本思想
在用雅可比迭代式（2.4）计算第i个新分量屮）时，前
/ — 1
个分量已经更新，与雅可比迭代法相比，高斯-塞德尔迭代是把更新过的分量
代替式（2. 4）第i个方程右端中的
"I （八1, •••,"）
,于是，得到高斯-塞德尔迭代公式：
算法2. 2 高斯-塞德尔迭代法。

选定初值
兀⑼e R n
,对
m= 1,2,…
,计算
晋）=丄他"詞T…-效XT）
•••
••・
•••
a ii J-l /-/+1
••a
••a
•••
妒二丄©-知圮】…“心m
%
(2.6)
由式（2.6）及采用矩阵A的分裂记号式（2.3）,可以得到
Dx{m） =（6 + 厶5）十&仙））
于是得到高斯-塞徳尔迭代的矩阵表示形式：
X ㈣=（D-L）-]+（D_Lfb
（2.7）
（3）SOR迭代的基本思想
在高斯-塞德尔迭代式（2.6）中，第i个迭代分量可以改写成
上式等号右端的第二项可以看成是校正量，高斯-塞徳尔迭代法相比，SOR迭代是把这个校正量乘上一个因子
0）
,于是得到SOR迭代公式。

算法2. 3 SOR迭代法。

选定初值
,对
m= 1,2,…
，计算
妒之刊-丈勺瑁）-/诃t]（曰，2,••*）•
% I丿司冃丿
山上式及采用矩阵A的分裂记号式（2.3）,可以得到
*耐=X(T十沙一箭十厶何十&(T
于是得到SOR迭代的矩阵表示形式：
=(D- a)L)-[ {(1- G))D十+(o(D -应)」b
(2. 8)
称
为松弛因子。

(4)SSOR迭代的基本思想
在SOR迭代过程中，新向量的分量计算依次从第1到第n逐个进行，这个次丿了;也可以倒过来，即
娜=犷”+皀0,-工勺旷"-£"用)],(7 =仏”-1,.・.,2,1).
a ii\冋丿3 )
如果两种次序的SOR迭代过程交替使用，就可以得到SSOR迭代公式。

算法2.4 SSOR迭代法。

选定初值
，对
m= 1,2,…
，计算
山上式及采用矩阵A 的分裂记号式（2.3）,可以得到
D 1
丫一1»
u] V (D )
（仍
+ 6)(2 _ 6))(1 -祖r 比尸(/ _ a )D^Uy ] D~]b.
例2. 1 试用雅可比迭代法、高斯-塞德尔迭代法、SOR 迭代法以及SSOR 迭
代法计算线代数方程组
■-4 1 1 1
■ 1 1 -4
1 1
1 1
1 一4 1
1 1
1
1
-4
1 ■
取初值为
，耐=刃 + aa'lb + (£ — D}x
+ © - D)x (w °
心)+肿0]
从上面的第一式解出
后，再化简可得
户丿=严）+価彷+
,精确到
IO -5
(精确
Z=(-Vl-l-l)r
)o
解构造雅可比迭代： 心2… ，计算
昌耐=-丄(1 _卅1 一珂T 一珀T)
4
迭代到第43次结果为
严=(-1.00000-1.00000-1.00000-1.00000)r .
构造高斯-塞德尔迭代：对
心2…
，计算
迭代到第22
次结果为
x(22) = (—0・99999厂0・99999厂1.00000厂1.00000)1 构造S0R迭代：对
，计算
疔）=护）晋（1 俨_4歹）_妒）_妒））绘耐=甥
T）一彳（1 一申-兀丫）+4护_疔-1））
皆）=疔■】）_彳（1 _审 j严一孕+4旷））.
当
）取不同值时的迭代结果为
co = 1 Qx ⑵)=(-0.99999,-0.99999-1.00000-1.00000)r
to = 1.1,?⑹=(-0.99999-1.00000-1.00000-1.00000)7
m = 1.2,x0，＞ = (-1.00000-1.00000-1.00000-1.00000)r
o)= 1.3,x(,0)= (-1.00000-1.00000,-1.00000-1.00000)r
co =1A X03) = (-1.00000-1.00000-1.00000-1.00000)r
(O = 1. W (-0.99999-1.00000,-1.00000-L00000)
Q = 1.6,?22>= （-1.00000-1.00000-L00000-1.00000）r
o = 1 ・7‘⑴）=（-1.00000,-0.99999-1.00000-1.00000）卩
■
a ） = 1 .&*陶=（-0.99999-1.00000,-1.00000-0.99999）r
（O = 1.9,* ㈣=（-1.00000,-1.00000,-0.99999,-1.00000）r
o
构造SSOR 迭代：对
3,2,…
,计算
f 铲）-巴（1 + 4 不（T - L ）- x$）-护））
4
$亍）=护）晋（1 _1+4*y 严）一护））
L 加）上（1 _L
+ 4护）-沪巧
进）》严）上（］+4』T _朗））
4
xf w ）=-彳（1 +
_玫）—逹）—朗））.
（f ）
取不同值时的迭代结果为
0)= 1 •(),*")=(_] .00000-1.00000-1.00000厂0・99999)r
♦
Q = 1.1严=(-1.00000,-1.00000,-1.00000,-1.00000)7
■
■
血=1.2,?,6) = (-1.00000,-1.00000,-1.00000-1.00000)r
■
■
co = 1.3,x O7) = (-1.00000-1.00000,-1.00000,-0.99999)r
力=1.4, X<2O> = (-1.00000,-1.00000,-1.00000-1.00000)r
力=1.5,X(24) = (-1.00000-1.00000,-1.00000-1 .()0000)r
♦
(O = 1.6,= (-1.00000-1.00000,-1.00000,-1.00000)r
♦
<W =1.7,JC(42) = (-1.00000,-1.00000-0.99999,-0.99999)7
♦
<» = 1.8,x(32) = (-0.99999-1.00000,-1.00000-0.99999)7
(O = 1 .9,X(I39) = (-1.00000,-1.00000,-0.99999,—0.99999卩
o
2.3 范数及方程组的性态、条件数
山于迭代法是通过迭代来逼近精确的，于是近似解向量与精确解向量之差趋于零的收敛速度就是迭代法最为关心的问题，为了讨论迭代法的收敛性，我们需要引衡量向量和矩阵大小的度量概念一一向量范数和矩阵范数。

首先给出向量范数的定义:
定义2.1 对任意的向量
xe R”
,若对应一个非负实值函数
IWI
,且满足：
（1）正定性：
|恥0
,等号当且仅当
x = 0
时成立；
（2）齐次性：对任意实数
♦
（3）三角不等式：
卜+ y卜倒+ |艸％陀疋,则称
IWI
为向量X的范数或模。

在下面的例子中，给出了三个常用的向量范数：
例2.2 设
,试证
INL:=+•••+"”『
IHI）冃兀1 i+i兀2I+…+1兀1
:=max
满足向量范数定义中的三个条件，它们分别称为向量2范数、1范数和无穷范数。

证明我们仅对向量2范数进行证明，向量1范数和向量无穷范数的证明由读者自己完成。

显然，
IHL
满足定义2.1中条件(1)、(2),现在证明条件(3),对任意的
x^yeR,!
,由柯西(Cauchy)不等式得
i=l
i=1 i=l i=l
述时+£#+2面・蠢
r=I r=l \ r=l V i=l
即条件(3)成立，于是
IHL
是
R n
中的向量范数。

现在给出矩阵范数的定义:
定义2. 2 对任意的
AeR nxn
,若对应一个非负实值函数
PII
,且满足：
(1)正定性：
胖0
,等号当且仅当
A = 0
时成立；
(2)齐次性：对任意实数
a
9
9
(3)三角不等式；
；/ +〃卜制+网，刃, ♦
(4)
HI < p||. 114 VA 则称
为矩阵A的范数。

进一步，若对给定的矩阵范数
IHI.
,它与某个向量范数满足条件:
III
(5)
Wk * 14川珈用
,则称矩阵范数
H.,
与向量范数
IHI,
相容。

对
A = ｛勺｝忖 e Raxn
,常用的矩阵范数有
n
7 i=l
n
ML=傅刀如
■ 戶I
||观:=J矩阵的最大特征值
它们分别称为矩阵1范数、无穷范数、2范数和F-范数，可以证明它们都满足定义2. 2矩阵范数的四个条件，并且它们分别与向量范数有下列的相容关系：
IHL < hll IML
K2^II4HI2
9
在用计算机求解线性代数方程组时，常会发现这样的情况，当用同一方法求解不同的线性代数方程组时，有时产生不同的效果，这主要涉及到所解的线性代数方程组的性态。

下面，我们给出线性代数方程组性态“好”、“坏”的概念，并给出一种衡量标准。

考虑线性代数方程组
J12X]+35*2=59
[12西+35.000001x2 =59.000001,
（2.9）
由简单计算知方程组（2.9）的解为
工I — 2 X?二]
,当式（2.9）的第二个方程有一个不扰』J时，例如
12%] + 35X2 = 59
12x t +34.999999*2 = 59.000002,
（2. 10）
则方程组（2.10）的解为
Xj =10.75
X2=~2
o
比较方程组（2.9）与方程组（2.10）的解可以看出，山于系数矩阵和右端的小扰动，导致它们的解完全不同，下面我们研究一般的线性代数方程组
Ax = b
(2. 11)
的系数矩阵
A e R wn
和右端
beR n 有小扰动时，对方程组(2.11)的解x所产生的影响。

i)如果(2.11)式中b有一小扰动
,则解x产生一个扰动
,即
A(x + &) = /)+ 仍
于是
从而
(2. 12)
另一方面，由式(2. 11)知
(2. 13)
由式(2.13)和式(2.12)即得
W<|NL刊回.
W .......... WI
(2. 14)
ii）如果式（2.11）中A有一小扰动
,则解x产生一个扰动
,即
（% + 削加&） = 6.
于是
& = 」•胡（工十&）, 从而
圖斗卄啊||卄州
所以
一凶_＜制.Ib-HI.H
Ik^r ............. M l
（2. 15）
iii）如果式（2.11）中A和b都有小扰动时，则x的扰动满足:
（A + £1）（兀 + &）= b + ^h.
于是
（A + 6A） -8）-6h-SA-x
即
&十久"•创 & = ・8A x 从而
I岡卜1鬥・11划卜涮
s|h|| •岡|+旳卜|网|嗣・
两边除以
IWI
,并考虑式（2. 13）得到
(l-|p-'||. 11^11).-Lp
"Ml'k，l(w+W)
||冋卜网＜1
时，由上式可以推出
肝帀再脑WJ
观察式（2.14）、式（2.15）和式（2.16）可以知道，无论方程组（2.11）
中的系数矩阵A有扰动，还是右端b有扰动，或者两者都有扰动，解x的相对误差除了受相应扰动的相对误差的影响外，还与
Pll-lk1!
的大小有关，因此，研究
PII-IHII 的值对估计解的相对误差有着重要的意义。

定义2. 3 设
为非奇异矩阵，称数
A e R wn
CM〃(心=MLk.l
为矩阵A的条件数，其中
为
为的某种矩阵范数。

常用的条件数有
S〃⑷2=|国口代= 心（八）心（“max
如果A对称正定，则条件数有下列性质:
(1)对任意的非奇异矩阵
Cond(A)y > 1
，其中
为A的某种矩阵范数。

(2)对任意的非奇异矩阵
AeR nxn
9
CH()
为常数，则
Cond(cA\ = Cond(A)^
(3)对任意的正交矩阵A,则
Cond(A)2 = 1
(4)设A为非奇异矩阵，F为正交矩阵，则
Cond(PA)2 = Cond^AP)-,二Cond(A)2
矩阵的条件数是方程组
Ax = h
的解x对系数矩阵A、右端b中数据有微小扰动时敬感性的一种度量，或者说是对方程组
Ax = b
是否病态的一种度量。

定义2.4 设
4 G R讪为非奇异矩阵，对线性代数方程组
Ax = b,
(2. 17)
(1) 如果条件数
Cond(A)v 很大时
(Cond(A)»1) ，则称式(2.17)为病态方程组(或A 为病
态的)；
(2) 如果条件数
Cond(A)v
相对较小时，则称式(2.17)为良态方程组(或A 为良态的)。

n 阶希尔伯特(Hilbert)矩阵
1 1
2 2 ■ ■ 1 是常见的病态矩阵，它的条件数有下列结果：
Condg 九=74 8,
CW(/75)a?=4.77xl05,
= 4.75xlO 8.
2. 4 收敛性分析
在2.1中给出三种迭代公式，雅可比迭代、高斯-塞徳尔迭代和S0R 迭代，都
可以看成是把原方程式(2.1)改写成某种等价形式：
x=Bx + f 1 1
2
1 1
3 • w + 1
• • ■ 1 • •
1 n +1 2—1
(1)
再选定一个初值
X ")=B Y T )十/ (加= 1,2,…).
参照式（2.3）的矩阵分裂，则在雅可比迭代、高斯-塞徳尔迭代、SOR 迭代 和
SSOR 迭代时的B 和f 分别为
Bj =D-\L + U), fj = D 」b,
B G =A Lfu,
九
禺=(Q-Q 厶尸{(1 一⑵)D +滅/}, f s =a )(D-a )Ly ] b.
九=血(2 _ 0)(/ - n )iy }LY } (I -创刊尸 D~'b ・
为了分析迭代法的收敛性，我们需要引进一些特殊矩阵，并讨论它们的某些 性质。

定义2.5 如果矩阵
心｛勺｝”八严
中的元素满足
1讣£|如（心1,2,…加,
/-I
(或
I
勺
1>
£|
勺
1 (7 = u,•••,«)
M
呵
则称A为按行（或按列）严格对角占优;
(2)
1讣£| 如(心1,2,•••,”),
/-I
(或
I勺亠力兔I (y = 1,2,•••,«)
M
呵
且上式至少有一个不等式是严格成立，则称A为按行（或按列）弱对角占优。

定义2. 6 设矩阵
A = {a!J}^eR^（n>2）
,如果存在置换阵F使得
(2. 18)
其中
为:r阶方阵，
“22
为
n — r
阶方阵
（1 < r < w）
，则称A为可约矩阵；否则，如果不存在使得式（2.18）成立的置换阵P,则称A
为不可约矩阵。

引理2・1 如果
为按行（或按列）严格对角占优矩阵，或者为按行（或按列）弱对角占优且为不可约矩阵，则A为非奇异矩阵。

证明仅对第一个结论中的按行情况证明，其他悄况的证明留作习题。

假定按行严格对角占优阵A为奇异矩阵，则存在OHZWIT
满足
Az=0
于是存在指标
,使得
丨抵1= max,^JzJ>0
，并且
n 工％引=0・
从而Z的第个分量满足
1%卜1＞2|/凤|工|勺I
总 / 温
这与A为按行严格对角占优矛盾，因此A为奇异矩阵。

引理2.2 矩阵
A e R nxn ,则下列三个条件等价：
(1)对任意的
ZE/T成立：
lim /Tz = O
W-400
(2)
lim/T =0
（3） A的谱半径
Q（畀）＜1
引理2.3 如果矩阵
的谱半径心）＜1
,则
（・）为非奇异矩阵。

证明若
(・)
为奇异矩阵，则
det(/-J) = O
于是矩阵A有一个特征值为1，与
P（A） <1 矛盾，所以
（"）为非奇异矩阵。

下面我们研究一般迭代法的基本收敛结果。

定理2. 1 给定迭代格式
*眄=Bx（T十人
（2. 19）
则对任意的
卫G肥
,有下列的收敛性结果：
（1）迭代格式（2.19）收敛的充要条件为谱半径
<1
（2）迭代格式（2.19）收敛的充分条件为范数
制< ]
O
证明（1）若迭代格式（2.19）收敛，不妨设收敛于
T e R n
,于是
把上式与式（2.19）相减得到
Z —占）=B（x - *心））=…=矿（T 一x（°））・
在上式中令
加一＞8
,于是有
O=lim （/ -兀的）=lim B m （x - 严））・
册一＞8
m-M
再山引理2.2及 的任意性即得
o (X -?°>)
的< 1
反之，若
的< 1
,则由引理2. 3知
为非奇异矩阵，从而 a-w
存在，不妨设为
xu )r
,于是
x" = Bx'f
把上式与式（2.19）相减得到
少"=_ *）=…=B 炳（x （o ） - x 1）
lim(?w) -x 9) = lim /T(x ⑼-巧=0, /HfX> W —»<X>
山假设条件 及引理2. 2可以推出
P( B ) <1
即迭代格式（2.19）收敛。

（2）设
2
为B的任一特征值，
O HZG/T
为其对应的特片向量，即
于是
从而
PW <1 ,由（1）知迭代格式（2.19）收敛。

定理2. 2 用雅可比迭代或高斯-塞徳尔迭代讣算线性代数方程组Ax = b ,有下列的收敛性结果：继续阅读。