数值分析第6章

迭代法产生的向量序列 x(k不) 一定都能逐步逼近方程组
的解 x.*
如对方程组
x1 2x2 x2 3x1
5, 5.
7
构造迭代法
x ( k1) 1
x ( k1) 2
2x2( 3x1(
k k
) )
5, 5.
则对任何的初始向量，得到的序列都不收敛.
对于给定方程组 x ，Bx f 设有唯一解 x*， 则
22
由设 (B)， 1 应用定理3，有 lim Bk 0 . k
于是对任意 x, (0) 有 lim k， 0 即 lim x(k ) x *.
k
k
必要性. 设对任意 x(0有)
lim x(k ) x*,
k
x Bx f , （1.10）
其中 x(k 1) Bx (k ) f .
迭代到第10次有
（1.4）
x(10) (3.000032,1.999838,0.9998813)T ;
6
(10) 0.000187 ( (10) x(10) x*).
从此例看出，由迭代法产生的向量序列 x逐(k步) 逼近
方程组的精确解 x.*
对于任何由 Ax变形b得到的等价方程组
x， Bx f
第6章 解线性方程组的迭代法
6.1 迭代法的基本概念 6.2 雅可比迭代法与高斯-塞德尔迭代法 6.3 超松弛迭代法 6.4 共轭梯度法
1
6.1 迭代法的基本概念
6.1.1 引言
考虑线性方程组
Ax b,
（1.1）
其中 A为非奇异矩阵，当 为A 低阶稠密矩阵时，第5章所讨
论的选主元消去法是有效方法.
由定理2知（1）不成立，从而知 1，即（2）成立.
16
(2) (3) 根据第5章定理18，对任意 0 ，存在一
种从属范数
•
，使
B
( A) ，由(2)有 ( A) 1 ，
适当选择 0，可使 B 1，即（3）成立.
(3) (1)
由(3)给出的矩阵范数
B
1，由于 Bk
B k,
9
递推得
(k ) B (k1) Bk (0) .
要考察 {x(k)}的收敛性, 就要研究 B在什么条件下有 lim (k ) 0
k
亦即要研究 B满足什么条件时有
lim Bk 0 (零矩阵）.
k
10
6.1.2 向量序列与矩阵序列的极限
定义2 设有向量序列 {x(k)} Rn , x(k) (x1(k) , x2(k) , , xn(k) )T Rn , 如果存在 x (x1 , x2 , , xn )T Rn，使
及一阶定常迭代法
x(k 1) Bx (k ) f .
对任意选取初始向量 x(0) ，迭代法收敛的充要条件是矩阵
B的谱半径 (B) 1.
证明 充分性.设 (B) 1，易知 Ax f(其中
A I B )有唯一解，记为 x *
误差向量
x* Bx * f ,
(k ) x(k ) x* Bk (0) , (0) x(0) x*.
x* Bx * f .
（1.5）
又设 x(为0) 任取的初始向量， 按下述公式构造向量序列
x(k1) Bx (k ) f , k 0,1,2, , 其中 k表迭代次数.
（1.6）
8
定义1 (1) 对于给定的方程组 x Bx ，f用公式(1.6) 逐步代入求近似解的方法称为迭代法(或称为一阶定常迭
5
x ( k 1) 1
(3x2(k )
2x3(k )
20) / 8,
x ( k 1) 2
(4x1(k )
x(k) 3
33)/11,
x ( k 1) 3
(6x1(k )
3x2(k )
36)/12.
简写为
x(k 1) B0 x(k ) f , 其中 k 表示迭代次数 (k 0,1,2, ).
及一阶定常迭代法
x(k 1) Bx (k ) f . 如果有 B的某种算子范数 B q 1 ，则
(1) 迭代法收敛，即对任取 x(0)
lim xk x * 且 x* Bx * f .
k
(2) x*x(k ) qk x*x(0) .
(3) x* x(k ) q x(k ) x(k1) . 1 q
(4) x*x(k ) qk x(1) x(0) .
1 q
27
证明 (1) 由基本定理知，结论(1)是显然的. (2) 由关系式 x * x(k1) B(x * x(k ) )及
x(k 1) x(k ) B(x(k ) x(k 1) ). 有
(a) x(k1) x(k ) q x(k ) x(k1) ; (b) x*x(k1) q x*x(k ) . 反复利用(b)即得(2).
（1） lim Bk 0；（2） (B) 1 ；（3）至少存在 k
一种从属的矩阵范数
• ，使
B 1.
证明 (1) (2) 用反证法，假定 B有一个特征值 ，
满足 1，则存在 x 0，使 Bx x ，由此可得 Bk x k x ,
当 k 时 {Bk x}不收敛于零向量.
显然有
( B
)
1.由定理3有
lim
k
Bk
0，所以存在正整数
N N ( ) ，使当 k N时，
Bk
Bk [ (B) ]k 1,
18
即当 k N时有
1
(B) Bk k (B) ,
由 任意性即得定理结论.
19
6.1.3 迭代法及其收敛性
设有线性方程组
Ax b, 其中，A (aij ) 为R非n奇n 异矩阵.
将 分A裂为 A M N,
（1.9）
其中，M为可选择的非奇异矩阵，且使 Mx 容 易d 求解， 一般选择为 A的某种近似，称 为M分裂矩阵.
20
于是，求解 Ax b转化为求解 Mx Nx b，即求解
Ax b 求解x M 1Nx M 1b.
也就是求解线性方程组 x Bx f ,
33),
1 12
(6 x1
3x2
36).
或写为 x B0 x f , 其中
（1.3）
0
B0
4 11
6 12
3 8 0 3 12
2
8
1 11
,
0
20
8
f
33 11
.
36
12
4
任取初始值，例如取 x(0) (0. , 0, 0)T 将这些值代入(1.3) 式右边 (若(1.3)式为等式即求得方程 组的解，但一般不满足). 得到新的值
6x1ຫໍສະໝຸດ Baidu 3x2 12x3 36.
给出的迭代法（1.4）的收敛性
x ( k 1) 1
(3x2(k )
2x3(k )
20) / 8,
x ( k 1) 2
(4x1(k )
x(k) 3
33)/11,
x ( k 1) 3
(6x1(k )
3x2(k )
36)/12.
（1.2） （1.4）
24
解 先求迭代矩阵B0的特征值. 由特征方程
Ak
0的充分必要条件是
lim
k
Ak
x
0,
x R n ,
其中两个极限右端分别指零矩阵与零向量.
（1.7）
证明 对任一种矩阵的从属范数有
Ak x Ak x .
若
lim
k
Ak
0，则 lim k
Ak
0 ，故对一切 x R n ，有
lim
k
Ak x
0.
所以(1.7)成立.
反之，若(1.7)成立，取
lim Ak k
0 0
0 0
.
13
矩阵序列极限概念可以用矩阵算子范数来描述.
定理1
lim
k
Ak
A lim k
Ak A
0
其中‖·‖为矩阵的任意一种算子范数.
证明 显然有
lim
k
Ak
A lim k
Ak
A
0.
再利用矩阵范数的等价性，可证定理对其他算子范数亦对.
14
定理2
lim
k
x为第
j个坐标向量
e
，则
j
lim
k
Ak e j
0, 表示
Ak 的第
j 列元素极限均为零，当 j 1,2,
,n
时就证明了 lim k
Ak
0.
15
下面讨论一种与迭代法(1.6)有关的矩阵序列的收敛性，
这种序列由矩阵的幂构成，即 {Bk }，其中 B R nn.
定理3 设 B R nn，. 则下面3个命题等价：
显然，极限 是x *方程组(1.10)的解，且对任意 x(0)
(k ) x(k ) x* Bk (0) 0 (k ).
由定理2知
lim Bk 0,
k
再由定理3，即得 (B) 1.
23
例3 考察线性方程组（1.2）
8x1 3x2 2x3 4x1 11x2 x3
20, 33,
记为 Ax b , 其中
（1.2）
8 A4
6
3 2 11 1, 3 12
x1 x x2 ,
x3
20 b 33 .
36
方程组的精确解是 x* (3, 2, 1)T . 现将(1.2)改写为
3
x1
x2
x3
1 8
(3x2
2 x3
20),
1 11
(4 x1
x3
25
例4 考察用迭代法解方程组
x(k 1) Bx (k ) f
的收敛性，
其中
B
0 3
2 0
,
f
5 5
.
解 特征方程为 det(I B) 2 6 0, 特征根
1,2 6, 即 (J ) 1 . 这说明用迭代法解此方程组不收敛.
26
定理5 (迭代法收敛的充分条件) 设有方程组 x Bx f , B R nn ,
lim
k
xi( k
)
xi
i 1,2, , n,
则称向量序列 {x(k收)}敛于 ，x记为 显然
lim x(k ) x.
k
lim x(k ) x lim x(k ) x 0.
k
k
其中 •为任一种向量范数.
11
定义3 设有矩阵序列 Ak (ai(jk) ) R及nn 如果 n2个数列极限存在且有
可得 lim Bk 0 ，从而有 lim Bk 0.
k
k
17
定理4
设 B R nn , • 为任一种矩阵范数，则
1
lim Bk k (B).
k
（1.8）
证明 由第5章定理18，对一切 k有
1
1
(B) [ (Bk )]k Bk k .
另一方面对任意 0，记
B [ (B) ]1 B,
3 1
84
det(I
B0 )
4 11
1 0 11
11
24
可得 det(I B0 ) 3 0.034090909 0.039772727 0, 解得 1 0.3082,2 0.1541 i0.3245,3 0.1541 i0.3245,
2 3 0.3592 1, 1 1, 即 (B0 ) 1.所以用迭代法（1.4）解线性方程组（1.2） 是收敛的.
x (1)
(
x (1) 1
,
x (1) 2
,
x (1) 3
)T
(2.5,3,3)T
,
再将 x(分1) 量代入(1.3)式右边得到 ，x反(2)复利用这个计 算程x序(0，) 得 xxx到132(((000一))) 向, xxx量132x(1序) 8111列1121(3和((xxxx132(((111一246))) xx般,112的x,33x计3xx2算(2k)30公33),式)6,)xxx(.132迭(((kkk )))代（,公1.3式）)
（1.10）
从而可构造一阶定常迭代法
x(0) (初始向量)，
x
(
k
1)
Bx (k )
f,
k 0,1,2,
（1.11）
其中 B M 1N M 1(M A) I M 1 A, f M 1b.
称 B I M 1A 为迭代法的迭代矩阵.
选取 M阵，就得到解 Ax b的各种迭代法.
21
定理5 给定线性方程组 x Bx f ,
A (aij ) R,nn
lim
k
ai(jk
)
aij
(i, j 1,2, , n),
则称 {Ak收} 敛于 ，A
记为
lim
k
Ak
A.
12
例2 设有矩阵序列
A
0
1
,
A2
2
0
2 2
,
,
Ak
k
0
k
k1 k
,
且设 ，1 考查其极限.
解 由于，当 时1，有
所以
lim k 0.
k
lim
k
Ak
但对于 的A阶数 很n大，零元素较多的大型稀疏矩阵 方程组，例如求某些偏微分方程数值解所产生的线性方程
组来说，利用迭代法求解则更为合适.
迭代法通常都可利用 中A有大量零元素的特点.
2
例1 求解方程组
8x1 3x2 2x3 20,
4 x1
11x2
x3
33,
6x1 3x2 12x3 36.
代法，这里 与 B无关k).
(2) 如果 li存m在x((k记) 为 )，称此x *迭代法收敛，
k
显然 x *就是方程组的解，否则称此迭代法发散.
研究 {x的(xk收*)}敛B性x. * f .
（1.5）
x(k1) Bx (k) f , k 0,1,2, , （1.6） 引进误差向量
(k 1) x(k 1) x*, 由(1.6)减去(1.5)式， 得 (k1) B (k) (k，0,1,2, )