第七章解线性方程组的迭代法

2
迭代法概述
迭代法的基本思想是构造一串收敛到解的序 列，即建立一种从已有近似解计算新的近似解的 规则。由不同的计算规则得到不同的迭代法，本 章介绍单步定常线性迭代法。
对线性方程组 Ax b , bn )T 其中A ( aij ) nn 非奇异矩阵，b (b1 , 构造其形如 x Mx g 的同解方程组，其中M 为n阶方阵，g R n。 任取初始向量x (0) R n , 代入迭代公式 x ( k 1) Mx ( k ) g (k=0,1,2, ) 产生向量序列{x ( k ) }，当k 充分大时，以x ( k )作为 方程组Ax b的近似解，这就是求解线性方程组 的单步定常线性迭代法。 M 称为迭代矩阵。
2
若系数矩阵非奇异即
b x
12
b13 x 3
a
23
ii
0 (i 1, 2,
b1n x n
2n n
, n), 则有
1 2
b x
21 n1
1

b x
n2 2
3

g b x g

b x b x
1
b n3 x 3

g
n
其中bij
aij aii
, (i j , i, j 1, 2,
14
高斯—塞德尔迭代法（续3）
如果用矩阵A来表示，记 0 a 21 L a31 an1 则 0 0 a32 an 2 ann 1 U D 1U 0 0 0 a12 0 U 0 a13 a23 a1n a2 n an 1n 0
此过程所给出的迭代法称为Jacobi迭代法，又称简单
矩阵简化记法
0 B b 21 b n1
b b
12
0
b b
n2
1 0 2n 0 0
1n
0 1 0
b12 0 1 1 0 b 21 1 b n1 b n 2
k k
即x是方程组Ax b的解。
5
雅可比(Jacobi)迭代法
a 11 x1 a 12 x 2 a 21 x1 a 22 x 2 a n1 x1 a n1 x 2
x 1 x2 xn
a 1n x n b1 a 2n x n b 2 a nn x n b n
b
12
0
b b
b
n2
2, n 0
1n
( I L) x ( k 1) U x ( k ) g
因为 I L 1, 故( I L) 1 存在，上式可改写为 x ( k 1) ( I L ) 1U x ( k ) ( I L ) 1 g
同样
g
(g
1, g 2,
, g n)
T
(b1
ቤተ መጻሕፍቲ ባይዱ
a11, b 2 a 22 ,
, b n a nn)
T

D b
8
1
收敛与解
Jacobi 迭代 若收敛
*
x
（k）
（n 1）
Bx g
*
（n）
n 0，，， 1 2
{x } x
，则
x
即
Bx g
*
( I B) x* g D 1 Ax* D 1b Ax* b
定义：设{ A( k ) }为n阶方阵序列，A为n阶方阵，如果 lim A( k ) A 0
k
其中 为矩阵范数，则称序列{ A( k ) }收敛于矩阵A，记为 lim A( k ) A
k (k ) 定理：设{ A( k ) } ( aij ) ( k 1, 2,
), A ( aij )均为n阶方阵， , n)
L D 1 L,
I L D 1 D D 1 L D 1 ( D L) 由 x ( k 1) ( I L) 1U x ( k ) ( I L) 1 g x ( k 1) ( D L) 1Ux ( k ) ( D L) 1 b 式中矩阵 M ( D L) 1U 为Gauss Seidel迭代法的迭代矩阵。
则矩阵序列{ A( k ) }收敛于矩阵A的充要条件为
(k ) lim aij aij k
(i, j 1, 2,
证明略。 定理表明，向量序列和矩阵序列的收敛可以归结为对应 分量或对应元素序列的收敛。 若按x ( k 1) Mx ( k ) g 产生的向量序列{x ( k ) }收敛于向量x, 则有 x lim x ( k 1) lim[ Mx ( k ) g ] Mx g
3
收敛性定理
定义：设{x ( k ) }为R n中的向量序列，x R n，如果 lim x ( k ) x 0
k
其中 为向量范数，则称序列{x ( k ) }收敛于x，记为 lim x ( k ) x
k
定理：R n中的向量序列{x ( k ) }收敛于R n中的向量x当且仅当 lim xi( k ) xi
而对任意1 i n，有0 xi( k ) xi max x (jk ) x j x ( k ) x 由极限存在准则得 即
k
lim xi( k ) xi =0
k
(i 1, 2, , n)
, n)
lim xi( k ) xi
(i 1, 2,
4
收敛性定理（续）
g1 g g 2 gn
x Bx g
（1） （0） 选初值向量x (0) 代入 x (1) , x Bx g，代入x (1)
，如此继续下去，就产生一个向量序列{x ( k ) } x ( k 1) Bx ( k ) g (k 0,1, 2, )
(0) , bn ), 维数n, x (0) ( x1(0) , x2 , (0) , xn ),
, 最大容许迭代次数N .
2.置k 1. 3.对i 1, 2, ,n xi (bi aij x (0) j ) / aii
j 1 j i n
4.若 x x (0) , 输出x, 停机；否则转5。 5.若k N , 置k 1 k , xi xi(0) (i 1, 2, 否则，输出失败信息，停机。 评价：公式简单，每迭代一次只需计算一次矩阵和向量 的乘法，不改变M 的稀疏性，需两组工作单元，存x ( k ) , x ( k 1） 。
故如果序列收敛, 则收敛到解。B称迭代矩阵。
9
雅可比(Jacobi)迭代法例子
10x1 x2 2 x3 72 例：用Jacobi迭代法求解 x1 10 x2 2 x3 83 x x 5 x 42 1 2 3 解： B I D 1 A 1 0 0 1 0 0 10 10 1 2 0 1 0 1 10 2 0.1 0 1 0 0 10 0 0 1 1 1 5 0.2 1 0 0 5 g D 1b (7.2,8.3,8.4)T x (2) Bx (1) g (9.71,10.70,11.5)T 精确解为x (11,12,13)T .
b1n b 2 n 1
1 a11 a11 1 a 21 a 22 I 1 a nn a n1
a12 a1n a 22 a 2n 1 I- D A a n2 a nn
k (k ) (k ) 其中x ( k ) ( x1 , x2 ,
(i 1, 2,
, n) , xn )T 。
(k ) T , xn ) , x ( x1 , x2 , k
证：由定义， { x ( k ) }收敛于x即
lim x ( k ) x 0
1 j n
, n), g i
bi (i 1, 2, aii
, n).
6
雅可比(Jacobi)迭代法（续）
0 b12 b 0 若记 B 21 bn1 bn 2 则方程组可简记为 x (2) 满足 迭代法。
7
b13 b23 bn 3
b1n 1 b2 n 1 bnn 1
b1n b2 n 0
15
高斯—塞德尔迭代法（续4）
近似解向量x ( k )和x ( k 1)。若把迭代公式改写成
12
高斯—塞德尔迭代法（续1）
(k ) (k ) (k ) ( k 1) g x b b b 1 12 x 2 13 x 3 1n x n 1 ( k 1) (k ) (k ) ( k 1) g x2 b b b 21 x 1 23 x 3 2n x n 2 ( k 1) ( k 1) ( k 1) ( k 1) g b n1 x1 b n 2 x 2 b n,n1 x n1 n xn 这样，在整个计算过程中，只需用n个单元存储近似
主要知识点
• 雅可比迭代法 • 高斯-塞德尔迭代法 • SOR方法 • 迭代法的收敛性及误差估计
1
解线性方程组的迭代法
直接法: 经过有限次运算后可求得方程组精确解的 方法(不计舍入误差!) 迭代法：从解的某个近似值出发，通过构造一个无穷序列 去逼近精确解的方法。（一般有限步内得不到精确解） 直接法比较适用于中小型方程组。对高阶方程组， 既使系数矩阵是稀疏的，但在运算中很难保持稀疏性， 因而有存储量大，程序复杂等不足。 迭代法则能保持矩阵的稀疏性，具有计算简单，编制 程序容易的优点，并在许多情况下收敛较快。故能有效 地解一些高阶方程组。