数值分析几种常用的迭代法

整理为简单迭代的形式
x ( k 1) BS x ( k ) g , k 0,1, ,
其中迭代矩阵 BS 和向量 g 为
BS ( D L)1U ,
g ( D L)1 b.
Jacobi 迭代法和 Gauss-Seidel 迭代法的分量形式供计算编程用，它们 的矩阵形式供研究迭代序列是否收敛等理论分析用。
在改变量ri( k )前加一个因子 , (0 2 ), 得 xi( k 1 ) xi( k ) ri( k )
x
华长生制作
(k ) i


aii
(bi aij x
j 1
i 1
( k 1) j
aij x (jk ) )
j i
17
n
在上式中合并xi( k ) , 得
(k ) i i 1
1 ( k 1) aij x j a j 1 ii
( k 1) j
i 1
j i 1
aij x (jk ) ------(1)
n
aij x
j 1
1 aii
aij x (jk ) xi( k )
j i
n
i 1 n 1 ( k 1) (bi aij x j aij x (jk ) ) aii j 1 j i
令
L ( D L)1 ((1 ) D U ) f ( D L)1 b x ( k 1) L x ( k ) f
L为SOR法的迭代矩阵
华长生制作
19
当 1时, SOR法化为
x ( k 1) ( D L)1Ux ( k ) ( D L)1 b
an 1 . a n 1,n 0
华长生制作
2
方程组Ax=b等价于
L D U x b Dx L D x b
x D 1 ( L U ) x D 1b.
由此构造迭代公式：
x ( k 1) BJ x ( k ) g , k 0,1, ,
取 x ( 0 ) (0,0,0)T，J 法迭代4次的计算结果是
x ( 4 ) (0.9906 ,0.9645 ,0.9906 )T , x ( 4 ) x *
GS 法迭代4次的计算结果是

0.0356 .
x ( 4 ) (0.99154 ,0.99578 ,1.0021 )T , x ( 4 ) x *
解:
(1) 求Jacobi法的迭代矩阵
0 1 0 0 0 1 0 1 2 2 0 2 2 1 0 2 0 2 2 1 0
1 1 0 BJ D ( L U ) 0
华长生制作
0 1 2
逐次超松弛法(SOR迭代法)的矩阵形式为
x
k 1
(1 ) x ( k ) D 1 (b Lx ( k 1) Ux ( k ) )
18
两边乘上D，整理为简单迭代法的形式为
华长生制作
Dx( k 1) (1 ) Dx( k ) (b Lx(k 1) Ux(k ) ) ( D L) x( k 1) ((1 )D U ) x (k ) b x( k 1) ( D L)1 ((1 )D U ) x (k ) (D L )1b
定理 若A为严格对角占优矩阵，或不可约的弱对角占优矩阵，则解
方程组 Ax b 的 J 法关于任意初始向量收敛。 证 设 A D L U ，这里只给出A为严格对角占优阵时的证明。
1 对 J法，迭代矩阵 BJ D ( L U ) ，易得
BJ

max
1 i n

j 1, j i
x
( k 1) i
(bi aij x
j 1
i 1
( k 1) j

j i 1
aij x (jk ) ) / aii , i 1, 2, , n; k 0,1,.
n
这就是Gauss-Seidel 迭代法，简称 GS 法。
华长生制作
7
将上式写成距阵形式
x( k 1) D1Lx( k 1) D1Ux( k ) D1b,
1 Bs ( D L) 1U 1 2
华长生制作
1
0 1 2
0 0 1
0 0 0
2 0 0
2 1 0
13
0 Bs 0 0
2 2 0
2 3 2
0
2
( BG ) max(||) 2 1
3
其中迭代距阵 BJ 和向量 g 为
b1 a 11 b2 g D 1b a22 bn a nn
称之为Jacobi 迭代法（简称 J 法），称 BJ 为雅可比迭代矩阵。
华长生制作
雅可比法的分量形式为
x
( k 1) i n 1 [bi aij x (jk ) ] aii j 1 j i
Leabharlann Baidu
要求精度1e-6,取初值（0，0，0）
华长生制作 20
解:
(1)G-S迭代法
0 4 2 0 0 3
1
4 1 BG ( D L) U 2 1
i 2 ,3 , , n
Ax b
6.3 几种常用的迭代法
雅可比迭代法
记 A (aij ) ，A非奇异，且对角元 aii 0 i 1, 2, , n ，可以把 A 分解为
A D L U ,
其中 D diag(a11, a22 ,, ann ),
0 0 a12 a21 0 0 ,U L a a 0 n , n 1 n1
i 1, 2, , n; k 0,1, 2,
由前面的定理知雅可比迭代关于任意初始向量收敛 的充要条件为 ( BJ ) 1 ，充分条件为 BJ 1. 利用这些判别 J 法的收敛性，有时不太方便，对 于大型方程组，要求出迭代矩阵谱半径 ( BJ ) 是不 容易的。下面给出一些容易验证收敛性的充分条件， 先讨论对角占优矩阵的性质。
华长生制作
16
令
ri( k ) xi( k 1 ) xi( k )
i 1 n 1 ( k 1) (bi aij x j aij x (jk ) ) aii j 1 j i
------(2)
ri( k )为第k 1次迭代时x的改变量
因此
xi( k 1 ) xi( k ) ri( k )
所以Gauss-Seidel迭代法发散
华长生制作
14
逐次超松弛（SOR）迭代法
无论是解线性方程组的Jacobi迭代法和G—S迭代法 都涉及到收敛速度问题 如何加快迭代法的速度呢？ 如何改善迭代法的适用范围呢？
华长生制作 15
考虑解线性方程组的Gauss-Seidel迭代法
xi( k 1)
1 1 bi aii aii 1 1 bi aii aii x

0.0085 .
精确解为（1，1，1），从计算结果看，本例用 GS 法显然比用 J 法收 敛快，但并不是任何时候GS法都比J法快，甚至有J法收敛而GS法不 收敛的例子。
华长生制作 10
显然，高斯-赛德尔法关于任意初始向量收 敛的充要条件是 ( Bs ) 1, 充分条件是 Bs 1. 另外与雅可比法相仿有如下结论：
华长生制作
8
例 用Ｊ法和ＧＳ法分别求解方程组
3 1 x1 14 10 2 10 3 x2 5 , 1 3 10 x3 14
。 取初始向量(0,0,0). 解 用 J 法计有
( ( x1( k 1) ( - 3x2k ) x3k ) 14 ) / 10, ( k 1) ( x2 (2 x1( k ) 3x3k ) 5) / 10, x ( k 1) ( x ( k ) 3x ( k ) 14 ) / 10. 1 2 3
华长生制作
9
用 GS 法计算有
( ( x1( k 1) ( - 3x2k ) x3k ) 14 ) / 10, ( k 1) ( x2 (2 x1( k 1) 3x3k ) 5) / 10, x ( k 1) ( x ( k 1) 3x ( k 1) 14 ) / 10. 1 2 3

aij aii 。
6
由A的严格对角占优性，得到 BJ
华长生制作
1 ，所以 J 法收敛。
与雅可比法相应的高斯-赛德尔迭代法
( k 1) ( k 1) 在J 法中，计算 xi( k 1) 时，分量 x1 , , xi 1 已经算出，所以可考虑
在J法中的求和分成两部分，从而得到与雅可比迭代法相 应的高斯-赛德尔迭代法为
xi( k 1 ) (1 ) xi( k )

aii
(bi aij x (jk 1 )
j 1
i 1
j i 1
aij x (jk ) )
n
i 1,2 , n , k 0 ,1,2 ,
上式称为逐次超松弛法(SOR迭代法), 称为松弛因子
系数矩阵仍分解为A L D U，
定理 若A为严格对角占优矩阵，或不可约的弱对 角占优矩阵，则解 方程组Ax=b 的G S 法关于任意初始 向量收敛。
华长生制作
11
例.
判别下列方程组用J法和G-S法求解是否收敛
1 1 2 2 1 2 2 x1 1 1 x2 1 1 x3 1
华长生制作 4
定义 1
若
A (aij ) R nn
j 1, j i
满足
aii 或

n
n
aij
(i 1, 2, , n) 按行
a jj aij
i 1 i j
j 1, 2, , n 按列
则称 A 为严格对角占优矩阵。若满足
aii
j 1, j i
12
显然BJ的几种常用算子范数 BJ 1, 因此不能用范数判断
det 1 det(I BJ ) 2

2 2
2 1 3 0
所以
0 ( BJ ) max(||) 0 1
即Jaobi迭代法收敛
(2) 求Gauss-Seidel法的迭代矩阵
0 a21 a 1 BJ D ( L U ) 22 an1 a nn a12 a11 0 an 2 ann a1n a11 a 2n a22 0
a
n
ij
, i 1,2,, n,
且其中至少有一个严格不等式成立，则称 A 为弱对角占优矩阵。
华长生制作
5
定义2
设 A R nn，若A不能经过行置换与相应的列置换 化为
A11 0
A12 A22
其中 A11 和 A22 均为方阵，则称 A 为不可约的，否则称 A 为可约的。
G-S迭代法
G-S法为SOR法的特例, SOR法为G-S法的加速 例1.
用G-S法和SOR法求下列方程组的解, 取 1.45
4 2 2 4 1 2 1 x1 0 2 x2 2 x 3 3 3