线性方程组迭代法chap4)

BG (D L)1U , g (D L)1 b
石家庄铁道大学 数理系
数值分析
Jacobi iteration Gauss-Seidel iteration
计算x(k+1)时需要x(k)的 计算xi(k+1)时只需要x(k) 所有分量，因此需开 的i+1~n个分量，因
两组存储单元分别存 此x(k+1)的前i个分量可
，记为
lim
k
Ak
A
石家庄铁道大学 数理系
数值分析 一些关于收敛的定义及定理
定理 lim A(k) A || A(k) A || 0 (k ) k
定理 设 B Rnn ，则 lim B k 0 (B) 1 其中(B) 为B 的谱半径。 k
定理(迭代法基本定理）设有方程组 Ax b
b1 )
1 10
72
7.2000
x（21）
1 10
(
x(1) 1
2
x(0) 3
b2
)
1 10
(7.2000
83)
9.0200
x（31）
1 5
(
x(1) 1
x(1) 2
b3 )
1（7.2000 5
9.0200
42)
11.6440
L 如此继续下去，x(5) (10.9989,11.9993,12.9996)
即当Gauss-Seidel法收敛时，Jacobi法可能不收 敛； 而Jacobi法收敛时， Gauss-Seidel法也可能不收 敛。
石家庄铁道大学 数理系
数值分析
例如
2xx11xx22xx33
1 1
x1 x2 2x3 1
b1 )
x
2
(k
1)
1 a22
(a21x1(k 1)
a23x3(k)
a1n xn (k )
b2 )
x
n
(k
1)
1 ann
(an1 x1(k 1)
a x (k 1) n n1 n1
bn )
x (k1) i
1 aii
(
i 1 j 1
aij
x
j
(
k
1)
n
aij x j (k )
j i 1
评价：与Jacobi相比，只需一组工作单 元存放近似解。
石家庄铁道大学 数理系
数值分析
4.4 迭代法的收敛性
定义 设有矩阵序列 A(k) (ai(jk) )nn (k 1,2, ) 及 A (aij )nn ，如果
lim
k
ai(jk
)
aij
(i, j 1,2, , n)
则称 {A(k) } 收敛于 A
bi )
石家庄铁道大学 数理系
数值分析
迭代矩阵
记 A Hale Waihona Puke Baidu L U
a11
0
D
0
ann
A=
-U
D
-L
0
a21 0
L
an1
0
0 ann1 0
0 a12
0
U
0
0
石家庄铁道大学
a1n
an1n
0
数理系
数值分析
易知，Jacobi迭代有
(D L U)x b Dx (L U )x b
an, n1xn1)
石家庄铁道大学
数理系
数值分析
x1(
k
1)
x2(
k
1)
1 a11
1 a22
(b1 a12 x2(k ) a1n xn(k ) ) (b2 a21x1(k ) a23x3(k )
a1n xn(k ) )
xn (
k
1)
1 ann
(bn
an1x1(k )
an, n1xn1(k ) )
同时： x (k1) x* Bx (k) Bx* B(x (k) x*)
B k1 (x (0) x*)
所以，序列收敛 Bk 0
与初值的选取无关
石家庄铁道大学 数理系
数值分析
定义 （收敛矩阵） Bk 0 称B为收敛矩阵. 定理：Bk 0 (B) 1
即：矩阵B为收敛矩阵当且仅当B的谱半径<1 由 (B) B 知，若有某种范数 B 1
0
0.2
1
1
1
5
0.2 0.2
0
5
g D1b (7.2,8.3,8.4)T
取x(0) (0, 0, 0)T , 代入迭代式，得x(1) Bx(0) g (7.2,8.3,8.4)T
x(2) Bx(1) g (9.71,10.70,11.5)T L x(9) (10.9994,11.9994,12.9992)
1/ 9( 1/
x2(k ) x3(k ) 8( x1(k 1)
7) 7)
x(k 1) 1
1/ 9( x1(k1)
8)
计算结果: x(1) (0.7778, 0.9722, 0.9753) '
k 0,1,
x(2) (0.9942, 0.9993, 0.9994) '
x(3) (0.9999, 0.9999, 0.9999) '
对于任意初始向量 x(0) 及任意 f ，解此方程组的迭
代法 x(k1) BX (k) f 收敛的充要条件是 (B) 1
石家庄铁道大学 数理系
数值分析
定义 称 R(B) ln (B) 为迭代法的收敛速度.
定理(迭代法收敛的充分条件) 如果方程组 Ax b
的迭代公式为 x(k1) Bx(k) f
引入一类新的方法：迭代法.
石家庄铁道大学 数理系
数值分析
对方程组 Ax b 做等价变换 x Bx g
如：令A M N ，则 Ax b (M N )x b
Mx b Nx x M 1 Nx M 1b
我们可以构造序列
x (k 1) B x (k) g
若 x(k) x * x* B x * g Ax* b
对Gauss－Seidel迭代格式 x(k1) D1(Lx (k1) Ux (k ) b)
引入松弛因子 x(k1) x(k ) (D1Lx (k1) D1Ux (k ) D1b x(k ) )
整理得
x(k1) (1 )x(k ) (D1Lx (k1) D1Ux (k ) D1b)
则迭代收敛.
石家庄铁道大学 数理系
数值分析
4.1 Jacobi迭代法
a11x1
a1n xn
b1
an1x1 ann xn bn
x1
x2
1 a11
1 a22
(b1 a12 x2 a1n xn ) (b2 a21x1 a23x3
a1n xn )
xn
1 ann
(bn
an1x1
精确解为x (11,12,13)T .
石家庄铁道大学 数理系
数值分析
例：用Gauss Seidel迭代法求解 1x01x1 10xx2222xx337823 x1 x2 5x3 42
解：仍取x(0) (0, 0, 0)T , 代入迭代式，得
x（11）
1 10
(
x(0) 2
2
x(0) 3
精确解为x (11,12,13)T .
石家庄铁道大学 数理系
数值分析
上例计算结果表明，Gause seidel迭代 法比Jacobi迭代法效果好。事实上，对有 些问题Gause seidel迭代法确实比Jacobi 迭代法收敛得快，但也有Gause seidel迭 代比Jacobi迭代收敛得慢，甚至还有Jacobi 迭代收敛，Gause seidel迭代发散的情形。
1
ann
(an1 x1(k )
a x (k) n n1 n1
bn )
石家庄铁道大学 数理系
数值分析
迭代矩阵
x(k1) (1 )x(k ) (D1Lx (k1) D1Ux (k ) D1b) (I D1L)x(k1) ((1 )I D1U )x(k) D1b x(k1) (I D1L)1((1 )I D1U )x(k) (I D1L)1 D1b
，且迭代矩阵的某一
种范数 || B || q 1 ，则
1）迭代法收敛，即对任取 x(0)
，有 lim x(k) x* k
2）|| x*
x(k)
||
q 1 q
|| x (k)
x (k 1)
||
3）|| x*
x(k)
||
qk
1 q
|| x (1)
x (0)
||
实际计算中,通常利用 x(k) x(k1) 作为控制迭代的终止条件.不过要注意,
格式很简单：
x (k1) i
1 aii
(bi
i 1
aij x j (k )
j 1
n
aij x j (k ) )
j i 1
石家庄铁道大学
数理系
数值分析
4.2 Gauss－Seidel 迭代法
在Jacobi迭代中，使用最新计算出的分量值,即
x1
(k
1)
1 a1 1
(a12
x
2
(
k
)
a1n xn (k )
BSOR (I D 1 L) 1 ((1 )I D 1U ) g (I D 1 L) 1 D 1b
石家庄铁道大学 数理系
数值分析
SOR方法收敛的快慢与松弛因子 的选择有密切关系. 但是如何选取最 佳松弛因子,即选取=*,使(B)达到 最小,是一个尚未很好解决的问题. 实 际上可采用试算的方法来确定较好的 松弛因子. 经验上可取1.4<<1.6.
放x(k)和x(k+1)
存贮在x(k)的前i个分
量所占的存储单元，
无需开两组存储单元.
石家庄铁道大学 数理系
数值分析
例 用Gauss-seidel 迭代法解方程组 Ax=b
9 1 1 7
A
1
8
0
,
b
7
1 0 9 8
迭代公式: 给初始向量 x(0)
x1(
k 1)
x1( k
1)
x(4) (1.0000,1.0000,1.0000) '
石家庄铁道大学 数理系
数值分析
4.3 逐次超松弛迭代法(SOR)
记 x(k) x(k1) x(k ) 则 x(k1) x(k ) x(k )
可以看作在前一步上加一个修正量。若在修正量前乘以一个因子 ，有
x(k1) x(k) x(k) x(k 1) x(k ) (x(k 1) x(k ) )
数值分析
定理 若SOR方法收敛, 则0<<2.
证 而
设SOR方法收敛, 则(B)<1,所以 |det(B)| =|12… n|<1
det(B) =det[(D-L)-1 ((1-)D+U)]
=det[(E-D-1L)-1 ]det[(1-)E+D-1U)]
于是
=(1-)n |1-|<1, 或 0<<2
数值分析
Ch4 解线性方程组的迭代法
4.1 Jacobi迭代法 4.2 Gauss-Seidel迭代法 4.3 SOR（逐次超松弛迭代法） 4.4 迭代法的收敛性
石家庄铁道大学 数理系
数值分析
直接法得到的解是理论上准确的，但是我们可以看 得出，它们的计算量都是n3数量级，存储量为n2量级， 这在n比较小的时候还比较合适，但是对很多实际问题， 往往要我们求解很大型的矩阵，而且这些矩阵含有大 量的0元素。对于这类大型稀疏矩阵，在用直接法时 就会耗费大量的时间和存储单元。因此，我们有必要
x D1(L U )x D1b BJ D1(L U ) I D1A , g D1b
石家庄铁道大学 数理系
数值分析
迭代矩阵
x(k1) D1(Lx (k1) Ux (k ) b) (I D1L)x(k1) D1Ux (k ) D1b x(k1) (I D1L)1 D1Ux (k ) (I D1L)1 D1b x(k1) (D L)1Ux (k) (D L)1b
石家庄铁道大学 数理系
数值分析
写成分量形式，有
x1
(
k
1)
x
2
(
k
1)
(1 )x1(k) (1 )x2 (k)
1 a1 1
(a12 x2 (k )
a1n xn (k )
b1 )
a22
(a21x1(k )
a23x3(k)
a1n
x (k) n
b2 )
xn
(
k
1)
(1 )xn (k )
当
q
1
时,
1
q
q较大,尽管
x(k) x(k1)
已非常小,但误差向量的模
x* x(k)
可能很大,迭代法收敛将是缓慢的.
石家庄铁道大学 数理系
数值分析
特别的,Jacobi 迭代法收敛 (BJ ) 1 G-S迭代法收敛 (BGS ) 1 SOR迭代法收敛 (BSOR ) 1
石家庄铁道大学 数理系
石家庄铁道大学 数理系
数值分析
10x1 x2 2x3 72 例：用Jacobi迭代法求解 x1 10x2 2x3 83
x1 x2 5x3 42
解： B I D1A
1 1 0 0 10
0
0
10 1 2 0
0.1 0.2
0
1
0
0
0 0 1
0
1 10
0
0
1
10
2 0.1
石家庄铁道大学 数理系
数值分析
定理 设A是对称正定矩阵, 0<<2时,则解方程组 Ax=b的SOR方法收敛.
石家庄铁道大学 数理系
数值分析
注意的问题
（1）Jacobi迭代法和Gauss-Seidel迭代法的 迭代矩阵不同：
BJ =D-1(L+U), B G-S = (D-L) -1U
（2）Jacobi迭代法和Gauss-Seidel迭代法 的收敛性没有必然的联系：