第三章 迭代法s4 解线性方程组的迭代法

证明思想：用定理3.4. A严格对角占优， 则无穷大 范数 ||G||1<1
Jacobi迭代(直接证||G||1<1) Gauss-Seidel迭代, 令y=Gx，则y= -D-1(Ly+Ux)
先证对任意||x||1 =1, ||y||1 <1 再证存在某||x||1 =1, 使||G||1 =||y||1
0O O
a1n
M
an1,n 0
如果D可逆，则可得雅可比 (Jacobi) 迭代格式:
x(k1) D1(L U ) x(k) D1b k = 0, 1, 2, …
G D1(L U ) I D1A 称为雅可比 (Jacobi) 迭代矩阵
Jac obi 迭代 Jacobi 迭代的分量形式：
GS D L 1 (1)D U 称为 SOR 迭代矩阵
低松弛法: 0<<1 ； =1: Gauss-Seidel迭代；超松弛法: 1<<2
举例
例：解线性方程组 2 1 0 x1 1
1 0
3 1
1 2
x2 x3
8 5
2
x*
3
1
取初始向量 x(0) = ( 0, 0, 0 )，迭代过程中保留小数点后4位。
M
x(7) = ( 2.0000, 3.0000, -1.0000 )T
如何确定SOR迭代中的最优松弛因子是一件很困难的事。
...
a x(k1) n,n1 n1
ann
Gauss-Seidel 迭代
写成矩阵形式:
x ( k 1) 1
x ( k 1) 2
M
1
a11
1 a22
O
b1
b2
M
0 a21 M
0 MO
x ( k 1) 1
x ( k 1) 2
M
0
a12 0
a x(k1) j , j1 j1
a
j
,
j1
x
(k) j1
...
a jn xn(k )
a jj
...........................................................................
xn( k
1)
bn
a x(k1) n1 1
a x(k1) n2 2
举例（续）
SOR 迭代格式
取 = 1.1，得
x1(k x2(k
1) 1)
(1 ) x1(k) (1 ) x2(k)
1 x2(k)
8
x ( k 1) 1
2
x(k) 3
3
x3(k1)
(1 ) x3(k)
5
x ( k 1) 2
2
x(1) = ( 0.5500, 3.1350, -1.0257 )T
迭代解法是目前求解大规模线性方程组的主要方法。
研究 内容：
(1) 迭代格式的建立; (2) 收敛性判断; (3) 误差估计和收敛速度.
解线性方程组迭代法的基本思想
迭代格式的建立
Ax = b
Mx = Nx + b
A=M-N
x M 1Nx M 1b
给定一个初始向量 x(0)，可得迭代格式：
x(k1) Gx(k) f k = 0, 1, 2, …
xn( k
1)
bn
an1 x1(k )
an2 x2( k )
Байду номын сангаас
...
a x(k) n,n1 n1
ann
在计算 xi(k1)
时，如果用 x1(k1) ,L
,
x( k1) i 1
代替
x1(k ) ,L
,
x(k) i 1
，则
可能会得到更好的收敛效果。此时的迭代公式为
x1( k
1)
b1 a12 x2(k ) a13 x3(k ) ... a1n xn(k )
x1( k
1)
b1
a12
x(k) 2
a13
x(k) 3
...
a1n
x(k) n
a11
x2( k
1)
b2 a21 x1(k ) a23 x3(k ) ... a2n xn(k )
a22
...........................................................................
a11
x2( k
1)
b2
a x(k1) 21 1
a23
x(k) 3
...
a2n xn(k )
a22
...........................................................................
x
(k j
1)
bj
a j1 x1(k1) ...
举例（续）
GS 迭代格式
x ( k 1) 1
x ( k 1) 2
1
x(k) 2
2
8
x ( k 1) 1
x(k) 3
3
x ( k 1) 3
5
x ( k 1) 2
2
得 x(1) = ( 0.5000, 2.8333, -1.0833 )T
M
x(9) = ( 2.0000, 3.0000, -1.0000 )T
aii
j 1
ji +1
为了得到更好的收敛效果，可选参数作右边与xi(k)的加权平均，
于是就得到逐次超松弛迭代法，简称 SOR迭代，其中 称为
松弛因子。收敛的必要条件0<<2。 此时
解得
x(k1) (1)x(k) D1 b Lx(k1) Ux(k)
x(k1) D L 1 (1)D U x(k) D L 1 b
1
4
2
,
( 3)
A3
3
2
1
1 3 5
3 1 1
2 1 3
SOR 迭代
在 GS 迭代中
x(k1) i
bi
a x(k1) i1 1
L
a x(k1) i,i1 i1
ai,i
1
x(k) i 1
L
ai,n xn(k)
aii
bi
i 1
a x(k1) ij j
n
aij
x
(k j
)
解：Jacobi 迭代格式
x1( k x2( k
1) 1)
1
x(k) 2
2
8
x(k) 1
x(k) 3
3
x3( k
1)
5
x(k) 2
2
令 x ( x1, x2, x3)T 则迭代得：
x(1) = ( 0.5000, 2.6667, -2.5000 )T
M
x(21) = ( 2.0000, 3.0000, -1.0000 )T
方法二(定理3.4): 从迭代矩阵G判断, 有一种范数 ||G||<1, 充分条件
方法三(定理3.5): 从迭代矩阵G判断,谱半径(G) <1,
充分必要条件, 最宽
例3.8 判断Gauss-Seidel迭代求解 Ai x=b 的收敛性。
3 1 1
1 3 5
6 3 2
(1)
A1
1
4
2
,
(2)
A2
L L O
a1n a2n
x1( k x2( k
) )
M M
xn(k1)
1 ann bn an1 an2 L
0
x ( k 1) n
0
xn( k
)
即 x(k1) D1 b Lx(k1) Ux(k)
解得
x(k1) L D 1 Ux(k) L D 1 b k = 0, 1, 2, …
x
(k j
1)
bj
a j1 x1(k ) ...
a x(k) j , j1 j1
a
j
,
j
1
x
(k) j1
...
a jn xn(k )
a jj
...........................................................................
其中 G 称为迭代矩阵。
若产生的迭代序列 {x(k)} 收敛到一个确定的向量 x*，则 x* 就是原方程组的解。
Jacobi 迭代
令 A = D + L+ U， 其中 D diag(a11, a22,K , ann),
0
L a21
0
,
M O O
an1 L an,n1 0
0 a12 L
U
充分必要条件
谱半径(G)：G的特征值的模的最大值 引理３.２设Ｇ是方阵，则Gk → O (G)<1. 定理3. 5 迭代x(k)= Gx(k-1) + f 对任意初值收敛 (G)<1.
三种方法比较
方法一(推论): 从系数矩阵A判断, A严格对角占优，则 Jacobi迭代和Gauss-Seidel迭代收敛, 充分条件, 最方便
x(k) x(k1) G k x(1) x(0)
1 G
1 G
后验估计
先验估计
证明思路：(1)解的存在唯一性; (2)解的收敛性; (3)误差估 计式。
直接从Ax=b判断
n
推论3.1
若A按行严格对角占优( aii
aij
j1, ji
), 则
解Ax=b的Jacobi迭代和Gauss-Seidel迭代均收敛。
第三章 迭 代 法
第四节 解线性方程组的迭代法
求解线性方程组的迭代法
直接法的缺点：
✓运算量大，不适合大规模的线性方程组求解;
✓无法保持系数矩阵的稀疏性.
迭代法：从一个初始向量出发，按照一定的迭代格式，
构造出一个趋向于真解的无穷序列。 ✓只需存储系数矩阵中的非零元素; ✓运算量不超过 O(kn2)，其中 k 为迭代步数.
此迭代格式称为高斯-塞德尔 (Gauss-Seidel) 迭代
G L D 1 U 称为 G-S 迭代矩阵
迭代的收敛性
定理3.4 设迭代矩阵G的某种范数||G||<1，则 x=Gx+f 存在唯一解，且对任意初值，迭代序列
x(k)= Gx(k-1) + f
收敛于x*，进一步有误差估计式
x(k) x G