第六章线性和非线性方程组的迭代解法

x(k) x(k1) D1L x(k) x(k1) D1U x(k1) x(k2)
写成分量形式
xik xik1
i1
n
bij
x jk
x
k
j
1
bij
x
k
j
1
x
j
k
2
j 1
ji 1
i 1, 2,L , n
两边取绝对值得
xik xik1
li
max j
x
k
j
xjk1
ui
2
2
Th6.2.2 若迭代矩阵 M 的范数 M q 1，并假定
范数满足 I 1，则迭代法 x(k1) M x(k ) g 的第k次迭代向量x(与k )精确解 的x误差满足：
x(k ) x qk x(1) x(0) 1 q
证明： x(k) x M k ( x(0) x ) x(k) x Mk (x(0) x ) qk x(0) x M q 1 (I M )1 1 1
第六章 线性与非线性方程组的迭代解法
/*Iterative Method for Solving Linear and Nonlinear Algebraic Systems*/
求解 A x b, A Rnn det( A) 0
迭代法
从一个初始向量出发,按照一定的递推 格式,产生逼近方程组的近似解序列。
li ui 1 li ui
li 1 li
1
li
ui
0
ui 1 li
li
ui
❖其次证明Gauss-Seidel迭代收敛，即 (M ) 1
设 为 M D L 1 U 的任意特征值，相应的
特征向量为 x 1, 2 ,L , n T ，且
i
x 1
则有 D L 1 Ux x
由迭代公式 x(k1) D1Lx(k1) D1Ux(k ) g
x(k1) ( I D1L)1 D1Ux(k ) ( I D1L)1 g
迭代矩阵 M (I D1L)1 D1U (D L)1U
§6.2 Jacobi和Gauss-Seidel迭代法的收敛性分析
➢ 收敛的充要条件与误差估计
必要性 设J法收敛，则 (B) 1
记
1
1
D 2 AD 2 的特征值为
， 则B的特征值为 1
1 1 (0, 2)
1
1
所以 D 2 AD 2 是对称正定的。
对 x Rn ( 0)
1
y D2 x( 0)
xT Ax
yT
D
1 2
AD
1 2
y
0
1
1
1
1
2D A D 2 (2I D 2 AD 2 )D 2
x(k) x
%k
x(1) x(0)
1 (1 %)(1 s)
1
其中
n
s
max j i j1
bij
,
j1
%Baidu Nhomakorabea
max j
i 1
bij
n
1
i j1
bij
B 1 1
Th6.2.6如果 A 是对称矩阵，且有正的对角元，则
求解方程组 Ax 的bJ法收敛的充要条件是矩阵 A
和 2D A均为正定的，其中 D diag(a11,L , ann )
要求 迭代
计 精度 次数
方程组的近似解
算 0.001 5 (0.9997916 0.9998479 1.0000664)
结 果
0.0001
7 (0.9999929 0.9999949 1.0000022)
0.00001 8 (1.0000013 1.0000009 0.9999996)
➢ G-S迭代法的迭代矩阵：
ji 1
bij
i1
1
j 1
bij
且有 B 1，这里 bij是矩阵 B的元素。
证明：首先证明 1
i 1
n
记 li bij , ui
bij
j 1
ji 1
max ui
1 li
则有 li ui
B 1,
1 i n
注意到
li
ui
ui 1 li
1 1 li
0 a12 a13
a1n
0 a23
a2n
U
0
an1 an2
0 an,n1 0
0 an1,n 0
如果aii 0(i 1, 2,L , n) 原方程组可化为 x D1(L U )x D1b Mx g 其中M D1(L U ) (I D1A); g D1b
相应的迭代格式 x(k1) Mx(k) g;k 0,1, 2,L
1
1
而矩阵 2I D 2 AD 2 是对称正定的
因此得到
2D A 0
1
1
充分性 因为 A正定，所以 D 2 AD 2 也是正定矩阵，
且其特征值 全部大于零。 矩阵B的特征
值均小于1
1
1
所以 I D 2 AD 2 的特征值均小于1
1
1
1
1
D 2 (2D A)D 2 D 2 (I B)D 2
Mx(k1) Mx Mx(k1) M (I M )1 g
M(I M )1 x(k1) x(k) 两边取范数即得。
Th6.2.4 设 B 为Jacobi法的迭代矩阵，若
B 1
则Gauss-Seidel迭代收敛，而且有估计式
x(k) x
k
x(1) x(0)
1
其中
n
max i
上述方法称为Jacobi迭代法，简称J法或简单迭代法
分量形式：
i 1
n
bi
aij
x(k) j
aij
x
(k j
)
x ( k 1) i
j 1
ji 1
a ii
;i 1, 2,L , n
二、 Gauss-Seidel迭代法
在J迭代公式中，计算 xi(k1时) ，利用已经算出来的新的
x ( k 1) 1
§6.1 Jacobi和Gauss-Seidel迭代法
一、 Jacobi迭代法
设方程组 Ax b; A (aij )nn , b (bi )1n;det( A) 0
将系数矩阵分裂为：A D L U
其中 D diag(a11, a22 ,K , ann )
0
a21 0
L a31 a32 0
x ( k 1) 1
(14 3x2(k)
x3(k ) ) 10
迭 代 格
x(k 1) 2
(5
2 x1(k1)
3x3(k) ) (10)
式
x ( k 1) 3
(14
x ( k 1) 1
3x2(k1) ) 10
Jacobi迭代法 取初值 x (0 0 0)T
要求 迭代
计 精度 次数
方程组的近似解
思 路
与解f (x)=0 的不动点迭代相似 ， 将方程组 A x
等价改写成 x M x形式g，从而建立迭代格式
x(k1) M x(k) g ，从 x(出0) 发，生成迭代序列 {
x(k
b
)}
迭代法是一种逐次逼近的方法,与直接法比较, 具有:
程序简单,存储量小的优点。特别适用于求解系数
矩阵为大型稀疏矩阵 /* sparse matrices */ 的方程组。
x(k) x M ( x(k1) x ) L M k ( x(0) x )
lim x(k) x M k O
k
Th6.2.1 求解方程组 Ax b 的单步线性定常迭代法
x(k1) M x(k) g, k 0,1, 2,L
收敛的充要条件是 (M )。 1
上述定理说明：
（1）迭代法是否收敛取决于迭代矩阵的谱半径，与初 始向量和常数项无关。
x D1Lx D1Ux
注意到 B D1L D1U
则前述关系式的第i个方程为
i 1
n
i bij j bij j
j 1
ji 1
两边取绝对值得
li ui
ui 1 li
li
ui
1
(M) 1
最后证明估计式
x(k) x(k1) (D L)1U x(k1) x(k2)
再对 x(k) x *
x(i ) x(i1) 两边取范数得
ik
x(k) x
x(i ) x(i1)
ik
i x(1) x(0)
k
x(1) x(0)
ik
1
Th6.2.5 设 B 为Jacobi法的迭代矩阵，若 B 1 1
则Gauss-Seidel迭代收敛，而且有估计式
件，通常采用矩阵的1-范数、 -范数来判定。
Th6.2.3若迭代矩阵 M 的范数 M q 1，并假定
范数满足 I 1，则迭代法 x(k1) M x(k ) g
的第k次迭代向量x(与k )精确解 的x误差满足：
x(k ) x q x(k1) x(k )
证明：
1 q
x(k) x Mx(k1) g Mx g
k
Def 1（相容性）
如果方程组 Ax b与 x Mx g等价， 即存在可逆矩阵 G ，使得
G(I M ) A,Gg b 则称迭代法 x(k1) M x(k) g与已知方程组是相容的。
Jacobi迭代法：M D1(L U ) I D1A
D(I M ) A Gauss-Seidel迭代法： M ( D L)1U
证明： 1 1
1
记 D D2 D2 其中D2 diag( a11 , a22 ,L , ann )
迭代矩阵
B
I
D 1 A
1
D 2(I
1
D2
1
AD 2
1
)D2
1
1
矩阵 B 和I D 2 AD 2相似，故有相同的特征值；且
1
1
1
1
1
1
D 2 AD 2 、I D 2 AD 2、2I D 2 AD 2对称
max j
x jk 1
x
j
k
2
不妨假设
xi0k
xk 1 i0
max j
x
k
j
x
j
k
1
x(k ) x(k1)
li0
x(k ) x(k1) ui0
x(k1) x(k2)
x(k ) x(k1) ui0 x(k1) x(k2)
1 li0
x(k1) x(k2) L k1 x(1) x(0)
1 M 1 q
x(0) x x(0) (I M )1 g (I M)1 (I M )x(0) g
(I M )1 x(0) Mx(0) g
(I M )1 x(0) Mx(0) g (I M )1 x(0) x(1) 代入前述不等式即得。
利用矩阵的范数判定迭代收敛只是一个充分条
上述两种方法都可以写成如下迭代形式：
x(k1) M x(k) g, k 0,1, 2,L
称为单步定常线性迭代法，M为迭代矩阵，g 为常数项。
当迭代公式产生的序列
x(k)
收敛到向量
x，
k0
即 lim x(k) x ，则称该迭代法收敛，否则为发散。
k
？ lim x(k) x x M x g A x b
11
2 20
计算特征值：1 0, 2,3
5 2
(B) 1
G-S法的迭代矩阵为
20
G (D L)1U 1 1
1 00
1
1
0 0 0 1
1 1 2 0 0 0
10 0
2
0 1 1
0
1 2
1 2
1 1 0
2 0
1 2
1 2
0
0
0 0
1 0
0
1 2
00
1 2
1
(G) 1 1 G-S法收敛
10 3 1 x1 14
2 10 3 x2 5
解：
1 3 10 x3 14
x ( k 1) 1
(14 3x2(k)
x3(k ) ) 10
Jacobi
迭 代
x(k 1) 2
(5
2 x1(k )
3x3(k) ) (10)
格 式
x ( k 1) 3
(14
x(k) 1
3x2(k) ) 10
G-S
再由 2D A 的正定性知
（2）而对于同一个方程组，不同的迭代法对应的迭代 矩阵的谱半径一般不会相同，因而收敛性也 不同。
例2：说明用J法和G-S法求解下列方程组的收敛性：
2 1 1 x1 3
1 1 1 x2
6 J法不收敛
解：
1 1 2 x3 3
2 1 1
0
1 2
1 2
A 1 1 1 M I D1A 1 0 1
1 1 2
(D L)(I M ) A
引理 6.2.1 迭代法 x(k1) M x(k) g 收敛的充要条件是M k O 证明：设迭代法 x(k1) M x(k) g 收敛，则有
lim x(k) x x M x g
k
设 x 为方程组 Ax b 的解，由相容性知， Ax b x M x g
,
x ( k 1) 2
,L
, xi(k11)值，从而得到G-S迭代法。
G-S迭代法是J迭代法的一种改进
➢ G-S迭代法的分量形式：
i 1
n
bi
aij
x(k 1) j
aij
x
(k j
)
x ( k 1) i
j 1
ji 1
a ii
;i 1, 2,L , n
例1：利用Jacobi和Gauss-Seidel迭代法求解方程组
算 0.001 9 (1.0002507 1.0000694 1.0002507)
结 果
0.0001 10 (0.9999541 1.0001253 0.9999541)
0.00001 14 (0.9999981 1.0000020 0.9999981)
Gauss-Seidel迭代法 取初值 x (0 0 0)T