第3章 解线性方程组的迭代方法

0
0 U
a1 n a2n a n 1, n 0
A D L U , 因 D 存 在 ， 故 Ax b x D
1
(L U )x D b
1
记
BJ D
1
(L U ) I D
1
A,
(k )
fJ D b
k k
一、简单迭代思想
设矩阵A可逆，把矩阵A分裂为 则
A Q C, Q 0,
1 1
A x b (Q C ) x b (I Q C )x Q b
x Bx f .
迭代过程
x k 1 B x k f ,
(1)
B称为迭代矩阵。 给定初值 x 0 , 就得到向量序列 x 0 , x1 , x n ,
x
(0)
|| x || || x
* (k ) (k )
故 || x
(k )
x || || x
x
( k 1)
( k 1)
x( k 1)来自x( k 1)
|| || x
( k 1)
x ||
*
|| B |||| x
x
|| || B |||| x
x ||
Dx
Lx Ux
其中
a1 1 D a1 2 0
a 22 a nn a1 3 a 23 0
1
0 a 21 , L a 31 a n1
0 a 32 an2
0 a n , n 1
b i ) / a ii
( a1 2 x 2
a1 3 x 3
(k )
a1 n x n
(k )
b1 ) b2 )
即
( a 2 1 x1
(k )
a 23 x3
(k )
a2n xn
(k )
an 2 x2
(k )
a n , n 1 x n 1 b n )
m ax | x i
1 i n ( k 1)
xi
(k )
|
或
|| x
( k 1)
x
(k )
||
终止迭代过程。 上述这种求解方程组的方法称为Jacobi迭代法。
Jacobi迭代法的步骤：
假设 A非奇异, 且 aii ≠0, i =1,2,…,n 1、写出等价方程组—即将第 i 个方程的 xi 解出。 2、写出相应的迭代格式 分量式：
A P J A P JP
1
J 为对角分块矩阵( Ji 称为Jordan块):
J1 J J2 Jr
其中:
i Ji
1
i

1 i n n i i
ni 为特征值λi 的重数, 且 n1+n2+…+nr= n 由于
( B ) 1.
0
证：
x* Bx* f x k 1 B x k f x k 1 x B ( x k x ) B
* * k 1
因此
( x 0 x ).
*
lim ( x k 1 x ) 0 lim B
* k k
lim x k 1 lim ( B x k f ) x B x f .
* * k k
又如何判定所给迭代格式(1)是否收敛哪？
迭代法收敛的条件
结论2：设矩阵 B R
n n
，则 lim B 0 ( B ) 1
k k
定理1：对任意初始向量 x ，由（1）得到的迭代 序列收敛的充要条件是迭代矩阵的谱半径
( i = 1 , 2 ,L , n )
lim A k ε i = 0
所以
k→∞
lim A k I = lim A k = 0
k→∞
，则 定理4 设矩阵 A Î R 充要条件是ρ( A) < 1
n´ n
lim A
k
k
0
的
证：矩阵A 相似于其Jordan标准型,即存在可逆矩阵P, 使得
P
1
k 1
0 ( B ) 1.
注：要检验一个矩阵的谱半径小于1比较困难，所 以我们希望用别的办法判断迭代格式是否收敛。
定理2：若迭代法的迭代矩阵满足 B 1 （矩阵的 某一种算子范数），则迭代格式 x ( k 1) B x ( k ) f 产生的序列 { x } 收敛于x = B x + f 的精确解x*， 且有误差估计式：
|| x || x
( k 1)
x || || B || || x
*
(k )
x ||
*
( k 1)
x
(k )
|| || B || || x
(k )
x
(k 1)
||
|| x
(k )
x
( k 1) *
|| || B ||
(k ) (k )
k 1
|| x
(1)
1
则有迭代格式： x ( k 1)
BJ x
fJ
上式称为Jacobi迭代格式，其中BJ 称为Jacobi迭代矩阵。
注：Jacobi 迭代矩阵BJ ： 其中的元素恰为原方程组系数矩阵A中的主对角 线元素换为0，而其余元素即为除以该行主对角元素 后的相反数。 Jacobi迭代法在计算xi(k+1)时所用分量仍为上一次近似 值的各个分量，但此时，我们已经求出了新近似值的 分量 x1(k+1), x2(k+1),…, xi-1(k+1)，计算 xi(k+1)时，用新分量 x1(k+1), x2(k+1),…, xi-1(k+1) 代替原来相应的分量，则得到 一种新的迭代格式，即Gauss-Seidel迭代格式。
jacobi迭代法在计算xk1时所用分量仍为上一次近似值的各个分量但此时我们已经求出了新近似值的分量i1k1计算k1时用新分量i1k1代替原来相应的分量则得到一种新的迭代格式即gaussseidel迭代格式
§3.5 大型方程组的迭代方法
迭代法研究的主要问题 1）迭代格式的构造； 2）迭代的收敛性分析； 3）收敛速度分析； 4）复杂性分析；（计算工作量） 5）初始值选择。
( k 1) x1 ( k 1) x2 x ( k 1) n 1 a1 1 1 a 22 1 a nn ( a n 1 x1
(k )
xi
( k 1)
( a i j x
j 1 ji
(k )
n
(k ) j
(k )
3、判断迭代格式的收敛性。取初值 x(0) 带入计算。
Jacobi 迭代矩阵形式
a 12 x 2 a 13 x 3 a 1n x n b1 a 11 x 1 a 23 x 3 a 2 n x n b2 a 2 2 x 2 a 2 1 x1 a 34 x 4 a 3 n x n b 3 a 3 3 x 3 a 3 1 x1 a 3 2 x 2 +b n a n n x n a n 1 x1 a n 2 x 2 a n , n 1 x n 1
Ji
k

k
ik
C k i
1
k 1

i
k
i
k
k
ni ni
lim J i 0 lim i 0 | i | 1 ( A ) 1

k
k
lim A 0 ( A ) 1
定义：若 lim x n x ,
* n
称简单迭代法收敛，否则， 称逐次逼近法不收敛或发散。
问题：x 是否是方程组 x = B x + f 的解？ 结论1：任意给定初始向量 x
0
*
，若由迭代公式(1)
产生的迭代序列收敛到 x * ，则 x * 是方程组 x = B x + f 的解。 证：
k→∞
的充要条件是对任何x∈Rn，有
证： " Þ "
k→∞
lim A k x = 0
x 危 R , || Ak x ||
n
lim A k = 0 ?
n k→∞
|| Ak || || x ||
"Ü "
?
x ? R , lim A k x
0
T
依次取 x 为 则
k→∞
ε1 , ε 2 ,L , ε n ，其中 ε i = ( 0 , L , 0 , 1, 0 , L , 0 )
解: 将方程组化为等价形式:
8 x 1 x 2 x 3 1 1 0 x 2 2 x 1 x 3 4 5 x x x 3 1 2 3
构造迭代格式:
( ( x1( k 1) 0 .1 2 5 x 2 k ) 0 .1 2 5 x 3 k ) 0 .1 2 5 ( k 1) (k ) (k ) x2 0 .2 x1 0 .1 x 3 0 .4 x ( k 1) 0 .2 x ( k ) 0 .2 x ( k ) 0 .6 1 2 3
*
整理即得估计式。
Remark: 因为矩阵范数 B 1 ，B 都可以直接用矩阵 的元素计算，因此，用定理2，容易判别迭代法的收 敛性。定理2的条件只是充分的，而不是必要的，也 就是说：如果 B 1 ，则迭代法收敛；但若 B 1 ， 我们并不能断定迭代法就一定发散，此时需要用定理 1来判定迭代法的敛散性。
k
若一个矩阵序列有极限,称这个矩阵序列是收敛的. 定理2 条件是
矩阵序列｛A k｝收敛于矩阵A 的充分必要
lim a
k (k ) i j
a
i j
（i, j =1,2,…,n）
n
( 这里 A k = ( a ijk ) ) n创n , A = ( a ij ) n
定理3
k→∞
lim A k = 0
T
(0 .2 2 3 4 3 8, 0 .3 0 6 0 5, 0 .4 9 4 6 5) ,
T
(0 .2 2 5 0 8 8, 0 .3 0 5 8 4 7 , 0 .4 9 4 1 0 2 ) ,
T
注：如何判断迭代过程终止？ 利用定理2的误差估计式可以判断迭代过程是否可 以终止，但这种方法比较麻烦，通常采用的方法是通 过前后两次迭代近似值的差来判断，即利用：
T
取初始值
x
(0)
(0, 0, 0 )
代入计算，得
x x x x x
(1) (2) (3) (4) (5)
(0 .1 2 5, 0 .4 0, 0 .6 ) ,
T
(0 .2 5, 0 .3 1 5, 0 .4 9 5) ,
T
(0 .2 2 6 2 5, 0 .3 0 0 5, 0 .4 8 7 ) ,
向量序列的极限
定义:设｛xk｝是Rn上的向量序列，
令 x k ( x1 , x 2 , , x n ) , k 1, 2,
(k ) (k ) (k ) T
又设x*＝（x1*，x 2*,…，x n*)Ｔ是Rn上的向量.
如果
lim || x k x
k
*
|| 0
则称向量x*是向量序列｛x k｝的极限 ， 若一个向量序列有极限,称这个向量序列是收敛的. 定理1 条件是
(k )
|| x
(k )
x ||
*
|| B || 1 || B || || B ||
k
|| x
(k )
x x
( k 1)
||
|| x
(k )
x ||
*
1 || B ||
|| x
(1)
(0)
||
证：由定理1、结论1和 ( B ) || B || 1 知迭代格式产 生的序列收敛于 x = B x + f 的精确解 x* 。且
A PJ P
k k 1
J 1k P
J2
k

P 1 k Jr
所以 而
lim A 0 lim J i 0
k k k k
( i 1, 2, , r )
C k i i C k i
1 k 1 n 1 k 1 ni
迭代格式的收敛速度与初始值 x (0) 有关，同时也 与||B|| 和 (B) 有关，一般来说， ||B|| 和 (B) 越小， 收敛速度越快。
Def ：R ( B )
ln ( B )
称为迭代法的渐近收敛速度。
二、Jacobi迭代法
例1：用迭代法解方程组
8 x 1 x 2 x 3 1 2 x1 10 x 2 x 3 4 x x 5x 3 2 3 1
向量序列｛x k｝收敛于向量x*的充分必要
lim x
k (k ) i
x
* i
（i =1,2,…,n）
矩阵序列的极限
定义: 设｛Ak｝是R 上的矩阵序列.若存在矩阵 n´ n 使得 lim || A k A || 0 AÎ R
k
n´ n
则称矩阵A 是矩阵序列｛A k｝的极限，记为
lim A k A