方程组的迭代解法

Ux D b
(k )
1
D Ux I D L D b
1 (k ) 1 1 1 1
[ D L U ]x D L b
x
( k 1)
Bs x
(k )
gs
1
这里Seidel矩阵Bs ( D L) U
gs D L b
g D L
D ， L ，U 与


1
b；
Seidel 迭代矩阵中的意义相同。
可以证明，SOR 法迭代格式收敛的必要条件为
0 2。 SOR 法的难点是选择合适的松弛因子 使
迭代格式
x
m1
1 x
m
x
m1
或x
m1
B x
m
x
称为 SOR 迭代格式，通过
适当调整 的值，一般可使原迭代法收敛加快，当
1时，SOR 迭代格式就是 Seidel 迭代格式。
通过推导，可以得到 SOR 法的矩阵迭代形式为： m1 m
x
B x
g
其中：
B D L


1
1 D U 称为 SOR 法的迭代矩阵；
k 1
x
m1
1 x
m
x
m1
m k , k 1,
其中实参数 称为松弛因子， x Seidel 迭代值，即 x 式x
m1
m1
是由 x 产生的
m
m1
BS x
m1
m
gS 。
1 x
科学与工程计算
北京科技大学数理学院 卫宏儒 Weihr168@yahoo.com.cn
第5章:方程组的迭代解法
Jacobi迭代法又称为简单迭代法或同时代换法， 是解线性方程组的最简单的迭代方法；而Seidel 迭代法是对Jacobi迭代法的改进；SOR法是由 Seidel迭代法演变而来。 由于收敛速度较慢，已经越来越不适应当前信息 时代人们对计算速度和精度的要求，但是，他们 体现了迭代法的最基本的思想，是学习其它迭代 法的基础。 主要学习迭代法的实现过程，收敛性判定以及误 差估计。
（一）引言
直接法是通过有限步运算后得到线性方程组的 解，解线性方程组还有另一种解法，称为迭代 法，它的基本思想是将线性方程组 Ax=b 化为 x=Bx+f 再由此构造向量序列{x (k)}: x(k+1)=Bx (k)+f 若{x (k)}收敛至某个向量x *，则可得向量x * 就是所求方程组 AX=b 的准确解。 线性方程组的迭代法主要有Jocobi迭代法、 Seidel迭代法和超松弛(Sor)迭代法。
k

例5-2；5-3
定理 2 提供了判别迭代格式
x
k 1
Bx g
k
的收敛的等价条件。 不过由于 B 一般不容易求 出，实用中较少直接应用定理 2，而是采用由定 理 2 得出的判别条件。 定理 1 说明了谱半径与矩 阵范数的关系， 由于范数一般较容易计算， 故可 得到以下判别定理。
x
k 1
Bx g
k
定理 1
对任何 A Rnn ，都有 A
A
，这里 A 是
矩阵 A 的任何算子范数。 证明 设 i 和 xi 是矩阵 A 的任一特征值和对应的 特征向量，则有 Axi i xi ，两边取范数，有
i xi i xi Axi A xi
m
g
收敛最快。目前对少数特殊类型的矩阵，已找到最 佳松弛因子的理论公式，但实际使用仍有一定的困 难。因此，通常是采用试算的方法来寻求近似的最 佳松弛因子。例如在区间 0, 2 中依次选择几个松弛 因子，通过比较相应的收敛速度来确定其中最快的 一个 即可。
（五）、收敛性及误差估计
( k 1)
BJ x
(k )
gJ
（三）、Seidel迭代法
为了加快收敛速度，同时为了节省计算机的内存，我们 作如下的改进：每算出一个分量的近似值，立即用到下一个 分量的计算中去，即用迭代格式：
xi
(k )

bi aij x j
j 1
i 1
( k 1)

j i 1
aij x j
x=
x1 x2 .. xn
a11 a22 D= .. ann
g=
g1 g2 易看出:BJ =D-1(D-A)=I-D-1A .. gn
Jacobi迭代公式
n
xi
( k 1)

j 1 j i
aij aii
x
(k ) j
bi aii
i 1, 2 ,,n
Jacobi迭代的矩阵格式 x
1
gs D L b
1
（四）、SOR法介绍
当使用 Jacobi 迭代法或 Seidel 迭代法解线性方 程组 Ax b 时，可能会出现收敛极慢的情况，为了提 高迭代收敛速度，我们再给出时 SOR 法，此方法又 称 为 超 松 弛 法 （ Successive Over Relaxation Method） ，它具有提高迭代收敛速度的功能。SOR 法 由 Seidel 迭代法演变而来， 其基本思想是利用原迭 代的第 k 次迭代值 xk 及由 xk 产生的下一步 Seidel 迭 代值 x 的加权平均构成新的迭代格式。
xn(k+1)=cn1x1(k+1) +cn2x2(k+1)+
+cn(n-1)xn-1(k+1)
假设 aii0 令
cij = -aij /aii (ij) gi= bi /aij , i=1,2,3,n
x( k 1) Bs x( k ) g s 这里Seidel矩阵Bs ( D L) U
赋范线性空间 R n 中的任何一组点列都有收敛与发散 的问题。因此，由 Jacobi 迭代格式或 Seidel 迭代格式 产生的点列也有这样的问题，当点列收敛时，可以成功 地逼近所求解，若点列发散，将不能逼近解；此时应该 及时终止迭代过程而转向用其它方法求解。讨论 Jacobi 迭代和 Seidel 迭代的收敛条件。 为此，先把这两种迭代 格式写成统一的形式
k x Bx g ， 用 lim x x 设 ，则有
k
x
k 1
Bx g 与其相减得：
x
k 1
k
x Bx g Bx g B x x
k k




反复利用上式，有：
P106定理5-1
x
定理5-2的前半部分
假设 I B 是奇异矩阵，则有非零向量 x1 R ，满足 I B x1 0 ， 由 此 可 得 x1 Bx1 。 取 范 数 有
n
x1 Bx1 B x1 ，因为 x1 0 ，所以有 B 1 ，这与
B 1 矛盾。矛盾说明 I B 是奇异的假设不对，这样
（二）、Jacobi 迭代
设有方程组 a11x1+a12x2+····+a1nxn=b1 a21x1+a22x2+····+a2nxn=b2 . . . . . . . . . . . . an1x1+an2x2+····+annxn=bn
用矩阵表示：Ax =b
（A 为系数矩阵，非奇异；b为右端列 向量，x为解向量）
+c1nxn(k)+g1 +c2nxn(k)+g2
+ gn
。。。。。。。。。。。。。。。。。。。。。。。。。。。。 xn(k+1)=cn1x1(k) +cn2x2(k)+ +cn(n-1)xn-1(k)
BJ=
0 c21 … cn1
c12 c13 … c1n 0 c23 … c2n … … … … cn3 cn4 … 0
若在求解过程中 xkx*(k)，由 xk+1=(xk) 产生的迭代 xk向x*的逼近 ，在数次迭代求解之后 ，由于机器跳动产生的xk值误差或是有效数字产生 的舍入误差，都会在第k+1次迭代计算中自动弥补过 来或逐步纠正过来。因此，在迭代求解过程中产生 的各种误差是可以忽略的，即迭代求解无累积误差 ，实际上，xk只是解的一个近似，机器的舍入误差 并不改变它的此性质。 迭代过程中经常要遇到向量范数，矩阵范数 以及序列极限的概念。（前面已作介绍）
1
Seidel迭代法的具体形式
Seidel迭代格式 x1(k+1)= c12x2(k)+c13x3(k)+ +c23x3(k)+ +c1nxn(k)+g1 +c2nxn(k)+g2 + gn
x2(k+1)=c21x1(k+1)
。。。。。。。。。。。。。。。。。。。。。。。。。。。。
就证得了 x Bx g 在 B 1 有唯一解。 设 x 是其唯一解，则有 x Bx g ，由定理 1 可得 B B 1 ，再由定理 2 得出定理成立。
定理 3 给出了判别迭代格式
x
k 1
Bx
0
k
g
对任意初始向量 x 都收敛的实用判别法。它对 Jacobi 迭代法和 Seidel 迭代法都适用。根据这个判 别定理， 通常利用矩阵的三个范数 A 1 ， A 2 ， A 是 否有小于１的情况来判别收敛。不过，由于 A 2 较难 计算， 利用 A 2 A F 的条件， 可用 A F 1代替 A 2 1 来判别。 但要注意的是定理 3 是一个充分条件， 当上 述几个范数有一个小于 1 时可得收敛结果； 然而当它 们都大于 1 时不能得出发散的结果。
因为 xi 不是零向量，所以 xi 0 ，对上式同除 xi ，即得
i A ，利用 i 的任意性，可得
A max i A
1i n
P38定理２－１１
定理 2 迭代格式 x 半径 B 1 。 证明
ቤተ መጻሕፍቲ ባይዱ
k 1
Bx g 对由任何初始
k
向量 x0 Rn 产生的点列 x k 都收敛的充分必要条件是谱
1
1
D Lx
1
( k 1)
D Ux
1
(k )
D b
1
x
( k 1)
D Lx
1
1
( k 1)
D Ux D b
(k ) 1 1
1
1
I D L x D x I D L
( k 1) ( k 1) 1 1 (k )
以 B 1 ，必要性得证。
反过来，假设 B 1 ，则矩阵 I B 是非奇异
I B x g 矩阵，于是可知方程组 有唯一解 x ，从
x Bx g ，利用关系式（1）及（2） 而得到关系式
x x ，充分性得证。 可得 lim k
k 1
x B 2 x

k 1
x B
k

k 1

x x
0

（1）
lim x x 由 x 的任意性及 ，可得
k
0
lim Bk 0
k
k
（2）
k
B 0 ，又因定理 1 及 B Bk Bk ，所 所以 lim k
定理 3 若矩阵 B 的某种算子范数 B 1 ，则迭 代格式 x
k 1
Bx g 对任何初始向量 x0 都收
k
x Bx g 敛于方程组 的唯一解 x 。
证明 先证方程组 x Bx g 在 B 1 时有唯一解。由 x Bx g ，得 I B x g ，因此当矩阵 I B 是非奇异 时可保证有唯一解。
n
( k 1)
aii
这样所得的迭代法就称为Gauss-Seidel迭代法，也称为 “异步迭代法”，简称为GS迭代法．利用Ax=b 及 A=L+D+U,其中D为对角矩阵,L,U分别为严格下，上三角矩 阵．则有，GS迭代法的矩阵形式为:
x D Lx D Ux D b x
( k 1)
1
}
• 把方程组写成容易迭代的形式：
假设 aii0 令 cij = -aij /aii (ij) gi= bi /aij , i=1,2,3,n
则
Jacobi迭代格式 若令
{
x1(k+1)= x2(k+1)=c21x1(k)
c12x2(k)+c13x3(k)+ +c23x3(k)+