3第三章 线性方程组迭代解法

Ax = b
由克莱姆法则可知 (1)有唯一解.
School of Math. & Phys.
1
North China Elec. P.U.
Numerical Analysis
2011-8-17
J. G. Liu
第三章 线性方程组的迭代解法
直接法得到的解理论上是准确的，但是我们可以看得出，它们的 计算量都是n3数量级，存储量为n2量级，这在n比较小的时候还比较合 适（n<400），但是对于现在的很多实际问题，往往要我们求解具有 高阶系数矩阵的线性方程组，而且该矩阵往往是稀疏矩阵，即矩阵中 稀疏矩阵， 稀疏矩阵 含有大量的零元素。对于这类线性方程组，用直接法求解效率很低 （不保稀疏性）。这就要求我们使用迭代法 迭代法。 迭代法 迭代法 构造一个向量序列，使它的极限是所求线性方程组 的解向量。因此，即使计算过程是精确的，也不能通过有限步算术 运算求得方程组的精确解，只能是逐步逼近 逼近！ 逼近 因此，迭代法需要考虑收敛性 精度控制 收敛性和精度控制 收敛性 精度控制问题！ 本节主要介绍： 1、Jacobi迭代； 2、Gauss-Seidel迭代; 3、超松弛迭代法（SOR); 4、共轭梯度(CG) 法。 School of Math. & Phys. 2 North China Elec. P.U.
j = i +1
∑a x
ij
n
(k ) j
) = 1,2,⋯, n) (i
School of Math. & Phys.
9
North China Elec. P.U.
Numerical Analysis 迭代算法的收敛性： 迭代算法的收敛性：
(1) Jacobi迭代算法收敛 Gauss-Seidel迭代算法收敛 (2)
事实上，令 A = M − N ( M 非奇异 ) ，则
k→∞
k→∞
(4.1)
Ax = b
若 并且， 所以，
(M − N ) x = b
Mx = b + Nx
迭代格式
x = M −1 Nx + M −1b
给定初值x(0)，可以构造序列 构造序列
#
(3.2) x ( k +1) = G x ( k ) + g = 0,1,2,⋯) (k x( k ) → x * x* = G x * + g Ax* = b
R(G ) = lim Rk (G ) = − ln ρ (G )。
k →∞
School of Math. & Phys.
4
North China Elec. P.U.
Numerical Analysis
2011-8-17
J. G. Liu
下面给出迭代格式(3.2)收敛的一个充分条件及误差估计， 定理2 定理 若 G < 1 ，则 (1) 方程组(3.1)的解x*存在并且唯一； (2) 对迭代格式(3.2)有
GJ < 1
2011-8-17
J. G. Liu
ρ (G J ) < 1;
ρ ( G G − S ) < 1;
Jacobi迭代收敛； Gauss-Seidel迭代收敛；
GG − S < 1
(3) 若A按行（列）严格对角占优 A按行 按行（ 严格对角占优，则Jacobi迭代和Gauss-Seidel迭代收敛；# (4)
7 North China Elec. P.U.
A = D + L +U
School of Math. & Phys.
Numerical Analysis 非奇异， 若D非奇异，∀ x 非奇异
(0)
2011-8-17
J. G. Liu
∈ Rn,
由 Ax = b ⇔ ( D + L + U ) x = b 可以得到 1、Jacobi 迭代算法 令 M = D; N = −( L + U ) 从而可得Jacobi 迭代算法： 可得：
注： 由①知可由 x ( k ) − x ( k −1) < ε 或 迭代是否停止的判断条件！ 可作为迭代是否停止的判断条件 迭代是否停止的判断条件
x ( k ) − x ( k −1) x
(k )
<ε
School of Math. & Phys.
6
North China Elec. P.U.
Numerical Analysis
定义1 平均收敛速度定义为 Rk (G ) = − 定义 迭代法（3.2）的平均收敛速度 平均收敛速度 引理 设A∈Rn×n，‖•‖为任一矩阵范数，则 ∈
1 ln G k k 注： 平均收敛速度与范数和迭代次数有关，计算不便！
1 k k
。
lim A
k →∞
= ρ ( A)
定义2 渐近收敛速度定义为 定义 迭代法（3.2）的渐近收敛速度 渐近收敛速度
Numerical Analysis
2011-8-17
J. G. Liu
3.1 迭代法的一般形式及其收敛性
设 A = ( a ij ) ∈ R n × n 非奇异， b ∈ R n 非零， 求 Ax = b 的解。 ? 设 {x ( k ) } x *, k 下面考虑 limAx (=) b= x * ⇔ lim x i(= )Gx + g( i = 1, 2 , ⋯ , n ) , x k = x i∗
若A为正定矩阵 正定矩阵，则Gauss-Seidel迭代收敛。# 正定矩阵 没有必然联系！ 两种方法都存在收敛性问题，但两者的收敛性没有必然联系 没有必然联系 有例子表明：Gauss-Seidel法收敛时，Jacobi法可能不收敛；而Jacobi 法收敛时， Gauss-Seidel法也可能不收敛。
也可写成如下形式： 易于编程实现
x ( k +1) = D −1 (b − Lx ( k +1) − Ux ( k ) )
算法的分量形式为(只能逐个元素进行计算 ： 只能逐个元素进行计算) 只能逐个元素进行计算
xi
( k +1)
i −1 1 ( k +1) = (bi − ∑ aij x j − aii j =1
注:
School of Math. & Phys.
10
North China Elec. P.U.
Numerical Analysis
2011-8-17
J. G. Liu
算法描述: 算法描述
Jacobi迭代算法： 迭代算法： 迭代算法 给定迭代初始向量x(0)，置迭代次数k=0，精度要求 ε 和最大迭代次数N；
(1) 计算 x (1) = − D − 1 ( L + U ) x ( 0 ) + D − 1b ，k=k+1； (2)
若 x (1 ) − x ( 0 )
∞
< ε ，则停止计算（x(1)作为方程的解）；
(3) 若 k=N，则停止计算（输出某些信息），否则x(0)=x(1)，转(1)；
注：
1） 将 (1)中的迭代公式换作 x
−x +x −x
∗
∗
(k )
≥ x ( k ) − x∗ − x ( k +1) − x∗
由迭代公式(3.2)
(k )
(k ) ∗ ≥ x ( k ) − x∗ − G x ( k ) − x∗ = (1 − G ) x − x
∴ x (k )
G ∴ x − x* ≤ x ( k ) − x ( k − 1 ) ①得证！ 1− G k G G − x* ≤ x ( k ) − x ( k −1) ≤ x (1 ) − x ( 0 ) ②得证！ # 1− G 1− G
Numerical Analysis
2011-8-17
J. G. Liu
由于
定理1 定理
lim G k = 0 ⇔ ρ ( G ) < 1
k →∞
迭代格式(3.2) ∀ g ∈ R n , x ( 0 ) ∈ R n 收敛
ρ (G) < 1.
由（3.3）式可得
x ( k ) − x * ≤ G k ( x (0) − x*)
2011-8-17
J. G. Liu
M = D + L; N = −U
可得：
x = − ( D + L ) −1Ux + ( D + L ) −1 b
从而可得Gauss-Seidel迭代算法：
x ( k +1) = GG − S x ( k ) + g = 0 ,1, 2, ⋯) (k 其中 G G − S = − ( D + L ) −1U , g = ( D + L ) −1 b
(1)
= D −1 (b − Lx (1) − Ux ( 0 ) )
即为G-S迭代的算法描述！
2） 通常取向量的无穷范数！
School of Math. & Phys.
11
North China Elec. P.U.
Numerical Analysis
2011-8-17
J. G. Liu
3.3 超松弛 超松弛(SOR)迭代算法 迭代算法
Numerical Analysis
2011-8-17
J. G. Liu
线性方程组的解法
考虑如下线性方程组
a 11 x 1 + ⋯ + a 1 n x n = b1 ⋮ a x + ⋯ + a x = b nn n n n1 1
写成矩阵形式 其中 det( A) ≠ 0,
3; D −1b