线性方程组迭代法收敛性分析

由(2.29)可得
lim G k x 0 x* 0
k


由于一般有 x 0 x* 0 ，则有
lim G k 0
k


再由定理 2.6，得
(G ) 1 .
注：定理 2.7 还有其它的证明方法，参见文献[16]~[21]. 2.2.3 迭代法收敛性判定方法总结 仔细观察上一小节中关于迭代法收敛的条件及相关定理， 不难发现当系数矩 阵满足对角占优时，由定理 2.4 可知迭代法是收敛的. 如果系数矩阵不满足对角 占优，则可以根据定理 2.2 计算迭代矩阵的某种范数是否满足 G 1 ，满足则迭 代法收敛.不过由于矩阵的范数有无穷多种，我们一般只计算简单的 G 1 , G ， 这里需要说明的是即便这两种范数都大于 1，并不能说明迭代法发散，因为定理
x ( x1 , x2 , , xn )T ,
记
2 2 . x 2 x12 x2 xn
以此来刻画向量序列的收敛性，设向量序列
(k ) (k ) x ( k ) ( x1( k ) , x2 , , xn ), k 1, 2, , n.
和向量
* * * x* ( x1 , x2 , , xn ).

max
1i n
j 1, j i

aij
1 max aii 1i n aii
j 1, j i

aij 1，
(2.24)
由定理 2.1 可知 I I D 1 A D 1 A 为非奇异阵. 又因为 D 为非奇异阵，则 D 1 也是非奇异的，所以 A 是非奇异矩阵. 则雅可比迭代公式和 定理 2.4 若方程组 Ax b 的系数矩阵 A 为对角占优阵， 高斯-塞德尔迭代公式均收敛. 证明：雅可比迭代矩阵为
A 1 max aij ；
1 j n i 1
n
② ∞-范数（行范数）
A max aij ；
1i n j 1 n
③ 2-范数（谱范数）
A2 ，
其中 为 AT A 的最大特征值. 向量范数和矩阵范数都满足下面的重要结论，即相容性：
Ax A x , AB A B .
lim x x* lim G k x x* 0 ，
k
0
k


k


再由向量范数的定义可知
lim x k x* 0 ，
k
即迭代过程收敛. （必要性） 若迭代公式(2.20)收敛，即满足
lim x x* 0
k k


i 1 n 1 2 2 i
④ P-范数
x
⑵ 矩阵的范数
p
( xi ) .
p i 1
n
1 p
仿照向量范数的概念， 可以推广至矩阵的范数的概念.最直接的一种推广是：
A
该范数称为 F-范数. 常见的矩阵范数还有： ① 1-范数（列范数）
F
2 2 ( aij ) ， i , j 1
n
1
2.2 只是迭代法收敛的充分条件.经验告诉我们，当 1-范数或∞-范数大于 1，但很
接近 1 时， 迭代法极有可能是收敛的.此时应利用定理 2.7 计算迭代矩阵的谱半径， 即判定是否满足 (G ) 1 ，满足则说明迭代法收敛，不满足则说明迭代法发散. 综上所述，我们总结判定迭代法是否收敛的步骤如下：
k
lim Ak 0 .
k
(2.27)wenku.baidu.com
由定理 2.5 知，
( A k ) Ak ，
即
( A)
由(2.27) 和(2.28)可得
k
Ak .
(2.28)
lim ( A) 0
k k
再由矩阵谱半径的定义可知一定有 ( A) 1 . （必要性） 若 ( A) 1 ，则有定理 2.5 的推论可知至少存在一个 0 使得一种范数
证明：假设 I G 为奇异阵，则存在非零向量 x ,使得
I G x 0 ，
即有
x Gx .
由(2.16)可得
x Gx G x ，
即
x G x ，
(2.19)
因为已知条件为 G 1 ，所以(2.19)不可能成立，故原命题成立. 定理 2.2 （迭代法收敛的充分条件） 若迭代矩阵的某种范数 G 1 ，则迭代公式
x 1 x* G x 0 x* x 2 x* G x 1 x* x 3 x * G x 2 x * x k x* G x k 1 x*
反复使用上述不等式可以得到：
x k x* G
J I D 1 A ，
由(2.24)知 J

1 ，再由定理 2.2 知雅可比迭代收敛.
高斯-塞德尔迭代矩阵为
G D L U ,
1
令 y Gx ，则有
y D 1 Ly D 1Ux ，
写出分量形式为
yi
j 1
i 1
aij aii
yj
Ax x .
由(2.16)可得
x x Ax A x ，
又 x 0 ，所以有
A ，
于是由 的任意性可知 ( A) A . ，即 注：由定理 2.5 可以得到下面的推论（见文献[2]） 对任意的 0 ，至少存在一种范数使得
A ( A) .
x* Gx* d
将(2.20)与(2.21)两式相减得
(2.21)
x k 1 x* G x k x* .
由(2.16)可得


x ( k 1) x* G ( x ( k ) x* ) G x ( k ) x* .
于是随着 k 的不断取值，可得下面的不等式：

n
aij aii , i 1, 2, , n
(2.17)
( A) max i ，
1 i n
(2.18)
称为 A 的谱半径.
2.2.2 迭代法收敛的条件及相关定理 定理 2.1 对于给定矩阵 G R nn ，若这个矩阵的某种范数 G 1 ，则矩阵
I G 为非奇异阵.
x k 1 x* G x k x* ，
当 k 逐渐增大时，反复利用上式，得


x k x* G k x 0 x* .


(2.29)
由定理 2.6 可知，当 (G ) 1 时，有
lim G k 0 ，
k
(2.30)
由(2.29)和(2.30)可得
x k 1 Gx k d
(2.20)
对任意初值 x 0 均收敛. 注：该定理只是充分条件，即迭代法收敛并不一定要 G 1 ； G 只是某一种或 几种范数，下面给出证明. 证明：由于 G 1 ，结合定理 2.1 可得 I G 为非奇异阵. 于是方程 I G x d 有唯一解 x* ，即
若有
lim x ( k ) x* , 即 lim xi( k ) xi* ,
k k
则有 lim x ( k ) x*
k 2
0.
常见的向量范数有： ① 1-范数
x 1 xi ；
i 1
n
② ∞-范数
x

max xi ；
1 i n
③ 2-范数
x 2 ( x ) ；
j i 1
a
n
aij
ii
x j , i 1, 2, n .
(2.25)
设 x

max xi 1 ，而
1i n
y

max yi yk , 1 k n
1 i n
则由(2.25)得
y

yk
j 1
k 1
akj akk
y

n
akj akk
j k 1
由此推论可知当 ( A) 1 时，至少存在一种范数 A 1 .
定 理 2.6 设 A R nn ， 则 lim Ak 0 的 充 要 条 件 为 ( A) 1 . （ 其 中
k
Ak AA A）
k
证明： （充分性） 若 lim Ak 0 ，则由矩阵范数的定义可知
0 a21 1 I D A a22 an1 ann
由对角占优条件(2.17)可得
n

a12 a11 0

an 2 ann
a1n a11 a2 n a22 ， 0
n
I D 1 A
由此整理得
y


j k 1

n
akj akk akj akk
1
j 1
k 1
(2.26)
由对角占优条件(2.17)可知(2.26)右端小于 1，故有
G

max y
x

1

1
根据定理 2.2 可知高斯-塞德尔迭代收敛. 注：系数矩阵满足对角占优时，对于超松弛法同样是收敛的，以上定理的详细证 明过程见文献[13]~[18]. 定理 2.5 若 A R nn ，则有 ( A) A （ 为任意范数）. 证明：设 为 A 的特征值，则存在非零向量 x ，使得
(2.16)
以上内容参见文献[5]~[12]. ⑶ 对角占优阵 定义 2.1 设 A R nn ，若其主对角线的元素绝对值大于同行其它元素绝对值 之和，即 则称 A 为对角占优阵. ⑷ 谱半径 定义 2.2 设 A R nn ，其特征值为 i , i 1, 2, , n .记
j 1, j i
因为 G 1 ，所以有
lim G
k k
k
x 0 x* .
(2.22)
0
(2.23)
由(2.22)和 (2.23)可知
lim x k x* 0
k
因此迭代过程收敛，原命题成立. 定理 2.3 若 A 为对角占优阵，则它是非奇异的. 证明： 因为 A 为对角占优阵， 则其主对角线元素 aii 0 ， 所以 D diag aii 为 非奇异阵. 考察矩阵
考查方程
Ax b ，
建立某种迭代公式
x
k 1
Gx d ,
k
步骤 1：观察系数矩阵 A 是否满足对角占优，满足则迭代法收敛，不满足转步骤
2；
步骤 2：计算迭代矩阵是否存在一种范数满足 G 1 （一般只计算 G 1 , G ） ， 满足则迭代法收敛，不满足转步骤 3； 步骤 3：计算迭代矩阵的谱半径是否满足 (G ) 1 ，满足则迭代法收敛，不满足 则迭代法发散. 有了上面的结论，不仅让我们清楚地认识迭代法的收敛条件，也为我们利用 计算机进行迭代法的编程计算提供了理论依据.
A 1.
又 Ak A A A A ,且
lim A 0 ,
k k
k
所以
lim Ak 0 .
k
由范数的定义可知一定有 lim Ak 0 .
k
定理 2.7 （迭代法收敛的充要条件）迭代公式 (2.20) 收敛的充要条件为
(G ) 1 .
证明： （充分性） 若 (G ) 1 ， 易知方程 x Gx d 有唯一解 x* ， 即满足(2.21)， 将(2.20)与(2.21) 两式相减得
2.2 线性方程组迭代法收敛分析
之前我们学习了三种常见的迭代法，也给出了各自的迭代公式，但是对于不 同的线性方程组每种迭代法并不是都满足收敛的， 迭代法对于系数矩阵有着特殊 的要求，本节将详细分析一下迭代法满足何种条件才保证迭代过程是收敛的. 2.2.1 预备知识 ⑴ 向量的范数 为了研究迭代过程的收敛性，对向量的“大小”引进某种度量.对于向量：