6.3迭代法的收敛定理
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
随着k的增加而趋向于解向量X *。 记各次误差向量 0 X X ( 0 )
1 X X (1)
k X X (k )
显然，迭代法的收敛性与误差向量序列
0 , 1 , , k ,
随着k的增加而趋向于零向量是等价的。 由于精确解X *自然满足
收敛速度的概念
下面我们给出收敛速度的概念： 定义6.1 R(B)= -lnρ(B)，称为迭代法的渐进 收敛速度。
将定理6.1和6.2用于Jacobi迭代法及Seidel迭代法， 则有
1. 解线性方程组 AX b的Jacobi Seidel 迭代法 收敛的充要条件是
( BJ ) 1 ( BG ) 1 ;
一、基本收敛定理
由 X(k+1)=BX(k)+f 及 X *=B X *+f
可推知
εk+1 = X (k+1) - X *= B（X (k) - X *） =· · · · · · · · · · · · · = B k+1（X(0) -X *） = B k+1 ε 0
X(k) X* B k 0 ( k ∞ )
返回节
OK! Let’s have a break!
k
设有线性
则对于任意的初始向量 X (0)，迭代法 收敛的充分必要条件是
B 1 。
定理3.1表明，线性方程组迭代 法收敛与否 与 X ( 0 )和 f 的取值无关，而只与迭 代矩阵 B 的 性质有关。
注：
1. 定理6.1为判断迭代法的收敛性提供 了强有力的手段： 注意是充分必要条件！ 2. 定理6.1的条件往往不易验证： 矩阵的谱半径不易求出！ 3. 利用谱半径的有界性可以给出另外一 个条件较弱的结果： 即定理6.2
易求
BJ
max
1i n
1 j n , j i
aij aii
由严格对角占优定义（定义6.1 ），得 BJ ∞<1,所以, Jacobi 迭代法收敛。
下面证明G-S迭代法的收敛性。对于严格对角占优阵A， 其对角元素 aii ≠ 0 ， i=1,2,,n（定义6.1 ），故
2.解线性方程组 AX b的Jacobi Seidel 迭代法 收敛的充分条件是 BJ
G
其中
B 1 。 1 1 BJ D L U , BG D L U
1
在一般情况下，计算矩阵的范数比计算谱半径省事， 所以通常是利用定理6.2进行判断。 但定理6.2只是充分条件，所以即使判断失效， 迭代法仍可能收敛，这时就应该使用定理6.1判断。
aii aij
j i
(i 1,2,
, n)
(2)
则称A是严格对角占优阵； 如果矩阵A满足条件 aii aij
ቤተ መጻሕፍቲ ባይዱj i
(i 1,2,
, n)
(3)
且其中至少有一个不等式严格成立，则称A是弱对角占优阵。
实例
例如
8 3 2 A 4 11 1 4 2 1
10.01x1 9.05 x 2 0.12 x3 1.43 1.22 x1 4.33x 2 2.67 x3 3.22 1.25 x 3.69 x 12.37 x 0.58 1 2 3
由于系数矩阵A是严格对角占优阵，因此用Jacobi 迭代 法和G-S迭代法求解该方程组均收敛。
可见
利用矩阵的Jordan标准形，可以证明(前一章中的结论) Bk 0 B 1 其中, B 叫做B的谱半径。 若B的特征值为1， n , 则
(B)
1i n
B max i
定理 3.1
方程组
迭代法收敛的充要条件
X BX f ， X ( k 1) BX f
det( D L) aii 0
i 1 n
所以矩阵（D-L）为可逆下三角矩阵，其逆也是下三角矩阵， G-S迭代法的迭代矩阵是 BG =(D - L)-1U。
考虑BG的特征值λ ，其特征方程为
det(I-BG) = det(I-(D-L)-1U) = det(D-L)-1det((D-L)-U)=０
例如 设有线性方程组 X=BX+f，其中
0.9 0.0 B 0.3 0.8 1 f 2
考察迭代法 X (k+1)=B X(k)+f 的收敛性。 解：
由于 B 1 1.2, B 2 1.02, B 1.1, B F 1.54 均大于 1，故定理3.2在此无法判断； 但因为 λ 1 =0.9, λ 2=0.8,即ρ (B) =0.9<1,由定理3.1知 本题迭代法收敛。
=>det((D-L)-U)=0
我们通过A的严格对角占优性质去证明det((D-L)-U)=0 的根有性质 | |<1。用反证法：假设| |≥1，且由于A的 严格对角占优性质，有
aii
j 1, j i
n
aij aij
j 1
i 1
j i 1
返回节
二、Jacobi 迭代法和Gauss-Seidel 迭代法的收敛速度
引子 对角占优矩阵 实例 相关定理 定理3.3的证明
返回节
引子
虽然利用定理6.1和定理6.2可以判定Jacobi 迭代 法和G-S迭代法的收敛性，但其中只有定理6.2对 Jacobi 迭代法使用比较方便，此外，对于大型方程 组，要求出G-S迭代矩阵BG和ρ(BG)以及Jacobi 迭代 矩阵BJ和ρ(BJ)都不是容易的事。
定理 3.2
迭代法收敛的充分条件 如果
0
B 1，则对任意
初始向量 X ，迭代法 X 必收敛，且有
B X ( k ) X ( k 1) (1) 1 B
k 1
BX f
k
X X
*
(k )
矩阵A的谱半径不超过矩阵的任何一种算子范数!
进一步，我们可以推知：
这里介绍一些判定收敛的充分条件，它们是利 用原方程组系数矩阵A和迭代矩阵B的特殊性质建立 的，很实用，用起来也很方便。这些判定定理也都 是以定理3.1和定理3.2为基础的。
对角占优矩阵
如果线性方程组AX=b的系数矩阵A具有某种特殊性质 （如对称正定、对角占优等），则可从A本身直接得出某 些迭代法收敛性结论。 定义6.1 如果矩阵A满足条件
n
aij , i 1, 2,
,n
这说明矩阵
a11 a ( D L) U 21 a n1
a11
a22 an 2
a11 a11 ann
是严格对角占优阵，所以它是非奇异的，即 det((D-L)-U) 0与特征值满足det((D-L)-U) =0 矛盾。 故
B (1) (0) X X* X X 1 B
(k )
k
式(1)说明，当||B||<1 且不接近1并且相邻两次 迭代向量X(k+1) 与 X (k)很接近时，则X(k)与精确解X * 很接近。因此，在实际计算中，用|| X (k+1) - X (k) ||≤ε 作为迭代终止条件是合理的。
反复利用 || X (k+1) - X*||=||BX (k)- BX*||=||B(X (k)- X*)|| ≤‖B‖.‖X (k)- X*‖, 可以得到 ||X (k)- X*||≤‖B‖k · ‖X(0)- X*‖， 可见X (0)越接近X*，序列{ X (k)}收敛越快，收敛速度 与初值X (0)的选取有关。 另一方面，由于ρ (B) ≤‖B‖<1，‖B‖越小， 说明ρ (B) 越小，序列{ X (k)}收敛越快。
迭代法程序简单，对于许多问题，收敛较快。 因而，有时能够解决一些高阶问题。 但应注意， 对于某些问题，迭代法可能发散或收敛很慢， 以致失去使用价值。这种情况下，仍以采用直 接法为宜。
只要断定系数矩阵满足收敛条件，尽管多次迭 代计算工作量大一些，却能达到预定精度。
([保障措施] 高速计算机能胜任那些程序简单、 重复量大的迭代计算，况且还有许多加速收敛 的办法做保障。)
第六章 线性方程组迭代解法
§ 6.3 迭代法的收敛定理
基本数学问题描述
迭代法的收敛性，是指方程组
AX b
从任意初始向量X(0)出发，由迭代算法
X ( k 1) BX ( k ) f
算出向量序列
X ( 1) , X ( 2 ) , , X ( k ) , X ( k 1) ,
定理6.3的证明
证 首先证明Jacobi 迭代的收敛性。由
0 a 21 B J D 1 ( L U ) a 22 a n1 a nn a12 a11 0 a n2 a nn a1n a11 a2n a 22 , 0 b1 a 11 b2 fJ a 22 b n a nn
1.25 x1 3.69 x 2 12.37 x3 0.58 10.01x1 9.05 x 2 0.12 x3 1.43 1.22 x 4.33x 2.67 x 3.22 1 2 3
无法直接判断Jacobi 迭代法和G-S迭代法的收敛性，但如果将 方程组的次序修改为
<1 即ρ(BG) <1，
G-S迭代法收敛。
定理得证。
返回章
注意的问题
（1）Jacobi迭代法和Gauss-Seidel迭代法的 迭代矩阵不同： BJ =D-1(L+U), B G-S = (D-L) -1U （2）Jacobi迭代法和Gauss-Seidel迭代法的 收敛性没有必然的联系：
即当Gauss-Seidel法收敛时，Jacobi法可能不收敛； 而Jacobi法收敛时， Gauss-Seidel法也可能不收敛。
1 1 0 B 1 1 0 0 1 2
其中 A 是严格对角占优阵；
B
是弱对角占优阵。
相关定理
定理6.3 若A为严格对角占优阵，则Jacobi 迭代法 和G-S迭代法收敛。 定理6.4 若A为对称正定阵，则G-S迭代法收敛。
在偏微分方程数值解中，有限差分往往导出对角占优的 线性代数方程组，有限元法中的刚性矩阵往往是对称正定阵， 因此这两个判断定理是很实用的。 对于给定的线性方程组，借助于定理6.3和定理6.4可以 直接判断Jacobi 迭代法和G-S迭代法的收敛性。 但同时应当注意，迭代法收敛与否与方程组中方程排列 顺序有关，如线性方程组
X BX f
因此有
X X ( k 1) B X X ( k )
或
再递推出
k 1 B k
k B 0
k
所以，迭代法收敛性与迭代矩阵的幂B k，随着k的增加 而趋向于零矩阵是等价的。 返回节
前一章的内容：
谱半径的相关定理
(谱半径有界) 设 A R nn ,则对任一种算子范数|| A || , 均有 定理 ( A) || A || 1 设 B R nn , 则 Bk 0(k ) 的充分条件是B的 谱半径 ( B) 1 定理 2
1 X X (1)
k X X (k )
显然，迭代法的收敛性与误差向量序列
0 , 1 , , k ,
随着k的增加而趋向于零向量是等价的。 由于精确解X *自然满足
收敛速度的概念
下面我们给出收敛速度的概念： 定义6.1 R(B)= -lnρ(B)，称为迭代法的渐进 收敛速度。
将定理6.1和6.2用于Jacobi迭代法及Seidel迭代法， 则有
1. 解线性方程组 AX b的Jacobi Seidel 迭代法 收敛的充要条件是
( BJ ) 1 ( BG ) 1 ;
一、基本收敛定理
由 X(k+1)=BX(k)+f 及 X *=B X *+f
可推知
εk+1 = X (k+1) - X *= B（X (k) - X *） =· · · · · · · · · · · · · = B k+1（X(0) -X *） = B k+1 ε 0
X(k) X* B k 0 ( k ∞ )
返回节
OK! Let’s have a break!
k
设有线性
则对于任意的初始向量 X (0)，迭代法 收敛的充分必要条件是
B 1 。
定理3.1表明，线性方程组迭代 法收敛与否 与 X ( 0 )和 f 的取值无关，而只与迭 代矩阵 B 的 性质有关。
注：
1. 定理6.1为判断迭代法的收敛性提供 了强有力的手段： 注意是充分必要条件！ 2. 定理6.1的条件往往不易验证： 矩阵的谱半径不易求出！ 3. 利用谱半径的有界性可以给出另外一 个条件较弱的结果： 即定理6.2
易求
BJ
max
1i n
1 j n , j i
aij aii
由严格对角占优定义（定义6.1 ），得 BJ ∞<1,所以, Jacobi 迭代法收敛。
下面证明G-S迭代法的收敛性。对于严格对角占优阵A， 其对角元素 aii ≠ 0 ， i=1,2,,n（定义6.1 ），故
2.解线性方程组 AX b的Jacobi Seidel 迭代法 收敛的充分条件是 BJ
G
其中
B 1 。 1 1 BJ D L U , BG D L U
1
在一般情况下，计算矩阵的范数比计算谱半径省事， 所以通常是利用定理6.2进行判断。 但定理6.2只是充分条件，所以即使判断失效， 迭代法仍可能收敛，这时就应该使用定理6.1判断。
aii aij
j i
(i 1,2,
, n)
(2)
则称A是严格对角占优阵； 如果矩阵A满足条件 aii aij
ቤተ መጻሕፍቲ ባይዱj i
(i 1,2,
, n)
(3)
且其中至少有一个不等式严格成立，则称A是弱对角占优阵。
实例
例如
8 3 2 A 4 11 1 4 2 1
10.01x1 9.05 x 2 0.12 x3 1.43 1.22 x1 4.33x 2 2.67 x3 3.22 1.25 x 3.69 x 12.37 x 0.58 1 2 3
由于系数矩阵A是严格对角占优阵，因此用Jacobi 迭代 法和G-S迭代法求解该方程组均收敛。
可见
利用矩阵的Jordan标准形，可以证明(前一章中的结论) Bk 0 B 1 其中, B 叫做B的谱半径。 若B的特征值为1， n , 则
(B)
1i n
B max i
定理 3.1
方程组
迭代法收敛的充要条件
X BX f ， X ( k 1) BX f
det( D L) aii 0
i 1 n
所以矩阵（D-L）为可逆下三角矩阵，其逆也是下三角矩阵， G-S迭代法的迭代矩阵是 BG =(D - L)-1U。
考虑BG的特征值λ ，其特征方程为
det(I-BG) = det(I-(D-L)-1U) = det(D-L)-1det((D-L)-U)=０
例如 设有线性方程组 X=BX+f，其中
0.9 0.0 B 0.3 0.8 1 f 2
考察迭代法 X (k+1)=B X(k)+f 的收敛性。 解：
由于 B 1 1.2, B 2 1.02, B 1.1, B F 1.54 均大于 1，故定理3.2在此无法判断； 但因为 λ 1 =0.9, λ 2=0.8,即ρ (B) =0.9<1,由定理3.1知 本题迭代法收敛。
=>det((D-L)-U)=0
我们通过A的严格对角占优性质去证明det((D-L)-U)=0 的根有性质 | |<1。用反证法：假设| |≥1，且由于A的 严格对角占优性质，有
aii
j 1, j i
n
aij aij
j 1
i 1
j i 1
返回节
二、Jacobi 迭代法和Gauss-Seidel 迭代法的收敛速度
引子 对角占优矩阵 实例 相关定理 定理3.3的证明
返回节
引子
虽然利用定理6.1和定理6.2可以判定Jacobi 迭代 法和G-S迭代法的收敛性，但其中只有定理6.2对 Jacobi 迭代法使用比较方便，此外，对于大型方程 组，要求出G-S迭代矩阵BG和ρ(BG)以及Jacobi 迭代 矩阵BJ和ρ(BJ)都不是容易的事。
定理 3.2
迭代法收敛的充分条件 如果
0
B 1，则对任意
初始向量 X ，迭代法 X 必收敛，且有
B X ( k ) X ( k 1) (1) 1 B
k 1
BX f
k
X X
*
(k )
矩阵A的谱半径不超过矩阵的任何一种算子范数!
进一步，我们可以推知：
这里介绍一些判定收敛的充分条件，它们是利 用原方程组系数矩阵A和迭代矩阵B的特殊性质建立 的，很实用，用起来也很方便。这些判定定理也都 是以定理3.1和定理3.2为基础的。
对角占优矩阵
如果线性方程组AX=b的系数矩阵A具有某种特殊性质 （如对称正定、对角占优等），则可从A本身直接得出某 些迭代法收敛性结论。 定义6.1 如果矩阵A满足条件
n
aij , i 1, 2,
,n
这说明矩阵
a11 a ( D L) U 21 a n1
a11
a22 an 2
a11 a11 ann
是严格对角占优阵，所以它是非奇异的，即 det((D-L)-U) 0与特征值满足det((D-L)-U) =0 矛盾。 故
B (1) (0) X X* X X 1 B
(k )
k
式(1)说明，当||B||<1 且不接近1并且相邻两次 迭代向量X(k+1) 与 X (k)很接近时，则X(k)与精确解X * 很接近。因此，在实际计算中，用|| X (k+1) - X (k) ||≤ε 作为迭代终止条件是合理的。
反复利用 || X (k+1) - X*||=||BX (k)- BX*||=||B(X (k)- X*)|| ≤‖B‖.‖X (k)- X*‖, 可以得到 ||X (k)- X*||≤‖B‖k · ‖X(0)- X*‖， 可见X (0)越接近X*，序列{ X (k)}收敛越快，收敛速度 与初值X (0)的选取有关。 另一方面，由于ρ (B) ≤‖B‖<1，‖B‖越小， 说明ρ (B) 越小，序列{ X (k)}收敛越快。
迭代法程序简单，对于许多问题，收敛较快。 因而，有时能够解决一些高阶问题。 但应注意， 对于某些问题，迭代法可能发散或收敛很慢， 以致失去使用价值。这种情况下，仍以采用直 接法为宜。
只要断定系数矩阵满足收敛条件，尽管多次迭 代计算工作量大一些，却能达到预定精度。
([保障措施] 高速计算机能胜任那些程序简单、 重复量大的迭代计算，况且还有许多加速收敛 的办法做保障。)
第六章 线性方程组迭代解法
§ 6.3 迭代法的收敛定理
基本数学问题描述
迭代法的收敛性，是指方程组
AX b
从任意初始向量X(0)出发，由迭代算法
X ( k 1) BX ( k ) f
算出向量序列
X ( 1) , X ( 2 ) , , X ( k ) , X ( k 1) ,
定理6.3的证明
证 首先证明Jacobi 迭代的收敛性。由
0 a 21 B J D 1 ( L U ) a 22 a n1 a nn a12 a11 0 a n2 a nn a1n a11 a2n a 22 , 0 b1 a 11 b2 fJ a 22 b n a nn
1.25 x1 3.69 x 2 12.37 x3 0.58 10.01x1 9.05 x 2 0.12 x3 1.43 1.22 x 4.33x 2.67 x 3.22 1 2 3
无法直接判断Jacobi 迭代法和G-S迭代法的收敛性，但如果将 方程组的次序修改为
<1 即ρ(BG) <1，
G-S迭代法收敛。
定理得证。
返回章
注意的问题
（1）Jacobi迭代法和Gauss-Seidel迭代法的 迭代矩阵不同： BJ =D-1(L+U), B G-S = (D-L) -1U （2）Jacobi迭代法和Gauss-Seidel迭代法的 收敛性没有必然的联系：
即当Gauss-Seidel法收敛时，Jacobi法可能不收敛； 而Jacobi法收敛时， Gauss-Seidel法也可能不收敛。
1 1 0 B 1 1 0 0 1 2
其中 A 是严格对角占优阵；
B
是弱对角占优阵。
相关定理
定理6.3 若A为严格对角占优阵，则Jacobi 迭代法 和G-S迭代法收敛。 定理6.4 若A为对称正定阵，则G-S迭代法收敛。
在偏微分方程数值解中，有限差分往往导出对角占优的 线性代数方程组，有限元法中的刚性矩阵往往是对称正定阵， 因此这两个判断定理是很实用的。 对于给定的线性方程组，借助于定理6.3和定理6.4可以 直接判断Jacobi 迭代法和G-S迭代法的收敛性。 但同时应当注意，迭代法收敛与否与方程组中方程排列 顺序有关，如线性方程组
X BX f
因此有
X X ( k 1) B X X ( k )
或
再递推出
k 1 B k
k B 0
k
所以，迭代法收敛性与迭代矩阵的幂B k，随着k的增加 而趋向于零矩阵是等价的。 返回节
前一章的内容：
谱半径的相关定理
(谱半径有界) 设 A R nn ,则对任一种算子范数|| A || , 均有 定理 ( A) || A || 1 设 B R nn , 则 Bk 0(k ) 的充分条件是B的 谱半径 ( B) 1 定理 2