第六章解线性方程组的迭代法

（1） 如 时， ；
（2）m=1时， 的第2条对角线元素为1，其余为零；m=2时， 的第3条对角线元素为1，其余为零；m=3时， 的第4条对角线元素为1，其余为零。
简言之， 的第m+1条对角线元素为1，其余为零（当没有第m+1条对角线时， 应理解为零矩阵）。
2 计算约当块的幂次。
当 时，
3 一个极限性质
教学难点：
迭代法基本定理的证明以及作用。
教学方法及手段：
应用严格的高等代数、数学分析知识，完整地证明迭代法基本定理，讲清雅可比迭代法与高斯-塞德尔迭代法的关系，介绍雅可比迭代法与高斯-塞德尔迭代法在编程中的具体实现方法。
在实验教学中，通过一个具体实例，让学生掌握雅可比迭代法与高斯-塞德尔迭代法的具体实现，并能通过数值计算实验，揭示高斯-塞德尔迭代法是对雅可比迭代法的一种改进这一事实。
教学时间：
本章的教学的讲授时间为6学时，实验学时4学时。
教学内容：
一迭代法定义
对于给定的线性方程组 ，设它有唯一解 ，则
(6.1)
又设 为任取的初始向量，按下述公式构造向量序列
(6.2)
这种逐步代入求近似解的方法称为迭代法（这里B与f与k无关）。如果 存在（记为 ），称此迭代法收敛，显然 就是方程组的解，否则称此迭代法发散。
形成迭代式
对于任意初值 ， （ ）
这就是雅可比迭代法。
注：
1形成雅可比迭代式的条件是A的主对角线元素均非零。
2雅可比迭代收敛的条件是 。
【例题2】对于线性方程组
利用雅可比迭代法求其近似解（允许的最大迭代次数N，近似解的精度eps，由用户设定）。
（二）高斯-塞德尔迭代法。
从雅可比迭代的分量形式可以发现，在进行第k次迭代时，利用 ， ，…， ，生成向量 ，其分量产生的次序是 ， ，…， 。我们对雅可比方法进行以下改变设计：
步1应用信息 ， ，…， ，据雅可比迭代分量式，生成分量 ；
步2应用信息 ， ，…， ，据雅可比迭代分量式，生成分量 ；
步3应用信息 ， ，…， ，据雅可比迭代分量式，生成分量 ；
……
步n应用信息 ， ，…， ， ，据雅可比迭代分量式，生成分量 。
如此生成 的设计方案，是想更好地利用已有的最新有用信息。有理由相信，如此所获得的迭代式，其计算效果应该会更好一些。
下面，我们具体给出这种迭代法的表达形式。
……
即
……
左边可改写为
右边可改写为
亦即
注意到： ，于是有
迭代矩阵为
迭代向量为
故高斯-塞德尔迭代式为
（ ）
故高斯-塞德尔迭代式的分量计算公式为
，（ ）
实现高斯-塞德尔迭代法的分量计算公式的算法
步1 ，输入允许的最大迭代次数N，用户精度eps，k=0。
步2对于i=1,2,…,n，
迭代法求方程近似解的关键是是讨论由(6.1)式所构造出来的向量序列 是否收敛。为此，我们引入误差向量
将(6.2)式与(6.1)式相减，我们可得
递推下去，得
要考察 的收敛性，就要研究 在什么条件下有
也就是要研究 在什么条件下有
。
二迭代法收敛性定理
矩阵的收敛性定义
设有矩阵序列 及 ，如果 个数列极限均存在且有
则称 收敛于 ，记为 。
注：
矩阵序列的收敛性是根据矩阵的每个分量序列的收敛性来定义的。
【例题1】讨论约当块矩阵的幂次所构成的矩阵序列的收敛性。
形如
的矩阵称之为n阶的约当块。它可以分解成为
下面，我们分几步来研究矩阵序列
的收敛性。
1 矩阵 的幂阵的性质
我们不妨以4阶阵来看看这种性质。
， ，
，
的性质可归纳为以下两点：
小结：
本章主要介绍了解大型稀疏线性方程组的一些基本迭代方法，如雅可比迭代法、G-S迭代法，SOR法等，建立了迭代法收敛的基本理论。
迭代法是一种逐次逼近的方法，在使用迭代法解方程组时，其系数矩阵在计算过程中始终不变。迭代法具有循环的计算公式，方法简单，适宜解大型稀疏矩阵方程组，不过在使用迭代法时候要注意收敛性和收敛速度问题。
由定理2知 。
再由定理3，即得 。
判断迭代收敛时，需要计算 ，一般情况下，这不太方便。由于 ，在实际应用中，常常利用矩阵B的范数来判别迭代法的收敛性。
【定理5】（迭代法收敛的充分条件）设有方程组
以及迭代法
（ ）
如果有B的某种范数 ，则
（1）迭代法收敛，即对任取 有
且 。
（2） 。
（3） 。
（4） 。
故 的充要条件是 。
【定理4】（迭代法基本定理）设有方程组
以及迭代法
对任意选取初始向量 ，迭代法收敛的充要条件是矩阵 的谱半径 。
证明充分性设
则矩阵 的特征值均大于零，故 非奇异。
有唯一解 ，且 ，即 。
误差向量
由设 ，应用定理3，有 。
于是，对任意 ，有 ，即 。
必要性设对任意 有
其中 ，显然，极限 是方程组 的解，且对任意 有
【例题3】对于线性方程组
1高斯－塞德尔迭代法求其近似解（允许的最大迭代次数N，近似解的精度eps，由用户设定）。
2通过数值实验说明，求该线性方程组的近似解时，高斯－塞德尔迭代法的收敛速度较雅可比迭代法要快一些。
3采用分量计算公式编程求该线性方程组的近似解，验证用矩阵迭代形式求解所得的结果。
四关于解某些特殊方程组迭代法的收敛性
证明 （1）由基本定理4，结论（1）是显然的。
（2）由关系式 ，有
（3）
即
显然 亦成立。
（4） 。
注：
该定理中的第3款可作为误差的事后估计式。
三几种常见的迭代法及收敛性
下面，我们讨论线性方程组
如何用迭代法求近似解的问题。
这里， 为非奇异矩阵， 。
（一）雅可比迭代法。
设 ，将A分解成以下三部分
记 ，
那么
步3对于i=1,2,…,n
步4 k=k+1
步5若 ，输出近似解 ，停止计算。否则，执行步6。
步6若k=N，输出达到迭代次数信息，程序中止。否则，执行步7。
步7对于i=1,2,…,n， ，返回步2。
注：
1形成高斯-塞德尔迭代式的条件是 存在，而 ，故只要A的主对角线元素均非零，该逆阵存在。
2高斯-塞德尔迭代收敛的条件是 。
因为 ，得到
这里，注意事实
4 约当块幂阵的收敛性结论
当 时， 收敛于零矩阵；当 ， 发散。
矩阵序列极限的概念可以用矩阵范数来描述。
【定理1】 ，其中 为矩阵的任意一种范数。
证明 显然有
再利用矩阵范数的等价性，可证明定理对其他矩阵范数也成立。
【定理2】 的充要条件是 ，有 。
证明 必要性 记 ，据 ，可知 。
其中， ， 。
从而 ，雅可比迭代法收敛。
同样，也可以生成高斯-塞德尔迭代
其中， ， 。
下面考察B的特征值情况。设 为B的任一特征值，于是有
由于 ，于是
记
下面来证明，当 时，则 ，于是便证明了B的任一特征值 均满足 ，从而 ，高斯-塞德尔迭代法收敛。
事实上，当 时，由A为严格对角占优矩阵，则有
即C矩阵为严格对角占优，故 。
设 ，对于 ，有
由 可知， 。
类似地，可证明 。
这里， 是 中的基本单位向量组。
，则
即 ，
亦即 。
充分性 据 ，有 ，
由 的任意性，如果取 ，则
，
亦即
类似地，可分别让 ，可得
故
从而 。
【定理3】非奇奇异矩阵P使
其中约当块
且 ，显然有
其中
于是
据例题1的结论， 的充要条件是
在科学及工程计算中，要求方程组 ，其矩阵 常常具有某些特性。例如， 具有对角占优性质或 为不可约阵，或 是对称正定阵等，下面讨论用基本迭代法解这些方程组的收敛性。
【定义1】设
1 如果A的元素满足
称A为严格对角占优阵。
2 如果A的元素满足
且上式至少有一个不等式严格成立，称A为弱对角占优阵。
【定义2】设 ( )，如果存在置换阵P，使
即
与假设矛盾，故 ，A为非奇异矩阵。
【定理7】设 ，如果
1 A为严格对角占优矩阵，则解 的雅可比迭代法，高斯-塞德尔迭代法均收敛。
2 A为弱对有占优阵，且A为不可约矩阵，则解 的雅可比迭代法，高斯-塞德尔迭代法均收敛。
证明 只证明1
A为严格对角占优矩阵，故
，
故A的主对角元素均为非零的，可以生成雅可比迭代式
其中， 为r阶方阵， 为n-r阶方阵( )，则称A为可约矩阵。否则，则称A为不可约矩阵。
【定理6】（对角占优定理）如果 为严格对角占优矩阵或A为不可约弱对角占优矩阵，则A为非奇异矩阵。
证明 只就A为严格对角占优矩阵证明此定理。采用反证法，如果 ，则 有非零解，记为 ，则 。
由齐次方程组第k个方程
则有
第五章解线性方程组的迭代法
本章主要内容：
迭代法收敛定义，矩阵序列收敛定义，迭代法基本定理，雅可比迭代法，高斯-塞德尔迭代法，系数矩阵为严格对角占优阵的采用雅可比迭代、高斯-塞德尔迭代的收敛性。
教学目的及要求：
使学生了解迭代法收敛定义，迭代法基本定理，掌握雅可比迭代法、高斯-塞德尔迭代法。
教学重点：
雅可比迭代法，高斯-塞德尔迭代法。