3 线性方程组解法2要点

第3章 线性方程组的解法本章讨论线性方程组11112211211222221122n n n n n n nn n na x a x a xb a x a x a x b a x a x a x b +++=⎧⎪+++=⎪⎨⎪⎪+++=⎩的求解问题.线性方程组的矩阵表示Ax b =式中A 称为系数矩阵，b 称为右端项。

数值分析中，线性方程组的数值解法主要分为直接法和迭代法两大类。

直接法是用有限次计算就能求出线性方程组“准确解”的方法（不考虑舍入误差）；迭代法是由线性方程组构造出迭代计算公式，然后以一个猜测的向量作为迭代计算的初始向量逐步迭代计算，来获得满足精度要求的近似解。

迭代法是一种逐次逼近的方法。

1 线性方程组的迭代解法线性方程组迭代解法有Jocobi 迭代法、Gauss-Seidel 迭代法及Sor 法等基本思想（与简单迭代法类比） 将线性方程组Ax b =等价变形为x Bx g =+以构造向量迭代格式()()1k k x Bx g +=+ 用算出的向量迭代序列()()12,,x x 去逼近解。

1. 构造原理（1） Jacobi 迭代法将线性方程组的第i 个变元i x 用其他n-1个变元表出，可得121))n n n n nn n a x a x a x -------Jacobi 迭代格式:（3.6） （3）取定初始向量()()()()()000012,,,Tnxx x x =，代入，可逐次算出向量序列()()()12,,,k x x x ，这里()()()()()12,,,Tk k k k nxx x x =。

（2）Gauss-Seidel 迭代法Seidel 迭代格式:例1对线性方程组123123123+22=1+=22+2=3x x x x x x x x x ⎧-⎪+⎨⎪+⎩ 写出Jacobi 迭代格式和Gauss-Seidel 迭代格式.3）SOR法SOR法的迭代格式1,2,,n式中参数ω称为松弛因子，当ω =1时，SOR法就是Seidel迭代法.2.迭代分析及向量收敛1） 三种迭代法的向量迭格式对 Ax=b ，将系数矩阵A 作如下分解A D L U =--112212121212,00000000,0000nn n n n n a a D a a a a a L U a a ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦--⎡⎤⎡⎤⎢⎥⎢⎥--⎢⎥⎢⎥==⎢⎥⎢⎥⎢⎥⎢⎥--⎣⎦⎣⎦则Ax=b 可以写成()D L U x b --=Jacobi 迭代的向量迭代格式()()1k kJ J x B x g +=+1()J B D L U -=+，1J g D b -=. JB 为Jacobi 迭代法的迭代矩阵.Seidel 向量迭代格式()()1k k S S xB x g +=+()1S B D L U-=-，()1S g D L b -=-.s B 为Seidel 迭代法的迭代矩阵.SOR 法的向量迭代格式()()1k k xB x g ωω+=+()()11B D L D U ωωωω-=--+⎡⎤⎣⎦，()1g D L b ωωω-=-.B ω为超松弛迭代法的迭代矩阵。

三种迭代格式可写成迭代格式()()1k k x B x g +=+2）向量收敛定义定义 1 设向量序列()()()()()12,,,Tk k k k n x x x x =及向量()****12,,,T nx x x x =都是nR 中的向量，如果有()*lim ,1,2,,k i i k x x i n →∞==成立,则称()k x 收敛于*x .简记为()*lim k k xx →∞=。

3）范数定义与科学计算中的常用范数定义2 设L 是数域K 上的一个线性空间，如果定义在L 上的实值函数()P x 满足 1) x L ∀∈，有()0P x ≥, 且()00P x x =⇔=； 2) ,x L K λ∀∈∈，有()()P x P x λλ=； 3) ,x y L ∀∈，有()()()P x y P x P y +≤+, 则称()P ⋅是L 上的一个范数，称()P x 为x 的一个范数。

范数的定义很象绝对值函数，故常用P⋅或⋅表示范数，而范数()P x 常记为P x 或x 。

这样，上面范数定义中的3个条件常写为1）x L ∀∈，有0x ≥, 且00x x =⇔=； 2）,x L K λ∀∈∈，有x x λλ=⋅； 3）,x y L ∀∈，有x y x y +≤+将其与绝对值比较，是否很象？实际上，很多有关绝对值的运算和结论可以平行引进到有关范数的运算和证明问题中。

数值分析中常用的线性空间有 ● n 维向量空间(){}12|,,,,nn k R a a a a a a R ==∈● 矩阵空间(){}|,m n m n m n ij ij m nR A A a a R⨯⨯⨯⨯==∈连续函数空间[]()(){},|[,]C a b f x f x a b =在上连续函数空间[],C a b 是由闭区间[],a b 上所有连续函数组成的集合，其线性运算定义为 加法()()()():f g f g x f x g x ++=+ 数乘 ()()():f f x f x λλλ=⋅，λ为数在这些空间上，数值分析中常用的范数有(1)n R 的向量范数1)2)3) 式中向量()12,,,Tn x x x x =.例2 计算向量()1,2,3Tx =-的各种范数.(2) n n R ⨯的矩阵范数矩阵范数要满足如下四条1）n nA R ⨯∀∈，有0A ≥,且00A A =⇔=；2）,n nA R K λ⨯∀∈∈，有A A λλ=⋅； 3）,n nA B R ⨯∀∈，有A B A B +≤+；4）,n nA B R ⨯∀∈由于线性方程组求解问题中，系数矩阵总是与向量联系在一起的，为描述这种联系，引入如下的算子范数概念. 定义3 设矩阵n n A R ⨯∈为矩阵A 的算子范数。

容易证明，矩阵A 的算子范数也是矩阵范数，且满足不等式关系例3设⋅为矩阵的算子范数，证明若1B<，则I B +为非奇异矩阵，且()111I B B-+≤-证：用反证法。

若I B +为奇异矩阵，则其对应的方程组()0I B x +=有非零解x ，即有0x ≠，使()0I B x +=，得出Bx x =-两边取范数并作范数运算B x Bx x x ⋅≥=-=01x B >⇒≥，矛盾，得I B +非奇异。

()()()()()()()1111111I B I B II B I B I B I B I B I B B I B ------++=⇒+=-++≤++≤++()111I B B -∴+≤-常用的矩阵范数有如下4种 123）F4）2max λ是T A A 最大特征值。

以上4个矩阵范数中，12,,A A A∞是算子范数，F A 不是算子范数。

例 4 计算矩阵1234A -⎡⎤=⎢⎥-⎣⎦的各种范数.3）范数等价与向量极限定义4 设,⋅⋅是线性空间L上的两p q个范数，若存在正常数m和M，成立则称范数,⋅⋅是等价范数。

p q定理1 n R上的所有范数都是等价的。

定理2式中⋅是n R上任何一种范数。

4）谱半径及其与范数的关系定义 5 设n nA R ⨯∈，,1,2,,k k n λ=是A 的n 个特征值，则称实数为矩阵A 的谱半径。

注意k λ如果是复数，。

定理3 设A 为任意算子范数，则有引理4 设n n A R ⨯∈，则()l i m 01kk A A ρ→∞=⇔<3. 迭代法的收敛条件与误差估计1）收敛条件定理5：线性迭代格式()()1k kx B x g+=+对任意初始向量()0x 都收敛的充要条件是迭代矩阵谱半径()1B ρ<.证明 必要性设()*lim k k x x →∞=，在()()1k k x B x g +=+中令k →∞，得**x B x g =+,于是有 ()()()()()()()12**2*0*k k k k xx B x x Bxx B x x ---=-=-==-由()*lim k k x x →∞=及()0x 的任意性，有lim 0k k B →∞=.再由引理，可得()1B ρ<.充分性因为()1B ρ<，则有I-B 非奇异（这里I 为单位矩阵），从而线性方程组()I B x g -=有唯一解*x ，即有()*I B x g -=展开有**x B x g =+.类似必要性处理，有 ()()()0**k k x x B x x -=-由引理，由()1B ρ<有lim 0kk B →∞=，上式取极限，得()*lim k k xx →∞=.判别条件Ⅰ若1B<，则迭代格式()()+=+对任k k1x B x g意初始向量()0x都收敛于线性方程组=+x B x g的唯一解.B是矩阵B的某种算子范数.定义6设n n∈，A R⨯1）如果A的主对角元素满足2,,n则称矩阵A是严格行对角占优阵；2）如果A的主对角元素满足2,,n则称矩阵A是严格列对角占优.严格行对角占优阵和严格列对角占优阵统称为严格对角占优阵.定理 严格对角占优阵是非奇异矩阵。

证明不妨设矩阵()ij n n A a ⨯=是严格行对角占优阵. 用反证法证明.若A 是奇异的，则由矩阵理论可知，齐次线性方程组0Ax =有非零解*x ，即存在()****12,,,0Tn x x x x =≠，满足*0Ax =.记**m x x ∞=，有2,,n将*0Ax=**1nmm m mkkk k m a x a x =≠=-∑等式两边取绝对值有因为*0m x ≠，上式同除*m x ，有此与A 是严格行对角占优阵矛盾. 故若A 是非奇异的.判别条件Ⅱ设矩阵A 是严格对角占优阵，则线性方程组Ax b =的Jacobi 迭代和Seidel 迭代对任意初始向量()0x 都收敛.证明 只对A 是行对角占优情况证之. 设矩阵A 是严格行对角占优阵，则有2,,n，1,2,,nJacobi 迭代矩阵1JB I D A-=-，故有 由判别条件Ⅰ，可得Jacobi 迭代的收敛性.对Seidel 迭代，其迭代矩阵()1S B D L U -=-，设k λ是矩阵S B 的任一特征值，则有特征方程()()()1det det det 0k S k I B D L D L U λλ--=-⋅--=⎡⎤⎣⎦ 因()1det 0D L --≠，故矩阵s B 的特征方程变为()det 0k D L U λ--=⎡⎤⎣⎦这个行列式方程对应的矩阵()111212122212k n k k n S k k n k n k nn a a a a a a B D L U a a a λλλλλλλ⎡⎤⎢⎥⎢⎥=--=⎢⎥⎢⎥⎣⎦如果1k λ≥，利用矩阵A 的行对角占优定义，可以得出如下不等式2,,n这说明矩阵S B 也是行严格对角占优阵，由定理，有det 0S B ≠, 矛盾，故应有1k λ<成立. 由k λ的任意性有谱半径()1S B ρ<，于是可得Seidel 迭代的收敛性.定理7 SOR 法收敛的必要条件是松弛因子ω满足0<ω<2.证明 因为SOR 法的迭代矩阵为()()11B D L D U ωωωω-=--+⎡⎤⎣⎦ 有()()1det det det 1B D L D U ωωωω-=-⋅-+⎡⎤⎣⎦()()1d e t d e t 11nDD ωω-=⋅-=- 设,1,2,,k k n λ=是B ω的n 个特征值，则有()12det 1nn B ωλλλω==-，若SOR 收敛，必有()1B ωρ<，注意到()12||nn B ωλλλρ≤⎡⎤⎣⎦，得()()()|1|1n nB ωωρ-≤<. 解之得02ω<<.● 判别条件III设Ax b =，如果 （1）A 对称正定， （2）02ω<<，则解Ax b =的SOR 迭代法收敛.设A 是对称正定矩阵，则Ax b =的Seidel 迭代对任意初始向量()0x 都收敛.● 判别条件IV设Ax b =，如果（1）A 为严格对角占优阵， （2）01ω<≤，则解Ax b =的SOR 迭代法收敛.2）误差估计定理8 设矩阵B 的某种算子范数1B <，则由式()()1k k x B x g +=+算出的序列(){}k x 与线性方程组x B x g =+的准确解*x 有如下的误差估计 1）2）证明可以参照非线性方程求根定理的证明，注意将那里的绝对值换成这里的范数，那里的函数换成这里的矩阵，并注意范数关系的使用即可。