第6章解线性方程组的迭代法
第6章 求解线性代数方程组和计算矩阵特征值的迭代法
数值计算与MATLAB1《数值计算与MATLAB 》第6章求解线性代数方程组和计算矩阵特征值的迭代法§1 求解线性代数方程组的迭代法§2 方阵特征值和特征向量的计算§3 矩阵一些特征参数的MATLAB计算《数值计算与MATLAB 》6.1 求解线性代数方程组的迭代法1、迭代法的基本原理如果线性方程组Ax=b的系数矩阵A非奇异，则方程组有唯一解。
把这种方程中的方阵A分解成两个矩阵之差：A=C-D若方阵C是非奇异的，把A它代入方程Ax=b中，得出 (C-D)x=b，两边左乘C-1，并令 M=C-1D，g= C-1b，移项可将方程Ax=b变换成：x=Mx+g据此便可构造出迭代公式： xk+1=Mx k+g，M=C-1D称为迭代矩阵。
《数值计算与MATLAB 》2. 雅可比（Jacobi）迭代法如果方程组Ax=b的系数矩阵A非奇异，aii≠0，若可以把A 分解成： A=D-L-U=D+(-L)+(-U)，D=diag(a11,a22,…,a nn)；-L是严格下三角阵；-U是严格上三角矩阵；x= D-1((L+U)x +b)=D-1(L+U)x+ D-1bx k+1=D-1((L+U)x k+b)= D-1(L+U)x k + D-1bMM=D-1(L+U)称为雅可比迭代矩阵《数值计算与MATLAB 》⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=67-4121-26-3-115-12A⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=61-3-2D⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=74-1-2-1-L⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡=2-61-51-UM=D-1(L+U)=⎥⎥⎥⎥⎦⎤⎢⎢⎢⎢⎣⎡7/62/3-1/6-222-1/31/2-5/21/2-《数值计算与MATLAB 》雅可比迭代公式的向量形式x k=[( x k) 1,( x k) 2, …,(x k) n]T, k=0,1,2,……，D-1=diag( , ,… ,)，11a122a1nna1))((1)(11∑≠=++-=nijjijijiiikbxaaxk《数值计算与MATLAB》3. 赛德尔（Seidel）迭代法))((1)(11∑≠=++-=nijjijijiiikbxaaxkM= (D-L)-1U称为赛德尔迭代矩阵《数值计算与MATLAB 》4. 迭代法的敛散性方阵的谱半径《数值计算与MATLAB 》向量范数非负性：||x||≥0齐次性：||ax||=|a|||x||；三角不等式：||x||+||y||≥||x+y||。
高斯—塞德尔迭代法
上式至少有一个不等号严格成立。
*定义 每行每列只有一个元素是1,其余 元素是零的方阵称为置换阵(或排列阵).
定理8(对角占优定理)若矩阵A按行(或列)严格对角占优 或按行(或列)弱对角占优且不可约；则矩阵A非奇异。
定理9 若矩阵A按行(或列)严格对角占优,或按行(或列) 对角占优不可约；则Jacobi迭代、Gauss-Seidel迭代都 收敛。
高斯—塞德尔迭代法又等价于：对k=0,1,…,
三、逐次超松驰(SOR)迭代法
SOR迭代法的计算公式:对k=0,1,…,
说明:1)ω=1,GS; 2)ω>1超松驰,ω<1低松驰;
3)控制迭代终止的条件: 例3 用上述迭代法解线性代数方程组
初值x(0)=0，写出计算格式。
四、三种迭代法的收敛性
定理7 对线性方程组Ax=b，A，D非奇异，则 Jacobi迭代法收敛的充要条件是 GS迭代法收敛的充要条件是 SOR迭代法收敛的充要条件是 定义6 （1）按行严格对角占优：
证明 若矩阵A按行严格对角占优，或按行(或列)弱对角占优不可
则GS迭代收敛。假若不然，ρ(BG)≥1，即迭代矩阵BG的某一特征 值λ使得|λ|≥1，并且
类似地，若矩阵A按行严格对角占优，或按行(或列)弱对角占优不
可约，则Jacobi迭代收敛。假若不然，ρ(BJ)≥1，即迭代矩阵BJ 的某一特征值λ使得|λ|≥1，并且
定理10 对线性方程组Ax=b，若A为对称正定矩阵，则 1）GS迭代法收敛. 2）若2D-A也是对称正定矩阵，则Jacobi迭代法收敛。
例8 见书上
定理12 对于线性方程组Ax=b，若A为对称正定矩阵，则
当0<ω<2时，SOR迭代收敛. 证明 只需证明λ<1（其中λ为Lω的任一特征值） .
(完整版)6.4超松弛迭代法
0.75 x2( ( k 1)
6 0.25x3(k
)
7.5
x (k 1) 3
0.25x2(k1)
6
②取ω=1.25 ，即SOR迭代法：
xx21((kk11))
0.25x1(k) 0.9375x2(k) 7.5 0.9375x1(k1) 0.25x2(k) 0.3125x3(k)
-5.0183105
3.1333027
4.0402646
-5.0966863
4
3.0549316
3.9542236
-5.0114410
2.9570512
4.0074838
-4.9734897
5
3.0343323
3.9713898
-5.0071526
3.0037211
4.0029250
-5.0057135
6
3.0214577
3.9821186
-5.0044703
2.9963276
4.0009262
-4.9982822
7 3.0134110
3.9888241
-5.0027940
3.0000498
4.0002586
-5.0003486
迭代法若要精确到七位小数， Gauss-Seidel迭代法需要34次迭代； 而用SOR迭代法(ω=1.25)，只需要14次迭代。
因子ω。
返回引用
opt
(1
2
1 [(BJ )]2 )
（4）
这时，有ρ(Bopt
)=
ω
opt
-
1。
SOR法分类与现状
通常，
(1)当ω>1 时，称为超松弛算法； (2)当ω<1 时，称为亚松弛算法。
第六章6.3迭代法的收敛性
4 2 1
1 5 1
1
2
3
问题：该矩阵具有怎样的特点？ 结论：该矩阵是严格对角占优阵
定义：如果矩阵A的元素满足
jn
| aii | | aij | i 1,2,3,, n j 1 ji
则称A为严格对角占优矩阵。
9
特殊方程组迭代法的收敛性
定理：若线性方程组AX=b的系数矩阵A为 严格对角占优矩阵，则解该方程组的Jacobi 迭代法和G-S迭代法均收敛。
则: (k1) B (k ) B2 (k 1) Bk1 (0)
注意 (0) x(0) x * 为非零常数向量
因此迭代法收敛的充要条件
lim (k1) lim( x(k1) x*) 0
k
k
可转变为
lim Bk1 0
k
2
一阶定常迭代法的收敛性
定理：迭代格式 x(k1) Bx(k ) f 收敛 的充要条件为：lim Bk 0
k
lim Bk 0
k
即: (B) 1
B的所有特征值的绝对值小于1
B的谱半径
根据矩阵与其Jordan标准形及特征值的关系
3
一阶定常迭代法的收敛性
定理：设B为n阶实矩阵，则 lim Bk 0 k
的充要条件是 (B) 1
定理：迭代格式 x(k1) Bx(k ) f 收敛 的充要条件为：(B) 1
4
一阶定常迭代法的收敛性
例：判别下列方程组用Jacobi迭代法和G-S 法求解是否收敛。
1 2 2 x1 1 1 1 1 x2 1 2 2 1 x3 1
5
一阶定常迭代法的收敛性
解: (1) 求Jacobi法的迭代矩阵
1 0 0 0 2 2
线性方程组的迭代式求解方法
线性方程组的迭代式求解方法迭代法解方程的基本原理1.概述把 Ax=b 改写成 x=Bx+f ，如果这一迭代格式收敛，对这个式子不断迭代计算就可以得到方程组的解。
道理很简单：对 x^{(k+1)}=bx^{(k)}+f 两边取极限，显然如果收敛，则最终得到的解满足 \lim_{k\rightarrow\infty } x^{(k)}=x^*=Bx^*+f ，从而必然满足原方程 Ax^*=b 。
迭代方法的本质在于这一次的输出可以当作下一次的输入，从而能够实现循环往复的求解，方法收敛时，计算次数越多越接近真实值。
2.收敛条件充要条件：迭代格式 x=Bx+f 收敛的充要条件是 \rho (B)<1充分条件： \Vert B\Vert <1即 \Vert B\Vert <1 \Rightarrow \rho(B)<1\Leftrightarrow 迭代收敛一、Jacobi迭代法怎样改写Ax=b ，从而进行迭代求解呢？一种最简单的迭代方法就是把第i行的 x_i 分离出来(假定 a_{ii} \ne 0 )：\sum_{j=1}^{n}a_{ij}x_j=b_i\Rightarrow x_i=\frac{b_i-\sum_{j=1,j\ne i}^{n}a_{ij}x_j}{a_{ii}}\quad \\这就是Jacobi(雅可比)迭代法。
迭代格式给定x^{(0)}=\left[x_1^{(0)},x_2^{(0)},\cdots,x_n^{(0)}\rig ht]^T ，则Jacobi法的迭代格式（也称分量形式）为x_i^{(k+1)}=\frac{1}{a_{ii}}\left ( {b_i-\sum_{j=1,j\ne i}^{n}a_{ij}x_j^{(k)}}\right),\quadi=1,2,\cdots,n\\矩阵形式设 A=D-L-U。
Jacobi法的矩阵形式（也称向量形式）为x^{(k+1)}=B_Jx^{(k)}+D^{-1}b\\其中迭代矩阵 B_J=D^{-1}(L+U)收敛条件\begin{eqnarray} \left. \begin{array}{lll} \VertB_J\Vert <1 \\ A 严格对角占优\\ A, 2D-A对称正定\end{array} \right \} \end{eqnarray} \Rightarrow \rho (B_J)<1\Leftrightarrow 迭代收敛特别地，若 A 对称正定且为三对角，则 \rho^2(B_J)=\rho (B_G)<1 。
_第六章_线性方程组的数值解法迭代法
b 1
a 11
b2
f
a 22 bn
a nn
x(k1) B0x(k)f
--------(5)
第四节 解线性方程组的迭代法
令：
0 0 0
L
a 21
0
0 A的下三角部分矩阵
a n1 a n 2 0
0
U
0
a12 0
a1n a2n
A的上三角部分矩阵
第三节 向量范数和矩阵范数
（2）范数的另一个简单例子是二维欧氏空间的长度
0M x2 y2
欧氏范数也满足三个条件：
（勾股定理）
设x = (x1, x2) ① x 0 x >0 ② ax = a x a为常数 ③ x+ y ≤ x + y 前两个条件显然，第三个条件在几何上解释为三角形一边的长度不大于其它 两边长度之和。因此，称之三角不等式。
满足：
① A0,且A0,当且A 仅 0当
，若 A
正定
② A A,为任意实数
奇次
③ ABAB,A和 B为任意 n阶两 方个 三阵 角不等
则称 A 为矩阵A的范数。
第三节 向量范数和矩阵范数
2、矩阵范数与向量范数的相容性 对于任意的n维向量x，都有：
Ax A x
这一性质称为矩阵范数与向量范数的相容性。
n
A
max
1in
j1
aij
A的每行绝对值之和的最大值, 又称A的行范数
第三节 向量范数和矩阵范数
（3）矩阵的2范数
2范数 ||A|2 | ： (AT A )
(AAT) ?
矩阵的谱半径：
矩阵B的诸特征值为： i(i1,2, ,n)
解线性方程组的迭代法
0.9906
0.0355
5 1.01159 0.9953
1.01159 0.01159
6 1.000251 1.005795 1.000251 0.005795
7 0.9982364 1.0001255 0.9982364 0.0017636
可见,迭代序列逐次收敛于方程组的解, 而且迭代7次得到精确到小数点后两位的近似解.
a11x1 a12x2 a13x3 b1 a21x1 a22x2 a23x3 b2 a31x1 a32x2 a33x3 b3
从而得迭代公式
x1
a12 a11
x2
a13 a11
x3
b1 a11
x2
a21 a22
x1
a23 a22
x3
b2 a22
x3
a31 a33
M 00.8 00..75
但(M)=0.8<1,所以迭代法 x(k+1)=Mx(k)+g 是收敛的.
由(3.5)式可见,‖M‖越小收敛越快,且当‖x (k) -x(k-1) ‖很小时,‖x(k) –x*‖就很小,实际中用‖x (k) x(k-1) ‖<作为
迭代终止的条件。 例如，对例1中的Jacobi迭代计算结果
+‖x(k+1) –x*‖‖M‖‖x(k) –x(k-1)‖+‖M‖‖x(k) –x*‖ 从而得‖x(k) –x*‖‖M‖‖x (k) -x(k-1) ‖/（1- ‖M‖）
(3.5) (3.6)
估计式(3.5)得证。利用(3.5)式和
‖x(k+1) 得到
-x(k)
‖‖M‖‖x
(k)
-x(k-1)
‖
解线性方程组 的迭代法
第六章 解线性方程组的迭代法.ppt
称 J 为解 Ax b的雅可比迭代法的迭代阵.
（2.5）
15
研究雅可比迭代法(2.5)的分量计算公式.
记 x(k ) ( x1(k ) ,, xi(k ) ,, xn(k ) )T ,
由雅可比迭代公式(2.5), 有
Dx(k1) (L U )x(k ) b,
或
i1
n
aii
9
定义1 (1) 对于给定的方程组 x Bx f，用公式(1.6) 逐步代入求近似解的方法称为迭代法(或称为一阶定常迭代 法，这里 B与 k无关).
(2) 如果 lim x(k) 存在(记为 x * )，称此迭代法收敛， k
显然 x *就是方程组的解，否则称此迭代法发散. 研究 {x(k )}的收敛性. 引进误差向量
22
例2 用高斯-塞德尔迭代法解线性方程组(1.2).
8x1 3x2 2x3 4x1 11x2 x3
20, 33,
6x1 3x2 12x3 36.
（1.2）
取 x(0) (0, 0, 0)T， 按高斯-塞德尔迭代公式
x ( k 1) 1
记为 Ax b , 其中
（1.2）
8 A4
6
3 2 11 1, 3 12
x1 x x2 ,
x3
20 b 33 .
36
方程组的精确解是 x* (3, 2, 1)T . 现将(1.2)改写为
4
12
于是，求解 Ax b转化为求解 Mx Nx b，即求解
Ax b 求解x M 1Nx M 1b.
可构造一阶定常迭代法
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
DEPARTMENT OF MATHEMATICS
• 收敛条件 迭代格式收敛的充要条件是G的谱半径<
定理：若A满足下列条件之一，则Jacobi迭代收敛。
数 学 系 University of Science and Technology of China
DEPARTMENT OF MATHEMATICS
对方程组 如：令
Ax b
AM N
做等价变换 ，则
x Gx g
Ax b (M N ) x b Mx b Nx x M 1 Nx M 1b
数 学 系 University of Science and Technology of China
DEPARTMENT OF MATHEMATICS
第6章 解线性方程组的迭代法
直接法得到的解是理论上准确的，但是我们可以看得出，它们的计算量都是n3 数量级，存储量为n2量级，这在n比较小的时候还比较合适（n<400），但是对于现 在的很多实际问题，往往要我们求解很大的n的矩阵，而且这些矩阵往往是系数矩阵 就是这些矩阵含有大量的0元素。对于这类的矩阵，在用直接法时就会耗费大量的时 间和存储单元。因此我们有必要引入一类新的方法：迭代法。 迭代法具有的特点是速度快。与非线性方程的迭代方法一样，需要我们构造一 个等价的方程，从而构造一个收敛序列，序列的极限值就是方程组的根
知，若有某种范数
由
(G) G
G
p
1
则，迭代收敛
数 学 系 University of Science and Technology of China
DEPARTMENT OF MATHEMATICS
6.1 Jacobi迭代
a11 x1 a1n xn b1 a x a x b nn n n n1 1
则，我们可以构造序列 若
x( k 1) G x( k ) g
x ( k ) x * x* G x * g Ax* b
同时：
x( k 1) x* Gx( k ) Gx* G( x( k ) x*) G k 1 ( x(0) x*)
a1n 0 a12 0 U 0 an 1n 0 0
数 学 系 University of Science and Technology of China
DEPARTMENT OF MATHEMATICS
易知，Jacobi迭代有
数 学 系 University of Science and Technology of China
DEPARTMENT OF MATHEMATICS
( k 1) x1 x2 ( k 1) ( k 1) xn
格式很简单：
1 (k ) (k ) (a12 x2 a1n xn b1 ) a11 1 (k ) (k ) (k ) (a21 x1 a23 x3 a1n xn b2 ) a22 1 (k ) (k ) (an1 x1 an n 1 xn 1 bn ) ann
(D L U ) x b Dx ( L U ) x b
x D1 ( L U ) x D1b G D1 ( L U ) I D1 A , g D1b
数 学 系 University of Science and Technology of China
所以，序列收敛
Gk 0
与初值的选取无关
数 学 系 University of Science and Technology of China
DEPARTMENT OF MATHEMATICS
定义6.1：（收敛矩阵） 定理：
Gk 0
矩阵G为收敛矩阵，当且仅当G的谱半径<1
G k 0 (G) 1
数 学 系 University of Science and Technology of China
DEPARTMENT OF MATHEMATICS
• 迭代矩阵
记
A D L U
0 a11 D 0 ann
0 0 a21 0 L 0 a a 0 nn 1 n1
Jacobi迭代算法 1、输入系数矩阵A和向量b，和误差控制eps 2、x1={0,0,…..,0} , x2={1,1,…..,1} //赋初值 3、while( ||A*x2-b||>eps) { x1=x2; for(i=0;i<n;i++) { x2[i]=0; for(j=0;j<i;j++) { x2[i] += A[i][j]*x1[j] } for(j=i+1;j<n;j++) { x2[i] += A[i][j]*x1[j] } x2[i]=-(x2[i]-b[i])/A[i][i] } } 4、输出解x2
xi
( k 1)
n 1 i 1 (k ) (k ) ( aij x j aij x j bi ) aii j 1 j i 1
数 学 系 University of Science and Technology of China
DEPARTMENT OF MATHEMATICS