线性方程组迭代解法
第三章 线性方程组的迭代解法
其中
v x (0) = ( x1(0) , x2 (0) ,…, xn (0) )
是迭代初值。 是迭代初值。
写成矩阵形式： 写成矩阵形式： 矩阵形式
A=
D
U
v v Ax = b ⇔ ⇔ ⇔
v v (D + L + U )x = b v v v Dx = −( L + U ) x + b v v v −1 −1 x = −D (L + U )x + D b
( ( a 111 ) a 121 ) ... a 1( 1 ) n
A
( ( ( a ij2 ) = a ij1 ) − m i 1 a 1 1j ) (2) b i = b i( 1 ) − m i 1 b1( 1 ) ( i , j = 2 , ..., n )
− 共进行 n ？1 步
(1 ( ( a12) ... a11) x1 b11) n b( 2) ( 2) ( 2) a22 ... a2n x2 2 . . = . ... . . . . . . ( n) (n ann) xn bn
… … …
…
( ( ( ( ( xnk +1) = 1 (−an1 x1k +1) − an 2 x2k +1) − an3 x3k +1) − L − ann−1 xnk +1) + bn ) −1 ann v v ( k +1) v ( k +1) v (k ) −1 −1 写成矩阵形式 矩阵形式： 写成矩阵形式： x = − D ( Lx + Ux ) + D b v (k +1) v (k ) v ⇔ (D + L)x = −U x + b v v ( k +1 ) −1 v ( k ) −1 ⇔ x = − ( D + L ) Ux + ( D + L ) b v Gauss-Seidel B vf v ( k + 1) v(k ) 迭代阵
计算方法3_线性方程组迭代解法
计算方法3_线性方程组迭代解法线性方程组的迭代解法是解决线性方程组的一种常见方法，常用于大规模的线性方程组求解。
该方法通过不断迭代更新解的近似值，直到满足一定的收敛准则为止。
线性方程组的迭代解法有很多种，其中最经典的是雅可比迭代法、高斯-赛德尔迭代法和超松弛迭代法。
本文将分别介绍这三种迭代解法及其计算方法。
雅可比迭代法是一种比较简单的线性方程组迭代解法，它的基本思想是先将线性方程组转化为对角占优的形式，然后通过迭代求解逐渐接近精确解。
雅可比迭代法的迭代公式为：其中，x^(k+1)是第k+1次迭代的近似解，n是未知数的个数，a_ij 是系数矩阵A的元素，f_i是方程组的右端向量的元素。
雅可比迭代法的计算步骤如下：1.将线性方程组转化为对角占优的形式，即保证矩阵A的对角元素绝对值大于其它元素的绝对值。
2.初始化向量x^(0)，设定迭代终止准则。
3.根据雅可比迭代公式，计算x^(k+1)。
4.判断迭代终止准则是否满足，如果满足，则停止迭代，返回近似解x^(k+1)；否则，继续进行下一次迭代。
高斯-赛德尔迭代法是雅可比迭代法的改进方法，它的基本思想是在每次迭代计算x^(k+1)时，利用已经计算出的近似解作为x的一部分。
高斯-赛德尔迭代法的迭代公式为：其中，x^(k+1)_i是第k+1次迭代的近似解中第i个未知数的值，x^(k)_i是第k次迭代的近似解中第i个未知数的值。
高斯-赛德尔迭代法的计算步骤如下：1.将线性方程组转化为对角占优的形式。
2.初始化向量x^(0)，设定迭代终止准则。
3.根据高斯-赛德尔迭代公式，计算x^(k+1)。
4.判断迭代终止准则是否满足，如果满足，则停止迭代，返回近似解x^(k+1)；否则，继续进行下一次迭代。
超松弛迭代法是对高斯-赛德尔迭代法的一种改进方法，它引入了松弛因子ω，通过调整参数ω的值，可以加快迭代的收敛速度。
超松弛迭代法的迭代公式为：其中，0<ω<2，x^(k+1)_i是第k+1次迭代的近似解中第i个未知数的值，x^(k)_i是第k次迭代的近似解中第i个未知数的值。
线性方程组的迭代式求解方法
线性方程组的迭代式求解方法迭代法解方程的基本原理1.概述把 Ax=b 改写成 x=Bx+f ，如果这一迭代格式收敛，对这个式子不断迭代计算就可以得到方程组的解。
道理很简单：对 x^{(k+1)}=bx^{(k)}+f 两边取极限，显然如果收敛，则最终得到的解满足 \lim_{k\rightarrow\infty } x^{(k)}=x^*=Bx^*+f ，从而必然满足原方程 Ax^*=b 。
迭代方法的本质在于这一次的输出可以当作下一次的输入，从而能够实现循环往复的求解，方法收敛时，计算次数越多越接近真实值。
2.收敛条件充要条件：迭代格式 x=Bx+f 收敛的充要条件是 \rho (B)<1充分条件： \Vert B\Vert <1即 \Vert B\Vert <1 \Rightarrow \rho(B)<1\Leftrightarrow 迭代收敛一、Jacobi迭代法怎样改写Ax=b ，从而进行迭代求解呢？一种最简单的迭代方法就是把第i行的 x_i 分离出来(假定 a_{ii} \ne 0 )：\sum_{j=1}^{n}a_{ij}x_j=b_i\Rightarrow x_i=\frac{b_i-\sum_{j=1,j\ne i}^{n}a_{ij}x_j}{a_{ii}}\quad \\这就是Jacobi(雅可比)迭代法。
迭代格式给定x^{(0)}=\left[x_1^{(0)},x_2^{(0)},\cdots,x_n^{(0)}\rig ht]^T ，则Jacobi法的迭代格式（也称分量形式）为x_i^{(k+1)}=\frac{1}{a_{ii}}\left ( {b_i-\sum_{j=1,j\ne i}^{n}a_{ij}x_j^{(k)}}\right),\quadi=1,2,\cdots,n\\矩阵形式设 A=D-L-U。
Jacobi法的矩阵形式（也称向量形式）为x^{(k+1)}=B_Jx^{(k)}+D^{-1}b\\其中迭代矩阵 B_J=D^{-1}(L+U)收敛条件\begin{eqnarray} \left. \begin{array}{lll} \VertB_J\Vert <1 \\ A 严格对角占优\\ A, 2D-A对称正定\end{array} \right \} \end{eqnarray} \Rightarrow \rho (B_J)<1\Leftrightarrow 迭代收敛特别地，若 A 对称正定且为三对角，则 \rho^2(B_J)=\rho (B_G)<1 。
数值分析第六章线性方程组迭代解法
1)
b2 a21x1(k) a23x3(k)
xn( k
1)
bn an1x1(k) an2 x2(k)
a1n
x(k) n
a11
a2n xn(k) a22
an,n1
x(k) n1
ann
x(k1) D1(L U ) x(k) D1b
D1(D A) x(k) D1b
(I D1A) x(k) D1b x(k) D1(b Ax(k) )
x(7) = ( 2.0000, 3.0000, -1.0000 )T 如何确定 SOR 迭代中的最优松弛因子是一件很困难的事
26
收敛性
收敛性定理 Jacobi 迭代收敛的充要条件 (J)<1 G-S 迭代收敛的充要条件 (G)<1 SOR 迭代收敛的充要条件 (L)<1
Jacobi 迭代收敛的充分条件 ||J|| <1 G-S 迭代收敛的充分条件 ||G|| < 1 SOR 迭代收敛的充分条件 ||L|| < 1
x1( k x2( k
1) 1)
1
x(k) 2
2
8
x ( k 1) 1
x(k) 3
3
x3(k1)
5
x ( k 1) 2
2
迭代可得： x(1) = ( 0.5000, 2.8333, -1.0833 )T
x(9) = ( 2.0000, 3.0000, -1.0000 )T
25
举例
SOR 迭代：
x(k1) i
bi
i 1
a x(k1) ij j
n
aij
x(jk
)
aii
j 1
j i 1
第四章 线性方程组迭代解法
得 A A 的特征值
故 A 15
:
1 15
Ax
2
221 ,
2
2 15
2
221
x
2
221 ,
( 7 ) ( 11 ) 170 A
2
2
返回
前进
向量序列与矩阵序列的极限
与求解方程类似，需要讨论的问题是：如何建 立迭代公式，向量序列的收敛条件是什么，若向量 序列{x(k)}收敛，如何进行误差估计？
}为 n 阶方阵序列， A 为 n 阶方阵，如果对于
k
任何矩阵范数都有： 则称序列
lim
A
(k )
A 0 A
(k )
A 收敛于矩阵
(k )
A , 记为 lim
k
A
与向量序列类似，也有：
定理2
设A
(k )
x 如果对任何向量范数都 收敛于 x 0 则称序列 x
(k ) (k ) (k ) k
有： x,
记为 lim x
x
返回
前进
向量序列与矩阵序列的极限（续）
n维点列收敛的一种等价描述是其对应坐标序列均 收敛，向量序列也有类似的结论。 定理1
R 中的向量序列
当且仅当 n
x 收敛于
j 1
n
a ij max
n1 i ຫໍສະໝຸດ nbj 1n
ij
A
B
（ 4）：
AB
max
1 i n
a
j 1 k 1 n
ik
b kj max max 1 i n
1 i n
线性方程组迭代解法
输入最大迭代次数N， k=1；误差ε ② 迭代
计算X ( E D A) X
(1)
1
(0)
D b
1
(1) (1) (1) (1) ③ 控制 如果||X（1）-X（0）||<ε，则输出X ( x1 , x2 xn )
否则 如果k<N ,k=k+1，置X（1） =X（0）转②继续； 如果k>=N ，算法失败。
ji
可写成形如
x
( k 1) i
(bi a x
j 1 (k ) ij j
i 1
j i 1
a x
n
(k ) ij j
) / aii
(i 1,2,, n) (3-９)
在Jacobi 迭代中，是用X(k)的全部分量来计算 X(k+1)的全部分量的。 我们应该注意到，在计算新分量xi(k+1)时，分量 x1(k+1), x2(k+1), … , xi-1(k+1)都已经算出。
由于Gauss-Seidel迭代法逐次用计算出来的新值 代替旧值，所以在收敛的条件下，它要比Jacobi迭 代法收敛速度快。
返回节
Gauss-seidel迭代法的主要步骤
分量计算步骤为：
① 准备
X (0) ( x1(0) , x2(0) xn(0) ) 输入A,b,迭代初值
输入最大迭代次数N， k=1；误差ε
按系数矩阵中 零元素的个数： 按未知量 的个数： 按系数矩 阵的形状
稠密线性 方程组
稀疏线性 方程组 低阶线性 方程组
对角占 优方程组
高阶线性 (如1000) 方程组
对称正定 方程组 三角形 方程组
解线性方程组的迭代法
4.若 x x (0) , 输出x, 停机；否则转5。 5.若k N , 置k 1 k , xi xi(0) (i 1, 2, , n), 转3； 否则，输出失败信息，停机。 评价：公式简单，每迭代一次只需计算一次矩阵和向量 的乘法，不改变M 的稀疏性，需两组工作单元，存 x ( k ) , x ( k 1） 。
第六章、解线性方程组的迭代法
• 直接法: 经过有限次运算后可求得方程组精确解 的方法(不计舍入误差!) • 迭代法：从解的某个近似值出发，通过构造一个 无穷序列去逼近精确解的方法。（一般有限步内 得不到精确解） • 直接法比较适用于中小型方程组。对高阶方程组， 既使系数矩阵是稀疏的，但在运算中很难保持稀 疏性，因而有存储量大，程序复杂等不足。 • 迭代法则能保持矩阵的稀疏性，具有计算简单， 编制程序容易的优点，并在许多情况下收敛较快。 故能有效地解一些高阶方程组。
k
(i 1, 2, , n)
( ( 其中x ( k ) ( x1( k ) , x2k ) , , xnk ) )T , x ( x1 , x2 , , xn )T 。
证：由定义， ( k ) }收敛于x即 lim x ( k ) x 0 {x
k
而对任意1 i n，有0 xi( k ) xi max x (jk ) x j x ( k ) x
1n
1 a11 a11 1 a 21 a 22 I 1 a nn a n1
a12 a1n a 22 a 2n 1 I- D A a nn a n2
T
同样
定义：设{ x ( k ) }为R n中的向量序列，x R n，如果 lim x ( k ) x 0
解线性方程组的迭代法
|| x || 0 (非负性) ； （1）|| x || 0 ，当且仅当 x 0 时，
（2） || x ||| | || x || (齐次性)； （3） || x y |||| x || || y || (三角不等式). 则称 || x || 为向量 x 的范数 (或模).
4.1.2 向量范数和向量序列的极限
常用的向量范数：设 x R n （1）向量的 - 范数 (最大范数)： || x || max | xi |
1 i n
|| x ||1 （2）向量的 1 - 范数 (绝对值范数)：
（3）向量的 2 - 范数：|| x ||2 ( x , x ) (
|| A ||2 3+2 2 , || A ||F 6
4.1.3 矩阵范数和矩阵序列的极限
(k ) ) R nn ，如果存 定义5 (矩阵序列的极限) 设有矩阵序列 Ak (aij
在 A (aij ) R nn，使
k (k ) lim aij aij ,
i, j 1, 2,
（4） || AB |||| A || || B || ； 则称 || A || 为矩阵 A 的范数.
4.1.3 矩阵范数和矩阵序列的极限
相容性： 设有矩阵范数 || ||s 和向量范数 || ||t ，如果对任何向量 x R n 及矩阵 A R nn ，有/2 || A ||F ( aij ) i , j 1 n
它是与向量 2-范数相容的矩阵范数，但不是从属范数.
4.1.3 矩阵范数和矩阵序列的极限
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
§3.2(I) Jacobi 迭代法 （Jacobi iterative method）
数学问题的描述
Jacobi迭代法的主要步
骤
1. The mathematical form 2. The process of Jacobi iterative method
数学问题的描述
Ax=b x= M-1 Nx + M-1 b
B= M-1 N, f= M-1 b
注：选取M阵，就得到解 Ax=b 的各种迭代 法 Re.mark: We can obtain various iterative schemes
by choosing different M.
本章重点介绍三个迭代法，即：
0满足(k什么条∞)件时有
Bk+1 0
The convergence of {x(k) } Bk+1 0
The condition ?
基本迭代法 the based iterative technique
设有 Ax b, 其中AA为非(a奇ij )异矩Rn阵n . 将A分裂为 A M N ,
The process of iterative method
解线性方程组迭代法的主要步骤是:
1. 把所给的线性方程组Ax=b 化成如下形式的同解
方程组
Converting Ax=b into an equivalent form
x=Bx+f
（3-1)
2. 给出初始向量
X 0
x(0) 1
,
x20
Direct techniques are used for solving linear systems of small
dimension. For large systems with high percentage of
0 entries, the direct methods are not efficient enough in term
其中M为可选择的非奇异矩阵，且使Mx=d容易求解， 一般选择为A的某种近似，称M为分裂矩阵.
Splitting A into two parts, nonsingular matrix M and general matrix –N. That is A=M-N.
于是，求解Ax=b转化为求解 Mx=Nx+b ，即
An iterative technique to solving Ax=b starts with an initial Approximate x0 and generates a sequence
of {x(k)}(k=1,2…..) that converges To x.
返回节
迭代法的主要步骤
返回O节f computer storage and computation amount.
迭代法的基本思想
The ideal of iterative method
迭代法是解线性方程组的一种重要的实用方法， 特别适用于求解在实际中大量出现的，系数矩阵为 稀疏阵的大型线性方程组。
迭代法的基本思想是去构成一个向量序列{x(k)}， 使其收敛至某个极限向量x* ，并且x*就是要求解的 方程组：Ax = b 的准确解。
如果按上述迭代公式所得到的向量序列
{ x(k)}收敛于某个向量x* ,则x* 就是方程组 Ax =b 的解，并称此迭代法收敛。否则，就叫不
收敛或发散。
式(3-1)、(3-2)中的矩阵B ，称为迭代矩阵。
迭代公式的构造 迭代公式的收敛性
Problem:
1. How to construct iterative scheme? 2. The convergence of iterative scheme.
研究 {x(k) }的收敛性
引进误差向量 e(k+1) = x(k+1) -x*
因此 e(k+1) =B e(k) (k=1,2,…..) 所以 e(k+1) = Bk+1 e(0)
x(k+1)=Bx(k)+ f
要考察 {x(k) } 的收敛性, 就要研究B在什么条件下有
e(k+-Seidel iterative)
3.3 迭代法的收敛性 (The convergence of iterative method)
3.4 SOR法 (SOR method))
本章学习要点
概论
引子 迭代法的基本思想 迭代法的主要步骤
引子(Introduction)
直接法得到的解是理论上准确的，但是我们可以 看得出，它们的计算量都是n3数量级，存储量为n2量 级，这在n比较小的时候还比较合适（n<400），但 是对于现在的很多实际问题，往往要我们求解很大的 n的矩阵，而且这些矩阵(系数矩阵)往往是含有大量的 0元素。对于这类的矩阵，再用直接法时就会耗费大 量的时间和存储单元。另一方面,实际计算结果精度有 时无法保证. 主要原因是在多次消去、回代过程中四 则运算的误差积累与传播无法控制. 因此我们有必要 引入一类新的方法：迭代法。
1）Jacobi迭代法, 2）Gauss-Seidel 迭代法, 3）超松弛迭代法（SOR法）
及其收敛性。
The three iterative schemes in the textbook: 1. Jacobi iteration 2. Gauss-Seidel iteration 3. SOR method
,,按xn迭0 T代公Rn式
x(k+1)=Bx(k)+f (k=0,1,2,…) （3-2)
进行计算,其中k 表迭代次数。
For given initial vector x0, the sequence s of approximate Solutions are generated by computing (3-2)
第三章 线性方程组迭代解法
Iterative techniques for solving linear system
内容提要(content)
3.1 概 论(Introduction)
3.2(I) Jacobi 迭代法(Jacobi iterative) 3.2(II) Gauss-Seidel 迭代法