第三章线性方程组数值解法

合集下载

第三章线性方程组AX=B的数值解法

线性方程组的解（续1）
求逆运算和行列式计算由于运算量大，实际求解过程中基本不使用，仅作为理论上的定性讨论克莱姆法则在理论上有着重大意义，但在实际应用中存在很大的困难，在线性代数中，为解决这一困难给出了高斯消元法还有三角分解法和迭代求解法

11.03.2019 华南师范大学数学科学学院谢骊玲

11.03.2019 华南师范大学数学科学学院谢骊玲
3.4 高斯消去法和选主元（续1）

考虑一个简单的例子：
3x 1 2x 2 7 4x 1 x 2 1

求解第二个方程，得
x2 5

第二个方程减去第一个方程除以3再乘以4得到的新方程，得到新的方程组：
3x 1 2x2 7 5 25 x2 3 3
上三角线性方程组的求解（续1）
(2) 式可简写成 u11 U
11.03.2019
U x b ，其中
u12 u1n u 22 u 2 n u nn
华南师范大学数学科学学院谢骊玲
3.4 高斯消去法和选主元
求解有N个方程和N个未知数的一般方程组 AX=B的一般做法：构造一个等价的上三角方程组UX=Y，并利用回代法求解如果两个N×N线性方程组的解相同，则称二者等价对一个给定方程组进行初等变换，不会改变它的解
2 x1 x2 4 x3 16 1 x2 5x3 -14 2 x1 3x2 3x3 16
2 x1 x 2 4 x3 16 1 x 2 5 x3 -14 2 5 x 2 x3 8 2
11.03.2019
2x1 x2 4x3 16 x2 10x3 -28 26x3 78

数学计算方法线性方程组解法

x(k1) 6.667 y(k) 8.667
y(k1) 2.5x(k) 4.0
5x 2y 8 3x 20y 26
k
0
x(k)
0
1 8.667
2 35.335
3
…
-109.126 …
y(k)
0
4.0
-17.668 -84.358 …
§3.1 问题的提出
...
a2n
,
b
b2
,
x
x2
... ... ... ...
...
...
an1
an2
...
ann
bn
xn
§3.1 问题的提出
➢如果A是非奇异阵时，方程组有唯一解，且可以用克莱姆(Grammer)法则表示:
xi
Di D
,
(i 1, 2,..., n)
其中xi是解向量x*的第i个分量，D=detA, Di是用b代替A的第i列后得到矩阵的行列式。
§3.1 问题的提出
➢克莱姆方法求解计算量太大，需要计算(n+1)个n阶行列式，共需要(n+1)!次乘法运算。
§3.1 问题的提出
• 求解线性方程组的数值方法有两大类：
1)直接法(direct methods)。经过有限次算术运算可求方程组精确解的方法(实际上，由于舍入误差不可避免，一般得不到精确解)。适合于求解低阶稠密阵方程组。
§3.1 问题的提出
是方程组的精确解，用有限次运算得不到精确解。迭代法是牛顿最先提出来的，1940年经司威尔提出的松弛法也是一种迭代法，共轭梯度法则是另一种迭代法，是弗莱彻等人于20世纪60年代提出来的。
§3.1 问题的提出

数值分析第三章线性方程组解法

数值分析第三章线性方程组解法在数值分析中，线性方程组解法是一个重要的主题。

线性方程组是由一组线性方程组成的方程组，其中未知数的次数只为一次。

线性方程组的解法包括直接解法和迭代解法两种方法。

一、直接解法1.1矩阵消元法矩阵消元法是求解线性方程组的一种常用方法。

这种方法将方程组转化为上三角矩阵，然后通过回代求解得到方程组的解。

1.2LU分解法LU分解法是将系数矩阵A分解为一个下三角矩阵L和一个上三角矩阵U的乘积，然后通过解两个三角方程组求解线性方程组。

这种方法可以减少计算量，提高计算效率。

1.3 Cholesky分解法Cholesky分解法是对称正定矩阵进行分解的一种方法。

它将系数矩阵A分解为一个下三角矩阵L和它的转置的乘积，然后通过解两个三角方程组求解线性方程组。

Cholesky分解法适用于对称正定矩阵的求解，具有较高的精度和稳定性。

二、迭代解法2.1 Jacobi迭代法Jacobi迭代法是一种迭代求解线性方程组的方法。

它通过分解系数矩阵A为一个对角矩阵D和一个余项矩阵R，然后通过迭代更新未知数的值，直至达到一定精度要求为止。

Jacobi迭代法简单易懂，容易实现，但收敛速度较慢。

2.2 Gauss-Seidel迭代法Gauss-Seidel迭代法是一种改进的Jacobi迭代法。

它通过使用新计算出的未知数值代替旧的未知数值，达到加快收敛速度的目的。

Gauss-Seidel迭代法是一种逐步逼近法，每次更新的未知数值都会被用于下一次的计算，因此收敛速度较快。

2.3SOR迭代法SOR迭代法是一种相对于Jacobi和Gauss-Seidel迭代法更加快速的方法。

它引入了一个松弛因子，可以根据迭代的结果动态地调整未知数的值。

SOR迭代法在理论上可以收敛到线性方程组的解，而且收敛速度相对较快。

三、总结线性方程组解法是数值分析中的一个重要内容。

直接解法包括矩阵消元法、LU分解法和Cholesky分解法，可以得到线性方程组的精确解。

大学数值计算方法(第3章解线性方程组的数值解法)3

定义3.4.5 设λi(i = 1,2,...,n)为矩阵A的特
征值, 则称 ρ ( A) = max{| λi |}
1≤i ≤ n
为矩阵A的谱半径。矩阵A的谱半径ρ ( A)不是A的一种范数, 但可能与A的任何一种范数有某种关系。
例题
2 求矩阵 A = − 2 − 1 的谱半径。 4
则必存在两正数m, M , 使得 m || x ||β ≤|| x ||α ≤ M || x ||β
向量范数性质等价性质：
1) 2) 3) 1 || x ||1 ≤|| x ||∞ ≤|| x ||1 n || x ||∞ ≤|| x ||1 ≤ n || x ||∞ || x ||∞ ≤|| x ||2 ≤ n || x ||∞
lim || x
（k）
− x ||∞ = 0 ⇔ lim max x
* k →∞ 1≤i ≤ n k →∞ (k ) i
(k ) i
− xi = 0
⇔ lim x
=x
* i
(i = 1,2,...n)
3.4.2 矩阵范数
定义3.4.3 设任意A ∈ R n×n , 若按某一确定的法则对应于一非负实数 || A ||, 且满足 : 1)非负性 :|| A ||≥ 0，当且仅当A = 0时， A ||= 0; || 2)奇次性： kA ||=| k ||| A || ，k ∈ R; || 3)三角不等式： A + B ||≤|| A || + || B ||, ∀A, B ∈ R n×n ; || 4)相容性： ≤ A B ，∀A, B ∈ R n×n， AB 则称 || A || 为R n×n的一种范数。
算子范数
所以对x ≠ 0有 || ( A + B) x || ≤|| A || + || B || || x || || ( A + B) x || || A + B ||= max ≤|| A || + || B || x ≠0 || x || || AB ||≤|| A |||| B || 。 || I ||= max || Ix ||= 1 x =1

数值分析解线性代数方程组的直接解法省公开课一等奖全国示范课微课金奖PPT课件

i 2, , n, j 2, , n
b (2) i
b (1) i
mi1b1(1) ,
i 2, , n
对方程组A(1) x b(1)从左边乘以L1 L1 A(1) x L1b(1)
数值分第析18页
数值分析
第二步：设a2( 22 )
0，取mi 2
a(2) i2
a(2) 22
，i
3, ..., n
数值分第析4页
数值分析
数值求解方法有以下三条路径（三种框架）
直接法：利用Gauss消元或矩阵分解，经过有限次运算可求出准确解。
迭代法：结构迭代格式，产生迭代序列，经过无限次迭代过程求解。有限次截断得近似解。
极小化方法：结构二次模函数，用迭代过程求二次
模函数极小化问题，即变分法（经
n次运算，理论上得准确解）要求A
数值分析
将方程组Ax=b系数矩阵与右端项合并为
a11 a12
A, b
a21
a22
an1
an2
a1n b1
a2n
b2
A
ann
bn
记A
(1)
A
a1(11)
...
a(1) 1n
b(1) 1
1(1)
,
(1) 2
,
...,
(1) n
,
b(1)
an(11)
...
a(1) nn
b(1) n
第一步：设a1(11) 0, 取mi1 aa（（1i1111））,
6 3 3
x1
2x2 x2
3x3 2x3 3x3
6 3 3
回代求得 x3 3 / 3 1
x2 (3 2 x3 ) (3 2 1) 1

线性方程组的数值解法

对每行计算乘数
mi1aa1i1111, i2,3,,n
用 mi1 乘以第1个方程，加到第 i个方程，消去
第 2个方程到第 n个方程的未知数x1 ，得 A2xb2
即:
a111
a112 a222
aa1212nnxx12
bb1212
an22 an2nxn bn2
其中： a bii2 2 j a bii1 1j m m ii1 1b a1 1 1 1j i,j2,3, ,n
an1 ann
x1
x
x n
b1
b
b n
若矩阵A非奇异，即A的行列式 deAt0，根据
克莱姆（Gramer）法则，方程组有唯一解：
xi
Di D
i1,2, ,n
其中D表示 detA，D i 表示 D 中第 i列换成 b后
所得的行列式。
当阶数较高时用这种方法求解是不现实的。n阶行
综上所述，高斯消去法的框图如图3-1所示。从中可看出高斯消去法的计算机运算和存储方式的特点：
1〉按消元规则进行运算后，对角线以下元素为0。故对于对角线以下元素不用作计算，减小了计算量。
2〉对角线以下元素对回代求解无影响，故可将乘数放在该处，即
a akikkaik,ik1,k2, ,n
以节省存储单元。
列式有 n项!，每项又是个n数的乘积。对较大的，
其计n算量之大，是一般计算机难以完成的。而且，这时的舍入误差对计算结果的影响也较大。
例如，求解一个20阶线性方程组，用加减消元法需 3000次乘法运算，而用克莱姆法则要进行 9.71020次运算，如用每秒1亿次乘法运算的计算机要30万年。
线性代数方程组的计算机解法常用方法：

第三章解线性方程组直接法

第三章解线性方程组的直接法3.1 引言许多科学技术问题要归结为解含有多个未知量x 1, x 2, …, x n 的线性方程组。

例如，用最小二乘法求实验数据的曲线拟合问题，三次样条函数问题，解非线性方程组的问题，用差分法或有限元法解常微分方程、偏微分方程的边值等，最后都归结为求解线性代数方程组。

关于线性方程组的数值解法一般有两类：直接法和迭代法。

1. 直接法直接法就是经过有限步算术运算，可求得线性方程组精确解的方法（假设计算过程中没有舍入误差）。

但实际计算中由于舍入误差的存在和影响，这种方法也只能求得线性方程组的近似解。

本章将阐述这类算法中最基本的高斯消去法及其某些变形。

2. 迭代法迭代法就是用某种极限过程去逐步逼近线性方程组精确解的方法，迭代法需要的计算机存储单元少、程序设计简单、原始系数矩阵在计算过程中不变，这些都是迭代法的优点；但是存在收敛性和收敛速度的问题。

迭代法适用于解大型的稀疏矩阵方程组。

为了讨论线性方程组的数值解法，需要复习一些基本的矩阵代数知识。

3.1.1 向量和矩阵用nm ⨯R表示全部n m ⨯实矩阵的向量空间，nm C⨯表示全部n m ⨯复矩阵的向量空间。

()⎪⎪⎪⎪⎪⎭⎫⎝⎛==⇔∈⨯nn n n n n ij nm a a a a a aa a a a ΛΛΛΛΛΛ212222111211A R A 此实数排成的矩形表，称为m 行n 列矩阵。

⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=⇔∈n n x x x M 21x R x x 称为n 维列向量矩阵A 也可以写成)(n 21a ,,a ,a A Λ= 其中 a i 为A 的第i 列。

同理⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=T T T n 21b b b A M其中Ti b 为A 的第i 行。

矩阵的基本运算：（1）矩阵加法 )( ,n m n m R C ,R B ,R A B A C ⨯⨯⨯∈∈∈+=+=n m ij ij ij b a c . （2）矩阵与标量的乘法 ij j a ci αα== ,A C （3）矩阵与矩阵乘法 p nk kj ikb acij ⨯⨯⨯=∈∈∈==∑m p n n m R C ,R B ,R A AB C ( ,1（4）转置矩阵 ji ij T nm a c ==∈⨯ , ,A C RA（5）单位矩阵 ()nn ⨯∈=Re ,,e ,e I n 21Λ，其中()Tk e 0,0,1,0,0ΛΛ= k=1,2,…,n（6）非奇异矩阵设n n ⨯∈R A ，n n ⨯∈R B 。

线性方程组的数值解法及其应用

线性方程组的数值解法及其应用一、问题描述现实中的问题大多数是连续的，例如工程中求解结构受力后的变形，空气动力学中计算机翼周围的流场，气象预报中计算大气的流动。

这些现象大多是用若干个微分方程描述。

用数值方法求解微分方程（组），不论是差分方法还是有限元方法，通常都是通过对微分方程（连续的问题，未知数的维数是无限的）进行离散，得到线性方程组（离散问题，因为未知数的维数是有限的）。

因此线性方程组的求解在科学与工程中的应用非常广泛。

经典的求解线性方程组的方法一般分为两类：直接法和迭代法。

二、基本要求1）掌握用MATLAB软件求线性方程初值问题数值解的方法；2）通过实例学习用线性方程组模型解决简化的实际问题；3）了解用高斯赛德尔列主元消去法和雅可比迭代法解线性方程组。

三、测试数据1）直接法：A=[0.002 52.88;4.573 -7.290];b=[52.90;38.44];2）迭代法：A=[10 -1 -2;-1 10 -2;-1 -1 5];b=[7.2;8.3;4.2];四、算法程序及结果1）function[RA,RB,n,x]=liezy1(A,b)B=[A b];n=length(b);RA=rank(A);RB=rank(B);zhica=RB-RA;if zhica>0,disp('因为RA~=RB,所以此方程组无解.')returnif RA==RBif RA==ndisp('因为RA=RB=n,所以此方程组有唯一解.')x=zeros(n,1);C=zeros(1,n+1);for p=1:n-1[Y,j]=max(abs(B(p:n,p)));C=B(p,:);B(p,:)=B(j+p-1,:);B(j+p-1,:)=C;for k=p+1:nm=B(k,p)/B(p,p);B(k,p:n+1)=B(k,p:n+1)-m*B(p,p:n+1);endendb=B(1:n,n+1);A=B(1:n,1:n);x(n)=b(n)/A(n,n);for q=n-1:-1:1x(q)=(b(q)-sum(A(q,q+1:n)*x(q+1:n)))/A(q,q);endelsedisp('因为RA=RB<n,所以此方程组有无穷多解.')endend测试：A=[0.002 52.88;4.573 -7.290];>> b=[52.90;38.44];>> [RA,RB,n,x]=liezy1(A,b)因为RA=RB=n,所以此方程组有唯一解.RA =2RB =2n =2x =10.00001.00002）function Jacobi(A,b,x0,P,error,max1)[n n]=size(A);x=zeros(n,1);for k=1:max1for j=1;nx(j)=(b(j)-A(j,[1:j-1,j+1:n])*x0([1:j-1,j+1:n]))/A(j,j);endxerrx=norm(x-x0,P);x0=x;x1=A\b;if(errx<error)disp('迭代次数k,精确解x1和近似解x分别是：')kx1xreturnendendif(errx>=error)disp('请注意：Jacobi迭代次数已经超过最大迭代次数max1.') end测试：A=[10 -1 -2;-1 10 -2;-1 -1 5];>>b=[7.2;8.3;4.2];>>x0=[0;0;0];>>Jacobi(A,b,x0,inf,0.001,100)n =3x =0.7200迭代次数k,精确解x1和近似解x分别是：k =2x1 =1.10001.20001.3000x =0.7200五、应用举例1）营养学家配制一种具有1200卡，30g蛋白质及300mg维生素C的配餐。

第三章基本数值计算方法一

1.0000 0 0 -1.6757 1.0676
U0
0 1.0000
0
-1.8378
-1.2162
,
0 0 1.0000 0.9820 0.3018
0
0
0
0
0
这个最简行阶梯形式说明原来的方程组是欠定的。
欠定方程组解的特点
它等价于下列方程组：
x1
-1.6757 x4 = 1.0676
1
0
3
0
0
（柠檬酸）x1
1 1
,（小苏打）x2
8 6
（, 碳酸钠）x3
0 6
,
（水）x4
2 0
,
（二氧化碳）x5
0 1
,
3
8
7
1
2
• 按四种元素左右平衡列出四个方程，得：
1 0 3 0 0 0
1
1
x1
8
6
x2
0 6
x3
2 0
x4
0 1
x5
0 0
Ax
=
b
=
0
3
8
7
1
2
0
化学方程配平程序
X4 = 8.66
为什么要提出这种新的计算方法？
把上例中第四个方程改为：
4x1 + 2x2 + 7x3 -778/222 x4 877 / 222
，求其解。
解：输入新参数
A=[6,1,6,-6;1,-1,9,9;-2,4,0,4;4,2,7,-778/222];
b=[7;5;-7;877/222]; 键入U=rref([A,b])，得到
4x1 + 2x2 + 7x3 -5x4 9

线性方程组数值解法

线性方程组数值解法一、实验原理：本次实验求解方程组所采用的方法中：○1列主元高斯消元法主要三步骤：先是按列选主元，然后后消元，持续这两步骤将增广矩阵化为行阶梯矩阵，最后进行回代。

○2 LU 分解法是把系数矩阵分解为下三角矩阵L 和上三角矩阵U,又对方程组中b 项有与U 相似的公式，即可对增广矩阵A 作LU 分解，即可得等价方程组，而后进行回代即可得解。

○3于雅克比迭代法是把方程组写与其同解的方程组形式，该同解方程组是把系数矩阵对角元中的变量（未知数）写到方程组左边。

然后得到迭代公式，后就迭代求解直到满足精度为止。

○4高斯-塞德尔迭代法其实与雅克比迭代法差不多唯一的差别是迭代公式上，它把前面方程已算得的变量带到后面方程中，其余未得的用前次的代替，而雅可比迭代法则都是有前次代替。

具体原理如下：1．列主元高斯消元法：○1.按列选主元。

k-1次消元后，选第k 列中的对角元以下绝对值最大的元素为该列主元即ik ni k tk a a max ≤≤=。

(1,,2,1-=n k n k k t ,1,+=)○2.交换增广矩阵A 第t 和k 行，记住新的主对角元tk a 。

○3.用高斯消去法进行第k 次消元。

消元完成以后，进行回代求解。

○2.LU 分解法式子为:.,3,2,3,2,1/,11111n i n j u a l a u i i i j j ====。

1 ,1,,k kj kj kq qj j ku a l u j k k n -==-=+∑其中 (1)图1 列主元高斯消元法流程图分析：从流程图看2，3，4步骤为选主元，5，6步骤为消元过程。

其次其中并无约束系数矩阵a 需为方阵。

2．LU 分解法：○1.根据非奇异矩阵A 可分解为一个下三角矩阵L 和一个上三角矩阵U 乘积即A=LU 。

Y11i=k+1,k+2,,n k ik iq qkq ik kka l u l u -=-=∑其中(2)113k k k kq q q y b l y -==-∑其中k=2，，,n(3)○3.由式④与式②比较可知把增广矩阵A 采用LU 分解格式，即可得到与原方程同解的方程组。

《数值计算方法》复习资料

实用文档《数值计算方法》复习资料第一章数值计算方法与误差分析第二章非线性方程的数值解法第三章线性方程组的数值解法第四章插值与曲线拟合第五章数值积分与数值微分第六章常微分方程的数值解法自测题课程的性质与任务数值计算方法是一门应用性很强的基础课，在学习高等数学，线性代数和算法语言的基础上，通过本课程的学习及上机实习、使学生正确理解有关的基本概念和理论，掌握常用的基本数值方法，培养应用计算机从事科学与工程计算的能力，为以后的学习及应用打下良好基础。

第一章数值计算方法与误差分析一考核知识点误差的来源类型；绝对误差和绝对误差限，相对误差和相对误差限，有效数字；绝对误差的传播。

二复习要求1.知道产生误差的主要来源。

2.了解绝对误差和绝对误差限、相对误差和相对误差限和有效数字等概念以及它们之间的关系。

3.知道四则运算中的误差传播公式。

实用文档三例题例 1 设x*= =3.1415926⋯近似值 x=3.14 ＝ 0.314× 101,即 m=1，它的绝对误差是－ 0.001 592 6 ，⋯有即 n=3，故 x=3.14 有 3 位有效数字 .x=3.14准确到小数点后第 2 位 .又近似值 x=3.1416，它的绝对误差是0.0000074 ⋯，有即 m=1,n＝ 5， x=3.1416 有 5 位有效数字 .而近似值x=3.1415，它的绝对误差是0.0000926 ⋯，有即 m=1,n＝ 4， x=3.1415 有 4 位有效数字 .这就是说某数有s 位数，若末位数字是四舍五入得到的，那么该数有s 位有效数字；例 2指出下列各数具有几位有效数字，及其绝对误差限和相对误差限：2.000 4－0.002 009 0009 000.00解因为 x1=2.000 4＝ 0.200 04× 101, 它的绝对误差限 0.000 05=0.5 × 10 1―5，即m=1,n=5, 故 x=2.000 4 有 5 位有效数字 . a1=2，相对误差限x2=－ 0.002 00，绝对误差限0.000 005，因为 m=－2，n=3 ，x2=－ 0.002 00 有 3 位有效数字 . a1=2 ，相对误差限r ==0.002 5实用文档x3=9 000 ，绝对误差限为0.5× 100，因为 m=4, n=4, x3=9 000 有 4 位有效数字， a=9 ，相对误差限r＝＝ 0.000 056x4=9 000.00 ，绝对误差限0.005，因为 m=4， n=6， x4=9 000.00 有 6 位有效数字，相对误差限为r＝＝ 0.000 000 56由 x3与 x4可以看到小数点之后的0，不是可有可无的，它是有实际意义的.例 3 ln2=0.69314718⋯，精确到10－3的近似值是多少？解精确到 10－3＝ 0.001，意旨两个近似值x1,x2满足，由于近似值都是四舍五入得到的，要求满足，近似值的绝对误差限应是＝0.0005,故至少要保留小数点后三位才可以。

线性代数方程组的数值解法

a (1) 1n 1
a (2) 2n 1
a
(1) 3n 1
a (1) nn 1
1
0
0
0
a (1) 12 1 0
0
a (1) 13
a (2) 23
a (1) 1n 1
a (2) 2n 1
记为
a (2) 33
a
(2) 3n 1
（A(2) , b(2)）
a (2) n3
a
(2) nn 1
(1) 22
,
然
后用第i行元数（i
3,
,
n)减去第二行对应元素的a
(1) i2
倍，(i 2,, n),这样，a(212)位置变为1，从第三行后的各
行第二个元素为0。
1 0 0 0
a (1) 12 1
a (1) 32
a (1) n2
a (1) 13
a (2) 23
a (1) 33
a (1) n3
2
(A
|
b)
4
1 2
3 5
1 1
4
0
1 2 4
3
2 1
1
2 2
2 0 1 6
0 1 1 5
1 0
1 3 22
1 1
1
2 1
4 2
0 0 1 6
这样就将系数阵化为单位三角阵，这个过程称为“消元过程”。二是解三角形方程组，称为“回代过程”，整个过程称为“有回代过程的顺序消元法”。
,
x
x2 xn
,
b
bபைடு நூலகம் bn
求解向量 x。
数值解法主要有两大类：第一类是直接法。即按求精确解的方法运算求解。第二类是迭代法。其思想是首先把线性方程组(3-1)等价变换为如下形式的方程组：

计算方法线性方程组数值解法

d
2
a3b3c3
x3
d3
an
1bn1cn
1
xn
1
d
n
1
anbn xn dn
其系数矩阵为三对角形，元素满足以下条件：
|b1|>|c1|>0
|bi|≥|ai|+|ci|，且aici≠0 i=2，3，……n-1; |bn|≥|an|>0。
可以采用追赶法求解
4
线性代数方面的计算方法就是研究求解线性方程组的一些数值解法与研究计算矩阵的特征值及特征向量的数值方法。
5
设有线性方程组
a11x1 a12x2 a1nxn b1 a21x1a22x2a2nxnb2 an1x1 an2x2 annxn bn
式中，aij，bi为已知常数，xi为待求的未知量。记
u
2
2
u 2 n
u n 1,n 1u n 1,n
u n n
10
若uii≠0（i=1,2,……n）,则由下至上依次回代得
xn yn / unn
xn1 ( yn1 xi yi
un1,n xn ) / un1,n1
n
uij x j ) / uii
0
a
( 2
2 2
)
a
( 2
2) ,k 1
a
( 2
2) ,k
a
( 2
2) ,n
a
( 2
2) ,n 1
0 A(k)
0 0
a
( k
k) ,k
a
( k
k) ,k 1
a
k
k ,n
a
( k
k) 1,n
1

数值分析讲义——线性方程组的解法

第三章线性方程组的解法§3.0 引言§3.1 雅可比(Jacobi)迭代法§3.2 高斯-塞德尔(Gauss-Seidel)迭代法§3.3 超松驰迭代法§3.7 三角分解法§3.4 迭代法的收敛性§3.8 追赶法§3.5 高斯消去法§3.9 其它应用§3.6 高斯主元素消去法§3.10 误差分析§3 作业讲评3 §3.11 总结3.0 引言重要性：解线性代数方程组的有效方法在计算数学和科学计算中具有特殊的地位和作用.如弹性力学、电路分析、热传导和振动、以及社会科学及定量分析商业经济中的各种问题.分类：线性方程组的解法可分为直接法和迭代法两种方法.(a) 直接法：对于给定的方程组，在没有舍入误差的假设下，能在预定的运算次数内求得精确解.最基本的直接法是Gauss消去法，重要的直接法全都受到Gauss消去法的启发.计算代价高.(b) 迭代法：基于一定的递推格式，产生逼近方程组精确解的近似序列.收敛性是其为迭代法的前提，此外，存在收敛速度与误差估计问题.简单实用,诱人.雅可比Jacobi 迭代法 (AX =b )1基本思想:与解f (x )=0 的不动点迭代相类似,将AX =b 改写为X =BX +f 的形式,建立雅可比方法的迭代格式：X k +1=BX (k )+f ,其中，B 称为迭代矩阵.其计算精度可控,特别适用于求解系数为大型稀疏矩阵(sparse matrices)的方程组. 2问题:(a) 如何建立迭代格式？(b) 向量序列{X k }是否收敛以及收敛条件? 3 例题分析:考虑解方程组⎪⎩⎪⎨⎧=+--=-+-=--2.453.82102.7210321321321x x x x x x x x x (1)其准确解为X *={1, 1.2, 1.3}. 建立与式(1)相等价的形式：⎪⎩⎪⎨⎧++=++=++=84.02.01.083.02.01.072.02.01.0213312321x x x x x x x x x (2) 据此建立迭代公式：⎪⎩⎪⎨⎧++=++=++=+++84.02.01.083.02.01.072.02.01.0)(2)(1)1(3)(3)(1)1(23)(2)1(1k k k k k k kk k x x x x x x x x x (3) 取迭代初值0)0(3)0(2)0(1===x x x ,迭代结果如下表.JocabiMethodP31.cppx1 x2 x30 0 0 01 0.72 0.83 0.842 0.971 1.07 1.153 1.057 1.1571 1.24824 1.08535 1.18534 1.282825 1.095098 1.195099 1.2941386 1.098338 1.198337 1.2980397 1.099442 1.199442 1.2993358 1.099811 1.199811 1.2997779 1.099936 1.199936 1.29992410 1.099979 1.199979 1.29997511 1.099993 1.199993 1.29999112 1.099998 1.199998 1.29999713 1.099999 1.199999 1.29999914 1.1 1.2 1.315 1.1 1.2 1.34Jocobi迭代公式:设方程组AX=b, 通过分离变量的过程建立Jocobi迭代公式，即),,2,1()(1),,2,1(0,11n i x a b a x n i a b x a n ij j j ij i iii ii ni i j ij =∑-==≠∑=≠== 由此我们可以得到Jacobi 迭代公式：),,2,1()(11)1(n i x a b a xn ij j k i ij i iik i=∑-=≠=+[Jacobi 迭代公式的算法] 1: 初始化. n , (a ij ), (b j ), (x 1) , M . 2: 执行k =1直到M 为止. ① 执行i =1直到n 为止.ii nij j j ij i i a x a b u /)(1∑-←≠= ;② 执行i =1直到n 为止.i i u x ← ;③输出k , (x i ).另外，我们也可以建立Jacobi 迭代公式的矩阵形式. 设方程组AX =b ,其中，A =(a ij )n 为非奇异阵，X =(x 1,x 2,…,x n )T , b =(b 1,b 2,…,b n )T将系数阵A 分解为: A =U +D +L ,U 为上三角矩阵，D 为对角矩阵，L 为下三角矩阵.AX =b 可改写为 (U +D +L )X =b⇔ X =D -1b -D -1(U +L )X由此可得矩阵形式的Jocobi 迭代公式： X k +1=BX (k )+f □§3.2 高斯-塞德尔Gauss-Seidel 迭代法注意到利用Jocobi 迭代公式计算)1(+k ix 时，已经计算好)(1)(2)(1,,,k i k k x x x - 的值，而Jocobi 迭代公式并不利用这些最新的近似值计算，仍用)(1)(2)(1,,,k i k k x x x - .这启发我们可以对其加以改进,即在每个分量的计算中尽量利用最新的迭代值，得到),,2,1()(1111)1()1(n i x a x a b a xn i j k jij i j k j ij i iik i=∑-∑-=+=-=++上式称为Gauss-Seidel 迭代法. 其矩阵形式是X =-(D +L )-1UX +(D +L )-1b , X k +1=BX (k )+f .迭代次数 x1 x2 x3 0 0 0 0 1 0.72 0.902 1.1644 2 1.04308 1.167188 1.282054 3 1.09313 1.195724 1.2977714 1.099126 1.199467 1.2997195 1.09989 1.199933 1.2999656 1.099986 1.199992 1.2999967 1.099998 1.199999 1.2999998 1.1 1.2 1.3.3 超松驰迭代法SOR 方法1基本思想:逐次超松弛迭代法(Successive Over Relaxation Method,简写为SOR)可以看作带参数ω的高斯-塞德尔迭代法，是G-S 方法的一种修正或加速.是求解大型稀疏矩阵方程组的有效方法之一. 2 SOR 算法的构造:设方程组AX =b , 其中，A =(a ij )n 为非奇异阵，X =(x 1,x 2,…,x n )T , b =(b 1,b 2,…,b n )T . 假设已算出x (k )，),,2,1()(1111)1()1(n i x a x a b a xn i j k j ij i j k j ij i iik i=∑-∑-=+=-=++ (1)相当于用高斯-塞德尔方法计算一个分量的公式. 若对某个参数ω，作)1(+k i x与)(k i x加权的平均,即)()1()()1()()1()(1k i k ik i k ik ik ix xx xxx-+=+-=+++ωωω (2)其中，ω称为松弛因子.用(1)式代入(2)式，就得到解方程组AX =b 的逐次超松弛迭代公式：⎪⎩⎪⎨⎧=∑-∑-=∆∆+==-=++),,2,1()()(11)1()()1(n i x a x a b a x x x x n ij k j ij i j k j ij i iii i k i k i ω (3) 显然，当取ω=1时，式(3)就是高斯-塞德尔迭代公式. 3 例题分析:SOR 方法解方程组⎪⎩⎪⎨⎧=+---=-+-=--3322242024321321321x x x x x x x x x (1) 其准确解为X *={1, 1, 2}. 建立与式(1)相等价的形式：⎪⎪⎩⎪⎪⎨⎧++=-+=+=132315.05.05.025.05.021*******x x x x x x x x x (2) 据此建立迭代公式：⎪⎪⎩⎪⎪⎨⎧++=-+=+=+++132315.05.05.025.05.0)(2)(1)1(3)(3)(1)1(23)(2)1(1k k k k k k kk k x x x x x x x x x (3) 利用SOR 算法，取迭代初值1)0(3)0(2)0(1===x x x ,ω=1.5,迭代结果如下表.逐次超松弛迭代法次数 x1 x2 x3 1 0.625000 0.062500 1.750000 2 0.390625 0.882813 1.468750 3 1.017578 0.516602 1.8085944 0.556885 0.880981 1.7104495 1.023712 0.743423 1.8681036 0.746250 0.908419 1.8387377 0.997715 0.860264 1.9138948 0.864050 0.936742 1.9086059 0.986259 0.922225 1.94552310 0.928110 0.958649 1.94749311 0.985242 0.955944 1.96619812 0.961661 0.973818 1.96952113 0.988103 0.974699 1.97928914 0.979206 0.983746 1.98217215 0.991521 0.985318 1.98741616 0.988509 0.990038 1.98951317 0.994341 0.991414 1.99239718 0.993538 0.993946 1.99380619 0.996367 0.994950 1.99542420 0.996313 0.996342 1.99633121 0.997724 0.997018 1.99725422 0.997871 0.997798 1.99782223 0.998596 0.998234 1.998355GS迭代法须迭代85次得到准确值X*={1, 1, 2};而SOR方法只须55次即得准确值.由此可见，适当地选择松弛因子ω，SOR法具有明显的加速收敛效果. □3.4 迭代法的收敛性1. 向量和矩阵范数 (a) 向量范数R n 空间的向量范数 || · || ,对任意n R y x ∈,, 满足下列条件： 00||||;0||||)1(=⇔=≥x x x (正定性)||||||||||)2(x x⋅=αα (齐次性)||||||||||||)3(y x y x+≤+ （三角不等式）常见的向量范数有： (1) 列范数：(2) 谱范数：(欧几里德范数或向量的长度,模)(3) 行范数：(4) p 范数::∞||||x =max(|x 2-x 1|,|y 2-y 1|) ; 1||||x =|x 2-x 1|+|y 2-y 1| ;2122122)()(||||y y x x x -+-=.向量序列}{)(k x依坐标收敛于向量x * 的充要条件是向量序列}{)(k x 依范数收敛于向量x *,即0||||lim *)(=-∞→x x k k .(b) 矩阵范数n m R ⨯空间的向量范数 || · || ,对任意nm RB A ⨯∈,, 满足下列条件：|||||||| || AB || (4)||||||||||||)3(||||||||||)2(00||||;0||||)1(B A B A B A A A A A A ≤+≤+⋅==⇔=≥αα∑==∞≤≤nj ij a A ni 1||max ||||1 (行和范数)∑==≤≤ni ij a A nj 11||max ||||1 (列和范数))(||||max 2A A A T λ= (谱范数)若A 对称，则有)()(2max max A A A T λλ=.矩阵A 的谱半径记为)(||||2A A ρ=,ρ(A ) =||max 1i ni λ≤≤,其中λi 为A 的特征根。

数值计算方法第三章线性方程组迭代法

0,1,2,
取x1(0) 0, x2(0) 0,计算结果如下：
k0
x (k) 1
0
x (k) 2
0
1
2
3
4
0.66667 0.50000 0.61111 0.58333
0.50000 0.16667 0.25000 0.19445
5
6
7
8
9
0.60185 0.59722 0.60031 0.59954 0.6005
从而得迭代式 x(k1) (D L)1Ux (k) (D L)1 b, (k 0,1,2, )
上式中矩阵 M (D L)1U 为Gauss-Seidel迭代矩阵。
输入：A,b, n,
置初值： k 0; xi 0(i 1,L , n)
k k 1;e 0
3xx1 12xx22

2 1
精确到3位有效数字。
解 Gauss Siedel迭代格式为

x (k 1) 1
x (k 1) 2
(2 x2(k) ) / 3 (1 x1(k1) ) / 2
,
k

0,1,
2,L
取x1(0)

0,
x (0) 2

0, 计算结果如下：
0
101
0

1
10
2

1 0 0 101 1 1 5
0 0.1 0.2 0.1 0 0.2
0.2 0.2 0
取初值x (0) (0,0,0)T 代入迭代式
x(1) Bx (0) g (7.2,8.3,8.4)T x(2) Bx(1) g (9.17,10.70,11.50)T ，如此下去， x(9) Bx (1) g (10.9994 ,11.9994 ,12.9992 )T

3线性方程组解法资料

第3章线性方程组的解法本章讨论线性方程组11112211211222221122n n n n n n nn n na x a x a xb a x a x a x b a x a x a x b +++=⎧⎪+++=⎪⎨⎪⎪+++=⎩的求解问题.线性方程组的矩阵表示Ax b =式中A 称为系数矩阵，b 称为右端项。

数值分析中，线性方程组的数值解法主要分为直接法和迭代法两大类。

直接法是用有限次计算就能求出线性方程组“准确解”的方法（不考虑舍入误差）；迭代法是由线性方程组构造出迭代计算公式，然后以一个猜测的向量作为迭代计算的初始向量逐步迭代计算，来获得满足精度要求的近似解。

迭代法是一种逐次逼近的方法。

1 线性方程组的迭代解法线性方程组迭代解法有Jocobi迭代法、Gauss-Seidel迭代法及SOR法等基本思想（与简单迭代法类比）将线性方程组Ax b等价变形为x Bx g =+以构造向量迭代格式()()1k k xBxg +=+用算出的迭代向量序列()()12,,x x 去逼近解。

11112211211222221122n n n n n n nn n na x a x a xb a x a x a x b a x a x a x b +++=⎧⎪+++=⎪⎨⎪⎪+++=⎩1. 构造原理（1） Jacobi迭代法将线性方程组的第i 个变元i x 用其他n-1个变元表出，可得121))n n n n nn n a x a x a x -------Jacobi 迭代格式:（3）取定初始向量()()()()()000012,,,Tnxx x x =，代入，可逐次算出向量序列()()()12,,,k x x x，这里()()()()()12,,,Tk k k k nxx x x =。

（2）Gauss-Seidel迭代法:Seidel迭代格式例1对线性方程组123123123+22=1+=22+2=3x x x x x x x x x ⎧-⎪+⎨⎪+⎩ 写出Jacobi 迭代格式和Gauss-Seidel 迭代格式.3）SOR法SOR法的迭代格式1,2,,n式中参数ω称为松弛因子，当ω =1时，SOR法就是Seidel迭代法.2.迭代分析及向量收敛1）三种迭代法的向量迭代格式对 Ax=b ，将系数矩阵A 作如下分解A D L U =--112212121212,00000000,0000nn n n n n a a D a a a a a L U a a ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦--⎡⎤⎡⎤⎢⎥⎢⎥--⎢⎥⎢⎥==⎢⎥⎢⎥⎢⎥⎢⎥--⎣⎦⎣⎦则Ax=b 可以写成()D L U x b --=Jacobi 迭代的向量迭代格式()()1k k J J xB x g +=+1()J B D L U -=+，1J g D b -=. JB 为Jacobi 迭代法的迭代矩阵.Seidel 向量迭代格式()()1k k S S xB x g +=+()1S B D L U-=-，()1S g D L b -=-.s B 为Seidel 迭代法的迭代矩阵.SOR 法的向量迭代格式()()1k k xB x g ωω+=+()()11B D L D U ωωωω-=--+⎡⎤⎣⎦，()1g D L b ωωω-=-.B ω为超松弛迭代法的迭代矩阵。

计算方法

b1 b2 b ... bn
一、Gauss消去法
具体过程：
(1) (1) 将 Ax b改为 A x b
其中
(1 (1 a11) x1 a12) x2 ... a1(1) xn b1(1) n (1) (1 ( ( a21 x1 a22) x2 ... a21n) xn b21) ...... a (1) x a (1) x ... a (1) x b (1) nn n n n1 1 n 2 2
Remark4：在消去过程中，消去过程能够进行的 (k akk ) 0 。当detA= 0 时方程组存在 n 前提条件是 ( 唯一解，但未必能满足k ) 0 的条件。要使 akk Gauss顺序消去法能够求得方程组的解，应满足如下的定理：
定理：用高斯顺序消去法能够求解方程组A x b
A (a ) (aij ) n
(1) (1) ij n
b1 b
Step1：若 a 0,令 li1
(1) 11
1 ai(1 )
a 第一个方程加到第 i个方程 (i 2,3,...n) ，并保留第一
(1) 11
(i 2,3,...n) ,用 li1 乘Biblioteka 式，则得记为其中
如：n 20, N 9.7 1020 ,若用每秒完成万亿次（1012）浮点乘法运算的计算机（当前国内运算速度最快），按每天工作24小时,完成这些计算约需30年。若使用一般的个人电脑，每秒不外完成十亿次（109）浮点乘法运算，则完成这些计算约需3万年。
二、线性代数方程组的常用解法
1、直接法：只包含有限次四则运算。若在计算过程中都不发生舍入误差的假定下，计算结果就是原方程组的精确解。 2、迭代法：把方程组的解向量看作是某种极限过程的极限，而且实现这一极限过程每一步的结果是把前一步所得的结果施行相同的演算步骤得到的。