《计算方法》第三章 线性方程组的解法
计算方法_线性方程组的解法
计算方法_线性方程组的解法利用对角占优知由定理41知非奇异从而A非奇异证毕系数矩阵为对角占优阵的线性方程组称作对角占优方程组定理85 对角占优线性方程组的雅可比迭代公式和高斯-赛德尔迭代公式均收敛证雅可比迭代公式的迭代矩阵为由定理44知这时再由定理43知迭代收敛再考察高斯-赛德尔迭代公式的迭代矩阵令则有即写出分量形式有设而由上式得由此整理得利用对角占优条件知上式右端小于1 如果右端大于1 则得出与对角占优条件矛盾的结果故有据定理83知G-S收敛若方程组的系数矩阵A是正定的则G－S 迭代法收敛如则SOR迭代法收敛定理86 例86 设求解线性方程组的雅可比迭代求证当 1时相应的高斯-塞德尔迭代收敛证由于B是雅可比迭代的迭代矩阵故有又 1故有则∴系数矩阵为对角占优阵故G-S迭代收敛例87 设证明求解方程组的Jacobi迭代与G-S迭代同时收敛或发散证雅可比迭代矩阵其谱半径 G-S迭代矩阵其谱半径显然和同时小于等于或大于1因而Jacobi迭代法与G-S迭代法具有相同的收敛性例88 设求解线性方程组的雅可比迭代 x k1 B x k f k 01 求证当‖B‖ 1时相应的G-S迭代收敛证这里以‖B‖为例‖B‖1类似由于B是雅可比迭代的迭代矩阵故有∴ Ax b 的系数矩阵按行严格对角占优故高斯-塞德尔迭代收敛例89 考察用雅可比迭代法和高斯-塞德尔迭代法解线性方程组Ax b的收敛性其中解先计算迭代矩阵求特征值 B 0 1 ∴用雅可比迭代法求解时迭代过程收敛雅可比矩阵 1 02 23 2 G1 2 1 ∴用高斯-塞德尔迭代法求解时迭代过程发散高斯-塞德尔迭代矩阵求特征值例810 设有迭代格式 X k1 B X k g k 012 其中B I-A 如果A和B的特征值全为正数试证该迭代格式收敛分析根据A B和单位矩阵I之间的特征值的关系导出 1 从而说明迭代格式收敛证因为B I-A 故 BI - A 1 - A A B 1 由于已知 A 和 B 全为正数故0 B 1 从而 B 1 所以该迭代格式收敛例811 设方程组写出解方程组的Jacobi迭代公式和迭代矩阵并讨论迭代收敛的条件写出解方程组的Gauss-Seidel迭代矩阵并讨论迭代收敛的条件解①Jacobi迭代公式和Jacobi矩阵分别为当时a 1时Jacobi矩阵GJ∞ 1对初值x 0 均收敛② Gauss-Seidel矩阵为当时a 1时 Gauss-Seidel矩阵 Gs∞ 1 所以对任意初值x 0 均收敛也可用矩阵的谱半径p GS 1来讨论解先计算迭代矩阵例812 讨论用雅可比迭代法和高斯-塞德尔迭代法解线性方程组Ax b的收敛性求特征值雅可比矩阵 B 1 ∴用雅可比迭代法求解时迭代过程不收敛 1 - 1 23 12 求特征值高斯-塞德尔迭代矩阵 G1 03536 1 ∴用高斯-塞德尔迭代法求解时迭代过程收敛1 0 求解AX b当取何值时迭代收敛解所给迭代公式的迭代矩阵为例813 给定线性方程组 AX b 用迭代公式 X K1 X K b-AX K k01 即 2- 2-5 1- 5 4 2 0 2- 2-5 1- 1-4 0 [- 1- ][- 1-4 ] 0 1 1- 2 1-4 B 1- 1-4 1 取0 12迭代收敛例814 设求解线性方程组Ax b的简单迭代法 x k1 Bx k g k 01 2 收敛求证对0 1 迭代法 x k1 [ 1- IB]x k g k 01 2 收敛证设C 1- I B C 和 B 分别为C和B 的特征值则显然 C 1- B 因为0 1C 是1和 B 的加权平均且由迭代法 x k1 Bx k g k 01 2 收敛知 B 1 故 C 1 从而 C 1 即 x k1 [ 1- I B]x k g k01 2 收敛 k 01 本章小结本章第一部分介绍了解线性方程组的直接法直接法是一种计算量小而精度高的方法直接法中具有代表性的算法是高斯Gauss消去法在第一章提到的克莱姆算法也是一种直接法但该算法用于高阶方程组时计算量太大而不实用其它算法大都是它的变型这类方法是解具有稠密矩阵或非结构矩阵零元分布无规律方程组的有效方法选主元的算法有很好的数值稳定性从计算简单出发实际中多选用列主元法解三对角矩阵方程组A的对角元占优的追赶法解对称正定矩阵方程组的平方根法都是三角分解法且都是数值稳定的方法这些方法不选主元素也具有较高的精度向量矩阵的范数矩阵的条件数和病态方程组的概念是数值计算中一些基本概念线性方程组的病态程度是其本身的固有特性因此即使用数值稳定的方法求解也难以克服严重病态导致的解的失真在病态不十分严重时用双精度求解可减轻病态的影响 83 雅可比Jacobi迭代法 com迭代法算法构造例82 用雅可比迭代法求解方程组解从方程组的三个方程中分离出和建立迭代公式取初始向量进行迭代可以逐步得出一个近似解的序列 k 1 2 直到求得的近似解能达到预先要求的精度则迭代过程终止以最后得到的近似解作为线性方程组的解当迭代到第10次有计算结果表明此迭代过程收敛于方程组的精确解x 3 2 1 T 考察一般的方程组将n元线性方程组写成若分离出变量据此建立迭代公式上式称为解方程组的Jacobi迭代公式 com 雅可比迭代法的矩阵表示设方程组的系数矩阵A非奇异且主对角元素则可将A分裂成记作 A L D U 则等价于即因为则这样便得到一个迭代公式令则有 k 012 称为雅可比迭代公式 B称为雅可比迭代矩阵其中在例23中由迭代公式写出雅可比迭代矩阵为雅可比迭代矩阵表示法主要是用来讨论其收敛性实际计算中要用雅可比迭代法公式的分量形式即 k 012 84 高斯-塞德尔Gauss-Seidel迭代法 com 高斯-塞德尔迭代法的基本思想在Jacobi迭代法中每次迭代只用到前一次的迭代值若每次迭代充分利用当前最新的迭代值即在求时用新分量代替旧分量就得到高斯-赛德尔迭代法其迭代法格式为 i 12n k 012 例83 用GaussSeidel 迭代格式解方程组精确要求为ε 0005 解 GaussSeidel 迭代格式为取初始迭代向量迭代结果为 x ≈ x ≈ com GaussSeidel 迭代法的矩阵表示将A分裂成A LDU则等价于 LDU x b 于是则高斯塞德尔迭代过程因为所以则高斯-塞德尔迭代形式为故令 85 超松弛迭代法SOR方法使用迭代法的困难在于难以估计其计算量有时迭代过程虽然收敛但由于收敛速度缓慢使计算量变得很大而失去使用价值因此迭代过程的加速具有重要意义逐次超松弛迭代Successive Over relaxatic Method简称SOR方法法可以看作是带参数的高斯塞德尔迭代法实质上是高斯-塞德尔迭代的一种加速方法 com迭代法的基本思想超松弛迭代法目的是为了提高迭代法的收敛速度在高斯塞德尔迭代公式的基础上作一些修改这种方法是将前一步的结果与高斯-塞德尔迭代方法的迭代值适当加权平均期望获得更好的近似值是解大型稀疏矩阵方程组的有效方法之一有着广泛的应用其具体计算公式如下⑴用高斯塞德尔迭代法定义辅助量⑵把取为与的加权平均即合并表示为式中系数ω称为松弛因子当ω 1时便为高斯-塞德尔迭代法为了保证迭代过程收敛要求0 ω 2 当0 ω 1时低松弛法当1 ω 2时称为超松弛法但通常统称为超松弛法 SOR com 超松弛迭代法的矩阵表示设线性方程组的系数矩阵A非奇异且主对角元素则将A分裂成A LDU 则超松弛迭代公式用矩阵表示为或故显然对任何一个ω值 DωL 非奇异因为假设于是超松弛迭代公式为令则超松弛迭代公式可写成例84 用SOR法求解线性方程组取ω 146要求解SOR迭代公式 k 012 该方程组的精确解只需迭代20次便可达到精度要求如果取ω 1 即高斯塞德尔迭代法和同一初值要达到同样精度需要迭代110次初值 86 迭代法的收敛性我们知道对于给定的方程组可以构造成简单迭代公式雅可比迭代公式高斯-塞德尔迭代公式和超松弛迭代公式但并非一定收敛现在分析它们的收敛性对于方程组经过等价变换构造出的等价方程组在什么条件下迭代序列收敛先引入如下定理定理81 对给定方阵G 若则为非奇异矩阵且证用反证法若为奇异矩阵则存在非零向量x 使即有由相容性条件得由于两端消去有与已知条件矛盾假设不成立命题得证又由于有即将G分别取成G和-G再取范数又已知有定理82 迭代公式收敛的充分必要条件是迭代矩阵G的谱半径证必要性设迭代公式收敛当k→∞时则在迭代公式两端同时取极限得记则收敛于0 零向量且有于是由于可以是任意向量故收敛于0当且仅当收敛于零矩阵即当时于是所以必有充分性设则必存在正数ε使则存在某种范数使则所以即故收敛于 0 收敛于由此定理可知不论是雅可比迭代法高斯塞德尔迭代法还是超松弛迭代法它们收敛的充要条件是其迭代矩阵的谱半径事实上在例81中迭代矩阵G 其特征多项式为特征值为 -2-3 所以迭代发散定理83 迭代法收敛的充分条件若迭代矩阵G的一种范数则迭代公式收敛且有误差估计式且有误差估计式及证矩阵的谱半径不超过矩阵的任一种范数已知因此根据定理82可知迭代公式收敛又因为则det I-G ≠0 I-G为非奇异矩阵故x＝Gx＋d有惟一解即与迭代过程相比较有两边取范数∴由迭代格式有两边取范数代入上式得证毕由定理知当时其值越小迭代收敛越快在程序设计中通常用相邻两次迭代ε为给定的精度要求作为控制迭代结束的条件例85 已知线性方程组考察用Jacobi 迭代和G-S迭代求解时的收敛性解⑴雅可比迭代矩阵故Jacobi迭代收敛⑵将系数矩阵分解则高斯-塞德尔迭代矩阵故高斯塞德尔迭代收敛定理84 设n阶方阵为对角占优阵则非奇异证因A为对角占优阵其主对角元素的绝对值大于同行其它元素绝对值之和且主对角元素全不为0 故对角阵为非奇异作矩阵矩阵范数定义的另一种方法是这是由于同样矩阵范数和向量范数密切相关向量范数有相应的矩阵范数即定义7矩阵的谱半径设的特征值为称为A的谱半径例 14 计算方阵的三种常用范数解先计算所以从而例15 计算向量x和矩阵A的范数其中解定理11 设A为n阶方阵则对任意矩阵范数都有证设为A的特征值x是对应于的特征向量则 x Ax两端取范数并依据其性质得由于x≠0故所以 7 解的精度估计与方程组的误差分析 71 方程组的性态在建立方程组时其系数往往含有误差如观测误差或计算误差就是说所要求解的运算是有扰动的方程组因此需要研究扰动对解的影响如果方程组系数矩阵或右端向量的微小变化扰动引起解的巨大变化称这样的方程组为病态方程组相应的系数矩阵为关于解方程或求逆的病态矩阵否则为良态方程组和良态矩阵考察方程组它的准确解对右端稍加修改方程组成为其解为它与原方程组的着却解毫无相似之处可见原始数据的微小变化引起解的巨大变化故可认定方程组是病态的例16 考察方程组和上述两个方程组尽管只是右端项有微小扰动但解大不相同第1个方程组的解是第2个方程组的解是这类方程组称为病态的定义9 矩阵条件数设A为非奇异矩阵称为矩阵A条件数定义8 A或b的微小变化又称扰动或摄动引起方程组Ax b解的巨大变化则称方程组为病态方程组矩阵A称为病态矩阵否则方程组是良态方程组矩阵A也是良态矩阵为了定量地刻画方程组病态的程度要对方程组Ax b进行讨论考察A或b微小误差对解的影响为此先引入矩阵条件数的概念常用的条件数有称为A的谱条件数容易验证矩阵A的条件数有如下基本性质如果c为非零常数则如果A为对角矩阵则如果A为对称矩阵则则如果A为正定矩阵其中为A的绝对值最大和绝对值最小特征值其中为A的最大和最小特征值如果Q为n阶正交矩阵则如果B为n阶非奇异矩阵则如果A为正交矩阵则例17 计算矩阵A的条件数其中解由于及例15的结果得我们先来考察常数项b的微小误差对解的影响设A是精确的 b有误差或扰动δb 显然方程组的解与x有差别记为即有即由设Ax b≠0 于是 18 又∵ Ax b≠0则有由18式及19式即得如下定理 19 或定理 12 b 的扰动对解的影响设A非奇异 Ax b≠0且则有证设A精确且非奇异b有扰动δb使解x有扰动δx 则消去Ax b有又相比较可得定理 13 当方程组的系数矩阵A非奇异和常数项b为非零向量时且同时有扰动δAδb满足若x和xδx分别是方程组 Ax b 及的解则设及非奇异当即可上式展开得取范数并整理得证利用有如果则或者写成如果充分小则上式不等式成为例18 线性方程组的系数矩阵带误差成为如下方程组求方程组系数矩阵的条件数并说明方程组的性态解因为所以因此方程组是良态的 72 精度分析求得方程组Ax b的一个近似解以后希望判断其精度检验精度的一个简单办法是将近似解再回代到原方程组去求出余量r r b-A 如果r很小就认为解是相当精确的定理314 设是方程组Ax b的一个近似解其精确解记为 r为的余量则有例19 设A为正交矩阵证明cond2 A 1 分析由正交矩阵和条件数的定义便可推得解因为A是正交矩阵故ATA AAT I A-1 AT从而例20 设AB为n阶矩阵证明cond AB ≤ cond A · cond B 分析由矩阵范数性质和条件数定义便可证明证 cond AB AB · AB -1 ≤ A · BA-1 · B-1 A · A-1 B · B-1 cond A · cond B 例21 设AB为n阶非奇异矩阵表示矩阵的任一种范数证明 A-1-B-1 ≤ A-1 B-1 A-Bcond AB ≤ cond A · cond B 分析由矩阵范数的基本性质即可推证证A-1-B-1 A-1 B-A B-1 从而 A-1-B-1 ≤ A-1 B-A B-1 ≤ A-1 · B-A · B-1 ∴ A-1-B-1 ≤ A-1 · B-A · B-1 81 引言在第五章中我们知道凡是迭代法都有一个收敛问题有时某种方法对一类方程组迭代收敛而对另一类方程组进行迭代时就会发散一个收敛的迭代法不仅具有程序设计简单适于自动计算而且较直接法更少的计算量就可获得满意的解因此迭代法亦是求解线性方程组尤其是求解具有大型稀疏矩阵的线性方程组的重要方法之一 8 解线性方程组的迭代法 82 迭代法的基本思想迭代法的基本思想是将线性方程组转化为便于迭代的等价方程组对任选一组初始值按某种计算规则不断地对所得到的值进行修正最终获得满足精度要求的方程组的近似解设非奇异则线性方程组有惟一解经过变换构造出一个等价同解方程组将上式改写成迭代式选定初始向量反复不断地使用迭代式逐步逼近方程组的精确解直到满足精度要求为止这种方法称为迭代法如果存在极限则称迭代法是收敛的否则就是发散的收敛时在迭代公式中当时则故是方程组的解对于给定的方程组可以构造各种迭代公式并非全部收敛例81 用迭代法求解线性方程组解构造方程组的等价方程组据此建立迭代公式取计算得迭代解离精确解越来越远迭代不收敛求解 Ly b 得 y [221]T 求解 Ux y 得 x [ -101 ] T 所以方程组的解为 4 平方根法工程实际计算中线性方程组的系数矩阵常常具有对称正定性其各阶顺序主子式及全部特征值均大于0矩阵的这一特性使它的三角分解也有更简单的形式从而导出一些特殊的解法如平方根法与改进的平方根法定理6 设A是正定矩阵则存在惟一的对角元素均为正数的下三角阵L使A LLT 证因A是正定矩阵 A的顺序主子式 i 0 i 12n 因此存在惟一的分解 A LU L是单位下三角阵 U是上三角阵将U再分解其中D为对角阵 U0为单位上三角阵于是 A L U L D U0 又 A AT U0TD LT 由分解惟一性即得U0T L A L D LT 记又因为det Ak ＞0 k 12n 故于是对角阵D还可分解其中为下三角阵令L L1定理得证将A LLT展开写成按矩阵乘法展开可逐行求出分解矩阵L的元素计算公式是对于i 12n j i1 i2n 这一方法称为平方根法又称乔累斯基 Cholesky 分解它所需要的乘除次数约为数量级比LU分解节省近一般的工作量例9 平方根法求解方程组解因方程组系数矩阵对称正定设A 即由Ly b解得由解得由此例可以看出平方根法解正定方程组的缺点是需要进行开方运算为避免开方运算我们改用单位三角阵作为分解阵即把对称正定矩阵A分解成的形式其中为对角阵而是单位下三角阵这里分解公式为据此可逐行计算运用这种矩阵分解方法方程组Ax b即可归结为求解两个上三角方程组和其计算公式分别为和求解方程组的上述算法称为改进的平方根法这种方法总的计算量约为即仅为高斯消去法计算量的一半例10 用改进的平方根LDLT法解方程组解方程组系数阵由矩阵乘法得由得由得 5 追赶法在数值计算中有一种系数矩阵是三对角方程组简记为Ax fA满足条件1 2 3 用归纳法可以证明满足上述条件的三对角线性方程组的系数矩阵A非奇异所以可以利用矩阵的直接三角分解法来推导解三对角线性方程组的计算公式用克洛特分解法将A分解成两个三角阵的乘积设A LU 可依次计算按乘法展开则可计算可依次计算当由上式可惟一确定L和U 例11 用追赶法求解三对角方程组由Ly f 解出y 又由Ux y 解出x 6 向量和矩阵的范数为了研究线性方程组近似解的误差估计和迭代法的收敛性有必要对向量及矩阵的大小引进某种度量----范数的概念向量范数是用来度量向量长度的它可以看成是二三维解析几何中向量长度概念的推广用Rn 表示n维实向量空间定义对任一向量XRn 按照一定规则确定一个实数与它对应该实数记为X 若X满足下面三个性质 1 X0X 0当且仅当X 0 2 对任意实数 X X 对任意向量YRnXY XY 则称该实数X为向量X的范数在Rn中常用的几种范数有记笔记其中x1x2 xn分别是X的n个分量以上定义的范数分别称为1-范数2-范数和-范数可以验证它们都是满足范数性质的其中是由内积导出的向量范数当不需要指明使用哪一种向量范数时就用记号泛指任何一种向量范数有了向量的范数就可以用它来衡量向量的大小和表示向量的误差设x为Ax b的精确解x为其近似解则其绝对误差可表示成x- x 其相对误差可表示成或例12 证明对任意同维向量x y 有证即例13 设x 1 0 -1 2 T 计算解 10-12 4 定理7 对于任意向量x 有证∵∴即当 p→∞∴定义4 向量序列的极限设为中的一向量序列记如果 i 12 n 则称收敛于向量记为定理8 向量范数的等价性设为上任意两种向量范数则存在常数C1 C2 0 使得对任意恒有定理9 其中为向量中的任一种范数证由于而对于上的任一种范数由定理37 知存在常数C1C2使于是可得从而定理得证定义5矩阵的范数如果矩阵的某个非负的实值函数满足则称是上的一个矩阵范数或模矩阵范数的性质可由向量范数定义直接验证 1 设A≠0 x≠0 使Ax≠0根据向量范数的性质Ax 0 所以 0 x≠0 使Ax 0 则 0 当A 0时矩阵范数的性质可由向量范数定义直接验证∴ 2 根据向量范数的性质矩阵范数的性质可由向量范数定义直接验证 3 全主元素消去法是通过方程或变量次序的交换使在对角线位置上获得绝对值尽可能大的系数作为称这样的为主元素尽管它的算法更稳定但计算量较大实际应用中大多数使用列主元素消去法即可满足需要全主元素法不是按列选主元素而是在全体待选系数中选取则得全主元素法例3 用全主元素法解下列线组 10x1 - 19x2 - 2x3 3 1 -20x1 40x2 x3 4 2 x1 4x2 5x3 53 解选择所有系数中绝对值最大的40作为主元素交换第一二行和交换第一二列使该主元素位于对角线的第一个位置上得 40x2 - 20x1 x3 4 4-19x210x1 - 2x3 3 5 4x2 x1 5x3 5 6 计算m21 -19400475m31 440 01 5 - m21 4 6 - m31 4 消去x2 得 05x1 –1525 x3 497 3x1 49 x3 46 8 选49为主元素 49 x3 3x1 469 1525 x3 05x1 49 10 计算m32 -152549 -031122 10 - m32 9 消去x2得 143366x1 6 33161 11 记笔记保留有主元素的方程 40x2 - 20x1 x3 4 4 49x3 3x1 469 143366x1 6 33161 11 进行回代 x1 441634 x3-176511 x2 235230 com 列主元素法列主元素法就是在待消元的所在列中选取主元经方程的行交换置主元素于对角线位置后进行消元的方法例4 用列主元素法解下列线性方程组 10x1 - 19x2 - 2x3 3 1 -20x1 40x2 x3 4 2 x1 4x2 5x3 5 3 解选择-20作为该列的主元素 -20x1 40x2x3 3 4 10x1 - 19x2 - 2x3 4 5 x1 4x2 5x3 5 6计算m21 10-20 -05 m31 1-20 -005 5 - m21 4 6 - m31 4 得 x2– 15x3 5 7 6x2 505x3 52 8 选6为主元素 6x2 505x3 529 x2 – 15x3 5 10 计算m32 16 016667 10 - m32 9 得-234168x3 413332 11 保留有主元素的方程 -20x1 40x2 x34 4 6x2 505x3 52 9 -234168x3 413332 11 进行回代 x3 -176511 x2 235230 x1 441634 记笔记列选主元素的计算方法与高斯消去法完全一样不同的是在每步消元之前要按列选出主元例5 用矩阵的初等行变换求解解方程组解用矩阵的初等行变换求解对增广矩阵下面带下划线元素为主元素 25 高斯-约当Jordan消去法高斯消去法有消元和回代两个过程消去的是对角线下方的元素当对消元过程稍加改变便可使方程组化为对角阵 8 这时求解就不需要回代了这种将主元素化为1并用主元将其所在列的冗余元素全都消为0即消去对角线上方与下方的元素这种方法称为高斯-约当消去法这时等号右端即为方程组的解例6 用高斯-约当Jordan 消去法求方程组的解解方程组相应的增广矩阵列选主元故得定理4 设A为非奇异矩阵方程组AX I的增广矩阵为 C A I 如果对C应用高斯-约当消去法化为 I B则 B 例7 用高斯-约当Jordan消去法求的逆矩阵解 C A I 3 矩阵三角分解法矩阵三角分解法是高斯消去法解线性方程组的一种变形解法 31 矩阵三角分解原理应用高斯消去法解n阶线性方程组Ax b 经过n步消元之后得出一个等价的上三角型方程组 A n x b n 对上三角形方程组用逐步回代就可以求出解来上述过程可通过矩阵分解来实现将非奇异阵A分解成一个下三角阵L和一个上三角阵U的乘积 A LU 称为对矩阵A的三角分解又称LU分解其中方程组Ax b的系数矩阵A经过顺序消元逐步化为上三角型A n 相当于用一系列初等变换左乘A的结果事实上第1列消元将A 1 A化为A 2若令则根据距阵左乘有L1A 1 A 2 第2列消元将A 2 化为A 3 若令经计算可知 L2A 2 A 3 依此类推一般有LkA k A k1 mi1 a 1 i1 a 1 11i 23n 于是矩阵经过消元化为上三角阵的过程可表示为上述矩阵是一类初等矩阵它们都是单位下三角阵且其逆矩阵也是单位下三角阵只需将改为就得到即于是有其中 L为由乘数构成的单位下三角阵U为上三角阵由此可见在的条件下高斯消去法实质上是将方程组的系数矩阵A分解为两个三角矩阵的乘积A LU这种把非奇异矩阵A分解成一个下三角矩阵L和一个上三角矩阵U的乘积称为矩阵的三角分解又称LU分解显然如果由行列式的性质知方程组系数矩阵A的前n-1个顺序主子矩阵非奇异即顺序主子式不等于零即其中 A的主子阵反之可用归纳法证明如果A的顺序主子式则于是得到下述定理定理5 设如果A顺序各阶主子式则A可惟一地分解成一个单位下三角阵L和一个非奇异的上三角阵U的乘积证由于A各阶主子式不为零则消元过程能进行到底前面已证明将方程组的系数矩阵A用初等变换的方法分解成两个三角矩阵的乘积A LU的过程现仅证明分解的惟一性设A有两种LU分解其中为单位下三角阵为上三角阵∵ A的行列式均为非奇异矩阵有上式两边左边同乘右边同乘得上式左边为单位下三角阵右边为上三角阵故应为单位阵即惟一性得证把A分解成一个单位上三角阵L和一个下三角阵U的乘积称为杜利特尔Doolittle分解其中若把A分解成一个下三角阵L和一个单位上三角阵U的乘积称为克洛特分解 Crout 其中 32 用三角分解法解方程组求解线性方程组Ax b时先对非奇异矩阵A进行LU分解使A LU那么方程组就化为 LU x b 从而使问题转化为求解两个简单的的三角方程组 L y b 求解 y U x y 求解 x 这就是求解线性方程组的三角分解法的基本思想下面只介绍杜利特尔Doolittle分解法设A LU为由矩阵乘法规则由此可得U的第1行元素和L的第1列元素再确定U的第k行元素与L的第k列元素对于k 23。
计算方法3_线性方程组迭代解法
计算方法3_线性方程组迭代解法线性方程组的迭代解法是解决线性方程组的一种常见方法，常用于大规模的线性方程组求解。
该方法通过不断迭代更新解的近似值，直到满足一定的收敛准则为止。
线性方程组的迭代解法有很多种，其中最经典的是雅可比迭代法、高斯-赛德尔迭代法和超松弛迭代法。
本文将分别介绍这三种迭代解法及其计算方法。
雅可比迭代法是一种比较简单的线性方程组迭代解法，它的基本思想是先将线性方程组转化为对角占优的形式，然后通过迭代求解逐渐接近精确解。
雅可比迭代法的迭代公式为：其中，x^(k+1)是第k+1次迭代的近似解，n是未知数的个数，a_ij 是系数矩阵A的元素，f_i是方程组的右端向量的元素。
雅可比迭代法的计算步骤如下：1.将线性方程组转化为对角占优的形式，即保证矩阵A的对角元素绝对值大于其它元素的绝对值。
2.初始化向量x^(0)，设定迭代终止准则。
3.根据雅可比迭代公式，计算x^(k+1)。
4.判断迭代终止准则是否满足，如果满足，则停止迭代，返回近似解x^(k+1)；否则，继续进行下一次迭代。
高斯-赛德尔迭代法是雅可比迭代法的改进方法，它的基本思想是在每次迭代计算x^(k+1)时，利用已经计算出的近似解作为x的一部分。
高斯-赛德尔迭代法的迭代公式为：其中，x^(k+1)_i是第k+1次迭代的近似解中第i个未知数的值，x^(k)_i是第k次迭代的近似解中第i个未知数的值。
高斯-赛德尔迭代法的计算步骤如下：1.将线性方程组转化为对角占优的形式。
2.初始化向量x^(0)，设定迭代终止准则。
3.根据高斯-赛德尔迭代公式，计算x^(k+1)。
4.判断迭代终止准则是否满足，如果满足，则停止迭代，返回近似解x^(k+1)；否则，继续进行下一次迭代。
超松弛迭代法是对高斯-赛德尔迭代法的一种改进方法，它引入了松弛因子ω，通过调整参数ω的值，可以加快迭代的收敛速度。
超松弛迭代法的迭代公式为：其中，0<ω<2，x^(k+1)_i是第k+1次迭代的近似解中第i个未知数的值，x^(k)_i是第k次迭代的近似解中第i个未知数的值。
计算方法(刘师少)第三章 线性代数方程组的直接解法PPT课件
一第般3章b≠解0,线当性系方数程矩组阵的A直非接奇法异(即detA≠0) 时，常方见程的组线（性3.方1）程有组惟是一方解程。个数和未知量个 数相同的n阶线性方程组，一般形式为
a11x1 a12x2 ... a1nxn b1 a..2.1.x..1 a22x2 ... a2nxn b2 an1x1 an2x2 ... annxn bn
等价方x 1 程 组9 , x 2 1 , x 3 6
2
x
1
x2
3x3
1
4 x2 x3 2
7 8
x3
21 4
⑥
这样，消元过程就是把原方程组化为上三角
形方程组，其系数矩阵是上三角矩阵。
8
前述的消元过程相当于对原方程组
2 1 3 4 2 5 1 2 0
x1 1
x2
4
x3 7
的增广矩阵进行下列变换( r i 表示增广矩阵的第 i行）
a11 a21 an1
a12 a22
an2
a1n
a2n
ann
x1 b1
x2
b2
xn
bn
( 3.3 )
解线性方程组（3.1）的高斯（Gauss）消去法的消元
过程就是对( 3.3 )的增广矩阵进行行初等变换。将例
3.1中解三阶线性方程组的消去法推广到一般的 nn
阶线性方程组并记
2 1 3
A~Ab4 2 5
1 2 0
1 4 7
r2(2)r1 r 3( 12 )r1
2 0 0
1 3
1
4 1 2
5 2
3 2
13 2
同样可得到与原方程 组等价的方程组 ⑥
5 2 r3(8)r2 0
大学数值计算方法(第3章解线性方程组的数值解法)3
征值, 则称 ρ ( A) = max{| λi |}
1≤i ≤ n
为矩阵A的谱半径。 矩阵A的谱半径ρ ( A)不是A的一种范数, 但可能与A的任何一种范数有某种关系。
例题
2 求矩阵 A = − 2 − 1 的谱半径。 4
则必存在两正数m, M , 使得 m || x ||β ≤|| x ||α ≤ M || x ||β
向量范数性质 等价性质：
1) 2) 3) 1 || x ||1 ≤|| x ||∞ ≤|| x ||1 n || x ||∞ ≤|| x ||1 ≤ n || x ||∞ || x ||∞ ≤|| x ||2 ≤ n || x ||∞
lim || x
（k）
− x ||∞ = 0 ⇔ lim max x
* k →∞ 1≤i ≤ n k →∞ (k ) i
(k ) i
− xi = 0
⇔ lim x
=x
* i
(i = 1,2,...n)
3.4.2 矩阵范数
定义3.4.3 设任意A ∈ R n×n , 若按某一确定的法则对 应于一非负实数 || A ||, 且满足 : 1)非负性 :|| A ||≥ 0，当且仅当A = 0时， A ||= 0; || 2)奇次性： kA ||=| k ||| A || ，k ∈ R; || 3)三角不等式： A + B ||≤|| A || + || B ||, ∀A, B ∈ R n×n ; || 4)相容性： ≤ A B ，∀A, B ∈ R n×n， AB 则称 || A || 为R n×n的一种范数。
算子范数
所以对x ≠ 0有 || ( A + B) x || ≤|| A || + || B || || x || || ( A + B) x || || A + B ||= max ≤|| A || + || B || x ≠0 || x || || AB ||≤|| A |||| B || 。 || I ||= max || Ix ||= 1 x =1
线性方程组的解法消元法代入法高斯消元法
线性方程组的解法消元法代入法高斯消元法线性方程组的解法：消元法、代入法和高斯消元法线性方程组是数学中的基本概念之一，在现代数学和物理学的研究中有着广泛的应用。
为了求解线性方程组，人们发明了许多方法，其中最常用的有消元法、代入法和高斯消元法。
本文将介绍这三种方法的基本原理和求解步骤，并通过实例对其进行说明。
一、消元法消元法是一种通过逐步消除未知量，从而求解线性方程组的方法。
其基本原理是利用等式变换，逐步消去各个方程中的未知量，直到将方程组化为上三角形式，然后通过回代方法，求解未知量的值。
具体步骤如下：1. 将含有未知量的项都移动到等式的同一侧，即将线性方程组转化为增广矩阵形式。
2. 选取一个主元素，将该列的其他元素全部变为0，从而消去该列的未知量。
3. 依次选取下一个主元素，直到整个增广矩阵被消元成上三角形式。
4. 利用回代方法，求解未知量的值。
二、代入法代入法是一种通过将一个方程的解代入另一个方程，逐步求解未知量的方法。
其基本原理是将一个方程的未知量表示为另一个方程的已知量，不断代入，从而求解未知量的值。
具体步骤如下：1. 将一个方程的未知量表示为另一个方程的已知量。
2. 将该解代入另一个方程，求解未知量的值。
3. 重复以上步骤，直到求出所有未知量的值。
三、高斯消元法高斯消元法是一种通过矩阵变换，将线性方程组化为上三角形式，从而求解未知量的方法。
其基本原理是利用初等矩阵变换，逐步将增广矩阵化为上三角形式，然后通过回代方法，求解未知量的值。
具体步骤如下：1. 将矩阵的列向量按递增顺序排列，从左到右依次选取主元素。
2. 利用初等矩阵变换，将每一列的主元素下方元素全部变为0。
3. 重复以上步骤，直到整个增广矩阵被化为上三角形式。
4. 利用回代方法，求解未知量的值。
举例说明：考虑以下线性方程组：x + 2y – z = 92x – y + 3z = –33x + y + 4z = 12采用消元法求解：将该方程组转化为增广矩阵形式：1 2 –1 | 92 –13 | –33 14 | 12选取主元素1，将第2行乘以2减去第1行，将第3行乘以3减去第1行，得到：1 2 –1 | 90 –5 5 | –210 –5 7 | –15选取主元素–5，将第3行减去第2行，得到：1 2 –1 | 90 –5 5 | –210 0 2 | 6将该矩阵化为上三角形式，然后采用回代方法，求得：x = 2y = –3z = 3同样的，采用代入法或高斯消元法也能求解出相同的结果。
线性方程组的解法
线性方程组的解法一、引言线性方程组是数学中的重要概念，广泛应用于各个领域，包括物理学、经济学、工程学等。
解决线性方程组有多种方法，本文将介绍常见的三种解法：高斯消元法、矩阵法和克拉默法。
二、高斯消元法高斯消元法是一种基于矩阵变换的解法，可以将线性方程组转化为简化行阶梯形矩阵，从而快速求解解向量。
具体步骤如下：1. 将线性方程组写成增广矩阵形式；2. 选择一个非零首元，在该列中其余元素乘以某个系数并相减，使得除首元外该列其他元素变为零；3. 重复第二步，直至将矩阵转化为简化行阶梯形矩阵；4. 从简化行阶梯形矩阵中读出解。
三、矩阵法矩阵法是一种基于矩阵运算的解法，将线性方程组转化为矩阵形式，并求解矩阵的逆矩阵，从而得到解向量。
具体步骤如下：1. 将线性方程组写成矩阵形式；2. 求解矩阵的逆矩阵；3. 用逆矩阵乘以等号右边的向量，得到解向量。
四、克拉默法克拉默法是一种利用行列式性质求解线性方程组的方法，适用于方程组个数与未知数个数相等的情况。
具体步骤如下：1. 将线性方程组写成矩阵形式；2. 计算行列式的值；3. 分别用等号右边的向量替换矩阵中对应的列，再求解行列式的值；4. 将第三步得到的值除以第二步得到的值，得到解向量。
五、比较与应用场景1. 高斯消元法在实际计算中具有高效性和稳定性，适用于任意线性方程组求解；2. 矩阵法需要先求解矩阵的逆矩阵，计算过程相对复杂，适用于方程组个数与未知数个数相等的情况；3. 克拉默法计算过程较为复杂，不适用于大规模方程组的求解，但对于小规模方程组求解比较便捷。
六、总结线性方程组的解法有多种，本文介绍了高斯消元法、矩阵法和克拉默法三种常见方法。
应根据具体情况选择合适的方法来求解线性方程组，以达到高效、准确的目的。
对于大规模方程组的计算，高斯消元法更具优势；对于方程组个数与未知数个数相等的情况，矩阵法和克拉默法更适用。
随着数学计算方法的不断发展，越来越多的解法将出现，为解决复杂的线性方程组提供更多选择。
线性方程组的解法
线性方程组的解法线性方程组是数学中常见的一个概念，它是由多个线性方程组成的方程集合。
对于一个线性方程组，我们常常需要找到它的解，即能够同时满足所有方程的变量值。
本文将介绍几种常见的线性方程组解法。
1. 列消法列消法，也被称为高斯消元法，是一种常见且直观的线性方程组解法。
其基本思想是通过逐行操作，将方程组进行简化，使其呈现出上三角形式，从而得到解。
具体的步骤如下：- 步骤一：将线性方程组写成增广矩阵形式。
增广矩阵是一个含有系数和常数的矩阵，每一行代表一个方程。
- 步骤二：逐列进行消元操作。
从第一列开始，逐行将该列下方的元素转化为0。
操作方式是将上一行的倍数加到下一行上。
- 步骤三：重复步骤二，直到将增广矩阵转化为上三角形式。
- 步骤四：回代求解。
从最后一行开始，逐行计算出每个变量的值，将其代入上方的方程中，继续求解。
2. 矩阵法矩阵法是一种将线性方程组转化为矩阵运算的解法，它简化了计算过程。
该方法基于矩阵的性质和运算规则，能够更加高效地求解线性方程组。
具体的步骤如下：- 步骤一：将线性方程组写成矩阵形式。
将系数和常数构成一个矩阵，将未知数构成一个列向量。
- 步骤二：对矩阵进行初等行变换。
通过初等行变换，将矩阵转化为上三角形式。
- 步骤三：回代求解。
从最后一行开始，逐行计算出每个变量的值，将其代入上方的方程中，继续求解。
3. 克拉默法则克拉默法则是一种基于行列式的线性方程组解法。
该方法适用于方程个数与未知数个数相等的情况。
具体的步骤如下：- 步骤一：计算系数矩阵的行列式值。
该值被称为主行列式。
- 步骤二：计算每个未知数对应的行列式值。
将主行列式进行替换，将替换后的行列式值称为次行列式。
- 步骤三：分别计算每个未知数的值。
将次行列式除以主行列式，得到每个未知数的取值。
需要注意的是，克拉默法则在求解大规模的线性方程组时效率较低，因为每次计算都需要求解大量的行列式。
综上所述，线性方程组的解法有列消法、矩阵法和克拉默法则等多种，每种方法都有其适用的场景和特点。
数值计算方法-第3章--线性方程组的解法PPT课件
个顺序主子式
a a (1)
(1)
11
12
Dk
a(1) 21
a(1) 22
a(1) 1k
a(1) 2k
0
(k 1, 2,..., n 1).
a a (1)
(1)
k1
k2
a(1) kk
.
13
顺序Gauss消去法计算过程中的 akk(k) 称为主元素，在 第k步消元时要用它作除数,则可能会出现以下几种情况
.
是原方程组 Ax=b 的解向量。
27
对于
Ly =b
1
由
l21
1
l31
l32 1
y1 b1
y2
b2
y3
b3
ln1 ln2 lnn1 1 yn bn
.
解得
y1 yk
b1 bk
k 1 i 1
lki
yi
,
k 2,3,, n
28
对于 Ux =y
u11 u12 u1n x1 y1
2x3 6
⑤
x1 6 (x2 x3 ) 1
x2 x3 5 / 4 2
x3 (6) / (2) 3
用x3, x2的值求x1 把x3的值代入②求x2
.
8
从下向上逐步求解
对应的增广矩阵的变化
1 1 1 6 1 1 1 6
( A | b) 0
4
1 5 0
4
1
5
2 2 1 1 0 4 1 11
0.8334
5.910
12.10
0.0120 0.0100 0.1670 0.6781
3200
1200
4.200 981.0
第三章 解线性方程组的直接法
第三章 解线性方程组的直接法3.1 引言许多科学技术问题要归结为解含有多个未知量x 1, x 2, …, x n 的线性方程组。
例如，用最小二乘法求实验数据的曲线拟合问题，三次样条函数问题，解非线性方程组的问题，用差分法或有限元法解常微分方程、偏微分方程的边值等，最后都归结为求解线性代数方程组。
关于线性方程组的数值解法一般有两类：直接法和迭代法。
1. 直接法直接法就是经过有限步算术运算，可求得线性方程组精确解的方法（假设计算过程中没有舍 入误差）。
但实际计算中由于舍入误差的存在和影响，这种方法也只能求得线性方程组的近似解。
本章将阐述这类算法中最基本的高斯消去法及其某些变形。
2. 迭代法迭代法就是用某种极限过程去逐步逼近线性方程组精确解的方法，迭代法需要的计算机存储 单元少、程序设计简单、原始系数矩阵在计算过程中不变，这些都是迭代法的优点；但是存在收敛性和收敛速度的问题。
迭代法适用于解大型的稀疏矩阵方程组。
为了讨论线性方程组的数值解法，需要复习一些基本的矩阵代数知识。
3.1.1 向量和矩阵 用nm ⨯R表示全部n m ⨯实矩阵的向量空间，nm C⨯表示全部n m ⨯复矩阵的向量空间。
()⎪⎪⎪⎪⎪⎭⎫⎝⎛==⇔∈⨯nn n n n n ij nm a a aa a aa a a a212222111211A R A 此实数排成的矩形表，称为m 行n 列矩阵。
⎪⎪⎪⎪⎪⎭⎫⎝⎛=⇔∈n n x x x 21x R x x 称为n 维列向量矩阵A 也可以写成)(n 21a ,,a ,a A = 其中 a i 为A 的第i 列。
同理⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=T T T n 21b b b A其中T i b 为A 的第i 行。
矩阵的基本运算：（1） 矩阵加法 )( ,n m n m R C ,R B ,R A B A C ⨯⨯⨯∈∈∈+=+=n m ij ij ij b a c . （2） 矩阵与标量的乘法 ij j a ci αα== ,A C （3） 矩阵与矩阵乘法 p nk kjik b acij ⨯⨯⨯=∈∈∈==∑m p n n m R C ,R B ,R A AB C ( ,1（4） 转置矩阵 ji ij T nm a c ==∈⨯ , ,A C RA（5） 单位矩阵 ()n n ⨯∈=R e ,,e ,e I n 21 ，其中 ()Tk e 0,0,1,0,0 = k=1,2,…,n（6） 非奇异矩阵 设nn ⨯∈RA ，nn ⨯∈RB 。
计算方法第三章线性方程组的直接解法
5 3
3 1
r3
r1 6
6 1 18 2
1 0
4 5 1 3
3 1
r3 r225
1 0
4 1
5 3
3 1
0 25 48 16
0 0 27 9
林龙
计算方法
6
化原方程组为三角方程组的过程为消元过程. 解三角方程组的过程为回代过程.
也可将上边的增广矩阵进一步化简.
1 4 5 3
1 0 7 1
xi
Di D
(i
1, 2,3,
)，由于方程含有n 1个
行列式.如对每个行列式按展开定理来计算.
用克莱姆法则求解,所需要的乘除运算量为
n!(n2 1) n次,若n 20用每秒一千万次的
计算机要三百万年,所以并不是凡直接法都
可以用来做实际运算.
林龙
计算方法
4
设有
§3.1直接法
a11x1 a12 x2 a21x1 a22 x2
解 : 10
7
0
7
r1 r2
5 1 5 6
林龙
计算方法
16
10 3 5
7 2 1
0 6 5
7 4 6
r2
3 10
r1
r3
5 10
r1
10
0
0
7 0.1 2.5
0 7 6 6.1 5 2.5
r2 r3
r3
1 25
r2
10 7 0 7 x3 1
0
2.5
5
2.5
x2
2.5 5x
nn
a11 a12 .... a1n 1 0 0
a21
a22
计算方法线性方程组解法
( k 1)
(2) (3) (1)
x1
(0)
x2
(0)
x3
(0)
0
§3.1 问题的提出
得
§3.1 问题的提出
如果A非奇异，则线性方程组Ax=b有 唯一解x*，将上式化为x=Bx+f，给出初 始向量x0，则有： ！！！！xk+1=Bxk+f, k=0,1,2… 可以构成一向量序列{xk}，若向量序列 {xk}收敛于x*，则x*=Bx*+f, 即x*是方程 组的解 。
x1 2 .5 x 2 0 .2 5 x 3 5 .2 5 ( k 1) (k ) (k ) x2 1 .5 x 1 2 .5 x 3 8 .0 x ( k 1 ) 4 x ( k ) 0 .5 x ( k ) 6 .0 1 2 3
(k ) (k ) ( k 1)
x1
(0)
x2
(0)
x3
(0)
0
§3.1 问题的提出
得
§3.1 问题的提出
由原方程 构造
8 x1 x 2 2 x 3 1 2 4 x1 1 0 x 2 x 3 2 1 3x 2 x 5 x 16 1 2 3
§3.1 问题的提出
如果A是非奇异阵时，方程组有唯一解， 且可以用克莱姆(Grammer)法则表示:
xi Di D , ( i 1, 2 , ..., n )
其中xi是解向量x*的第i个分量，D=detA, Di是用b代替A的第i列后得到矩阵的行列 式。
§3.1 问题的提出
克莱姆方法求解计算量太大，需要计 算(n+1)个n阶行列式，共需要(n+1)!次乘 法运算。
MATLAB计算方法3解线性方程组计算解法名师公开课获奖课件百校联赛一等奖课件
li1 ai1
u11
(i 2,3,, n)
k 1
ukj akj lkmumj akj
m 1
(
j
k,
k
1,,
n)
lik
aik
k 1
limumk
m 1
(i
k
1,,
n)
ukk aik
(k 2,3,, n)
例3．1
2 1 2 6 2 1 2 6
4 5 4 18 2 3 0 6
a11 a12 a1n l11
a21
a22
a2n
l21
l22
l11 l21 l n1
l22
l
n2
an1
an2
ann
l n1
l n2
l
nn
l
nn
其中aij a ji
由矩阵乘法
(1)
1)
l2 11
a11
l11
a11
(取正)
2) L第1行 LT第j列 (j 2,,n)
…….
(k)
1求u的第k行：用L的第k行 u的第j列
(j k,k 1,,n)
(lk1 , lk 2 ,, lkk，0,0) (u1 j , u2 j ,, u jj，0,0)' akj
k 1
k 1
lkmumj 1 ukj akj ukj akj lkmumj
m 1
m 1
2 求L的第k列：用L的第i行 u的第k列
利用Gauss消元法得到同解旳三角方程为
1 c1
y1
2 c2
y2
n1
ቤተ መጻሕፍቲ ባይዱ
cn1
计算方法线性方程组数值解法
d
2
a3b3c3
x3
d3
an
1bn1cn
1
xn
1
d
n
1
anbn xn dn
其系数矩阵为三对角形，元素满足以下条件：
|b1|>|c1|>0
|bi|≥|ai|+|ci|，且aici≠0 i=2，3，……n-1; |bn|≥|an|>0。
可以采用追赶法求解
4
线性代数方面的计算方法就是研究求解线 性方程组的一些数值解法与研究计算矩阵 的特征值及特征向量的数值方法。
5
设有线性方程组
a11x1 a12x2 a1nxn b1 a21x1a22x2a2nxnb2 an1x1 an2x2 annxn bn
式中，aij，bi为已知常数，xi为待求的未知量。记
u
2
2
u 2 n
u n 1,n 1u n 1,n
u n n
10
若uii≠0（i=1,2,……n）,则由下至上依次回代得
xn yn / unn
xn1 ( yn1 xi yi
un1,n xn ) / un1,n1
n
uij x j ) / uii
0
a
( 2
2 2
)
a
( 2
2) ,k 1
a
( 2
2) ,k
a
( 2
2) ,n
a
( 2
2) ,n 1
0 A(k)
0 0
a
( k
k) ,k
a
( k
k) ,k 1
a
k
k ,n
a
( k
k) 1,n
1
计算方法_3
L L M L
( a11) n
(1 2 a2n) 2n
M
(2 an1)) 2
M
(1 2 ann))
(1) ( b11) 若 a11 ≠ 0 则： (2 b21) 第二行： a21) a11)×第一行 (1 (1 M ( (1 (1) 2 bn 第n行： an1) a11) ×第一行 1
第三章 线性代数方程组的解法
3-9
消元过程中的误差实例
0.001 2.000 3.000 1.000 3.712 4.623 2.000 1.072 5.643 x1 1.000 x = 2.000 2 x3 3.000
x1 = -0.4907 x2 = -0.05095 x3 = 0.3674
L L
M M
O O
M M
(k (k L akk) L akn)
(k (k L ank) L ann)
子块 A k n
~
第三章 线性代数方程组的解法
3-14
完全主元素消去法编程方法概要
k = 1, 2, L, n-1，进行以下 (2) ~ (6) 的循环计算 ~ (k ) ax (k ) (2) 在子块 A k 中选绝对值最大的元素(主元素) amax = m ai j n k≤i ≤n
迭代法 (雅可比迭代法、高斯-赛德尔迭代法、超松弛迭代法)
将线性方程组改写为： n 1 xi = bi ∑aij x j (i = 1,2,L, n) aii j =1 j ≠i 给出一组原始估计值，依次迭代逼近。 第三章 线性代数方程组的解法
3-17
关于三角分解法和迭代法
三角分解法 计算精度高于高斯消去法 计算量少、储存量小 需根据不同的系数矩阵类型选择不同的方法 迭代法 原理简单、编程方便、占用计算机内存少 尤其适用于大型方程组 (150个方程以上) 需根据具体情况选择迭代方程组以实现收敛
计算机方法线性方程组的解法
高斯-塞德尔迭代格式
k k x1k 1 0.1x 2 0.2 x 3 0.72 k 1 k 1 k x 0 . 1 x 0 . 2 x 0.83 2 1 3 k 1 k 1 k 1 x 0 . 2 x 0 . 2 x 0.84 1 2 3
重要性：解线性代数方程组的有效方法在计算数学和
科学计算中具有特殊的地位和作用。如弹性力学、电
路分析、热传导和振动、以及社会科学及定量分析商 业经济中的各种问题。 求解线性方程组 Ax b 的求解方法，其中
A R nn
， x, b R n 。
* x* ( x1* , x2 , * T , xn )
… … …
…
( k 1 ) ( k 1 ) ( k 1 ) ( k 1 ) ( k 1 ) xn 1 ( a n1 x1 an 2 x2 an 3 x3 a nn 1 x n 1 bn ) a nn
写成矩阵形式： x( k 1) D1 ( Lx( k 1) Ux( k ) ) D1b
其准确解为X*={1.1, 1.2, 1.3}。
x1 0.1 x2 0.2 x3 0.72 x2 0.1 x1 0.2 x3 0.83 x 0.2 x 0.2 x 0.84 1 2 3
据此建立迭代公式：
(k ) (k ) x1(k +1) =0.1x2 +0.2x3 +0.72 (k +1) (k ) (k ) x2 =0.1x1 +0.2x3 +0.83 (k +1) (k ) (k ) x =0.2 x +0.2 x 1 2 +0.84 3
数值计算方法第三章 线性方程组迭代法
0,1,2,
取x1(0) 0, x2(0) 0,计算结果如下：
k0
x (k) 1
0
x (k) 2
0
1
2
3
4
0.66667 0.50000 0.61111 0.58333
0.50000 0.16667 0.25000 0.19445
5
6
7
8
9
0.60185 0.59722 0.60031 0.59954 0.6005
从而得迭代式 x(k1) (D L)1Ux (k) (D L)1 b, (k 0,1,2, )
上式中矩阵 M (D L)1U 为Gauss-Seidel迭代矩阵。
输入：A,b, n,
置初值： k 0; xi 0(i 1,L , n)
k k 1;e 0
3xx1 12xx22
2 1
精确到3位有效数字。
解 Gauss Siedel迭代格式为
x (k 1) 1
x (k 1) 2
(2 x2(k) ) / 3 (1 x1(k1) ) / 2
,
k
0,1,
2,L
取x1(0)
0,
x (0) 2
0, 计算结果如下：
0
101
0
1
10
2
1 0 0 101 1 1 5
0 0.1 0.2 0.1 0 0.2
0.2 0.2 0
取初值x (0) (0,0,0)T 代入迭代式
x(1) Bx (0) g (7.2,8.3,8.4)T x(2) Bx(1) g (9.17,10.70,11.50)T ，如此下去， x(9) Bx (1) g (10.9994 ,11.9994 ,12.9992 )T
计算方法的课后答案
《计算方法》习题答案第一章 数值计算中的误差1．什么是计算方法？（狭义解释）答：计算方法就是将所求的的数学问题简化为一系列的算术运算和逻辑运算，以便在计算机上编程上机，求出问题的数值解，并对算法的收敛性、稳定性和误差进行分析、计算。
2．一个实际问题利用计算机解决所采取的五个步骤是什么？答：一个实际问题当利用计算机来解决时，应采取以下五个步骤： 实际问题→建立数学模型→构造数值算法→编程上机→获得近似结果 4．利用秦九韶算法计算多项式4)(53-+-=x x x x P 在3-=x 处的值，并编程获得解。
解：400)(2345-+⋅+-⋅+=x x x x x x P ，从而所以，多项式4)(53-+-=x x x x P 在3-=x 处的值223)3(-=-P 。
5．叙述误差的种类及来源。
答：误差的种类及来源有如下四个方面：（1）模型误差：数学模型是对实际问题进行抽象，忽略一些次要因素简化得到的，它是原始问题的近似，即使数学模型能求出准确解，也与实际问题的真解不同，我们把数学模型与实际问题之间存在的误差称为模型误差。
（2）观测误差：在建模和具体运算过程中所用的一些原始数据往往都是通过观测、实验得来的，由于仪器的精密性，实验手段的局限性，周围环境的变化以及人们的工作态度和能力等因素，而使数据必然带有误差，这种误差称为观测误差。
（3）截断误差：理论上的精确值往往要求用无限次的运算才能得到，而实际运算时只能用有限次运算的结果来近似，这样引起的误差称为截断误差（或方法误差）。
（4）舍入误差：在数值计算过程中还会用到一些无穷小数，而计算机受机器字长的限制，它所能表示的数据只能是一定的有限数位，需要把数据按四舍五入成一定位数的近似的有理数来代替。
这样引起的误差称为舍入误差。
6．掌握绝对误差（限）和相对误差（限）的定义公式。
答：设*x 是某个量的精确值，x 是其近似值，则称差x x e -=*为近似值x 的绝对误差（简称误差）。
计算方法
列范数： A 1 max
行范数： A 谱范数： A
其中
a
i 1 n
n
谱半径
ij
( A) max i
1 i n
max aij
1 i n j 1
2
1
是 1
A A 的最大特征值
T
解 线 性 代 数 方 程 组 的 迭 代 法
雅可比迭代法
T k k
T
称下三角形阵 Lk为高斯(Gauss)变换,
l k 为高斯向量.
Gauss消去法的实现条件 Th3.1.1 (i ) aii (i 1, 2,, k(k n)) 全不为零的充要条件是
A 的各阶顺序主子式都不等于零，即
a11 a12 a1i a21 a22 a2 i i 0, i 1, 2, , k ( n) ai1 ai 2 aii
超松弛(SOR)迭代法的分量形式：
( k 1) i
x
(1 ) x
(k ) i
bi aij x (jk 1)
j 1
i 1
j i 1
n
aij x (jk )
a ii i 1, 2, , n
其中 称为松弛因子； 1 时即为G-S迭代
SOR迭代法的迭代矩阵：
n
ij
x
(k ) j
a ii
( k 1) i
x
(1 ) x
收敛性分析
当迭代公式产生的序列 即 lim x
k (k )
x
(k )
k 0
收敛到向量 x ，
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
§3.0 引 言
重要性：解线性代数方程组的有效方法在计算数学和
科学计算中具有特殊的地位和作用。如弹性力学、电
路分析、热传导和振动、以及社会科学及定量分析商
业经济中的各种问题。
求解线性方程组 Ax的求b 解方法，其中
，A 。 Rnn x, b Rn
假设 A非奇异，则方程组有唯一解.
x* (x1*, x2*, , xn* )T
) )
+0.72 +0.83
x3(k
+1)
=0.2x1(k
)
+0.2x2(k
)
+0.84
取迭代初值
x(0) 1
x(0) 2
x(0) 3
0
10
迭代结果如下表：
迭代次数 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15
x1 0
0.72 0.971 1.057 1.08535 1.095098 1.098338 1.099442 1.099811 1.099936 1.099979 1.099993 1.099998 1.099999
建立与式(1)相等价的形式：
x1 0.1x2 0.2x3 0.72
x2
0.1x1
0.2 x3
0.83
x3
0.2 x1
0.2 x2
0.84
其准确解为X*={1.1, 1.2, 1.3}。
据此建立迭代公式：
x1(k x2(k
+1) +1)
=0.1x2(k =0.1x1(k
) )
+0.2x3(k +0.2x3(k
B
f
Jacobi 迭代阵
x(k1) D1(L U )x(k) D1b
13
§3.2 高斯-塞德尔迭代法 (AX=b)
注意到利用Jacobi迭代公式计算xi(k1) 时，已经计算好了
x ( k 1) 1
,
x ( k 1) 2
,
, x(k1) i 1
的值，而Jacobi迭代公式并不利用这些最新的近似值计算，
1.1 1.1
x2 0
0.83 1.07 1.1571 1.18534 1.195099 1.198337 1.199442 1.199811 1.199936 1.199979 1.199993 1.199998 1.199999
1.2 1.2
x3 0
0.84 1.15 1.2482 1.28282 1.294138 1.298039 1.299335 1.299777 1.299924 1.299975 1.299991 1.299997 1.299999
1.3 1.3
11
§3.1 Jacobi迭代公式
设方程组 AX=b , 通过分离变量的过程建立
Jacobi迭代公式，即
n
aij x j bi , aii 0 (i 1, 2, , n)
i 1
xi
1 aii
(bi
n
aij x j )
j 1
(i 1, 2,
, n)
ji
由此我们可以得到 Jacobi 迭代公式：
3
§3.0 引 言
分类： 线性方程组的解法可分为直接法和迭代法两种方法。
(a) 直接法： 对于给定的方程组，在没有舍入误差的假设下， 能在预定的运算次数内求得精确解。最基本的直接法是 Gauss消去法，重要的直接法全都受到Gauss消去法的启发。 计算代价高.
(b) 迭代法：基于一定的递推格式，产生逼近方程组精确解的 近似序列.收敛性是其为迭代法的前提，此外，存在收敛速 度与误差估计问题。简单实用, 诱人。
考虑解方程组
3.1Jacobi迭代法
10x1 x2 2x3 7.2 x1 10x2 2x3 8.3 (1) x1 x2 5x3 4.2
其准确解为X*={ 1.1, 1.2, 1.3 }。
8
2 例题分析:
考虑解方程组
10x1 x2 2x3 7.2 x1 10x2 2x3 8.3 x1 x2 5x3 4.2
3.1Jacobi迭代法
(1)
其准确解为X*={1.1, 1.2, 1.3}。
建立与式(1)相等价的形式：
x1 0.1x2 0.2x3 0.72
x2
0.1x1
0.2 x3
0.83
(2)
x3 0.2x1 0.2x2 0.84
9
2 例题分析:
考虑解方程组
10x1 x2 2x3 7.2 x1 10x2 2x3 8.3 x1 x2 5x3 4.2
x ( k 1) i
1 aii
(bi
n
aij xik )
j1
(i 1, 2,
, n)
ji
12
➢ 雅可比迭代法的矩阵表示
a11x1 a12 x2 ... a1n xn b1
a21 x1 ... ...
a22 ...
x2 ...
...
a2n
xn
b2
aii 0
an1 x1 an2 x2 ... ann xn bn
x1
1 a11
x2
1 a22
a12 x2 ... a1n xn b1 a21 x1 ... a2n xn b2
... ... ... ...
xn
1 ann
an1 x1 ... ann1 xn1 bn
写成矩阵形式：
A=UBiblioteka DLAx b (D L U )x b
Dx (L U )x b x D1(L U )x D1b
4
§3.1 雅可比Jacobi迭代法 (AX=b)
➢ 一、迭代法的基本思想 ➢ 二、例题分析 ➢ 三、 Jacobi迭代公式
5
§3.1 雅可比Jacobi迭代法 (AX=b)
迭代法的基本思想 与解f (x)=0 的不动点迭代相类似，将AX=b改写
为X=BX+f 的形式，建立雅可比方法的迭代格式：
x(k1) Bx(k ) f
其中，B称为迭代矩阵。其计算精度可控，特别 适用于求解系数为大型稀疏矩阵(sparse matrices)的 方程组。
6
AX b
x(k1) Bx(k ) f 问题: (a) 如何建立迭代格式？ (b) 向量序列{ x(k) }是否收敛以及收敛条件?
7
2 例题分析:
计算方法
第三章 线性方程组的解法
计算方法课程组
华中科技大学数学与统计学院
1
§3 线性方程组的解法
§3.0 引言 §3.1 雅可比（Jacobi）迭代法 §3.2 高斯—塞德尔迭代法 §3.3 超松驰迭代法 §3.4 迭代法的收敛性
§3.5 高斯消元法 §3.6 高斯列元素消去法 §3.7 三角分解法 §3.8 追赶法 §3.9 其它应用 §3.10 误差分析