线性方程组解法综述

线性方程组解法综述 Prepared on 22 November 2020

线性方程组解法的研究综述

摘要：这篇论文在说明了线性方程组的应用目的的基础上，提出了线性方程组求解的研究现状，并列举了常用的求解方法，同时说明了它们的应用条件，剖析了各种方法的不足之处。

关键词高斯消元迭代病态方程组

一、问题提出

在自然科学和工程实际应用中，有许多问题的求解最终都转化为线性方程组的求解问题。例如,电学中的网络问题，曲线拟合中常用的最小二乘法、样条函数插值、解非线性方程组、求解偏微分方程的差分法、有限元法和边界元法以及目前工程实践中普遍存在的反演问题等。特别是在图像恢复、模型参数估计、解卷积、带限信号外推、地震勘探等众多领域，都需要求解线性方程组。

由于线性方程组问题在理论上的重要性和在工程实际应用中的大量存在，多年来人们在这方面做了广泛深入的研究和探讨，并取得了许多有价值的成果.由于模型误差、测量误差、计算误差等各种误差的存在，常常使得线性方程组中的系数矩阵和非齐次项信息具有某种程度的近似性(即扰动性)，这种近似性显然会使得线性方程组的求解不容易得到真实的理论解。此时，不同的求解方法由于运算机理不一样，求解过程中误差积累程度就不一样，因此必然会使得不同的求解方法得到的解具有不同的逼近真解的误差程度，尤其对具有病态性的方程组而言，由于病态线性方程组的条件数很大，数据误差以及计算过程中引入的舍入误差往往会使线性方程组的解不稳定，即不管原始数据的误差多么小，都可能造成解的很大变化，使线性方程组的解严重失真。因此，许多现有的方

法都是无效的，病态线性方程组的求解变得相当困难。求解线性方程组的最常用的方法主要有直接法和迭代法两大类，其中直接法中最常用的方法是高斯消元法。但是，该方法求解病态线性方程组时不能得到合理的解，误差很大。

二、研究现状

目前关于线性方程组的数值解法一般有两大类。一类是直接方法，另一类是迭代方法。直接方法最基本的是高斯消元法及其变形，这类方法是解低阶稠密矩阵方程组的有效方法，近十几年来直接法在求解具有较大型稀疏矩阵方程组方面取得了较大进展。迭代法就是用某种迭代过程去逐步逼近线性方程组的精确解，迭代法具有需要计算机的存储单元较少，程序设计简单，原始系数矩阵在计算过程中始终不变等优点，但存在收敛性及收敛速度问题。迭代法是解大型稀疏矩阵方程组的重要方法。当前对迭代算法的研究已经较为成熟，但如何使之适合新体系模型，以获得更好的性能加速一直是应用和体系设计者关心的问题。

三、常用方法比较

1.直接方法

直接方法是指假设计算过程中不产生舍入误差，经过有限次运算可求得方程组的精确解的方法。事实上，由于舍入误差的存在，用直接法一般也只能求得方程组的近似解。直接方法中主要有三种方法：克拉默法则、高斯消元法、LU 分解法。

（1）克拉默法则

设有线性方程组（ n 个未知数 n 个方程）

其矩阵形式为 Ax = b

其中

如果线性方程组的系数行列式不为零，即 det( A) ≠ 0 ,则该方程组有唯一解。由克拉 默法则知，其解为

其中Ai 为上述方程组的右端向量b 代替A 中第i 列向量所得的矩阵。

（2）高斯消元法

设

⎪⎪⎩⎪⎪⎨⎧=++++=++++=++++n

n nn n n n n n n n b x a x a x a x a b x a x a x a x a b x a x a x a x a .........3322112232322212111313212111 （1） 如果011≠a ，将第一个方程中x1的系数化为 1，得

其中 )1(1)1(ij

i ij ij a m a a ⋅-= 从其它n –1 个方程中消x1，使它变成如下形式

由方程（1）到（2）的过程中，元素 a11 起着重要的作用，特别地，把 a11称为主元素。如果（2）中a 22≠0，则以a 22（1）为主元素，可以把方程组（3）化为：

⎪⎪⎪⎩

⎪⎪⎪⎨⎧=++=++=+++=+++)2()2(3)2(3)2(3)2(33)2(33)2(2)2(23)2(232)1(1)1(12)1(121............n n nn n n n n n n b x a x a b x a x a b x a x a x b x a x a x （3）

针对（3）继续消元，重复同样的手段，第 k 步所要加工的方程组是：

设 a ≠ 0 ，第k 步先使上述方程组中第k 个方程中x 的系数化为 1，

然后再从其它（n - k ）个方程中消k x ，消元公式为:

按照上述步骤进行 n 次后,将原方程组加工成下列形式:

回代公式为:

综上所述,高斯消去法分为消元过程与回代过程，消元过程将所给方程组加工成上三角形方程组，再经回代过程求解。

由于计算时不涉及x i, i = 1, 2, …, n ，所以在存贮时可将方程组AX = b ，写成增广矩阵（A, b ）存贮。

下面，我们统计一下高斯消去法的工作量；在（4）第一个式子中，每执行一次需要 n (n k) 次除法，在（4）第二个式子中，每执行一次需要[n (k 1)]× (n k)次除法。因此在消元过程中，共需要 次乘作法。此外，回代过程共有∑=-=

-n k n n k n 1)1(2

)(次乘法。汇总在一起，高斯 消元法的计算量为：33)13(3232n n n n n n -+=-+。

( 3）选主元的高斯消元法 主元素法一般包括两种：列主元素法和全主元素法。这两种主元素法的精度差不多，且全主元素法程序设计复杂且占用机器时间较多。在实际应用中一般采用列主元素法，它既简单又能保证计算精度。方法如下：

给定线性方程组 Ax = b ，

设

⎥⎥⎥⎥⎥⎦

⎤⎢⎢⎢⎢⎢⎣⎡=n nn n n n n b a a a b a a a b a a a b A 21222221111211],[ （1） 列主元的高斯消元法的具体过程如下：第一步：首先在增广矩阵（1）中的第一列选取绝对值最大的元，如a 1i 1，则有1/11max 1i n

i a a ≤≤=，将（1）中的第一列屿第i 1列互换。为方便起见，记行互换后的增广矩阵为[ A 1）（，b 1）

（]，然后进行第一次消元，得矩阵： 第二步：在矩阵[A （2），b （2）]的第二列中选主元，比如 ，将矩阵[A （2），b （2）]的第二行与第i 2 进行互换，再进行第二

次消元，得矩阵[A （3），b （3）].

第 k 步：在矩阵 [ A (k)，b （k ）]的第k 列中选主元，进行第 k 次消元。

如此，经过 n 1步，增广矩阵（1）被化成上三角形，最后由回代过程求解。

并且可证明，只要det （A ）≠0，列主元素法就可以顺利完成，即不会出现