大学精品课【工程计算基础】工程计算3线性代数方程组的数值解法

b(1) 1
b(2) 2
a(2) nn
b(2) n
9
3.2 高斯消去法
第i行的消元公式为
baii((j22))
a(1) ij
b(1) i
li1a1(1j) li1b1(1)
(i, j 2,3,
, n)
矩阵表示
初等矩阵 其中
L1=I-l1e1T l1=(0,l21, l21, …, ln1)T
定理3.2.3 若A严格对角占优，则
a(k) kk
0
(k 1, 2,
,n)
2020/9/29
19
3.2 高斯消去法
高斯消去法的计算量
把A(1)化为等价的A(n)所需要的乘法运算量是
n (k 2 k) n (n2 1)
k 1
3
除法运算量是
n1
n
k (n 1)
k 1
2
回代过程需要的乘除法总运算量是n(n1)/2
a(2) 22
2020/9/29
a (1) 1n
a(2) 2n
b(1) 1
b(2) 2
a(n) nn
bn( n
)
13
3.2 高斯消去法
(2) 回代过程
xn
xk
b(n) n
(bk(k )
a(n) nn
n
a(k kj
)
x
j
)
a(k) kk
jk 1
(k n 1, n 2, , 2,1)
消元过程和回代过程 合起来称为高斯消去法。 上面介绍的方法又称为顺序消元高斯消去法。
2020/9/29
7
3.2 高斯消去法
记
a11 a12
(
A,
b)
a21
a22
an1
an2
且把(A，b)记为(A(1)，b(1))，即
(
A,
b)
(
A(1)
,
b(1)
)
a (1) 11
a (1) 21
a (1) 12
a (1) 22
a (1) n1
a (1) n2
2020/9/29
a1n b1
a ( i 1) ii
i 1
2020/9/29
28
3.2 高斯消去法
完全选主元方法
如果将选主元的范围扩大到余下的全部元素，即在
a11x1 a12 x2 a21x1 a22 x2
a1n xn b1 a2n xn b2
an1x1 an2 x2 ann xn bn
用矩阵和向量的记号来表示，可写成 Ax b
a11 a12 A a21 a22
an1 an2
a1n
a2n
ann
x1
x
x2
则
L1A(1)=A(2) L1b(1)=b(2)
2020/9/29
10
3.2 高斯消去法
经k-1次消元得到
a (1) 11
a (1) 12
a(2) 22
(
A( k
)
,
b(k
)
)
a (1) 1k
a(2) 1k
a (1) 1,k 1
a(k) 1,k 1
a(k) kk
a(k) k 1,k
a(k) k ,k 1
xn
b1
b
b2
bn
设|A|≠0，则方程组有唯一解
2020/9/29
3
3.1 引言
直接法 将Ax=b化为等价的上三角形方程
Ux=L-1b 其中，U是上三角矩阵，L是下三角形矩阵。可用高斯消去 法得到 直接三角分解法：将A做三角分解
A=LU
然后求解下列两个三角形方程 Ly=b Ux=y
2020/9/29
0
3
3
9
1 4 5 14 0 3 3 9 0 0 2 2
可以继续计算了
2020/9/29
24
3.2 高斯消去法
2) 主元过小，导致计算过程不稳定
例3.2.2 设有线性方程组
10..00000003xx11
3.0000x2 1.0000x2
2.0001 1.0000
该方程组的准确解为x1=1/3，x2=2/3。
2020/9/29
21
3.2 高斯消去法
计算量：n阶行列式有n！项，每项计算n-1次乘法， 总乘法次数
Sn=(n+1)×n! ×(n-1)= (n+1)! ×(n-1) 当n=20时，乘法次数为9.7×1020次。若用每秒运 算10亿次乘法的计算机计算，约需3.08万年，这是无 法实现的。
若用Gauss消去法求解，其乘除法运算次数只需 3060次。
取五位有效数字，进行高斯消元计算，把第二个方程中的x1 消去，得到
0.0003x1
3.0000x2 9999.0x2
2.0001 6666.0
从第二个方程解得x2=0.6667，再代入第一个方程得x1=0。可 见，直接利用高斯消元法得到的结果与准确解相差较大。
2020/9/29
25
3.2 高斯消去法
2 2 4 10 2 2 4 10
2
2
6
12
0
0
2
2
1 4 5 14 0 3 3 9
2020/9/29
23
3.2 高斯消去法
3.2.3 数值稳定性：选主元
可交换第二行和第三行，得到等价方程：
2 2 4 10 2 2 4 10 2 2 4 10
wenku.baidu.com
2
2
6
12
0
0
2
2
如果将两个方程交换次序
10..00000003xx11
1.0000x2 3.0000x2
1.0000 2.0001
仍取五位有效数字进行计算，消去第二个方程中的x1，得到
1.0000x1
1.0000x2 2.9997x2
1.0000 1.9998
从第二个方程解得x2=0.6667，再代入第一个方程得x1=0.3333。 得到准确解。
3.2 高斯消去法
其中
baii((jkk11))
a(k) ij
b(k ) i
lik
a(k kj
)
likbi(k )
(i, j k 1, k 2,
, n)
按上述做法，完成n-1次消元后，方程组化 成同解的上三角方程
A(n)x = b(n)
a (1) 11
( A(n) , b(n) )
a (1) 12
总共需要的乘除法运算量是
1 n3 n2 1 n
3
3
2020/9/29
20
3.2 高斯消去法
加减法的计算量
1 n3 1 n2 5 n 326 当方程阶数n很大时，加减乘除运算量增长的速度是 1 n3 量级
3
如果用克莱姆(Cramer)法则求解，则有
xk
Dk D
, (k
1, 2,
, n)
要计算n+1个n阶行列式的值。
a(k) k 1,k 1
a(k) nk
a(k) n,k 1
a (1) 1n
a(2) 2n
a(k) kn
a(k) k 1,n
a(k) n,n
第k次消元：从rk+2, rk+3, … , rn行中消去xk项，使
2020/9/29
A(k+1)x= b(k+1) A(k)x= b(k)
b(1) 1
b(2) 2
A LA(n) LU
即，一个方阵可以分解为一个单位下三角矩阵与一个
上三角矩阵的乘积。称为矩阵的LU分解，也称为 Doolittle分解。
方程
Ax=b
可以写成
LUx=b
等价于两个方程
Ly=b
Ux=y
2020/9/29
17
3.2 高斯消去法
存储上的特点。由于L是单位下三角矩阵，其对角元 素为 1，是已知量，可以不存储。因此可将L存于U空出的下三 角部分。即利用矩阵A的存储空间 ，有
li1
a (1) i1
/
a (1) 11
(i 2,3,
, n)
将系数矩阵和右端项第i 行 li1第1行，即
r (1)
i
li1r1(1)
r(2)
i
i =2，3，…，n
a(1) 11
( A(2) , b(2) )
a(1) 12
a(2) 22
2020/9/29
a(2) n2
a(1) 1n
a(2) 2n
注意：右端的A(n)是一个上三角矩阵。
由于
Lk I lk ekT
因此
Lk1 I lk ekT
仍为单位下三角矩阵
2020/9/29
15
3.2 高斯消去法
令
L (Ln1Ln2
L2 L1)1 L11L21
L L 1 1 n2 n1
为如下形式的单位下三角矩阵
1
l21
L
l31
ln1,1 ln1
a (1) 1,k 1
a(k) 1,k 1
a(k) kk
a(k) k ,k 1
a(k 1) k 1,k 1
a(k 1) n,k 1
a (1) 1n
a(2) 2n
a(k) kn
a(k 1) k 1,n
a(k 1) n,n
b(1) 1
b(2) 2
b(k ) k
bk(
k 1) 1
bn( k
1)
12
Summer Grass Fade
Arial Font Family
3 线性代数方程组的数值解法
• 3.1 引言 • 3.2 高斯消去法 • 3.3 矩阵的直接三角分解 • 3.4 方程组的形态、条件数 • 3.5 大型方程组的迭代法
2020/9/29
2
3.1 引言
本章研究的对象是n阶线性代数方程组
b11x1 b12 x2
b22 x2
b1,n x 1 n1 b1n xn g1 b2,n1xn1 b2n xn g2
b x n1,n1 n1 bn1,n xn gn1
bnn xn gn
这个过程称为消元过程。 由此可逐个求出xn，xn-1 ，… ，x1 ，这个过程称为回代过程
1 l32
ln1,2 ln 2
1
ln1,3 ln3
1 ln,n1 1
2020/9/29
lik
a(k) ik
a(k) kk
,
k 1,2, ,n, i k 1,k 2,
,n
16
3.2 高斯消去法
因此，高斯消元过程是将一个矩阵由初等变换化为上三角 矩阵的过程，如果令U=A(n) ，有
a(i1) ii
i 1
18
3.2 高斯消去法
3.2.2 可行性和计算量
顺序消去过程的关键是主元素
a(k) kk
(k 1, 2,
, n)
定理3.2.1
a(k) kk
0
(k 1, 2,
,n)
的充分必要条件是A的各阶顺序主子式不为零
定理3.2.2 若A对称正定，则
a(k) kk
0
(k 1, 2,
,n)
a2n
b2
ann
bn
a (1) 1n
a (1) 2n
b(1) 1
b(1) 2
a (1) nn
b(1) n
8
3.2 高斯消去法
(1) 消元过程 第1次消元：从r2, r3, … , rn行中消去x1项 得到等价方程： A(2)x= b(2) A(1)x= b(1)
a1(11) 0 计算因子
a(0) 11
l21
a(0) 12
a(1) 22
a(0) 13
a (1) 23
l31
l32
a(2) 33
ln1 ln2 ln3
A的行列式的值为
|
A
|
a a a (0) (1) (2) 11 22 33
2020/9/29
a(0) 1n
a (1) 2n
a(2) 3n
a ( n 1) nn
n
a(n1) nn
可分析两种解法不同结果的原因。
2020/9/29
26
3.2 高斯消去法
选主元 列选主元素方法
第一步时
在A(1)的第一列元素
ai(11)(i=1,2,
…,n)中，选主元素
a(1) i11
，使
a(1) i11
max
1in
|
a(1) i1
|
并交换(A(1)，b(1))的第一行与第i1行。元素记号保持不变。
二者运算次数之比为3.17×1017。
2020/9/29
22
3.2 高斯消去法
3.2.3 数值稳定性：选主元
1.必要性
1) A可逆，但不满足定理3.2.1的条件。即在顺序消元过程
中，出现零主元。
例3.2.1
2 2 4 x1 10
2
2
6
x2
12
1 4 5 x3 14
第一步后出现零主元：
4
3.1 引言
中小规模代数方程组，常选用直接法 如果右端项有多个，多采用直接法 大型稀疏矩阵，有些用迭代法
2020/9/29
5
3.2 高斯消去法
3.2.1 顺序消去过程和矩阵的LU三角分解 3.2.2 可行性和计算量 3.2.3 数值稳定性：选主元
2020/9/29
6
3.2 高斯消去法
3.2.1 顺序消去过程和矩阵的LU三角分解 高斯消去法把方程组转化为一个等价的三角形方程组
bk( k
)
b( k ) k 1
bn( k
)
11
3.2 高斯消去法
a(k) kk
0
计算因子
消元得到
a (1) 11
a (1) 12
a(2) 22
(
A(k 1) , b(k 1)
)
2020/9/29
lik
a(k) ik
/
a(k kk
)
(i k 1,
,n)
a (1) 1k
a(2) 1k
在每一次消元前，都进行上述的列选主元的过程 。这样的
解可由线性方程组
得到。
A(n)x=b(n)
2020/9/29
27
3.2 高斯消去法
以上消元过程中，对角线上的
a(k) kk
称为主元素。
这就是列选主元素方法的消元过程。
列选主元素方法中要多次交换系数矩阵的行，若共进行了m 次 ，则行列式
n
| A | (1)m
高斯消去法的特点：消元和回代不同步！
2020/9/29
14
3.2 高斯消去法
消元过程可写为
[ A(n) , b(n) ] Ln1[ A(n1) , b(n1) ]
Ln L 1 n2 L2 L1[ A(0) , b(0) ]
Ln L 1 n2 L2L1[ A, b]
分开，有
A(n) Ln1Ln2 L2 L1 A