第五章解线性方程组的迭代法

能找到一种范数成立.)
《数值分析》 主讲教师
16
证明：x *的存在性及迭代序列的收敛性已由定理给出。
同时有：x(k) x* x(k) x(k1) x(k1) x*
x(k) x(k1) x(k1) x*
x(k) x(k1) B x(k) x*
x(k) x* 1 x(k) x(k1) 1 q
设ARnn非奇异，用迭代法解方程组Ax b，首先要构 造迭代序列，可将方程改写为不动点形式x Bx f， 并由此构造迭代公式x(k1) Bx(k) f,k 0,1, , 其中B R nn称为迭代矩阵。
定义：若迭代法x(k1) Bx (k) f , k 0,1, 生成的序列{x(k)} 满足 lim x(k) x* ,x(0) R n则称迭代法收敛的。
显然有：
lim x(k) x lim x(k) x 0
k
k
（依范数 收敛）
《数值分析》 主讲教师
6
矩阵范数、谱半径
对于方阵A
aij
,有
nn
n
A
max 1in
j 1
aij
矩阵的行范数
n
A max 1 1 jn
i 1
aij
矩阵的列范数
称(A)= max 1 jn
j
xi
i 1
1 范数
x
n
1/2
x2
2 i1 i
2 范数
x
max
1in
xi
范数
一般的，定义p 范数 :
n
p 1/p
x x
p
i i 1
《数值分析》 主讲教师
4
范数的等价性：
称范数
,
p
q 等价，如果存在正数c1, c2,使对任意向量x均有
x
p
c1
x
,
q
x
q
c2
x
p
显然，范数的等价关系具有传递性。
任意向量x x1, x2, , xn ,如果实数 x 满足：
1）任意x, x 0,当且仅当x 0时，x 0.
2)对于任意实数及任意向量x, x x
3）对于任意向量x, y,有 x y x y , (三角不等式) 则称实数 x 为向量x的范数。
《数值分析》 主讲教师
3
常见范数：
n
x 1
如果将这些新值代替旧值，则J法变成如下迭代公式：
x(k1) i
1 ( aii
i 1 j 1
aij
x(k 1) j
n
aij
ji 1
x(jk)
bi
),i
1,2,
,n
称为Gauss Seidel迭代法，简称 GS法。
《数值分析》 主讲教师
29
§5.3.2 Gauss-Seidel迭代法
GS法矩阵表示：
定理：GS法收敛的充分必要条件是迭代矩阵G的谱半径
(G)1,充分条件是对某种范数 G 1。
《:
x(k1) (I A)x(k) b
注2：在收敛的情况下，一般说来，Gs法的收敛性能较J 法好，然而情况并不总是如此，存在方程组按J法收敛， 而按Gs法不然，因此两种方法均很重要，如组：
20
1
注1 定义中 Bk k (B)是命题3的结果；
注2 可以推知， B 越小,渐进收敛速度-ln B 越大。且
当k
s
ln10
时有：
(k)
10s .
R(B)
(0)
例4 若例1中要球相对误差小于10-5,则至少要迭代几次?
解:
例1中 B 0.3592, k
s ln10
R B
s ln10
此时(k) x(k) x* B k(0) 0(对x(0), f )
《数值分析》 主讲教师
14
例2 考察例1迭代法的收敛性.
0
3 8
1 4
解:B=
4 11
0
1 11
,
-
1
1
0
2 4
方法一 : I-B 3 3 7 0, B 0.3592 1,迭代收敛.
88 176
《数值分析》 主讲教师
19
1
定义：Rk(B) ln Bk k 称为迭代法迭代k步的平均收敛速度。
该定义依赖于范数的选取和迭代次数，为 刻画方法本身的速度，引入仅与迭代阵有 关的量：
定义：R(B)
lim
ln
Bk
1 k
ln
(B)
k
称为迭代法x(k1) Bx(k) f 的渐近收敛速度。
《数值分析》 主讲教师
证明:由范数等价性,仅就某一从属范数证明即可.
Q A A ,而 k ( A) ( Ak ) Ak 0 lim Ak 0 Ak 0
(或按命题1考虑Ak x,其中x为特征向量)
由( A) 1知，使( A) 1,而对此，
存在某种从属范数，使 A ( A) 1,
故 lim Ak lim A k 0.(命题1, 2通常结合起来用)
第五章 解线性方程组的迭代法
线性方程组虽有直接解法，但对 大型组，对时间和空间要求严格。
《数值分析》 主讲教师
1
第五章 解线性方程组的迭代法
§5.1 迭代法及其收敛性 §5.2 向量和矩阵的范数 §5.3 迭代过程的收敛性
《数值分析》 主讲教师
2
§5.2 向量和矩阵的范数
向量范数( vector norms )
设有方程组
a11x1 a12 x2 a1n xn b1
a
21
x1
a22 x2
a2n xn
b2
an1x1 an2 x2 ann xn bn
作等价变形，得不动点形式：
《数值分析》 主讲教师
23
§5.3.1 Jacobi迭代法
x1 x2
1 (0 a11 1
(a a 22
其中B D1(L U ) I D1A, f D1b, 称为解方程组的 Jacobi迭代法，简称J 法。 例: 验证上节例1中B=I D1A, f D1b。
定理 Jacobi迭代法收敛的充分必要条件是 I-D1A 1
《数值分析》 主讲教师
27
§5.3.1 Jacobi迭代法
计算时可写成如下分量形式 :
x(k1) D1 Lx(k1) Ux(k) b 便于迭代的形式;
又可由上式得到 D L x(k1) Ux(k) b,
于是GS可表示为：x(k1) Gx(k) fG 便于讨论收敛性 其中G (D L)1U I (D L)1 A, fG (D L)1b. 例 写出上节例1的GS迭代公式.
迭代收敛基本定理：
迭代法x(k1) Bx(k) f , k 0,1,L 对x(0) Rn收敛
(B) 1，其中(B)为矩阵B的谱半径。
存在某种范数 g ,使得 B 1
《数值分析》 主讲教师
13
证明： 设x(k) x*(k ),则x*满足x* Bx* f , 此时对x(0) , f ,
定理： , ， 等价 1 2
《数值分析》 主讲教师
5
向量序列的极限
定义：设Rn中的向量序列{x(k)}0 , x(k) (x1(k) , , xn(k) )T , 如果存在
x (x1, , xn )T Rn ,使
lim
k
xi(k
)
xi ,i
1,2,
, n,
（依分量收敛）
则称向量序列{x(k)}0 收敛于x,记作lkim x(k) x。对矩阵类似定义。
lim A(k) 0，因此由0 A(k) x A(k) x ，得到 lim A(k) x 0。
k
k
反之，取x
=e
j
,
则
lim
k
A(k )e j
lim Ak k j
0,即A(k)的j列元素为0，j=1,2,L
,n
则 lim A(k) 0. k
《数值分析》 主讲教师
8
命题2 lim Ak 0 (A) 1,其中(•)为谱半径。 k
(k) x(k) x* Bxk1 f Bx* f Bk (0) 0,
由于x(0)任意,故由命题1，2知：(B) 1;
设(B)1,由命题1，2知存在某范数使
lim B k 0,
k
且 B (B) 1表明I B可逆，从而
(I B)x f有唯一解，记为x*,即x* Bx* f,
x1 21 x1
a12 x2 0x2
a1n xn b1) a2n xn b2)
xn
1 a nn
(a
n1
x1
an2 x2
0xn
bn)
即x Bx f
《数值分析》 主讲教师
24
§5.3.1 Jacobi迭代法
可构造迭代公式：
x(1k
1)
1 (0 a11
x(k) 1
x(2k
x(k1) i
1 ( aii
i 1 j 1
aij
x(jk)
n
aij
ji 1
x(jk)
bi
),i
1,2,
,n
k 1,2,,
《数值分析》 主讲教师
28
§5.3.2 Gauss-Seidel迭代法
在J法的
计算公式中，注意到在计算x
(k i
1)时，
前面i 1个值的k 1步迭代值x(1k1), ,x(ik11)均已算出，
方法二 :
B
3 1, B
4
B 1,因此迭代收敛.
《数值分析》 主讲教师
15
推论（收敛速度与误差估计）若对某种从属范数，
迭代阵满足 B q 1,则迭代法收敛，且有估计：
x* x(k ) q x(k ) x(k 1) qk x(1) x(0)
1 q
1 q
( B B 1.反之不成立，即收敛不能 B 1,但至少
《数值分析》 主讲教师
9
1
命题3 对任意从属范数有： lim Bk k (B) k
证明：对 0,范数 • 满足： k(B) (B k ) B k (B k ) k(B)
再两边k次方根便可，范数等价性保证命题成立。
见《数值计算原理》，李庆扬，关治P193
《数值分析》 主讲教师
10
§5.1 迭代法的构造及收敛
k
《数值分析》 主讲教师
11
例1
8x1 4x1
3x2 2x3 11x2 x3
20 33
6x1 3x2 12x3 36
解 可构造如下迭代
x k+1 1
1 (3xk 82
2xk 3
20)
x k+1 2
1 (-4xk 11 1
xk 3
33)
，即x k+1
Bx k
为A的谱半径，其中 j为A的特征向量
定理：1）(A) A , p为任意范数。 p
2）存在某个矩阵范数 A (A)
《数值分析》 主讲教师
7
命题1
lim A(k) 0的充分必要条件是 lim A(k) x 0, x Rn。
k
k
证 : 对任意从属范数有 A(k) x A(k) x ,由lim A(k) 0，知 k
qk
x(0) x(1)
1 q
《数值分析》 主讲教师
17
例3：有迭代矩阵B
0.9 0.3
0 0.8
则 B 1.1, B 1.2, B 1.043, B 1.54
1
2
F
虽然B的这些范数均大于1，但由于(B) 0.9 1,
故由定理知迭代序列仍收敛。
《数值分析》 主讲教师
18
§5.1.2 迭代法的收敛速度
设迭代法收敛，即(B) 1,经过k步迭代后的误差
可估计为： (k ) x(k ) x* Bk (0)
1
这样平均每次迭代后误差的压缩率可看成是由 Bk k 决定。
通常对给定的k步压缩量，若要求 Bk ，k ln 1 ,
ln Bk k
这说明为达到一定的压缩量要求的最小迭代次数k
1
反比于 ln Bk k (类似于时间反比于速度)。
-ln B
11.99,故k=12.
《数值分析》 主讲教师
21
§5.3 Jacobi迭代法和Gauss-Seidel迭代法
§5.3.1 Jacobi迭代法 §5.3.2 Gauss-Seidel迭代法 §5.3.3 J法与GS法的收敛性
《数值分析》 主讲教师
22
§5.3.1 Jacobi迭代法
f ,这里，
x
k+1
3
1 12
(-6xk 1
3xk 2
36)
0
B=
4 11
-
1
2
3 8 0
1 4
1 4
1 11
，f
0
5
2 3
,
若取x
0
3
0
0
,
则x
10
0
3.000032
10.9.999998830830
3
2 1
《数值分析》 主讲教师
12
§5.1.1 迭代法的收敛性
1)
1 (a
a 22
21
x(k) 1
a12
x(k) 2
0 x(2k)
a1n
x(k) n
b1)
a2n x(nk) b2 )
x(nk
1)
1 a nn
(a
n1
x(k) 1
a
n2
x(2k
)
0
x(k) n
bn
)
《数值分析》 主讲教师
25
§5.3.1 Jacobi迭代法
这里是把系数矩阵A(aij )Rnn分解为：A D L U D Diag(A);
0
0 a12 a1n
L a21 0 0
,U
0
a
2
n
0
an1 an2 0
0
《数值分析》 主讲教师
26
§5.3.1 Jacobi迭代法
L, U分别为A的严格下三角矩阵与A的严格上三角矩阵。 假定aii 0(i 1,2, ,n)，则D非奇异，则得：
x(k1) Bx(k) f,k 0,1,