第3章迭代法思想
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
( i 1,2 , , n )
j i 1 n
aij x
(k) j
b i)
称为雅可比(Jacobi)迭代法，也称作简单迭
代法。
14
雅克比(Jacobi)迭代法
例1 用雅可比迭代法解方程组
10 x1 x2 2 x3 7.2 x1 10 x2 2 x3 8.3 x x 5 x 4.2 1 2 3
(k )
逐步逼近方程组的解呢？
x1 2 x2 5 x2 3 x1 5
9
第二节 基本迭代法
10
雅克比(Jacobi)迭代法
设方程组
a11 x1 a12 x2 a1n xn a x a x a x 21 1 22 2 2n n an1 x1 an 2 x2 ann xn b1 b2 bn
19
高斯－塞德尔(Gauss-Seidel)迭代
或简写为：
xi( k 1) 1 [bi aii
i 1 n
j 1
aij x (j k 1)
j i 1
aij x (j k ) ]
i 1, 2, n
称为高斯—塞德尔（Gauss — Seidel）迭代法。
20
高斯－塞德尔(Gauss-Seidel)迭代
( 3,2,1)T 精确解为：
5
迭代格式
将AX=b改写为如下形式：
20 3 2 x1 8 8 x 2 8 x 3 33 4 1 x1 x 3 x2 11 11 11 36 6 3 x 3 12 12 x1 12 x 2
3 2 20 0 8 8 x1 8 x1 1 33 x 4 x2 0 2 11 11 11 x3 6 3 x 3 36 0 12 12 12
( k 1 )
已经计算得到了，所以
可以将原来的迭代进行改善。
18
高斯－塞德尔(Gauss-Seidel)迭代
( k 1 ) 1 x 1 ( a 12 x (2k ) a 13 x (3k ) a 1n x (nk ) b1 ) a 11 x ( k 1 ) 1 ( a x ( k 1 ) a x ( k ) a x ( k ) b ) 21 1 23 3 2n n 2 2 a 22 x ( k 1 ) 1 ( a x ( k 1 ) a x ( k 1 ) bn ) n n1 1 n n 1 n 1 a nn
X M 1 NX M 1b
得： B M 1 N M 1 ( M A) I M 1 A
f M 1b
选择不同的分裂矩阵M可以得到不同的迭代法。
26
Jacobi迭代法的矩阵描述
如果将矩阵A改写成形式：A=D-L-U
a11 0 a a22 21 A ann an1 0 an 2 0 a12 a1n 0 a2 n 0 0
17
高斯－塞德尔(Gauss-Seidel)迭代
由Jacobi迭代可以看出，每次计算 x i 新值时，用的都是 x j
x1
( k 1 )( k 1 ) Nhomakorabea(k )
( j i ) ，即 x j ( j i )
( k 1 )
的旧值，但事实上，在计算 x i
, x2
( k 1 )
时，
, x i 1
例2 用Gauss—Seidel 迭代法解上题。
10 x1 x2 2 x3 7.2 x1 10 x2 2 x3 8.3 x x 5 x 4.2 1 2 3
21
高斯－塞德尔(Gauss-Seidel)迭代
解： Gauss-Seidel迭代的迭代格式为：
7
迭代格式
将方程组 AX=b ( |A|0 ) 转化为与其 等价的方程组 X = BX+f 。 取初始向量 X(0)
X (1) BX ( 0 ) f ，
依此类推 X ( 2 ) BX (1) f X(k+1) = BX(k) + f 一阶定常迭代。
8
（k=0,1,2,)
那么，对于任何一个方程组x Bx f ， 由迭代法产生的向量序列x 是否一定
解：根据迭代的思想，建立迭代的计算规则。
X =
B
X+f
6
迭代格式
取初始向量为
X ( 0 ) (0,0,0)T
，代入迭代
格式计算得到： (1) (2.5,3,3)T X 以此类推，反复利用迭代式，10次迭 代后得： X (10) (3.0000321.9998380.999881 T , , ) 构造的迭代格式X = BX+f ，在k不断 增大时，计算得到的 X k 逼近精确解。
1 .1 x 1 .2 1 .3
15
雅克比(Jacobi)迭代法
解：
雅可比
迭代 格式为
( k 1 ) 1 (k) (k) x ( x 2 2 x 3 7 .2 ) 1 10 ( k 1 ) 1 (k) (k) ( x1 2 x 3 8 .3 ) x2 10 ( k 1 ) 1 ( k ) (k) x3 ( x1 x2 4 .2 ) 5
22
高斯－塞德尔(Gauss-Seidel)迭代
取 x(0)=(0,0,0)T 计算如下： k x1(k) x2(k) x3(k)
1
…
0.72
…
0.902
…
1.1644
…
8
1.099998
1.199999
1.3
Jacobi法需要12次迭代。。。
23
上例计算结果表明，Gause seidel迭代 法比Jacobi迭代法效果好。事实上，对有 些问题Gause seidel迭代法确实比Jacobi 迭代法收敛得快，但也有Gause seidel迭 代比Jacobi迭代收敛得慢，甚至还有Jacobi 迭代收敛，Gause seidel迭代发散的情形。 评价：与Jacobi相比，只需一组工作单 元存放近似解。
其中 aii(i)0 ( i=1 , 2 , …, n)
12
雅克比(Jacobi)迭代法
建立迭代格式：
( k 1) x1 x ( k 1) 2 x ( k 1) n 1 ( a11
( ( ( a12 x2k ) a13 x3k ) a1n xnk ) b1 ) ( ( a23 x3k ) a2 n xnk ) b2 )
k
,则 X 是方程组AX=b的解。
迭代法需要解决的问题
选择一个初始近似向量 X 0 ； 构造一种计算法则（迭代格式），由
X
k 1
计算 X
k
；
x 是原问题的近似解， ，则
{ X (k ) } 的收敛性； 证明所得向量序列
若{ X (k ) }收敛于 x
该近似解的误差如何估计。
D
L
A=
D
U
-U
27
-L
Jacobi迭代法的矩阵描述
当选分裂矩阵为D时，对应得到的即 为Jacobi迭代法。 A=D-(L+U)=M-N; M=D, N=L+U
B M 1 N D 1 ( L U )
f M 1 b D 1 b
雅可比迭代法可写为矩阵形式
x ( k 1 ) D 1 ( L U ) x ( k ) D 1 b
3
初始近似向量的选择
实际计算中，通常取 X 0 为元素全零 或全1的向量。 初始向量的选取对迭代序列的收敛 性没有影响。
4
迭代格式
例：用迭代思想求解线性方程组
8 x1 3 x 2 2 x 3 20 4 x1a 11x 2 x 3 33 6 x 3 x 12 x 36 2 3 1
( k 1 ) 1 ( ( x1 ( x 2 k ) 2 x 3 k ) 7 .2 ) 10 ( k 1 ) 1 ( k 1 ) (k) ( x1 2 x 3 8 .3 ) x2 10 ( k 1 ) 1 ( k 1 ) ( k 1 ) ( x1 x2 4 .2 ) x3 5
30
迭代法的矩阵描述
例：用矩阵形式的Jacobi迭代和G-S迭代形 式求解线性方程组：
2 x1 x 2 1 x1 4 x 2 5
2 1 2 0 0 0 0 1 A 0 4 1 0 0 0 D L U 1 4
11
雅克比(Jacobi)迭代法
等 价 方 程 组
x1 x2 xn 1 [ a12 x2 a1 n xn b1 ] a11 1 [ a21 x1 a2 n xn b2 ] a22 1 [ an1 x1 an 2 x2 bn ] ann
24
迭代法的矩阵描述
迭代法基本思想的矩阵描述：
A M N
分裂矩阵； 是A的某种近似。
AX b ( M N ) X b MX NX b
X M NX M b
25
1
1
迭代法的矩阵描述
与一阶定常迭代对照
X (0) 初 始 向 量 ( k 1) X BX ( k ) f
16
雅克比(Jacobi)迭代法
x ( 0 ) (0,0,0)T ,计算如下: 取
k 1 2 … x1(k) 0.72 0.971 … x2(k) 0.83 1.07 … x3(k) 0.84 1.15 …
11 1.099993 1.199993 1.299991
12 1.099998 1.199998 1.299997
29
G-S迭代法的矩阵描述
当选分裂阵为A的下三角阵部分，即M=DL时，对应得到即为Gauss-Seidel迭代法。
B M 1 N ( D L)1 U
记为G，称作G-S迭代的迭代阵。
f M 1b ( D L)1 b
G-S迭代法可写为矩阵形式：
x ( k 1) ( D L) 1 Ux ( k ) ( D L) 1 b
28
Jacobi迭代法的矩阵描述
其迭代矩阵为
0 a21 BJ D 1 ( L U ) a 22 an 1 a nn
a12 a11 0 an 2 ann
a1n a11 a2 n a22 0
1 k ((k )1) x ( a21 x1 a22
1 (k) (k) ( an1 x1 an n 1 xn 1 ann
bn )
13
雅克比(Jacobi)迭代法
或简写为：
1 i 1 ( k 1 ) (k) x i ( a ij x j a ii j 1
解线性方程组的迭代法
1
迭代法的基本思想
对于线性方程组AX=b,迭代法的基本思 想是： 从某一个给定的初始值 X 0 出发，按照
一个适当的计算法则逐次计算生成序列
X 0 , X 1 , X 2 X k ,
，当序列收敛于 X ，即
2
极限
lim X k X
j i 1 n
aij x
(k) j
b i)
称为雅可比(Jacobi)迭代法，也称作简单迭
代法。
14
雅克比(Jacobi)迭代法
例1 用雅可比迭代法解方程组
10 x1 x2 2 x3 7.2 x1 10 x2 2 x3 8.3 x x 5 x 4.2 1 2 3
(k )
逐步逼近方程组的解呢？
x1 2 x2 5 x2 3 x1 5
9
第二节 基本迭代法
10
雅克比(Jacobi)迭代法
设方程组
a11 x1 a12 x2 a1n xn a x a x a x 21 1 22 2 2n n an1 x1 an 2 x2 ann xn b1 b2 bn
19
高斯－塞德尔(Gauss-Seidel)迭代
或简写为：
xi( k 1) 1 [bi aii
i 1 n
j 1
aij x (j k 1)
j i 1
aij x (j k ) ]
i 1, 2, n
称为高斯—塞德尔（Gauss — Seidel）迭代法。
20
高斯－塞德尔(Gauss-Seidel)迭代
( 3,2,1)T 精确解为：
5
迭代格式
将AX=b改写为如下形式：
20 3 2 x1 8 8 x 2 8 x 3 33 4 1 x1 x 3 x2 11 11 11 36 6 3 x 3 12 12 x1 12 x 2
3 2 20 0 8 8 x1 8 x1 1 33 x 4 x2 0 2 11 11 11 x3 6 3 x 3 36 0 12 12 12
( k 1 )
已经计算得到了，所以
可以将原来的迭代进行改善。
18
高斯－塞德尔(Gauss-Seidel)迭代
( k 1 ) 1 x 1 ( a 12 x (2k ) a 13 x (3k ) a 1n x (nk ) b1 ) a 11 x ( k 1 ) 1 ( a x ( k 1 ) a x ( k ) a x ( k ) b ) 21 1 23 3 2n n 2 2 a 22 x ( k 1 ) 1 ( a x ( k 1 ) a x ( k 1 ) bn ) n n1 1 n n 1 n 1 a nn
X M 1 NX M 1b
得： B M 1 N M 1 ( M A) I M 1 A
f M 1b
选择不同的分裂矩阵M可以得到不同的迭代法。
26
Jacobi迭代法的矩阵描述
如果将矩阵A改写成形式：A=D-L-U
a11 0 a a22 21 A ann an1 0 an 2 0 a12 a1n 0 a2 n 0 0
17
高斯－塞德尔(Gauss-Seidel)迭代
由Jacobi迭代可以看出，每次计算 x i 新值时，用的都是 x j
x1
( k 1 )( k 1 ) Nhomakorabea(k )
( j i ) ，即 x j ( j i )
( k 1 )
的旧值，但事实上，在计算 x i
, x2
( k 1 )
时，
, x i 1
例2 用Gauss—Seidel 迭代法解上题。
10 x1 x2 2 x3 7.2 x1 10 x2 2 x3 8.3 x x 5 x 4.2 1 2 3
21
高斯－塞德尔(Gauss-Seidel)迭代
解： Gauss-Seidel迭代的迭代格式为：
7
迭代格式
将方程组 AX=b ( |A|0 ) 转化为与其 等价的方程组 X = BX+f 。 取初始向量 X(0)
X (1) BX ( 0 ) f ，
依此类推 X ( 2 ) BX (1) f X(k+1) = BX(k) + f 一阶定常迭代。
8
（k=0,1,2,)
那么，对于任何一个方程组x Bx f ， 由迭代法产生的向量序列x 是否一定
解：根据迭代的思想，建立迭代的计算规则。
X =
B
X+f
6
迭代格式
取初始向量为
X ( 0 ) (0,0,0)T
，代入迭代
格式计算得到： (1) (2.5,3,3)T X 以此类推，反复利用迭代式，10次迭 代后得： X (10) (3.0000321.9998380.999881 T , , ) 构造的迭代格式X = BX+f ，在k不断 增大时，计算得到的 X k 逼近精确解。
1 .1 x 1 .2 1 .3
15
雅克比(Jacobi)迭代法
解：
雅可比
迭代 格式为
( k 1 ) 1 (k) (k) x ( x 2 2 x 3 7 .2 ) 1 10 ( k 1 ) 1 (k) (k) ( x1 2 x 3 8 .3 ) x2 10 ( k 1 ) 1 ( k ) (k) x3 ( x1 x2 4 .2 ) 5
22
高斯－塞德尔(Gauss-Seidel)迭代
取 x(0)=(0,0,0)T 计算如下： k x1(k) x2(k) x3(k)
1
…
0.72
…
0.902
…
1.1644
…
8
1.099998
1.199999
1.3
Jacobi法需要12次迭代。。。
23
上例计算结果表明，Gause seidel迭代 法比Jacobi迭代法效果好。事实上，对有 些问题Gause seidel迭代法确实比Jacobi 迭代法收敛得快，但也有Gause seidel迭 代比Jacobi迭代收敛得慢，甚至还有Jacobi 迭代收敛，Gause seidel迭代发散的情形。 评价：与Jacobi相比，只需一组工作单 元存放近似解。
其中 aii(i)0 ( i=1 , 2 , …, n)
12
雅克比(Jacobi)迭代法
建立迭代格式：
( k 1) x1 x ( k 1) 2 x ( k 1) n 1 ( a11
( ( ( a12 x2k ) a13 x3k ) a1n xnk ) b1 ) ( ( a23 x3k ) a2 n xnk ) b2 )
k
,则 X 是方程组AX=b的解。
迭代法需要解决的问题
选择一个初始近似向量 X 0 ； 构造一种计算法则（迭代格式），由
X
k 1
计算 X
k
；
x 是原问题的近似解， ，则
{ X (k ) } 的收敛性； 证明所得向量序列
若{ X (k ) }收敛于 x
该近似解的误差如何估计。
D
L
A=
D
U
-U
27
-L
Jacobi迭代法的矩阵描述
当选分裂矩阵为D时，对应得到的即 为Jacobi迭代法。 A=D-(L+U)=M-N; M=D, N=L+U
B M 1 N D 1 ( L U )
f M 1 b D 1 b
雅可比迭代法可写为矩阵形式
x ( k 1 ) D 1 ( L U ) x ( k ) D 1 b
3
初始近似向量的选择
实际计算中，通常取 X 0 为元素全零 或全1的向量。 初始向量的选取对迭代序列的收敛 性没有影响。
4
迭代格式
例：用迭代思想求解线性方程组
8 x1 3 x 2 2 x 3 20 4 x1a 11x 2 x 3 33 6 x 3 x 12 x 36 2 3 1
( k 1 ) 1 ( ( x1 ( x 2 k ) 2 x 3 k ) 7 .2 ) 10 ( k 1 ) 1 ( k 1 ) (k) ( x1 2 x 3 8 .3 ) x2 10 ( k 1 ) 1 ( k 1 ) ( k 1 ) ( x1 x2 4 .2 ) x3 5
30
迭代法的矩阵描述
例：用矩阵形式的Jacobi迭代和G-S迭代形 式求解线性方程组：
2 x1 x 2 1 x1 4 x 2 5
2 1 2 0 0 0 0 1 A 0 4 1 0 0 0 D L U 1 4
11
雅克比(Jacobi)迭代法
等 价 方 程 组
x1 x2 xn 1 [ a12 x2 a1 n xn b1 ] a11 1 [ a21 x1 a2 n xn b2 ] a22 1 [ an1 x1 an 2 x2 bn ] ann
24
迭代法的矩阵描述
迭代法基本思想的矩阵描述：
A M N
分裂矩阵； 是A的某种近似。
AX b ( M N ) X b MX NX b
X M NX M b
25
1
1
迭代法的矩阵描述
与一阶定常迭代对照
X (0) 初 始 向 量 ( k 1) X BX ( k ) f
16
雅克比(Jacobi)迭代法
x ( 0 ) (0,0,0)T ,计算如下: 取
k 1 2 … x1(k) 0.72 0.971 … x2(k) 0.83 1.07 … x3(k) 0.84 1.15 …
11 1.099993 1.199993 1.299991
12 1.099998 1.199998 1.299997
29
G-S迭代法的矩阵描述
当选分裂阵为A的下三角阵部分，即M=DL时，对应得到即为Gauss-Seidel迭代法。
B M 1 N ( D L)1 U
记为G，称作G-S迭代的迭代阵。
f M 1b ( D L)1 b
G-S迭代法可写为矩阵形式：
x ( k 1) ( D L) 1 Ux ( k ) ( D L) 1 b
28
Jacobi迭代法的矩阵描述
其迭代矩阵为
0 a21 BJ D 1 ( L U ) a 22 an 1 a nn
a12 a11 0 an 2 ann
a1n a11 a2 n a22 0
1 k ((k )1) x ( a21 x1 a22
1 (k) (k) ( an1 x1 an n 1 xn 1 ann
bn )
13
雅克比(Jacobi)迭代法
或简写为：
1 i 1 ( k 1 ) (k) x i ( a ij x j a ii j 1
解线性方程组的迭代法
1
迭代法的基本思想
对于线性方程组AX=b,迭代法的基本思 想是： 从某一个给定的初始值 X 0 出发，按照
一个适当的计算法则逐次计算生成序列
X 0 , X 1 , X 2 X k ,
，当序列收敛于 X ，即
2
极限
lim X k X