向量范数迭代收敛性
合集下载
第5节_迭代法的收敛性
x ≠0
Bx x
≥
Bx1 ቤተ መጻሕፍቲ ባይዱ1
= 1,与已知矛盾！
线性方程组迭代法收敛性
推论1：对任意初始向量x (0)和右端项g，若 M < 1, 由迭代式 x ( k +1) = Mx ( k ) + g产生的向量序列{ x ( k ) }收敛.
证明：矩阵范数性质3：ρ ( A) ≤ || A ||
迭代法收敛与否只决定于迭代矩阵的谱半径，与初始向 量及右端项无关。 对同一方程组，由于不同的迭代法迭代矩阵不同，可能 出现有的方法收敛，有的方法发散的情形。
且至少有一个i值，使上式中不等号严格成立，则称A为弱 对角占优阵。若对所有i，上式不等号均严格成立，则称A 为严格角占优阵。
定义：如果矩阵A不能通过行的互换和相应的列互换成 A11 为形式 A = 0 A12 ,其中A11，A22为方阵，则称A为不可约。 A22
1 1 0 2 1 0 P = I13 例： A = 1 1 0 PT AP = 0 1 1 → 0 1 2 0 1 1
k →∞
证：设u为A特征值λ对应的特征向量， 则：Ak u = λ Ak -1u =...=λ k u 即：λ k为矩阵Ak的特征值。
ρ 所以：（Ak） [ ρ ( A)]k =
线性方程组迭代法收敛性
1- ρ ( A) > 0， 2 定理：设A为任意n阶方阵， 存在矩阵范数 ，使得 则对任意正数ε , 存在矩阵 1 + ρ ( A) A ≤ ρ ( A) + ε = <1 范数 ，使得： 2 证： 充分性：若ρ ( A) < 1 ，取ε = 则有： A = 0 lim
Gauss-Seidel迭代收敛性：
Bx x
≥
Bx1 ቤተ መጻሕፍቲ ባይዱ1
= 1,与已知矛盾！
线性方程组迭代法收敛性
推论1：对任意初始向量x (0)和右端项g，若 M < 1, 由迭代式 x ( k +1) = Mx ( k ) + g产生的向量序列{ x ( k ) }收敛.
证明：矩阵范数性质3：ρ ( A) ≤ || A ||
迭代法收敛与否只决定于迭代矩阵的谱半径，与初始向 量及右端项无关。 对同一方程组，由于不同的迭代法迭代矩阵不同，可能 出现有的方法收敛，有的方法发散的情形。
且至少有一个i值，使上式中不等号严格成立，则称A为弱 对角占优阵。若对所有i，上式不等号均严格成立，则称A 为严格角占优阵。
定义：如果矩阵A不能通过行的互换和相应的列互换成 A11 为形式 A = 0 A12 ,其中A11，A22为方阵，则称A为不可约。 A22
1 1 0 2 1 0 P = I13 例： A = 1 1 0 PT AP = 0 1 1 → 0 1 2 0 1 1
k →∞
证：设u为A特征值λ对应的特征向量， 则：Ak u = λ Ak -1u =...=λ k u 即：λ k为矩阵Ak的特征值。
ρ 所以：（Ak） [ ρ ( A)]k =
线性方程组迭代法收敛性
1- ρ ( A) > 0， 2 定理：设A为任意n阶方阵， 存在矩阵范数 ，使得 则对任意正数ε , 存在矩阵 1 + ρ ( A) A ≤ ρ ( A) + ε = <1 范数 ，使得： 2 证： 充分性：若ρ ( A) < 1 ，取ε = 则有： A = 0 lim
Gauss-Seidel迭代收敛性：
数值分析10迭代法的收敛性分析
例如，Jacobi迭代法和Gauss-Seidel迭代法是两种常见的求解线性方程组的迭代法。通过收敛性分析，可以发现Jacobi迭代 法在一般情况下是收敛的，但收敛速度较慢；而Gauss-Seidel迭代法在一般情况下也是收敛的，且收敛速度较快。因此，在 实际应用中，可以根据问题的具体情况选择合适的迭代方法。
研究方向
进一步深入研究迭代法的收敛性，探索更有 效的迭代公式和算法，以提高收敛速度和稳 定性。
展望
随着计算技术的发展，迭代法在数值分析中 的应用将更加广泛，其收敛性分析将为解决 实际问题提供更有力的支持。同时，随着数 学理论的发展，迭代法的收敛性分析将更加 深入和完善。
感谢您的观看
THANKS
例如，梯度下降法和牛顿法是两种常见的求解优化问 题的迭代法。通过收敛性分析，可以发现梯度下降法 在一般情况下是收敛的，但可能会遇到收敛速度较慢 或者不收敛的情况；而牛顿法在一般情况下也是收敛 的，且收敛速度可能比梯度下降法更快。因此，在实 际应用中，可以根据问题的具体情况选择合适的迭代 方法。
06
迭代法收敛的充要条件
迭代法收敛的充要条件是迭代矩阵的谱半径小于1。谱半径是迭代矩阵所有特征值的模的最大值。
收敛性的判定方法
可以通过计算迭代矩阵的特征值来判断迭代法的收敛性，也可以通过迭代矩阵的范数来近似判断。
收敛速度的度量
01
02
03
迭代次数
迭代次数是衡量收敛速度 的一个直观指标，迭代次 数越少，收敛速度越快。
在非线性方程求解中的应用
非线性方程的求解是数值分析中的另一个重 要问题，迭代法也是求解非线性方程的重要 方法之一。与线性方程组求解类似，收敛性 分析在非线性方程求解中也有着重要的作用 。通过收敛性分析，可以判断迭代法的收敛 速度和收敛性，从而选择合适的迭代方法和 参数，提高求解效率。
研究方向
进一步深入研究迭代法的收敛性，探索更有 效的迭代公式和算法，以提高收敛速度和稳 定性。
展望
随着计算技术的发展，迭代法在数值分析中 的应用将更加广泛，其收敛性分析将为解决 实际问题提供更有力的支持。同时，随着数 学理论的发展，迭代法的收敛性分析将更加 深入和完善。
感谢您的观看
THANKS
例如，梯度下降法和牛顿法是两种常见的求解优化问 题的迭代法。通过收敛性分析，可以发现梯度下降法 在一般情况下是收敛的，但可能会遇到收敛速度较慢 或者不收敛的情况；而牛顿法在一般情况下也是收敛 的，且收敛速度可能比梯度下降法更快。因此，在实 际应用中，可以根据问题的具体情况选择合适的迭代 方法。
06
迭代法收敛的充要条件
迭代法收敛的充要条件是迭代矩阵的谱半径小于1。谱半径是迭代矩阵所有特征值的模的最大值。
收敛性的判定方法
可以通过计算迭代矩阵的特征值来判断迭代法的收敛性，也可以通过迭代矩阵的范数来近似判断。
收敛速度的度量
01
02
03
迭代次数
迭代次数是衡量收敛速度 的一个直观指标，迭代次 数越少，收敛速度越快。
在非线性方程求解中的应用
非线性方程的求解是数值分析中的另一个重 要问题，迭代法也是求解非线性方程的重要 方法之一。与线性方程组求解类似，收敛性 分析在非线性方程求解中也有着重要的作用 。通过收敛性分析，可以判断迭代法的收敛 速度和收敛性，从而选择合适的迭代方法和 参数，提高求解效率。
迭代法和收敛性
x1(k x2(k
1) 1)
0.2x2(k) 0.1x3(k) 0.3
0.2x1(k )
0.1x3(k) 1.5 , k
0,1, 2,
x3(k
1)
0.2x1(k )
0.4x2(k )
2
迭代计算
x(0) 0 [0, 0, 0]T
x(1) 1
0.3
x(1) 2
1.5
x1(k x2(k
其中系数矩阵非奇异，且主对角元aii≠0，(i
=1,2,…,n)，由第i 个方程解出xi，有
x1
1 a11
(b1
a12 x2
a13 x3
x2
1 a22
(b2
a21x1
a23x3
xn
1 ann
(bn
an1x1
an2 x2
a1n xn ) a2n xn )
ann1xn1)
建立迭代格式
aij
x
( j
k
)
)
j i 1
加速
x ( k 1) i
( k 1)
xi
(1 ) xi(k )
i 1, 2, , n
或合起来写成迭代加速的形式
x (k 1) i
aii
(bi
i 1
a x (k 1) ij j j 1
n
aij
x
(k j
)
)
(1
)
xi( k
)
j i1
参数 称为松弛因子， 1 时迭代格式就是高斯-
x (k1) i
1 aii
(bi
n
aij x j(k ) ),
j1
(i 1,2,, n)
2.2 迭代法的一般形式与收敛性定理
设aii0 (i=1,2,,n)，并将A写成三部分
0 a11 a 21 0 a 22 A a n 1 ,1 a n 1 , 2 0 a nn a n 2 a n , n 1 a n1 0 a12 a1,n1 a1n 0 a 2 , n 1 a 2 n 0 a n 1, n 0 D LU. 0
则
k
B ( H )
k
两边取对数得: k ln ( H ) ln k
ln ln ( H )
定义:
ln ( H )
为迭代法(2.2.3)的渐近收敛速 度。
解线性方程组的迭代法
线性方程组
a11 x1 a12 x2 a x a x 21 1 22 2 an1 x1 an 2 x2 a1n xn b1 a2 n xn b2 ann xn bn
复习：矩阵的谱半径 设λ是矩阵A相应于特征向量x的特征值，即 Ax＝λx 向量-矩阵范数的相容性，得到 |λ| || x ||=||λx|| =|| Ax|| ≤ || A || ||x|| 从而，对A的任何特征值λ均成立 |λ|≤|| A || （ 3）
设n阶矩阵A的n个特征值为λ1,λ2，…λn，称 ( A) max i
x ( k 1) x* H ( x ( k ) x* )
由此递推：x ( k 1) x* H k 1 ( x ( 0) x* ), k 0,1,2,
x 是线性方程组Ax=b的解
x* Hx* g
x
k 1
*
3.1向量和矩阵的范数1
可得AT A的特征值为
1 9.1428, 2 2.9211, 3 0.9361
max ( AT A) 9.1428
A 2 max ( AT A) 3.0237 A1
容易计算
A
A2
计算较复杂
对矩阵元素的 变化比较敏感 性质较好
(理论上)使用最广泛
矩阵序列的收敛性
k
定理3.6，Rn×n 中矩阵序列{A(k)} 收敛于矩阵A 的充分必要条
件是
lim A
k
(k )
A 0，
其中 为矩阵的任意一种范数。
定理3.7设A为任意n阶方阵，则对任意矩阵范 数||A||，有： ρ(A)≤||A||
证:设λ为A的任意一个特征值, X为对应的特征向量 AX= λ X 两边取范数,得:
5
解
A 1 max aij max{ 2 ,5 ,2} 5
1 j n i 1
n
A max aij max{ 3 , 4பைடு நூலகம்,2} 4
1 i n j 1
1i n
由于
A 2 max ( AT A)
因此先求AT A的特征值
1 T A A 2 0
则称 A 为矩阵A 的范数.
由于大多数与估计有关的问题中，矩阵和向量会同时 参与运算，所以希望引进一种矩阵范数，它和向量范数 相联系而且和向量范数相容，即
Ax A . x
为此我们引进矩阵的算子范数
定义3.5
设x R n , A R nn , v 为一种向量范数
则
Ax x
v
v
对所有的x 0有最大值, 令
lim x
第2章 线性方程组的直接方法
104
104
104
可以求得
Cond ( A)
A
A1
2.0001 (1 104 ) 2104
条件数比较大，可见该方程组为病态方程组。
§2 迭代解法与收敛性
一、迭代解法 二、收敛性
§3 常用的三种迭代解法
一、Jacobi迭代解法 二、Gauss-Seidel迭代解法 三、超松弛(SOR)迭代解法
6-8 设A是非奇异矩阵，b≠0，x*是方程组Ax＝b的一 个近似解，剩余向量r＝b－Ax。证明
x x*
r
Cond( A)
x
b
~x
病态现象是方程组的固有属性，无法改变，因此
在求解时为了不至于产生太大的误差，应该尽量减少
原始数据 A、b 的误差，或者用高精度的计算机计算。
例如：对于方程组
x1 x1
x2 1 1.0001 x2
2
系数矩阵和逆矩阵分别为
1 1 A 1 1.0001,
A1
1 104
A
1 2
3 1 4 3
2 10 4 14
14 20
则它的特征方程为:
I AT A 10 14 2 30 4 0 14 20
此方程的根为矩阵ATA的特征值，解得
1 15 221 2 15 221
第六章 线性方程组的迭代解法
§1 向量和矩阵的范数 1.1 向量的范数 1.2 矩阵的范数
§2 迭代解法与收敛性 2.1 迭代解法的构造 2.2 迭代解法的收敛性条件
§3 常用的三种迭代解法 2.1 Jacobi迭代法 2.2 Gauss-Seidel迭代法 2.2 超松弛(SOR)迭代法
数值分析9(迭代法收敛性证明)
中止准则
|x
(k )
L x | | x ( k ) x ( k 1) | 1 L
*
15:55
5/34
引理1 矩阵B R nn , 则 lim B k 0的充分必要条件
k
是 ( B ) 1, 其中 ( B )=max | k | 为矩阵B的
1 k n
谱半径, 1 , 2 ,
《数值分析》 9
迭代法收敛性条件
迭代误差估计定理
15:55
1/34
总结:
矩阵范数
算子范数
算子范数 矩阵1范数, 矩阵无穷范数, 矩阵2范数
2/34
例4 设||.||为Rn×n 上任意一种矩阵范数, 则对 任意的A ∈ Rn×n , 有 ( A) A 。 证明: 设 ( A) max | i |, x 0是模最大特
2
B ) I B
k
j 0
,
( B) 1 lim B k 0
( I B )-1 = B j。
lim X
k
(k )
( I B ) f 说明迭代法产生的序列收敛。
1
15:55
9/34
谱半径小于1是迭代收敛的充要条件,但它不 易计算,所以在实际使用中通常并不好用。
由X(0) 的任意性知
B =lim B O ( B ) 1。
* k
15:55
k
8/34
充分性
X ( k 1) BX ( k ) f B( BX ( k 1) f ) f
B k 1 X (0) B j f
k k 1
j 0
k
则( I B)( I B B
第1章2范数
Axx T xx T
Axx T xx T
T
消去非0数
xx
||xxT||，即 得证明。
24
T
Axx
A xx
T
方阵谱半径与范数关系
定理：对任意的正数ε>0，存在某个矩阵范数||A|| 使得
A ( A)
定理：对任何一种矩阵范数||A||都有
k 1k
lim A
1
绝对值不等式
根据向量范数定义容易导出类似于绝对值不等式：
a b a b a b x y x y x y
定义不同的向量范数就可以得到不同的不等式！
2
Minkowski不等式
向量范数定义为：
x
p
n p xi i 1
1 p
p 1
如果下式成立则向量x,y相互正交。 0向量与任 何向量与此 正交！
4
( x, y ) 0
一些常用的向量范数
在向量空间Rn可以定义很多向量范数，其中有一些常用的：
2范数： x
2
2 x1ቤተ መጻሕፍቲ ባይዱ x2
2 xn
xT x
x1 x2 x x T x x1 xn
m x
x
M x
11
范数的等价性
定理：同一个向量空间中任意两个不同范数 ||*||α、||*||β都相互等价。
定义向量范数的目的就是为了研究向量序列的 收敛性问题！
12
向量序列的收敛性定义
利用向量范数可以简化向量序列的收敛性定义，给 向量序列的研究带来方便，特别是讲到多元方程组的 迭代法收敛性时，常常要考虑向量序列。 定义：对向量空间Rn中的向量序列
Axx T xx T
T
消去非0数
xx
||xxT||，即 得证明。
24
T
Axx
A xx
T
方阵谱半径与范数关系
定理：对任意的正数ε>0，存在某个矩阵范数||A|| 使得
A ( A)
定理：对任何一种矩阵范数||A||都有
k 1k
lim A
1
绝对值不等式
根据向量范数定义容易导出类似于绝对值不等式：
a b a b a b x y x y x y
定义不同的向量范数就可以得到不同的不等式！
2
Minkowski不等式
向量范数定义为：
x
p
n p xi i 1
1 p
p 1
如果下式成立则向量x,y相互正交。 0向量与任 何向量与此 正交！
4
( x, y ) 0
一些常用的向量范数
在向量空间Rn可以定义很多向量范数，其中有一些常用的：
2范数： x
2
2 x1ቤተ መጻሕፍቲ ባይዱ x2
2 xn
xT x
x1 x2 x x T x x1 xn
m x
x
M x
11
范数的等价性
定理：同一个向量空间中任意两个不同范数 ||*||α、||*||β都相互等价。
定义向量范数的目的就是为了研究向量序列的 收敛性问题！
12
向量序列的收敛性定义
利用向量范数可以简化向量序列的收敛性定义，给 向量序列的研究带来方便，特别是讲到多元方程组的 迭代法收敛性时，常常要考虑向量序列。 定义：对向量空间Rn中的向量序列
迭代法的收敛性
即
det[I (D L)1U ] 0
从而 det(D L)1 det[(D L) U ] 0
所以
det[(D L) U ] 0
可得
因为
|aii| |aij | ji
i1
n
|||aii||| |aij ||| |aij |
j1
j i 1
i1
n
n
|| |aij| |aij| (||1) |aij|
(1)写出解该方程组旳Jacobi迭代旳迭代
阵，并讨论迭代收敛旳条件；
(2)写出解该方程组旳G-S迭代旳迭代阵， 并讨论迭代收敛旳条件。
17
补充例题
例：AX=b为二元线性方程组， 证明：解该方程组旳Jacobi迭代与G-S迭 代同步收敛或同步发散。
18
9
特殊方程组迭代法旳收敛性
4 1 1 问题：该矩阵具有怎样旳特点？
2 5 1 1
2
3
结论：该矩阵是严格对角占优阵
定义：假如矩阵A旳元素满足
jn
| aii | | aij | i 1,2,3,, n j 1 ji
则称A为严格对角占优矩阵。
10
特殊方程组迭代法旳收敛性
定理：若线性方程组AX=b旳系数矩阵A为 严格对角占优矩阵，则解该方程组旳Jacobi 迭代法和G-S迭代法均收敛。
2
一阶定常迭代法旳收敛性
则: (k 1) B (k ) B 2 (k 1) B k 1 (0)
注意 (0) x(0) x * 为非零常数向量
所以迭代法收敛旳充要条件
lim (k1) lim( x(k1) x*) 0
k
k
可转变为
lim Bk1 0
迭代解法全章
向量-矩阵范数旳相容性，得到
|λ| || x ||＝||λx|| =|| Ax|| ≤ || A || ||x||
从而，对A旳任何特征值λ均成立 |λ|≤|| A ||
（6.1）
设n阶矩阵A旳n个特征值为λ1,λ2，…λn。称
(
A)
max
1i n
i
为矩阵A旳谱半径，从（6.1）式得知，对矩阵A旳任何一
称(3)为求解(1)旳近似解旳迭代解法，称{x(k)}为(1)近
似解序列，称B为迭代矩阵。
假如 lim x (k ) x* 则有 k x*= Bx*+F
（4）
我们称迭代法(3)收敛，不然为发散。下面分析迭代格 式(3)收敛旳条件.
12/29/2023
19
x(k+1)= Bx(k)+F , k=0 ,1 , … , x*= Bx*+F
及向量
x*
( x1* ,
x2* ,,
x
* n
)T
假如
lim x(k) x* 0
k
则称向量序列 x(k) 收敛于向量 x* 。记作
lim x(k ) x* 或 x(k ) x*
k
向量序列 {x(k)} 收敛于向量 x*，当且仅当它旳每一 种分量序列收敛于x*旳相应分量，即
x(k)
x*
x(k) i
1
求解线性方程组旳数值解除了使用直接解法，迭代解 法也是经常采用旳一种措施，这种措施更有利于编程计 算，本章将简介这种措施。
§1 向量和矩阵旳范数
为了对线性方程组数值解旳精确程度，以及方程组 本身旳性态进行分析，需要对向量和矩阵旳“大小”引 进某种度量，范数就是一种度量尺度，向量和矩阵旳范 数在线性方程组数值措施旳研究中起着主要旳作用。
范数
几个常见的矩阵范数
设
A aij
m n
C mn
max aij
1 j n i 1 m
1-范数： A
1
（最大列和）
T A ( AA ) max 谱范数： 2
大的 特的征值的 AAT 的最大特征值的平方根
aij （最大行和） ∞-范数：A max 1i n j 1
向量范数与矩阵范数
为了研究线性方程组近似解的误差估 计和迭代法的收敛性，我们需要对Rn中 向量或Rn2中矩阵的“大小”引进某种度 量——范数。
向量范数
定义 设V是数域P上的线性空间，若对于V 中的任意向量α，都有一非负实数ǁαǁ与之 对应，并且满足下列三个条件： （1）正定性：当α≠0时，都有ǁαǁ>0; 当且仅当α=0时， ǁαǁ=0； （2）齐次性：对任意kϵP,有ǁkαǁ=│k│ǁαǁ；
即有 则 Ax
2）
A max
x0
0
A =0， ，若 x ， 可得A=0；
Ax 0
kA max
x0
kAx x
max
x0
k Ax x
k A；
nn A B R 3）对 有： A B x
A B max
x0
x
Ax Bx max x x
2
i 1
而且，由 x 2 1 ，得
n n i 1 i 1
2 a i 1 i 1
n
n
这样，AH Ax AH A ai x (i ) ai AH Ax (i ) ai i x (i )
i 1
由此，
n n (i ) Ax 2 x, A Ax ai x , ai i x ( i ) i 1 i 1 n 2 2 2 2 1 a1 2 a2 n an 1 ai 1 i 1 2 H
9-收敛性分析初步
n2
102
202
402
602
迭代次数 37
70
135
200
CPU时间 0.11
0.6250
4.5620 14.3590
误差
0.0023 6.43e-4 1.69e-4 7.66e-5
最佳松驰因子 :
28
数值微分-有限差分法
一阶向前差商 一阶向后差商
f (a) f (a h) f (a) O(h) h
迭代格式 X(k+1) = B X(k) + f 收敛
4
命题 若||B||<1,则迭代法 X(k+1) =B X(k) +f 收敛 证: 由(k) = B (k-1),得
|| (k)|| ≤ || B|| || (k-1)|| ( k = 1, 2, 3, ······ ) || (k)|| ≤ || B||k || (0)|| || B|| < 1
例2 线性方程组 A X = b, 分别取系数矩阵为
分析Jacobi 迭代法和 Seidel 迭代法的敛散性 Jacobi X(k+1)=D-1(U+L)X(k)+D-1b Seidel X(k+1) = (D – L)-1b + (D – L)-1UX(k)
11
A1=[1,2,-2;1,1,1;2,2,1] D=diag(diag(A1)); B1=D\(D-A1); max(abs(eig(B1)))
求在 x1=0.1, x2=0.2, ···, x9=0.9 处的数值解 – yj-1 + (2 + h2) yj – yj+1 = xj h2 ( j= 1,2,···,9)
_第六章_线性方程组的数值解法迭代法
b 1
a 11
b2
f
a 22 bn
a nn
x(k1) B0x(k)f
--------(5)
第四节 解线性方程组的迭代法
令：
0 0 0
L
a 21
0
0 A的下三角部分矩阵
a n1 a n 2 0
0
U
0
a12 0
a1n a2n
A的上三角部分矩阵
第三节 向量范数和矩阵范数
（2）范数的另一个简单例子是二维欧氏空间的长度
0M x2 y2
欧氏范数也满足三个条件：
（勾股定理）
设x = (x1, x2) ① x 0 x >0 ② ax = a x a为常数 ③ x+ y ≤ x + y 前两个条件显然，第三个条件在几何上解释为三角形一边的长度不大于其它 两边长度之和。因此，称之三角不等式。
满足：
① A0,且A0,当且A 仅 0当
，若 A
正定
② A A,为任意实数
奇次
③ ABAB,A和 B为任意 n阶两 方个 三阵 角不等
则称 A 为矩阵A的范数。
第三节 向量范数和矩阵范数
2、矩阵范数与向量范数的相容性 对于任意的n维向量x，都有：
Ax A x
这一性质称为矩阵范数与向量范数的相容性。
n
A
max
1in
j1
aij
A的每行绝对值之和的最大值, 又称A的行范数
第三节 向量范数和矩阵范数
（3）矩阵的2范数
2范数 ||A|2 | ： (AT A )
(AAT) ?
矩阵的谱半径：
矩阵B的诸特征值为： i(i1,2, ,n)
6.3迭代法的收敛定理
det( D L) aii 0
i 1 n
所以矩阵（D-L）为可逆下三角矩阵，其逆也是下三角矩阵， G-S迭代法的迭代矩阵是 BG =(D - L)-1U。
考虑BG的特征值λ ，其特征方程为
det(I-BG) = det(I-(D-L)-1U) = det(D-L)-1det((D-L)-U)=０
易求
BJ
max
1i n
1 j n , j i
aij aii
由严格对角占优定义（定义6.1 ），得 BJ ∞<1,所以, Jacobi 迭代法收敛。
下面证明G-S迭代法的收敛性。对于严格对角占优阵A， 其对角元素 aii ≠ 0 ， i=1,2,,n（定义6.1 ），故
定理6.3的证明
证 首先证明Jacobi 迭代的收敛性。由
0 a 21 B J D 1 ( L U ) a 22 a n1 a nn a12 a11 0 a n2 a nn a1n a11 a2n a 22 , 0 b1 a 11 b2 fJ a 22 b n a nn
返回节
二、Jacobi 迭代法和Gauss-Seidel 迭代法的收敛速度
引子 对角占优矩阵 实例 相关定理 定理3.3的证明
返回节
引子
虽然利用定理6.1和定理6.2可以判定Jacobi 迭代 法和G-S迭代法的收敛性，但其中只有定理6.2对 Jacobi 迭代法使用比较方便，此外，对于大型方程 组，要求出G-S迭代矩阵BG和ρ(BG)以及Jacobi 迭代 矩阵BJ和ρ(BJ)都不是容易的事。
i 1 n
所以矩阵（D-L）为可逆下三角矩阵，其逆也是下三角矩阵， G-S迭代法的迭代矩阵是 BG =(D - L)-1U。
考虑BG的特征值λ ，其特征方程为
det(I-BG) = det(I-(D-L)-1U) = det(D-L)-1det((D-L)-U)=０
易求
BJ
max
1i n
1 j n , j i
aij aii
由严格对角占优定义（定义6.1 ），得 BJ ∞<1,所以, Jacobi 迭代法收敛。
下面证明G-S迭代法的收敛性。对于严格对角占优阵A， 其对角元素 aii ≠ 0 ， i=1,2,,n（定义6.1 ），故
定理6.3的证明
证 首先证明Jacobi 迭代的收敛性。由
0 a 21 B J D 1 ( L U ) a 22 a n1 a nn a12 a11 0 a n2 a nn a1n a11 a2n a 22 , 0 b1 a 11 b2 fJ a 22 b n a nn
返回节
二、Jacobi 迭代法和Gauss-Seidel 迭代法的收敛速度
引子 对角占优矩阵 实例 相关定理 定理3.3的证明
返回节
引子
虽然利用定理6.1和定理6.2可以判定Jacobi 迭代 法和G-S迭代法的收敛性，但其中只有定理6.2对 Jacobi 迭代法使用比较方便，此外，对于大型方程 组，要求出G-S迭代矩阵BG和ρ(BG)以及Jacobi 迭代 矩阵BJ和ρ(BJ)都不是容易的事。
6-3迭代法的收敛性
1
2 x1 2 x2 x3 3
讨论Jacobi法与Gauss-Seidel法旳收敛性。
解：由定理，迭代法是否收敛等价于迭代矩阵 旳谱半径是否＜１，故应先求迭代矩阵。而
1 2 2
A 1 1
1
2 2 1
故A裂解后旳各矩阵分别为
1
D
1
1
0 0 0
L
1
0
0
2 2 0
0 2 2
| I
B |
1/a
2 / a 0
3 / a 2 / a
得
1 0 ,
2,3
|
4 a
|
故 (B) 4
|a|
由 (B) 1 得 | a | 4
故当 | a | 4 时，Jacobi迭代法收敛。
作业： 习题 1，2（2）
1 1 5
2 矩阵 B 1
1 2
0 1
不严格对角占优， 是弱对角占优
0 1 2
定义：假如矩阵A不能经过行旳互换和相应列 旳互换成为形式
A11 A12
0
A22
其中A11，A22为方阵，则称A为不可约.
例如：判断下列矩阵是否可约？
1 1 0
2 1 0
矩阵 A 1 1 0 是可约旳。 0 1 1
9 3
4 10
显然Aˊ是严格对角占优阵，所以对方程组
Ax b 用Jacobi法和Gauss-Seidel法均收敛。
例3*：设A=(aij)是二阶方阵，且a11a22≠0.试证 求解方程组Ax=b旳Jacobi法与Gauss-Seidel法 同步收敛或发散。
证明：Jacobi迭代矩阵为
0
BJ
a
21
迭代法的收敛性
谱半径分别是 ρ ( B ) =
30 15 , ρ ( M ) = 。均不收敛。 2 2
若交换方程的次序，得 Ax = b的同解方程组 Ax=b,
' '
3 − 10 9 −4 ' A= → A = 3 −10 9 −4 A '为严格对角占优阵，因而对方程组 A ' x = b '用 Jacobi与 Gauss − Seidel 迭代求解均收敛。
k →∞
x* = Mx* + g 由迭代公式有 x ( k ) − x* = Mx ( k −1) + g − Mx* − g = M ( x ( k −1) − x* ) = M 2 ( x ( k − 2) − x* ) = M k ( x (0) − x* ) 于是有 lim M k ( x (0) − x* ) = lim( x ( k ) − x* ) = 0
其特征方程
λ
1 λI − B = 2 1 2
1 2
λ
1 2 1 3 1 3 = λ − λ + 2 4 4
1 λ 2 1 2 = ( λ − ) ( λ + 1) = 0 2
1 , λ 3 = − 1, 因 而 ρ ( B ) = 1 得λ1 = λ 2 = 2 ⇒ J a c o b i迭 代 法 不 收 敛 。
移项得 代入得
(I − M ) x (k ) − x*
−1
1 ≤ 1− M
k
M ≤ 1− M
x (1 ) − x ( 0 ) 。
由误差估计式 x
(k )
−x
*
≤
M
k
1− M
x (1) − x ( 0 )
8.3 迭代法收敛定理
5 7
其系数矩阵 A=
9 3
4 10
严格对角占优，故雅
可比迭代
xx1(2(kk11))
(5 4x2(k) ) / 9 0.7 0.3x1(k)
收敛
7
赛德尔迭代
xx2(1(kk11))
(5 4x2(k) ) / 9 0.7 0.3x1(k1)
A A
4
由于定理8.3揭示了第 k 次迭代的误差向量 与相邻两次迭代近似解之差的关系。
所以在设计迭代算法时可用相邻两次迭代近 似解之差 X (k1) X (k) 作为误差的估计值， 当误差估计值小于允许误差界时，便可以停 止迭代计算并输出数据结果。
5
定理8.2 若方程组AX = b 中，系数矩阵A是对
收敛
8
定理 若方程组AX = b 中，系数矩阵A是对称 正定阵，则对任意的初始向量X (0)，赛德尔迭代法 是收敛的。
推论 A对称正定时，雅可比迭代法收敛的充要条 件是2D-A也对称正定，SOR迭代法收敛的充要条 件是 0 2
9
将迭代公式(8-26)改为
x (k 1) 1
§ 8.3 迭代法收敛定理
8.3.1 迭代法的收敛定理
雅可比迭代法 X (k+1) = BJ X(k)+ fJ 赛德尔迭代法 X (k+1) = BS X(k)+ fS 由此可知迭代法是通过变化等价方程组后， 建立迭代格式X (k+1) = B X(k)+ f ，其中B称为迭 代 矩阵。
10
当1<ω<2 时该迭代公式称为超松弛迭代法 超松弛迭代公式收敛的条件与赛德尔迭代收敛 条件相同。 很多数值计算的实例表明，超松弛迭代的收敛 速度比赛德尔迭代速度快。 在计算中对松弛因子的选取不好掌握。
数值分析9(迭代法收敛性证明)
X (k1) X *
B( X (k) X * ) B2 ( X (k1) X * ) L Bk1( X (0) X * )
由X(0) 的任意性知
B* =lim Bk O (B) 1。
k
05:00
8/34
充分性 k
X (k1) BX (k) f B(BX (k1) f ) f L Bk1 X (0) B j f j0 则(I B)(I B B2 L Bk ) I Bk1,
(B) 1 lim Bk 0 k (I B)-1 = B j。 j0
lim X (k) (I B)1 f 说明迭代法产生的序列收敛。
k
05:00
9/34
谱半径小于1是迭代收敛的充要条件,但它不 易计算,所以在实际使用中通常并不好用。
由性质( A) A ,我们有如下推论 :
推论4.1 若||B||<1,则对任意的f和任意的初始向量 X(0)迭代法 X(k+1) =B X(k) +f 收敛。
是实对称正定矩阵时, Gauss-Seidel迭代法收敛。
定理 方程组 Ax=b 中, 若 A 是实对称正定矩阵,则
Jacobi迭法收敛？(反例)
05:00
20/34
定理4.5 设BJ元素均非负, 则下列关系有且 只有一个成立:
(1) (BJ ) (BGS ) 0; (2) 0<(BGS ) (BJ ) 1; (3) (BJ ) (BGS ) 1; (4) 1<(BJ ) (BGS )。
1 || B ||
证 X(k+1)–X* =B(X(k) – X* )
|| X(k+1) – X* || ≤ ||B(X(k) – X*) || ≤ ||B|| || X(k) – X* ||
迭代法收敛性分析
(1) ||X(k)X *| | ||B|| ||X(k)X(k1)||
1||B||
(2) ||X(k)X*| | ||B|k | ||X(1)X(0)||
1||B||
博学之，审问之，慎寺之，明辩之， 笃行之。精心整理，欢迎收藏
1133 /18
证 由||B||<1,有
limX(k) X*
B注k+31: X(k) =B X(k-1) + f = B(B X(k-2) + f) + f =····
= Bk X(0) + ( I + B + ····+ Bk-1)f
≈ ( I – B )-1 f
博学之，审问之，慎寺之，明辩之， 笃行之。精心整理，欢迎收藏
99/18
例 线性方程组 A X = b, 分别取系数矩阵为
误差估计:
||X(k)X *| | ||B|| ||X(k)X(k1)|| 1||B||
||X(k)X*| | ||B|k | ||X(1)X(0)|| 1||B||
博学之，审问之，慎寺之，明辩之， 笃行之。精心整理，欢迎收藏
1155 /18
n
定义4.1 A=(aij)n×n, 如果 | a ii | | a ij |
2 2 0 B1=D\(D-A1); max(abs(eig(B1)))
(BJ)1 Ans= 1.2604e-005
博学之，审问之，慎寺之，明辩之， 笃行之。精心整理，欢迎收藏
1100 /18
0 2 2 BS 0 2 3
0 0 2
DL=tril(A1) B1=DL\(DL-A1) max(abs(eig(B1)))
迭ห้องสมุดไป่ตู้法
1||B||
(2) ||X(k)X*| | ||B|k | ||X(1)X(0)||
1||B||
博学之，审问之，慎寺之，明辩之， 笃行之。精心整理，欢迎收藏
1133 /18
证 由||B||<1,有
limX(k) X*
B注k+31: X(k) =B X(k-1) + f = B(B X(k-2) + f) + f =····
= Bk X(0) + ( I + B + ····+ Bk-1)f
≈ ( I – B )-1 f
博学之，审问之，慎寺之，明辩之， 笃行之。精心整理，欢迎收藏
99/18
例 线性方程组 A X = b, 分别取系数矩阵为
误差估计:
||X(k)X *| | ||B|| ||X(k)X(k1)|| 1||B||
||X(k)X*| | ||B|k | ||X(1)X(0)|| 1||B||
博学之，审问之，慎寺之，明辩之， 笃行之。精心整理，欢迎收藏
1155 /18
n
定义4.1 A=(aij)n×n, 如果 | a ii | | a ij |
2 2 0 B1=D\(D-A1); max(abs(eig(B1)))
(BJ)1 Ans= 1.2604e-005
博学之，审问之，慎寺之，明辩之， 笃行之。精心整理，欢迎收藏
1100 /18
0 2 2 BS 0 2 3
0 0 2
DL=tril(A1) B1=DL\(DL-A1) max(abs(eig(B1)))
迭ห้องสมุดไป่ตู้法
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
第六章 方程求根的迭代法
一、教学目标及基本要求
通过对本章的学习，使学生掌握方程求根的数值解法。
二、教学内容及学时分配
本章主要介绍方程求根的迭代法。
具体内容如下：迭代收敛性与迭代加速、牛顿法、弦截法。
三、教学重点难点
1．教学重点：迭代收敛性与迭代加速、牛顿法。
2. 教学难点：迭代的收敛性。
四、教学中应注意的问题
多媒体课堂教学为主。
适当提问，加深学生对概念的理解 向量范数、迭代收敛性
§6.1向量和矩阵的范数
1、
向量的范数
对向量T
n x x x x ),...,(21=，其长度记作322212...n x x x x +++=，借助长度可刻
画向量的收敛性。
向量序列T k n k k k x x x x ),...,()
()
(2)
(1)(=，T
n x x x x ),...,(*
*
2*
1*=，
则*
)(lim x x k k =∞
→的充要条件是0
lim *)(=-∞
→x x k k
除长度外，还有哪些反映收敛性的度量？
T n x x x x ),...,(21=，其范数记为x ，是一个实数，满足： 1）对任意向量x ，
≥x ，当且仅当0=x 时
=x ；
2）对任意实数λ及任意向量x ，
x
x λλ=；
3）任意向量y x ,，
y
x y x +≤+（三角不等式）。
按上述定义，存在多种范数，常用范数有：
1）2范数：2
/112
2)(∑==n
i i x x
2）1范数：∑==n
i i
x x 1
1 3）∞范数：
i
n
i x x
≤≤∞
=1max
上述都是P 范数特例：
p
n
i p
i p
x x
/11
)(∑==
定理1 对任意向量x ：∞
∞→=x x p p lim 。
证：P163
不同方式规定的范数，其值一般不同，但在各种范数下考虑向量系列的收敛性时，所有范数都是一致的，向量范数具有等价性。
范数等价性：
p
q q p
x
c x x c x
21,≤≤，称
q
p x
x ,等价。
范数等价性保证应用具体范数分析收敛性的合法性。
对向量序列
{}∞
1
)(k x 收
敛到*
x 的充分必要条件是：对于给定的P ，有：
lim *
)(=-∞→p
k k x x
2、 矩阵的范数
对n 阶方阵A ，将
)0(/≠x x Ax 的上确界称作矩阵A 的范数，记为
A
，即：
x
Ax A x /max 0
≠=
由定义知
x
A Ax ≤
矩阵范数具有如下性质：
1）
≥A ，当且仅当0=A 时
=A
2）对任意实数λ和任意方阵A ，有：A
A λλ=
3）
B
A B A +≤+,
B
A A
B ≤
由于)(
max /max 0
0x
x A x Ax A x x ≠≠==，而1=x
x
，故矩阵范数亦可等价定
义为：
Ax
A x 1
max ==
矩阵范数和向量范数密切相关，相应于向量的范数，记
p
x
p Ax
A p
1
max ==。
定理2 对n 阶方阵n m ij a A ⨯=)(，有：∑=≤≤∞=n
j ij n
i a A 1
1max ，∑=≤≤=n
i ij n
j a A 1
11max ，
分别称为矩阵的行范数和列范数。
§6.3迭代过程的收敛性
1、
迭代收敛的充分条件
定理3 对给定方阵G ，若1<G ，则矩阵I-G 为非奇异。
（反证法） 定理4 方程组b Ax =，迭代公式d Gx x k k +=+)()1(，若1<G ，则迭代公式对于任意初值)0(x 均收敛。
证：P166
2、对角占优方程组
对角占优：矩阵A 的主对角元素的绝对值大于同行其他元素绝对值之和，即
∑≠=<n
i
j j ii ij
a a
1，n i ,...,2,1=
定理5 若A 为对角占优阵，则它是非奇异的。
证：P166
定理6 若线性方程组Ax=b 的系数矩阵A 为对角占优矩阵，则雅
克比和高斯--赛德尔迭代法收敛。
证：P167
使)()(A Cond pA Q Cond
小结：这节课我们主要学习了矩阵范数的相关基本理论。
要求大家掌握
几个常用范数的计算，掌握常用条件数的计算。
作业：1-4。