逐次逼近法(1)

1.常数项b的扰动对方程组解的影响
设 Ax = b为一线性方程组 , A为非奇异矩阵 , x为其精确解
若常数项 b 存在误差 δ b , 则解也应存在误差 δ x
即有
A( x + δ x ) = b + δ b
--------(15)
Aδ x = δ b
所以 又因为 可得
δ x = A −1δ b
n× n
.
则称 A 为矩阵 A的范数 .
对于复空间 C n×n中的矩阵范数可以类似 定义
例2.
设 n阶方阵 A = ( aij ) n× n
类似向量的 2-范数 --------(5)
设 A
F
n n 2 = ∑ ∑ a ij i = 1 j =1

1
2
不难验证其满足定义2的4个条件
cond ( A )1 = A 1 ⋅ A cond ( A) ∞ = A
∞
−1 1 −1 ∞
T
⋅ A
1 cond ( A) 2 = A 2 ⋅ A 2 = λmax ( A A) λ min ( AT A) T λ max ( A A) = λmin ( AT A)
−1
根据定义7的定义,(18)式和(22)式可表示为
--------(8)
对于给定的向量范数 ⋅ υ 和矩阵范数 ⋅ µ , Ax ≤ A xυ
--------(9)
若 ∀x ∈ R n , A ∈ R n × n , 都有
υ µ
则称所给的向量范数 ⋅ υ 和矩阵范数 ⋅ µ 相容 .
由(8)式,可知算子范数和其对应的向量范数是相容的
根据向量的常用范数可以得到常用的矩阵算子范数
−1 −1
δx = A δb ≤ A
⋅ δb
--------(16)
b = Ax ≤ A ⋅ x
A 1 ≤ x b
--------(17)
(16)和(17)两式相乘 ,得
δx δb −1 ≤ A ⋅ A ⋅ x b
相对误差
--------(18)
(18)式表明,由常数项产生的误差,最多可将解的 −1 A ⋅ A 相对误差放大 倍
因此 A F 是不从属于任意向量范数 ⋅ υ 的矩阵范数
故而矩阵范数和算子范数并不完全是一回事
不过
A
F
n n 2 = ∑ ∑ aij i =1 j =
2 = (tr ( AT A)
1
)
1
Байду номын сангаас
2
= (tr ( AA )
T
)
1
2
A 2 = λmax ( AT A ) ≤ A Ax
(19)式化为
δ x = −( I + A δ A ) A δ A ⋅ x
--------(21)
δx ≤ ( I + A −1δA )−1 ⋅ A −1 ⋅ δA ⋅ x
A ⋅ δA δx ≤ ≤ −1 −1 1 − A ⋅ δA x 1 − A δA δA −1 A ⋅ A ⋅ A = --------(22) δA −1 1− A ⋅ A ⋅ A
2.系数矩阵A的扰动对方程组解的影响
若系数矩阵 A存在误差 δ A , 则解也应存在误差 δ x
( A + δ A)( x + δ x ) = b
δ A ⋅ x + Aδ x + δ A ⋅ δ x = 0
( A + δ A)δ x = −δ A ⋅ x
在上式能直接使用范数吗？
--------(19)
推论：设 A ∈ R n×n 可逆 , 且 A −1 ≤ α , C ∈ R n×n , A − C ≤ β , 且 αβ < 1, 则 C 可逆，且 C
−1
α ≤ 1 − αβ
( 摄动定理 )
二、误差分析简介 定义6. 对于线性方程组 Ax = b , 如果系数矩阵 A或
常数项 b的元素的微小变化 , 就会引起方程组解的 巨大变化 , 则称该方程组是 " 病态 "的 , A为" 病态 " 矩 阵.否则称为 "良态 "的.
2
F
≤ A
2
x
2
≤ A
F
x
2
因此 A F 与 x 2 相容
例4.
求矩阵A的各种常用范数
1 A = − 1 0
2
n
2 2 1
5
0 3 − 1 4 1 2
2
解:
A 1 = max ∑ aij = max { 2 ,5 , 2 } = 5
1≤ j ≤ n i =1
n
1≤ j ≤ n
( A + δ A) = A( I + A −1δ A )
如果假设
A δA < 1
I + A−1δ A非奇异 1 −1 −1 ( I + A δ A) ≤ 1 − A − 1δA
A( I + A δ A )δ x = −δ A ⋅ x
−1 −1 −1 −1
−1
--------(20)
则由定理1.,可知 且
--------(7)
Ax υ A υ = max x≠0 x υ
可以验证 A υ 满足定义 2的 4个条件
定义3. 由( 7 )式确定的 A 称为从属于给定向量 υ
范数 x υ 的矩阵范数
简称为从属范数或算子范数
显然，由定义不难推出
Ax
定义4.
υ
≤ Aυ xυ
--------(11)
(2)
A
∞
∞
A的每行绝对值之和的最大值 ,
称 A 的行范数
Ax 2 T --------(12) ( 3 ) A 2 = max = λ ( A A ) max x 2 x≠0 称 A的 λmax ( AT A)为AT A的特征值的绝对值的最 大值 2 − 范数
p p 1
并且由于
max xi ≤ ( x1
1≤ i ≤ n
+ x2
+ L + xn
1≤i≤ n
)
p
≤ ( n max xi )
1≤i≤ n
p
1
=n
x
p
1
p
max xi → max xi ( p → ∞ )
1≤i≤ n
→ x
∞
( p → ∞ 时 ), 所以 x 也是 x 的特例 ∞ p
且 x
∞
≤ x
λ max ( AT A) = 9.1428 A 2 = λmax ( AT A ) = 3.0237 A
F
= tr ( AT A) = 2 + 9 + 2 = 3.6056
A
∞
A1
容易计算
A
2
A
F
计算较复杂 对矩阵元素的 变化比较敏感 性质较好 使用最广泛
不是从属范数 较少使用
定义5. 设 A ∈ R n× n的特征值为 λ1 , λ 2 , L , λ n , 称
定义7. 设 A 为非奇异矩阵 , 称
−1
A −1 ⋅ δ A
cond ( A) = A ⋅ A
−1
--------(23)
为 A的条件数 , 其中 ⋅ 为某种算子范数 .
显然
cond ( A) = A ⋅ A
−1
≥ AA −1 = I = 1
即任意方阵的条件数必不小于1 根据算子范数的不同也有不同的条件数:
第六章
逐次逼近法
第六章 逐次逼近法
§6.1 基本概念
6.2 线性方程组的迭代法 § 6.3 非线性方程组的迭代法 § 6.4 矩阵特征值问题的数值算法 §
§6.5 迭代法的加速
本章要点 本章主要介绍线性方程组的迭代法、非线性方程组 的数值方法 主要方法 基本迭代法、G-J迭代法、G-S迭代法、 Newton迭代法、SOR方法和 Aitken加速方法
2
≤ x
1
例1.求下列向量的各种常用范数
x = ( 1 , 4 ,3 , − 1)T
解:
x x x
1
= x1 + x 2 + L + x 4 = 9
2
= ( x1 + x2 + L + x 4
= max xi = 4
1≤i≤ 4
2
2
2
) 2=
1
27 = 3 3
∞
定义2.
对于空间 R n× n中任意一个矩阵 A ,
n
若存在唯一一个实数 x ∈ R与 x对应，且满足
( 1) (正定性 ) x ≥ 0 , 且 ∀x ∈ R n , x = 0 ⇔ x = 0 ;
( 2 ) ( 齐次性 ) α x = α ⋅ x ， ∀x ∈ R n , α ∈ R ;
( 3 ) ( 三角不等式 ) x + y ≤ x + y ， ∀x , y ∈ R n .
例3. 判别矩阵 A的 Frobenius 范数 A F 是不是算子范数 解:
A 的 F − 范数为
A
F
n n 2 = ∑ ∑ a ij i=1 j=1

1
2
类似于向量的2-范数
但 A F 并不是从属于 x 2 的算子范数
考虑单位矩阵 I
I
F
= n
I
υ
Ix υ xυ = max = max =1 x x x≠0 x≠0 υ υ
ρ ( A ) = max{ λ 1 , λ 2 ,L , λ n }
为矩阵 A 的谱半径
显然
--------(13)
A 2 = λmax ( AT A ) = ≤ Aυ xυ
ρ ( AT A )
对于某种向量范数 x υ 和算子范数 A υ , Ax
而 因此
υ
Ax
υ
= λx υ = λ ⋅ x υ
λ ⋅ xυ≤ Aυ xυ
A ∞ = max ∑ aij = max { 3 , 4 , 2 } = 4
1≤i ≤ n j=1
1≤i ≤ n
由于
A 2 = λmax ( AT A )
因此先求 AT A的特征值
1 T A A = 2 0
特征方程为
− 1 0 1 2 1 ⋅ − 1 0 − 1 1
§ 6.1 基本概念
二维向量和三维向量都可以度量其大小和长度 高维向量的"长度"能否定义呢 ? "范数"是对向量和矩阵的一种度量,实际上是二维 和三维向量长度概念的一种推广 数域: 数的集合,对加法和乘法封闭 线性空间: 可简化为向量的集合,对向量的加法和 数量乘法封闭, 也称为向量空间
一、向量和矩阵的范数 定义1. 对于 n维向量空间 R 中任意一个向量 x ,
2 2 1
0 2 − 1 = 0 1 1
0 9 −1
1 − 1 2
λ − 2 T det( λ I − A A) = 0 −1
0 λ −9 1
−1 =0 1 λ − 2
可得 AT A的特征值为 λ1 = 9.1428 , λ2 = 2.9211 , λ3 = 0.9361
δx δb ≤ cond ( A ) x b δA cond ( A) δx A ≤ x δA 1 − cond ( A) A δA ≈ cond ( A) A
因此 A F 是一种矩阵范数
称为Frobenius范数,简称F-范数 而且可以验证
A
F
= (tr ( A A)
T
)
1
2
= (tr ( AA )
T
)
1
2
tr为矩阵的迹
--------(6)
设 x ∈ R n , A ∈ R n×n , ⋅ υ 为一种向量范数
则
Ax xυ
υ
对所有的 x ≠ 0有最大值 , 令
若存在唯一一个实数 A ∈ R与 A对应，且满足
( 1) (正定性 ) A ≥ 0 , 且 ∀A ∈ R n× n , A = 0 ⇔ A = 0 ;
( 2 ) ( 齐次性 ) α A = α ⋅ A ， ∀A ∈ R n × n , α ∈ R ;
( 3 ) ( 三角不等式 ) A + B ≤ A + B ， ∀A , B ∈ R n × n . ( 4) AB ≤ A ⋅ B ， ∀A , B ∈ R
则称 x 为向量 x的范数 .
对于复线性空间 C 中的向量范数可以类似 定义
n
在向量空间 R n ( C n )中, 设 x = ( x1 , x 2 , L , x n )T
常用的向量 x的范数有
1
x
2
= ( x1 + x2 + L + xn
2
2
--------(1) x的 2 − 范数或欧氏范数 --------(2)
即 所以
λ ≤ Aυ ρ ( A) ≤ A υ
即矩阵 A的谱半径不超过矩阵的 任何一种算子范数
定理1. 设 ⋅ 是 R n× n上的一种算子范数 , B ∈ R n×n ,
若 B满足 B < 1, 则 I + B非奇异 , 且 1 −1 (I + B) < --------(14) 证明略 1− B
( 1)
Ax A 1 = max x≠ 0 Ax = max x≠0
1
= max aij ∑ x 1 1≤ j ≤ n i =1
n = max ∑ aij x ∞ 1≤i ≤ n j = 1
n
--------(10)
A的每列绝对值之和的最大值 ,
称 A 的列范数
2
)
2
x
1
= x1 + x 2 + L + x n
x的 1 − 范数
x
∞
= max xi
1≤i≤ n
--------(3)
x的 ∞ − 范数或最大范数
x p = ( x1
p
+ x2
p
+ L + xn
--------(4) x的 p − 范数 , p ≥ 1
p
)
1
p
显然
x 1和 x
p
2
是 x p 在 p = 1和 p = 2时的特例