矩阵讲义2-3,2-4
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
v
≤ A −1 δ A x v + A −1 δ A δ x v + A −1 δ b ≤ A A −1 ( δA A + δb A x
v v
v
(1 − A −1 δA ) δ x
v
)x
v
由 Ax = b 得, b v ≤ A x v ,代入上式并整理得
0.1 10 − 0.1 7 ,即 如果把右端项作微小摄动 δ b = 0.1 8 − 0.1 7
x1 9.2 x 2 − 12.6 它的解变为 = ,与原解的差异较大。如果把系数矩阵微加摄动 x3 4.5 x 4 − 1.1 0 0.1 0.2 0 0.04 0 0 0.08 ,而右端向量不变,即 δ A= 0 − 0.02 − 0.11 0 − 0.01 − 0.01 0 − 0 . 02 7 8.1 7.2 10 6 5 7.08 5.04 8 5.98 9.89 9 6.99 4.99 9 9.98 x1 32 x1 − 81 x 2 23 x 2 137 x = 33 ,其解为 x = − 34 3 3 x 31 x 4 4 22
与原解的差异更大。 这说明该方程的解对系数矩阵或右端向量的微小摄动十分敏感。我们说该方 程组是病态的。 对于一个计算问题的病态程度如何度量?其解的误差如何估计? 2.近似逆矩阵的误差 引理 则 I − P 可逆。 设 P ∈ C n× n , 若对 C n×n 上的某种矩阵范数 • 有 P < 1 ,
δA
−1
A A −1 = 1− A A
−1
δA A δA A 证毕
1− A
δA
58
定义
设 A ∈ C n×n 是可逆矩阵, 称 A −1 A 为矩阵 A 的条件数, 记为 cond( A) ,
即 cond( A) = A −1 A 。 因此,条件数 cond( A) 可作为矩阵求逆的病态程度的度量,条件数越大,则 认为病态越严重。条件数与所取的范数有关,常用的有: cond 2 ( A) = A −1 cond ∞ ( A) = A大条件数 cond 2 ( A) = δA A
cond F ( A) = A −1
F
A F ,F-条件数
∞
对例 1 中的矩阵有
30.28868 ≈ 2984 , cond F ( A) ≈ 3008 。 0.01015005 = 0.01 ≈ 0.0003 )在求逆后被放大了 30.28868
阵范数 • 有 A −1δA < 1 ,则 1) A + δA 可逆; A −1 − ( A + δA) −1 A −1 2) ( A + δA) A −1δA 1 − A −1δA
−1
≤
A −1 1 − A −1δA
;
3)
≤
; A A −1 ≤ 1 − A A −1 δA A 。 δA A
4) 若进一步有 A −1 δA < 1 ,则
v v
≤
cond( A) 1 − cond( A) δA A
(
δA A
+
δb b
v
v
)
其中 • v 是与 • 相容的向量范数。 证 将 ( A + δA)( x + δ x ) = b + δ b 展开,并利用 Ax = b 得 Aδ x + (δA) x + δAδ x = δ b , 即 δ x = − A −1 (δA) x − A −1δAδ x + A −1δ b ,取范数得 δx 也即
v
≤ A
M
x v,
其中左边是 C m 上的向量范数,右边是 C n 上的向量范数,它们同类(但与矩阵范 数不一定同类,因此矩阵范数中的相容性并未包含它) 。 3) 导出范数定义中, A = max
x ≠0
Ax x
v
v
= max Ax v ,
x v =1
其中分子上是 C m 中的向量范数,分母上是 C n 上的向量范数,它们同类。 对于长方阵,常用的矩阵范数为如下七种: (1) A
§3 长方阵的范数
对于长方阵 A ∈ C m×n ,相应的定义要做一些修改: 1) 矩阵范数定义中第 4 条公理相容性: AB ≤ A B ,
其中 B ∈ C n×l ,且上式左边是 C m×l 中的范数,右边第一项是 C m×n 中的范数,第二 项是 C n×l 中的范数,且这三个范数应是同类的。 2) 与向量范数相容性的定义中, Ax
m1
= ∑∑ aij
i =1 j =1 m
m
n
m1 -范数
2 ij
与向量 1-范数相容
(2) A (3) A
F
=
∑∑ a
i =1 j =1
n
= tr( A H A)
F-范数 最大范数
与向量 2-范数相容
M
= max{m, n} max a ij
i, j i, j
与向量 1-,2-,∞ -范数相容
(4) A G = mn max a ij (5) A 1 = max ∑ aij
可见矩阵 A 的很小的相对误差(如 近 3000 倍,因此病态严重。 3.线性方程组的解的误差 定理
设 A ∈ C n×n 是可逆 矩阵,非 齐次线性方程 组 Ax = b 的摄动方程组为
( A + δA)( x + δ x ) = b + δ b , 其中 δA, δ x , δ b 分别是 A, x和b 的摄动。 如果对 C n×n 上 的某种矩阵范数 • 有 A −1 δA < 1 ,则 δx x
57
证
反证. 若 I − P 奇异,则齐次方程组 ( I − P ) x = 0 有非零解 x 0 ≠ 0 ,即
( I − P ) x 0 = 0 或 x 0 = Px 0 。设 • v 是与 • 相容的向量范数,则 x0
v
= Px 0
v
≤ P x 0 v ,从而 P ≥ 1 。矛盾。证毕
定理
设 A ∈ C n×n 是可逆矩阵,δA ∈ C n×n 是摄动矩阵,若对 C n×n 上的某种矩
= A F 中, U 是 m 阶酉矩阵,
55
§4 范数的应用
一、范数在数值分析中的应用 1.病态与良态—扰动对解的影响 在工程实际问题中,要遇到大量的计算问题。对于这些计算问题,面临的一 个重要现象是: 问题中原始数据或参数的微小扰动或误差,对问题的解会产生什 么样的影响。为了具体地说明这个问题,以矩阵求逆和线性方程组求解来说明。 例 1 如果 n 阶方阵 A 为非奇异的,即 det A ≠ 0 ,给 A 附加一个扰动(或摄 动) δA 后(要求 δA 的元素很小) ,矩阵 A + δA 的情形怎样,即是否可逆?若可 逆,则 ( A + δA) −1 与 A −1 相差多少?看一个著名的例子:矩阵 5 7 6 5 7 10 8 7 的行列式为 det A = 1 ,逆矩阵为 A= 6 8 10 9 5 7 9 10 68 − 41 − 17 10 10 − 6 − 41 25 −1 A = − 17 10 5 − 3 10 − 6 − 3 2 当对 A 的第一行第一列元素稍加改变时,试看它的行列式与逆阵如何变化。 ε 0 设 δA = 0 0 0 0 0 0 0 0 0 0 0 5 + ε 7 6 5 0 10 8 7 7 ,则 A + δA = 。 0 6 8 10 9 5 0 7 9 10 1 ≈ −0.015 时 , 68
A − ( A + δA) A −1
−1
−1
证 可逆。
1)因为 A + δA = A( I + A −1δA) ,由引理知 I + A −1δA 可逆,从而 A + δA
2)由 A + δA ( A + δA) −1 = I 得 A( A + δA) −1 = I − δA( A + δA) −1 ,左乘 A −1 得 ( A + δA) −1 = A −1 − A −1δA( A + δA) −1 , 两边取范数得 3)因为 ( A + δA) −1 ≤ A −1 + A −1δA ( A + δA) −1 ,解之得 2) 。 A −1 − ( A + δA) −1 = A −1 [( A + δA) − A]( A + δA) −1 = A −1δA( A + δA) −1 A −1 1 − A −1δA
56
( A + δA) −1
可见元素的微小变化,可能使矩阵发生质的变化(由非奇异到奇异) ,或逆 矩阵的差别很大, 这就说明该矩阵的可逆性与逆矩阵对于原矩阵元素的微小扰动 (或摄动)十分敏感,称该矩阵关于求逆是病态的。 例 2 关于线性方程组 Ax = b 的求解问题。如果 A 是可逆的,则该方程组的 解是唯一的,即 x = A −1 b 。但是,如果系数矩阵 A 有摄动 δA ,或右端向量 b 有 摄动 δ b ,或两者都有摄动,相应的方程组的解 x 也会有变化 δ x ,即 ( A + δA)( x + δ x ) = b , A( x + δ x ) = b + δ b , ( A + δA)( x + δ x ) = b + δ b 试看下例(R.S.Wilson) :考虑系数阵为 4 阶实对称阵的线性方程组 10 7 8 7 7 8 7 5 6 5 6 10 9 5 9 10 x1 32 x1 1 x 2 23 x 2 1 x = 33 ,其解为 x = 1 。 3 3 x 31 x 4 4 1 7 8 7 5 6 5 6 10 9 5 9 10 x1 32.1 x 2 22.9 x = 33.1 , 3 x 4 30.9
可 以 求 得 det( A + δA) = 1 + 68ε , 由 此 可 知 , 当 取 ε = −
det( A + δA) = 0 ,即矩阵变成奇异的了。如果取 ε = −0.01 ,即有 4.99 7 6 5 7 10 8 7 , A + δA = 6 8 10 9 5 7 9 10 可求得 det( A + δA) = 0.32 ,即矩阵 A + δA 非奇异,且 204.82 − 128.12 − 53.12 31.25 77.53 31.78 − 18.81 − 128.12 = − 53.12 31.78 14.03 − 8.31 31.25 − 18 . 81 − 8 . 31 5 . 12
两边取范数,并利用 2)得 A − ( A + δA) 即得 3) 。 4) 因为
−1 −1 −1
≤ A δA ( A + δA)
−1
−1
≤ A δA
−1
A −1δA ≤ A −1 δA < 1 ,所以 3)成立,由之得
−1
A − ( A + δA) A
−1
≤
A δA 1 − A δA
−1
−1
≤
A
−1
j i =1 n m
G-范数(几何平均范数) 与向量 2-范数相容 1-范数, 列和范数 与向量 1-范数相容
(6) A
∞
= max ∑ aij
i j =1
∞ -范数, 行和范数 2-范数, 谱范数 UAV
F
与向量 ∞ -范数相容 与向量 2-范数相容
(7) A 2 =
A H A的最大特征值
其中 F-范数和 2-范数是酉不变的(注意 。 V 是 n 阶酉矩阵)
≤ A −1 δ A x v + A −1 δ A δ x v + A −1 δ b ≤ A A −1 ( δA A + δb A x
v v
v
(1 − A −1 δA ) δ x
v
)x
v
由 Ax = b 得, b v ≤ A x v ,代入上式并整理得
0.1 10 − 0.1 7 ,即 如果把右端项作微小摄动 δ b = 0.1 8 − 0.1 7
x1 9.2 x 2 − 12.6 它的解变为 = ,与原解的差异较大。如果把系数矩阵微加摄动 x3 4.5 x 4 − 1.1 0 0.1 0.2 0 0.04 0 0 0.08 ,而右端向量不变,即 δ A= 0 − 0.02 − 0.11 0 − 0.01 − 0.01 0 − 0 . 02 7 8.1 7.2 10 6 5 7.08 5.04 8 5.98 9.89 9 6.99 4.99 9 9.98 x1 32 x1 − 81 x 2 23 x 2 137 x = 33 ,其解为 x = − 34 3 3 x 31 x 4 4 22
与原解的差异更大。 这说明该方程的解对系数矩阵或右端向量的微小摄动十分敏感。我们说该方 程组是病态的。 对于一个计算问题的病态程度如何度量?其解的误差如何估计? 2.近似逆矩阵的误差 引理 则 I − P 可逆。 设 P ∈ C n× n , 若对 C n×n 上的某种矩阵范数 • 有 P < 1 ,
δA
−1
A A −1 = 1− A A
−1
δA A δA A 证毕
1− A
δA
58
定义
设 A ∈ C n×n 是可逆矩阵, 称 A −1 A 为矩阵 A 的条件数, 记为 cond( A) ,
即 cond( A) = A −1 A 。 因此,条件数 cond( A) 可作为矩阵求逆的病态程度的度量,条件数越大,则 认为病态越严重。条件数与所取的范数有关,常用的有: cond 2 ( A) = A −1 cond ∞ ( A) = A大条件数 cond 2 ( A) = δA A
cond F ( A) = A −1
F
A F ,F-条件数
∞
对例 1 中的矩阵有
30.28868 ≈ 2984 , cond F ( A) ≈ 3008 。 0.01015005 = 0.01 ≈ 0.0003 )在求逆后被放大了 30.28868
阵范数 • 有 A −1δA < 1 ,则 1) A + δA 可逆; A −1 − ( A + δA) −1 A −1 2) ( A + δA) A −1δA 1 − A −1δA
−1
≤
A −1 1 − A −1δA
;
3)
≤
; A A −1 ≤ 1 − A A −1 δA A 。 δA A
4) 若进一步有 A −1 δA < 1 ,则
v v
≤
cond( A) 1 − cond( A) δA A
(
δA A
+
δb b
v
v
)
其中 • v 是与 • 相容的向量范数。 证 将 ( A + δA)( x + δ x ) = b + δ b 展开,并利用 Ax = b 得 Aδ x + (δA) x + δAδ x = δ b , 即 δ x = − A −1 (δA) x − A −1δAδ x + A −1δ b ,取范数得 δx 也即
v
≤ A
M
x v,
其中左边是 C m 上的向量范数,右边是 C n 上的向量范数,它们同类(但与矩阵范 数不一定同类,因此矩阵范数中的相容性并未包含它) 。 3) 导出范数定义中, A = max
x ≠0
Ax x
v
v
= max Ax v ,
x v =1
其中分子上是 C m 中的向量范数,分母上是 C n 上的向量范数,它们同类。 对于长方阵,常用的矩阵范数为如下七种: (1) A
§3 长方阵的范数
对于长方阵 A ∈ C m×n ,相应的定义要做一些修改: 1) 矩阵范数定义中第 4 条公理相容性: AB ≤ A B ,
其中 B ∈ C n×l ,且上式左边是 C m×l 中的范数,右边第一项是 C m×n 中的范数,第二 项是 C n×l 中的范数,且这三个范数应是同类的。 2) 与向量范数相容性的定义中, Ax
m1
= ∑∑ aij
i =1 j =1 m
m
n
m1 -范数
2 ij
与向量 1-范数相容
(2) A (3) A
F
=
∑∑ a
i =1 j =1
n
= tr( A H A)
F-范数 最大范数
与向量 2-范数相容
M
= max{m, n} max a ij
i, j i, j
与向量 1-,2-,∞ -范数相容
(4) A G = mn max a ij (5) A 1 = max ∑ aij
可见矩阵 A 的很小的相对误差(如 近 3000 倍,因此病态严重。 3.线性方程组的解的误差 定理
设 A ∈ C n×n 是可逆 矩阵,非 齐次线性方程 组 Ax = b 的摄动方程组为
( A + δA)( x + δ x ) = b + δ b , 其中 δA, δ x , δ b 分别是 A, x和b 的摄动。 如果对 C n×n 上 的某种矩阵范数 • 有 A −1 δA < 1 ,则 δx x
57
证
反证. 若 I − P 奇异,则齐次方程组 ( I − P ) x = 0 有非零解 x 0 ≠ 0 ,即
( I − P ) x 0 = 0 或 x 0 = Px 0 。设 • v 是与 • 相容的向量范数,则 x0
v
= Px 0
v
≤ P x 0 v ,从而 P ≥ 1 。矛盾。证毕
定理
设 A ∈ C n×n 是可逆矩阵,δA ∈ C n×n 是摄动矩阵,若对 C n×n 上的某种矩
= A F 中, U 是 m 阶酉矩阵,
55
§4 范数的应用
一、范数在数值分析中的应用 1.病态与良态—扰动对解的影响 在工程实际问题中,要遇到大量的计算问题。对于这些计算问题,面临的一 个重要现象是: 问题中原始数据或参数的微小扰动或误差,对问题的解会产生什 么样的影响。为了具体地说明这个问题,以矩阵求逆和线性方程组求解来说明。 例 1 如果 n 阶方阵 A 为非奇异的,即 det A ≠ 0 ,给 A 附加一个扰动(或摄 动) δA 后(要求 δA 的元素很小) ,矩阵 A + δA 的情形怎样,即是否可逆?若可 逆,则 ( A + δA) −1 与 A −1 相差多少?看一个著名的例子:矩阵 5 7 6 5 7 10 8 7 的行列式为 det A = 1 ,逆矩阵为 A= 6 8 10 9 5 7 9 10 68 − 41 − 17 10 10 − 6 − 41 25 −1 A = − 17 10 5 − 3 10 − 6 − 3 2 当对 A 的第一行第一列元素稍加改变时,试看它的行列式与逆阵如何变化。 ε 0 设 δA = 0 0 0 0 0 0 0 0 0 0 0 5 + ε 7 6 5 0 10 8 7 7 ,则 A + δA = 。 0 6 8 10 9 5 0 7 9 10 1 ≈ −0.015 时 , 68
A − ( A + δA) A −1
−1
−1
证 可逆。
1)因为 A + δA = A( I + A −1δA) ,由引理知 I + A −1δA 可逆,从而 A + δA
2)由 A + δA ( A + δA) −1 = I 得 A( A + δA) −1 = I − δA( A + δA) −1 ,左乘 A −1 得 ( A + δA) −1 = A −1 − A −1δA( A + δA) −1 , 两边取范数得 3)因为 ( A + δA) −1 ≤ A −1 + A −1δA ( A + δA) −1 ,解之得 2) 。 A −1 − ( A + δA) −1 = A −1 [( A + δA) − A]( A + δA) −1 = A −1δA( A + δA) −1 A −1 1 − A −1δA
56
( A + δA) −1
可见元素的微小变化,可能使矩阵发生质的变化(由非奇异到奇异) ,或逆 矩阵的差别很大, 这就说明该矩阵的可逆性与逆矩阵对于原矩阵元素的微小扰动 (或摄动)十分敏感,称该矩阵关于求逆是病态的。 例 2 关于线性方程组 Ax = b 的求解问题。如果 A 是可逆的,则该方程组的 解是唯一的,即 x = A −1 b 。但是,如果系数矩阵 A 有摄动 δA ,或右端向量 b 有 摄动 δ b ,或两者都有摄动,相应的方程组的解 x 也会有变化 δ x ,即 ( A + δA)( x + δ x ) = b , A( x + δ x ) = b + δ b , ( A + δA)( x + δ x ) = b + δ b 试看下例(R.S.Wilson) :考虑系数阵为 4 阶实对称阵的线性方程组 10 7 8 7 7 8 7 5 6 5 6 10 9 5 9 10 x1 32 x1 1 x 2 23 x 2 1 x = 33 ,其解为 x = 1 。 3 3 x 31 x 4 4 1 7 8 7 5 6 5 6 10 9 5 9 10 x1 32.1 x 2 22.9 x = 33.1 , 3 x 4 30.9
可 以 求 得 det( A + δA) = 1 + 68ε , 由 此 可 知 , 当 取 ε = −
det( A + δA) = 0 ,即矩阵变成奇异的了。如果取 ε = −0.01 ,即有 4.99 7 6 5 7 10 8 7 , A + δA = 6 8 10 9 5 7 9 10 可求得 det( A + δA) = 0.32 ,即矩阵 A + δA 非奇异,且 204.82 − 128.12 − 53.12 31.25 77.53 31.78 − 18.81 − 128.12 = − 53.12 31.78 14.03 − 8.31 31.25 − 18 . 81 − 8 . 31 5 . 12
两边取范数,并利用 2)得 A − ( A + δA) 即得 3) 。 4) 因为
−1 −1 −1
≤ A δA ( A + δA)
−1
−1
≤ A δA
−1
A −1δA ≤ A −1 δA < 1 ,所以 3)成立,由之得
−1
A − ( A + δA) A
−1
≤
A δA 1 − A δA
−1
−1
≤
A
−1
j i =1 n m
G-范数(几何平均范数) 与向量 2-范数相容 1-范数, 列和范数 与向量 1-范数相容
(6) A
∞
= max ∑ aij
i j =1
∞ -范数, 行和范数 2-范数, 谱范数 UAV
F
与向量 ∞ -范数相容 与向量 2-范数相容
(7) A 2 =
A H A的最大特征值
其中 F-范数和 2-范数是酉不变的(注意 。 V 是 n 阶酉矩阵)