3.1向量和矩阵的范数1
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
A v max
x0
Ax x
v
v
max Ax v . --------(3.5)
x v 1
可以验证 A v 满足定义3.4的4个条件
定理3.4 设 x 是R n 上一个向量范数，A 是R nn 上
矩阵的算子范数，且满足相容条件
Ax A
v
x
--------(3.6)
定义3.6
证明： 对于2范数，应有
注意，
是半正定的对称阵，设其特征值为
以及其对应的正交规范特征向量为 则对任一满足 和 的向量 有
于是，有
另一方面，若取
，则有
所以
例3.5
求矩阵A的各种常用范数
1 2 A 1 2 0 1
2
n
0 3 1 4 1 2
2
1 j n
定理3.8 对任给的 存在 R nn 上的算子范数 使得
证明：
由Jordan分解定理知，存在非奇异矩阵
nn
PR
，使得
其中，
=1或0，对于任意给定的
，令
则有
在 R nn 上引入一个算子矩阵范数，定义如下
它所对应的向量范数，定义如下
该范数对于矩阵
有
定理3.9
设 是R nn上的一种算子范数, A R nn , 若A满足 A 1, 则I A非奇异, 且 1 1 ( I A) --------(3.8) 1 A
k
定理3.6，Rn×n 中矩阵序列{A(k)} 收敛于矩阵A 的充分必要条
件是
lim A
k
(k )
A 0，
其中 为矩阵的任意一种范数。
定理3.7设A为任意n阶方阵，则对任意矩阵范 数||A||，有： ρ(A)≤||A||
证:设λ为A的任意一个特征值, X为对应的特征向量 AX= λ X 两边取范数,得:
定义3.7 如果n阶矩阵序列{A(k)} ⊂Rn× n和矩阵A∈Rn× n 满足
（ 其中A(k)=(aij(k))n×n , A=(aij)n×n）
( aijk ) aij , i, j 1, 2,..., n, lim k
则称矩阵序列{A(k)}收敛于矩阵 A，记为
A( k ) A, 或 A( k ) A (k ). lim
第三章 线性方程组的数值解法
3.1 向量与矩阵的范数 3.2 直接法 3.3 迭代法 3.4 迭代法的收敛性分析
例
设有方程组 1 x1 2 1 1 1.0001 x 2 . 2
2 记为Ax b, 它的精确解为 x 分析 0 现在考虑常数项的微小 变化对方程组解的影响 ，
(2) || x || | | || x || ; ( R)
（3） ||x y|| ||x|| ||y|| 。(x、y R n )
（一） 向量的范数
定义3.1
按某种规则(或映射)
对于复线性空间C n中的向量范数可以类似定义
由(3)可推出不等式：
x y x y .
i 1
x y
i 1
n
ei 0,
当 x y 时.
有限维向量空间的范数等价性定理 定理3.2
设 与 为向量空间R n 中的两种范数，
'
则存在正常数c和C，使得下面不等式成立：
c x x C x ,
' '
x Rn.
证明 只需证明R n 中任何范数与 2 等价。考虑单位球面 S2 {x R n : x 2 1}. S2是有界闭集，因而 x 在其上达 到最大值C和最小值c，显然，C c 0. 于是，
证明
用反证法。若det(I-A) 0，则存在x0 0,使得 Ax0 =x0 ,因此 Ax0 / x0 =1，从而 A 1，矛盾。
向量序列的收敛性
如果向量序列{x(k)}⊂Rn和向量 x∈Rn满足
定义3.3
x(jk ) x j , j 1, 2,..., n, lim
k
则称向量序列{x(k)}收敛于向量 x，记为
x( k ) x 或 x( k ) x(k ). lim
k
定理3.3 向量序列{x(k)}收敛于 x 的充分必要条件是
5
解
A 1 max aij max{ 2 ,5 ,2} 5
1 j n i 1
n
A max aij max{ 3 , 4 ,2} 4
1 i n j 1
1i n
由于
A 2 max ( AT A)
因此先求AT A的特征值
1 T A A 2 0
x x x
1 2
x (1,4 ,3,1)T x1 x2 ... x4 9
( x1 x2 ... x4
2 2 2
)
1
2
27 3 3
max xi 4
1i 4
向量范数是其分量的连续函数，即有下述定理： 定理3.1（向量范数连续性定理）
设 是向量空间R n 中的一种范数，则 x 是关于x 的 分量 x1 ,x2 ,...,xn 的连续函数。
即考察方程组
1 y1 2 2 0 1 1 1.0001 y 2.0001 2 0.0001 b b 2
1 y x x 为其解 1
1 可见 : 常数项b的第2个分量只有 的微小变化， 10000 方程组的解却变化很大 .
（3） ||x y|| ||x|| ||y|| 。 (x、y R)
例 2
n 维欧氏空间中向量
x
的长度或模定义为
|| x ||
( x, x)
2 2 2 x1 x2 ... xn
显然向量 x 的模 || x || 也具有下列三条性质：
(1)
|| x || 0
，当且仅当 x 时，等号成立。
证明
对任何 x ( x1 ,x2 ,...,xn )T xi ei , y yi ei , 其中
i 1 i 1 n n
ei R n ,i=1,2,...,n,除第i个分量为1外，其余分量为0.
x y x y
n
(x
i 1
n
i
yi )ei
| xi yi | ei
|| A X || = ||λ X || =|λ | || X || |λ | || X ||= ||λ X ||= || A X || ≤|| A || || X ||
由X ≠0 ,所以 || X || >0 ,
故有:
|λ | ≤|| A ||
所以特征值的最大值≤||A||，即ρ(A)≤||A||
可得AT A的特征值为
1 9.1428, 2 2.9211, 3 0.9361
max ( AT A) 9.1428
A 2 max ( AT A) 3.0237 A1
容易计算
A
A2
计算较复杂
对矩阵元素的 变化比较敏感 性质较好
(理论上)使用最广泛
矩阵序列的收敛性
为了研究线性方程组近似解的误差估计和迭代的 收敛性，需要对n维向量空间中的向量以及矩阵引进 “大小”的概念。
二维向量和三维向量都可以度量其大小和长度 高维向量的"长度"能否定义呢? "范数"是对向量和矩阵的一种度量,实际上是二 维和三维向量长度概念的一种推广
§3.1 向量与矩阵的范数
对于实数和复数，由于定义了它们的绝对 值或模，这样我们就可以用这个度量来表示它 们的大小（几何上就是长度），进而可以考察 两个实数或复数的距离。 对于n 维线性空间，定义了内积以后， 向量就有了长度（大小）、角度、距离等度量 概念，这显然是3维现实空间中相应概念的推 广。利用公理化的方法，可以进一步把向量长 度的概念推广到范数。
A的每列绝对值之和的最大值, 称为A 的列范数
(2)
A
Ax max x0
ห้องสมุดไป่ตู้
max aij x 1 i n j 1
n
A的每行绝对值之和的最大值, 称为A 的行范数
Ax 2 (3) A 2 max max ( AT A) x0 x 2 称为A 的 max ( AT A)为AT A 的特征值的绝对值的最大值， 范数 2
若存在惟一一个实数 A R与A对应，且满足
(1) (正定性) A 0, 且A R nn , A 0 A 0; (2) (齐次性) A A ，A R nn , R; (3) (三角不等式) A B A B ，A, B R nn . (4) AB A B ，A, B R nn .
设A R
1i n
nn
的特征值i (i 1, 2,3,...)
称 ( A) max | i | 为矩阵A的谱半径
定理3.5 向量的常用范数可以得到常用的矩阵算子范数
(1)
n Ax 1 A 1 max max aij x 1 1 j n i 1 x0
x x x R ，x 0，c C，（因为 S2） x2 x2
n
即
c x 2 x C x 2 . 当 x 0，不等式也成立。
容易验证：
3种范数相 （1） ‖x‖2≤‖x‖1≤ n1/2‖x‖2； 互等价
（2）‖x‖∞≤‖x‖2≤ n1/2‖x‖∞；
（3）‖x‖∞≤‖x‖1≤ n‖x‖∞。
从向量的长度或模谈起
例 1 复数 x = (a, b) = a i + b j 的长度或模指的是量
|| x ||
a b
2
2
显然复向量 x 的模 || x || 具有下列三条性质：
(1)
|| x || 0
，当且仅当 x 时，等号成立。
(2) || x || | | || x || ; ( R)
则称 A 为矩阵A 的范数.
由于大多数与估计有关的问题中，矩阵和向量会同时 参与运算，所以希望引进一种矩阵范数，它和向量范数 相联系而且和向量范数相容，即
Ax A . x
为此我们引进矩阵的算子范数
定义3.5
设x R n , A R nn , v 为一种向量范数
则
Ax x
v
v
对所有的x 0有最大值, 令
lim x
k
(k )
x 0，
其中 为向量的任意一种范数。
证明：
lim x
k
(k )
x
lim x
k
(k )
x
0.
由向量范数的等价性定理可得到结论：如果在一 种范数意义下向量序列收敛时，则在任何一种范数意 义下向量序列亦收敛
3.1.2 矩阵的范数 定义3.4
对于空间R nn中任意一个矩阵A,
在向量空间R n (C n )中, 设x ( x1 , x2 ,..., xn )T
常用的向量 x 的范数有:
x 2 ( x, x ) xＴ x
2 1 2
x 2 ( x1 x2 ... xn )
2 2
--------(1)
x的2 范数或欧氏范数
x
1
x1 x2 ... xn
max xi ( x1
1i n
p
x2
p
... xn
1 i n
p
1
)
p
( n max xi )
p 1 i n
1
p
n
x
p
1
p
max xi max xi ( p )
1i n
x
( p 时), 所以 x
也是 x p的特例
例3 解
求下列向量的各种常用范数
特征方程为
1 0 1 2 0 2 2 1 1 2 1 0 1 1 0 1 1 1
0 1 9 1 1 2
2 T det( I A A) 0 1
0 1 0 9 1 1 2
--------(2)
x的 1 范数或平均范数
x max xi 1i n
x p ( x1 x2 ... xn )
p p p 1 p
--------(3)
x的 范数或最大范数或切比雪夫范数
--------(4)
x的p 范数, p 1
显然 由于 x 1 和 x 2 是 x p 当p 1和p 2时的特例， 并且由于
x0
Ax x
v
v
max Ax v . --------(3.5)
x v 1
可以验证 A v 满足定义3.4的4个条件
定理3.4 设 x 是R n 上一个向量范数，A 是R nn 上
矩阵的算子范数，且满足相容条件
Ax A
v
x
--------(3.6)
定义3.6
证明： 对于2范数，应有
注意，
是半正定的对称阵，设其特征值为
以及其对应的正交规范特征向量为 则对任一满足 和 的向量 有
于是，有
另一方面，若取
，则有
所以
例3.5
求矩阵A的各种常用范数
1 2 A 1 2 0 1
2
n
0 3 1 4 1 2
2
1 j n
定理3.8 对任给的 存在 R nn 上的算子范数 使得
证明：
由Jordan分解定理知，存在非奇异矩阵
nn
PR
，使得
其中，
=1或0，对于任意给定的
，令
则有
在 R nn 上引入一个算子矩阵范数，定义如下
它所对应的向量范数，定义如下
该范数对于矩阵
有
定理3.9
设 是R nn上的一种算子范数, A R nn , 若A满足 A 1, 则I A非奇异, 且 1 1 ( I A) --------(3.8) 1 A
k
定理3.6，Rn×n 中矩阵序列{A(k)} 收敛于矩阵A 的充分必要条
件是
lim A
k
(k )
A 0，
其中 为矩阵的任意一种范数。
定理3.7设A为任意n阶方阵，则对任意矩阵范 数||A||，有： ρ(A)≤||A||
证:设λ为A的任意一个特征值, X为对应的特征向量 AX= λ X 两边取范数,得:
定义3.7 如果n阶矩阵序列{A(k)} ⊂Rn× n和矩阵A∈Rn× n 满足
（ 其中A(k)=(aij(k))n×n , A=(aij)n×n）
( aijk ) aij , i, j 1, 2,..., n, lim k
则称矩阵序列{A(k)}收敛于矩阵 A，记为
A( k ) A, 或 A( k ) A (k ). lim
第三章 线性方程组的数值解法
3.1 向量与矩阵的范数 3.2 直接法 3.3 迭代法 3.4 迭代法的收敛性分析
例
设有方程组 1 x1 2 1 1 1.0001 x 2 . 2
2 记为Ax b, 它的精确解为 x 分析 0 现在考虑常数项的微小 变化对方程组解的影响 ，
(2) || x || | | || x || ; ( R)
（3） ||x y|| ||x|| ||y|| 。(x、y R n )
（一） 向量的范数
定义3.1
按某种规则(或映射)
对于复线性空间C n中的向量范数可以类似定义
由(3)可推出不等式：
x y x y .
i 1
x y
i 1
n
ei 0,
当 x y 时.
有限维向量空间的范数等价性定理 定理3.2
设 与 为向量空间R n 中的两种范数，
'
则存在正常数c和C，使得下面不等式成立：
c x x C x ,
' '
x Rn.
证明 只需证明R n 中任何范数与 2 等价。考虑单位球面 S2 {x R n : x 2 1}. S2是有界闭集，因而 x 在其上达 到最大值C和最小值c，显然，C c 0. 于是，
证明
用反证法。若det(I-A) 0，则存在x0 0,使得 Ax0 =x0 ,因此 Ax0 / x0 =1，从而 A 1，矛盾。
向量序列的收敛性
如果向量序列{x(k)}⊂Rn和向量 x∈Rn满足
定义3.3
x(jk ) x j , j 1, 2,..., n, lim
k
则称向量序列{x(k)}收敛于向量 x，记为
x( k ) x 或 x( k ) x(k ). lim
k
定理3.3 向量序列{x(k)}收敛于 x 的充分必要条件是
5
解
A 1 max aij max{ 2 ,5 ,2} 5
1 j n i 1
n
A max aij max{ 3 , 4 ,2} 4
1 i n j 1
1i n
由于
A 2 max ( AT A)
因此先求AT A的特征值
1 T A A 2 0
x x x
1 2
x (1,4 ,3,1)T x1 x2 ... x4 9
( x1 x2 ... x4
2 2 2
)
1
2
27 3 3
max xi 4
1i 4
向量范数是其分量的连续函数，即有下述定理： 定理3.1（向量范数连续性定理）
设 是向量空间R n 中的一种范数，则 x 是关于x 的 分量 x1 ,x2 ,...,xn 的连续函数。
即考察方程组
1 y1 2 2 0 1 1 1.0001 y 2.0001 2 0.0001 b b 2
1 y x x 为其解 1
1 可见 : 常数项b的第2个分量只有 的微小变化， 10000 方程组的解却变化很大 .
（3） ||x y|| ||x|| ||y|| 。 (x、y R)
例 2
n 维欧氏空间中向量
x
的长度或模定义为
|| x ||
( x, x)
2 2 2 x1 x2 ... xn
显然向量 x 的模 || x || 也具有下列三条性质：
(1)
|| x || 0
，当且仅当 x 时，等号成立。
证明
对任何 x ( x1 ,x2 ,...,xn )T xi ei , y yi ei , 其中
i 1 i 1 n n
ei R n ,i=1,2,...,n,除第i个分量为1外，其余分量为0.
x y x y
n
(x
i 1
n
i
yi )ei
| xi yi | ei
|| A X || = ||λ X || =|λ | || X || |λ | || X ||= ||λ X ||= || A X || ≤|| A || || X ||
由X ≠0 ,所以 || X || >0 ,
故有:
|λ | ≤|| A ||
所以特征值的最大值≤||A||，即ρ(A)≤||A||
可得AT A的特征值为
1 9.1428, 2 2.9211, 3 0.9361
max ( AT A) 9.1428
A 2 max ( AT A) 3.0237 A1
容易计算
A
A2
计算较复杂
对矩阵元素的 变化比较敏感 性质较好
(理论上)使用最广泛
矩阵序列的收敛性
为了研究线性方程组近似解的误差估计和迭代的 收敛性，需要对n维向量空间中的向量以及矩阵引进 “大小”的概念。
二维向量和三维向量都可以度量其大小和长度 高维向量的"长度"能否定义呢? "范数"是对向量和矩阵的一种度量,实际上是二 维和三维向量长度概念的一种推广
§3.1 向量与矩阵的范数
对于实数和复数，由于定义了它们的绝对 值或模，这样我们就可以用这个度量来表示它 们的大小（几何上就是长度），进而可以考察 两个实数或复数的距离。 对于n 维线性空间，定义了内积以后， 向量就有了长度（大小）、角度、距离等度量 概念，这显然是3维现实空间中相应概念的推 广。利用公理化的方法，可以进一步把向量长 度的概念推广到范数。
A的每列绝对值之和的最大值, 称为A 的列范数
(2)
A
Ax max x0
ห้องสมุดไป่ตู้
max aij x 1 i n j 1
n
A的每行绝对值之和的最大值, 称为A 的行范数
Ax 2 (3) A 2 max max ( AT A) x0 x 2 称为A 的 max ( AT A)为AT A 的特征值的绝对值的最大值， 范数 2
若存在惟一一个实数 A R与A对应，且满足
(1) (正定性) A 0, 且A R nn , A 0 A 0; (2) (齐次性) A A ，A R nn , R; (3) (三角不等式) A B A B ，A, B R nn . (4) AB A B ，A, B R nn .
设A R
1i n
nn
的特征值i (i 1, 2,3,...)
称 ( A) max | i | 为矩阵A的谱半径
定理3.5 向量的常用范数可以得到常用的矩阵算子范数
(1)
n Ax 1 A 1 max max aij x 1 1 j n i 1 x0
x x x R ，x 0，c C，（因为 S2） x2 x2
n
即
c x 2 x C x 2 . 当 x 0，不等式也成立。
容易验证：
3种范数相 （1） ‖x‖2≤‖x‖1≤ n1/2‖x‖2； 互等价
（2）‖x‖∞≤‖x‖2≤ n1/2‖x‖∞；
（3）‖x‖∞≤‖x‖1≤ n‖x‖∞。
从向量的长度或模谈起
例 1 复数 x = (a, b) = a i + b j 的长度或模指的是量
|| x ||
a b
2
2
显然复向量 x 的模 || x || 具有下列三条性质：
(1)
|| x || 0
，当且仅当 x 时，等号成立。
(2) || x || | | || x || ; ( R)
则称 A 为矩阵A 的范数.
由于大多数与估计有关的问题中，矩阵和向量会同时 参与运算，所以希望引进一种矩阵范数，它和向量范数 相联系而且和向量范数相容，即
Ax A . x
为此我们引进矩阵的算子范数
定义3.5
设x R n , A R nn , v 为一种向量范数
则
Ax x
v
v
对所有的x 0有最大值, 令
lim x
k
(k )
x 0，
其中 为向量的任意一种范数。
证明：
lim x
k
(k )
x
lim x
k
(k )
x
0.
由向量范数的等价性定理可得到结论：如果在一 种范数意义下向量序列收敛时，则在任何一种范数意 义下向量序列亦收敛
3.1.2 矩阵的范数 定义3.4
对于空间R nn中任意一个矩阵A,
在向量空间R n (C n )中, 设x ( x1 , x2 ,..., xn )T
常用的向量 x 的范数有:
x 2 ( x, x ) xＴ x
2 1 2
x 2 ( x1 x2 ... xn )
2 2
--------(1)
x的2 范数或欧氏范数
x
1
x1 x2 ... xn
max xi ( x1
1i n
p
x2
p
... xn
1 i n
p
1
)
p
( n max xi )
p 1 i n
1
p
n
x
p
1
p
max xi max xi ( p )
1i n
x
( p 时), 所以 x
也是 x p的特例
例3 解
求下列向量的各种常用范数
特征方程为
1 0 1 2 0 2 2 1 1 2 1 0 1 1 0 1 1 1
0 1 9 1 1 2
2 T det( I A A) 0 1
0 1 0 9 1 1 2
--------(2)
x的 1 范数或平均范数
x max xi 1i n
x p ( x1 x2 ... xn )
p p p 1 p
--------(3)
x的 范数或最大范数或切比雪夫范数
--------(4)
x的p 范数, p 1
显然 由于 x 1 和 x 2 是 x p 当p 1和p 2时的特例， 并且由于