矩阵分析与计算--07-矩阵范数
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
考虑n 2, 矩阵A, B分别为 1 1 A= B = , 1 1 2 2 AB 2 2 29
n2
相容矩阵范数的性质
设 为F
nn
上的自相容的矩阵范数，则F 上必
n
存在与之相容的向量范数
30
2. Frobenius范数
设A (aij ) nn C ，令 A
Matrix Analysis and Computations
矩 阵 分 析 与 计 算 ——矩阵范数
Matrix Norms 理学院 2011年10月
1
本讲主要内容 矩阵范数
向量范数 • 向量范数的定义与性质 • 几类向量范数 • 范数收敛概念 • 范数的等价 矩阵范数 • 范数相容的概念 • 几类矩阵范数的定义与性质 • 矩阵的F-范数、算子范数 • 行范数、 列范数、谱范数
n
n
2-范数
对于x ( x1 , x2 ,
n
, xn ) C
T 1 2
n
定义：
2 x 2 xi i 1
n
Euclid 范数
2 x 2 xi ( x, x) i 1
7
1 2
1-范数
对于x ( x1 , x2 , x 1 xi
n
17
xn en
1/2
序列收敛
定义3： 设 x1 , x2 , xn , 是线性空间V中的元素序列，如果存在x V , 使得
m
lim xm x 0
则称序列{xm }按 -范数收敛于x
m
lim xm x0
0
？
18
范数等价
定义 设V 是有限维线性空间， x , x , 如果 存在正常数m, M，使对一切x V , 都有
F nn
aij i 1 j 1
n n
2
1/2
(2.1)
称 A F 为矩阵A的Frobenius范数，简 称F -范数
31
F-范数的性质
A
F
aij i 1 j 1
n n
2
1/2
1 ） A F 是与一种向量的2 范数相容的 方阵范数
nn nn nn
是与矩阵乘积相容的方阵范数，简称自相
当考虑方阵范数的问题时，一般需要考虑此方阵范数 是否是自相容范数。
28
是否存在不自相容范数？
例子：对A C
nn
, 定义
1i , j n
A v max aij
(1.2)
由于矩阵A可以看成线性空间C 上的向量， 因此 A v 实际上是向量A的-范数，故 A v 是范数。
定义3 设 x 是C n的一个向量范数，对于A C nn , 则按如下定义的方阵范数 A sup
5
向量范数性质
（6）设e1 ,e2 , ,en为有n维线性空间V的一组基， 则V中任何一种范数 x 都是x的坐标的连续函数
T x V , 设x的坐标为（x1,x2 , ,xn）
x
（x1,x2 , ,xn）
即需证明（ x1,x2 , ,xn）= x 为x1,x2 , ,xn的连续函数
6
C （F ） 常见向量范数
H
2
a
j 1
n
2
2j
n 2 anj i 1
2 2 F
tr （AA ） aij A
i 1 j 1
n n
n
n
tr （A A） aij A
H 2 i 1 j 1
2 F
35
F-范数的性质
1 ） A F 是与一种向量的2 范数相容的 方阵范数
37
证明：
1）正定性
Amn 0，则必存在非零向量x0 C n，使得Ax0 0
Ax0
0, x0
Ax x
0
Ax0 x0
于是
A sup
x0
0
38
2）齐次性
对k C , kA sup
x0
kAx x
sup
x0
k Ax x
k sup
特别地，当A C nn , 范数与 范数相同时， 上面不等式变为 Ax A nn x
这时称方阵A的范数 A nn 与向量的 -范数是 相容的。
相容性概念：建立矩阵范数与向量范数之间的联系 ！ 26
定义1 设 C
n p m p
mn
,
n p
,
m p
M2 x
20
m1m2 x x M 1M 2 x
例子
1)证明 在C n中, x 与 x 1 等价
2)证明 在C n中, x 与 x （1 p ）等价
p
21
定理1 ：有限维线性空间中任何两种向量范数都 是等价的
证明思路： 1)任意范数为坐标函数的连续函数； 2)在单位超球面上有大于零的极大极小值
mn
,
x, Ax x
x 分别是 C 和C 中的范数 = sup
x 1
n
m
A sup
x0
Ax
则 A 为A的范数，并称之为A的算子范数
41
算子范数的性质
1）对x C n , 恒有 是相容的 Ax
A x
即A的算子范数与向量的 范数及向量的 -范数
2）若存在正数M,使得对x C n , 恒有 Ax 立的最小常数
x0
x 分别是 C n和C m中的范数 Ax x
A sup
= sup
x 1
Ax
（3.1）
则 A 为A的范数，并称之为A的算子范数
当A C
nn
,
x ， x 是 C 中相同的范数 Ax x = sup
x 1 x0
n
A sup
Ax
(3.2)
44
从属范数（向量范数所导出的范数）
n
14
例1
设 y 是C m上的一种向量范数，给定矩阵Amn，m n, 且矩 阵A的n个列向量线性无关，对任意的x= x1 ,x2 , 设定 x
,xn C n ,
T
Ax
则 x 是C n中的向量范数
15
V 中范数
线性空间Vn中，任取它的一组基 (1 , 2, 则对于任意向量 ,它可以表示为
M x
成立，则 A M ，也即 A 是使得上述不等式成
42
3）对A C
mn
, B C
n p
，恒有
AB A B
当A，B C ，则由 AB A B 说明方阵 的算子范数是自相容范数
nn
当A C
2
nn
A A ,
2
, A A
n
n
43
3 算子范数
设A C mn , 令 x,
2
一、向量范数
3
范数定义
定义1：如果V是数域F上的线性空间，且对于 V的任一向量 x， 对应一个数域F上的数||x|| ， 满足以下三个条件:
1) 正定性 对x V , 且x 0,有 x 0
2）齐次性 对k F , x V , 有 kx k x
3）三角不等式 x y x y
2
a12 a22 an 2
a21 a22 a2 n
a1n a2 n ann
an1 an 2 ann
33
a11 a21 H AA an1
n j 1
a12 a22 an 2
a1 j
a ?
n j 1 2j
? a
2） 对A,B C AB
nn
, 恒有
F
F
A
B
F
3） 对任意酉矩阵U,V C nn , 有 A
F
UA
F
AV
F
UAV
F
36
3 算子范数
设A C 令
mn
,
x, Ax x
x 分别是 C 和C 中的范数 = sup
x 1
n
m
A sup
x0
Ax
则 A 为A的范数，并称之为A的算子范数
T
n
p
1 p
Holder范数
9
p x p xi i 1 当 p=1 时，
n
1 p
对于x ( x1 , x2 , x 1 xi
i 1 n
, xn ) C , 定义：
T n
1—范数
当p=2时，就是2-范数。
2 x 2 xi i 1
x11 x2 2
xn n
, n )
Vn与 x ( x1 , x2, , x n )T C n 同构
定义 则
p
x
p
p 是V n中元素 的p－范数
16
例子
设V 是n维线性空间，e1,e2 , ,e n 为V的一组基， 则对x V , x有唯一表达式， x x1e1 x2 e2 定义 2 x E = | xi | i 1 证明 x E 是V中元素的一种范数
2） 对A,B C AB
nn
, 恒有
F
FHale Waihona Puke ABF3） 对任意酉矩阵U,V C nn , 有 A
F
UA
F
AV
F
UAV
F
32
证明：
A F tr ( AH A) tr ( AAH )
a11 a21 A an1
a11 a12 H A a 1n
i 1 n
, xn ) C , 定义：
T n
∞—范数
对于x ( x1 , x2 , x
1i n
, xn ) C ,定义：
T n
max xi
8
p—范数
对于x ( x1 , x2 , 定义： x p xi i 1
n 1 p
, xn ) C
序列按一种范数收敛，则按任何范数收敛
定理2：在有限维线性空间中，序列按范数收 敛于x等价于按坐标收敛于x
22
二、矩阵范数
23
向量范数的定义
: V R
范数公理：
（1）正定性
（2）齐次性 （3）三角不等式
下面考虑V C
mn
24
1.范数相容的定义
定义1 设 C
n p m p
mn
a1n a11 a2 n a12 ann a 1n
a21 a22 a2 n
1j
a2 j
a a ?
j 1 ij
n
ij
a a ?
n i 1 nj nj
an1 an 2 ann
34
n a1 j j 1
n
1 2
10
x
p
p xi i 1
n
1 p
1 p
p 1 p
??? ???
11
∞-范数与p-范数的关系
x
lim x
p
x
12
S p {x | x
p
1}的图像
p=2
p=1
p =∞
13
C 中可以定义无穷种范数，能否由一种范数 构建另外一种范数？
分别是线性空间C
mn
mn
,
, C 中的给定范数，如果对于A C
n p
,
B C ，恒有不等式
AB
m p
A mn B
n p
则称这三种范数是相容的
当 m=n=p 时
27
自相容范数
定义2 设
nn
是线性空间C 中的给定范数，如果 A nn B
nn
对于A, B C nn , 恒有不等式 AB 则称 容范数
x0
Ax x
k A
39
3）三角不等式
对A，B C
mn
A B sup
x0
( A B) x x
Ax
sup
x 0
Ax Bx x
sup
x0
Bx
x Ax x
sup
x0
sup
x0
Bx x
A B
40
算子范数的性质
设A C 令
,
n p
,
m p
分别是矩阵空间C
mn
mn
,
, C 中的给定范数，如果对于A C
n p
,
B C ，恒有不等式
AB
m p
A mn B
n p
(1.1)
则称这三种范数是相容的
25
AB
Ax
m p
A mn B
n p
(1.1)
当p 1 时,上面不等式变为
A mn x
范 数 公 理
则称||x|| 为V上向量x的范数，V为赋范线性空间
4
向量的范数具有下列简单性质：
(1) x 0 x 0
1 (2)当 x 0时， x 1 x
(3)对x V , x x
(4)对x, y V , 有 x y x y
(5)对x, y V , 有 x y x y
m x
x M x
则称 x 与 x 是等价的
19
范数的等价是否是一种等价关系？
1）自反性 1 x x 1 x
2）对称性 m x
x M x
1 x x M
1 x m
3）传递性 m1 x
x M1 x
，m2 x x
n2
相容矩阵范数的性质
设 为F
nn
上的自相容的矩阵范数，则F 上必
n
存在与之相容的向量范数
30
2. Frobenius范数
设A (aij ) nn C ，令 A
Matrix Analysis and Computations
矩 阵 分 析 与 计 算 ——矩阵范数
Matrix Norms 理学院 2011年10月
1
本讲主要内容 矩阵范数
向量范数 • 向量范数的定义与性质 • 几类向量范数 • 范数收敛概念 • 范数的等价 矩阵范数 • 范数相容的概念 • 几类矩阵范数的定义与性质 • 矩阵的F-范数、算子范数 • 行范数、 列范数、谱范数
n
n
2-范数
对于x ( x1 , x2 ,
n
, xn ) C
T 1 2
n
定义：
2 x 2 xi i 1
n
Euclid 范数
2 x 2 xi ( x, x) i 1
7
1 2
1-范数
对于x ( x1 , x2 , x 1 xi
n
17
xn en
1/2
序列收敛
定义3： 设 x1 , x2 , xn , 是线性空间V中的元素序列，如果存在x V , 使得
m
lim xm x 0
则称序列{xm }按 -范数收敛于x
m
lim xm x0
0
？
18
范数等价
定义 设V 是有限维线性空间， x , x , 如果 存在正常数m, M，使对一切x V , 都有
F nn
aij i 1 j 1
n n
2
1/2
(2.1)
称 A F 为矩阵A的Frobenius范数，简 称F -范数
31
F-范数的性质
A
F
aij i 1 j 1
n n
2
1/2
1 ） A F 是与一种向量的2 范数相容的 方阵范数
nn nn nn
是与矩阵乘积相容的方阵范数，简称自相
当考虑方阵范数的问题时，一般需要考虑此方阵范数 是否是自相容范数。
28
是否存在不自相容范数？
例子：对A C
nn
, 定义
1i , j n
A v max aij
(1.2)
由于矩阵A可以看成线性空间C 上的向量， 因此 A v 实际上是向量A的-范数，故 A v 是范数。
定义3 设 x 是C n的一个向量范数，对于A C nn , 则按如下定义的方阵范数 A sup
5
向量范数性质
（6）设e1 ,e2 , ,en为有n维线性空间V的一组基， 则V中任何一种范数 x 都是x的坐标的连续函数
T x V , 设x的坐标为（x1,x2 , ,xn）
x
（x1,x2 , ,xn）
即需证明（ x1,x2 , ,xn）= x 为x1,x2 , ,xn的连续函数
6
C （F ） 常见向量范数
H
2
a
j 1
n
2
2j
n 2 anj i 1
2 2 F
tr （AA ） aij A
i 1 j 1
n n
n
n
tr （A A） aij A
H 2 i 1 j 1
2 F
35
F-范数的性质
1 ） A F 是与一种向量的2 范数相容的 方阵范数
37
证明：
1）正定性
Amn 0，则必存在非零向量x0 C n，使得Ax0 0
Ax0
0, x0
Ax x
0
Ax0 x0
于是
A sup
x0
0
38
2）齐次性
对k C , kA sup
x0
kAx x
sup
x0
k Ax x
k sup
特别地，当A C nn , 范数与 范数相同时， 上面不等式变为 Ax A nn x
这时称方阵A的范数 A nn 与向量的 -范数是 相容的。
相容性概念：建立矩阵范数与向量范数之间的联系 ！ 26
定义1 设 C
n p m p
mn
,
n p
,
m p
M2 x
20
m1m2 x x M 1M 2 x
例子
1)证明 在C n中, x 与 x 1 等价
2)证明 在C n中, x 与 x （1 p ）等价
p
21
定理1 ：有限维线性空间中任何两种向量范数都 是等价的
证明思路： 1)任意范数为坐标函数的连续函数； 2)在单位超球面上有大于零的极大极小值
mn
,
x, Ax x
x 分别是 C 和C 中的范数 = sup
x 1
n
m
A sup
x0
Ax
则 A 为A的范数，并称之为A的算子范数
41
算子范数的性质
1）对x C n , 恒有 是相容的 Ax
A x
即A的算子范数与向量的 范数及向量的 -范数
2）若存在正数M,使得对x C n , 恒有 Ax 立的最小常数
x0
x 分别是 C n和C m中的范数 Ax x
A sup
= sup
x 1
Ax
（3.1）
则 A 为A的范数，并称之为A的算子范数
当A C
nn
,
x ， x 是 C 中相同的范数 Ax x = sup
x 1 x0
n
A sup
Ax
(3.2)
44
从属范数（向量范数所导出的范数）
n
14
例1
设 y 是C m上的一种向量范数，给定矩阵Amn，m n, 且矩 阵A的n个列向量线性无关，对任意的x= x1 ,x2 , 设定 x
,xn C n ,
T
Ax
则 x 是C n中的向量范数
15
V 中范数
线性空间Vn中，任取它的一组基 (1 , 2, 则对于任意向量 ,它可以表示为
M x
成立，则 A M ，也即 A 是使得上述不等式成
42
3）对A C
mn
, B C
n p
，恒有
AB A B
当A，B C ，则由 AB A B 说明方阵 的算子范数是自相容范数
nn
当A C
2
nn
A A ,
2
, A A
n
n
43
3 算子范数
设A C mn , 令 x,
2
一、向量范数
3
范数定义
定义1：如果V是数域F上的线性空间，且对于 V的任一向量 x， 对应一个数域F上的数||x|| ， 满足以下三个条件:
1) 正定性 对x V , 且x 0,有 x 0
2）齐次性 对k F , x V , 有 kx k x
3）三角不等式 x y x y
2
a12 a22 an 2
a21 a22 a2 n
a1n a2 n ann
an1 an 2 ann
33
a11 a21 H AA an1
n j 1
a12 a22 an 2
a1 j
a ?
n j 1 2j
? a
2） 对A,B C AB
nn
, 恒有
F
F
A
B
F
3） 对任意酉矩阵U,V C nn , 有 A
F
UA
F
AV
F
UAV
F
36
3 算子范数
设A C 令
mn
,
x, Ax x
x 分别是 C 和C 中的范数 = sup
x 1
n
m
A sup
x0
Ax
则 A 为A的范数，并称之为A的算子范数
T
n
p
1 p
Holder范数
9
p x p xi i 1 当 p=1 时，
n
1 p
对于x ( x1 , x2 , x 1 xi
i 1 n
, xn ) C , 定义：
T n
1—范数
当p=2时，就是2-范数。
2 x 2 xi i 1
x11 x2 2
xn n
, n )
Vn与 x ( x1 , x2, , x n )T C n 同构
定义 则
p
x
p
p 是V n中元素 的p－范数
16
例子
设V 是n维线性空间，e1,e2 , ,e n 为V的一组基， 则对x V , x有唯一表达式， x x1e1 x2 e2 定义 2 x E = | xi | i 1 证明 x E 是V中元素的一种范数
2） 对A,B C AB
nn
, 恒有
F
FHale Waihona Puke ABF3） 对任意酉矩阵U,V C nn , 有 A
F
UA
F
AV
F
UAV
F
32
证明：
A F tr ( AH A) tr ( AAH )
a11 a21 A an1
a11 a12 H A a 1n
i 1 n
, xn ) C , 定义：
T n
∞—范数
对于x ( x1 , x2 , x
1i n
, xn ) C ,定义：
T n
max xi
8
p—范数
对于x ( x1 , x2 , 定义： x p xi i 1
n 1 p
, xn ) C
序列按一种范数收敛，则按任何范数收敛
定理2：在有限维线性空间中，序列按范数收 敛于x等价于按坐标收敛于x
22
二、矩阵范数
23
向量范数的定义
: V R
范数公理：
（1）正定性
（2）齐次性 （3）三角不等式
下面考虑V C
mn
24
1.范数相容的定义
定义1 设 C
n p m p
mn
a1n a11 a2 n a12 ann a 1n
a21 a22 a2 n
1j
a2 j
a a ?
j 1 ij
n
ij
a a ?
n i 1 nj nj
an1 an 2 ann
34
n a1 j j 1
n
1 2
10
x
p
p xi i 1
n
1 p
1 p
p 1 p
??? ???
11
∞-范数与p-范数的关系
x
lim x
p
x
12
S p {x | x
p
1}的图像
p=2
p=1
p =∞
13
C 中可以定义无穷种范数，能否由一种范数 构建另外一种范数？
分别是线性空间C
mn
mn
,
, C 中的给定范数，如果对于A C
n p
,
B C ，恒有不等式
AB
m p
A mn B
n p
则称这三种范数是相容的
当 m=n=p 时
27
自相容范数
定义2 设
nn
是线性空间C 中的给定范数，如果 A nn B
nn
对于A, B C nn , 恒有不等式 AB 则称 容范数
x0
Ax x
k A
39
3）三角不等式
对A，B C
mn
A B sup
x0
( A B) x x
Ax
sup
x 0
Ax Bx x
sup
x0
Bx
x Ax x
sup
x0
sup
x0
Bx x
A B
40
算子范数的性质
设A C 令
,
n p
,
m p
分别是矩阵空间C
mn
mn
,
, C 中的给定范数，如果对于A C
n p
,
B C ，恒有不等式
AB
m p
A mn B
n p
(1.1)
则称这三种范数是相容的
25
AB
Ax
m p
A mn B
n p
(1.1)
当p 1 时,上面不等式变为
A mn x
范 数 公 理
则称||x|| 为V上向量x的范数，V为赋范线性空间
4
向量的范数具有下列简单性质：
(1) x 0 x 0
1 (2)当 x 0时， x 1 x
(3)对x V , x x
(4)对x, y V , 有 x y x y
(5)对x, y V , 有 x y x y
m x
x M x
则称 x 与 x 是等价的
19
范数的等价是否是一种等价关系？
1）自反性 1 x x 1 x
2）对称性 m x
x M x
1 x x M
1 x m
3）传递性 m1 x
x M1 x
，m2 x x