第五章--向量范数和矩阵范数

圆范数。
当 x 时，|| x ||A 0 ；当 x θ 时由 A 对称
正定知 xH Ax 0 ，即 || x ||A 0 。
对于任意 k C ，有 || k x ||A (kx)T A(kx) | k | xT Ax | k | || x ||A
由于 A 为Hermite正定矩阵，故存在酉矩阵 U ，使得
|| x ||2
| x1 |2 | x2 |2
| xn |2
定义的|| ||2 是 F n上的向量范数，称为2-范数或 l2
范数，也称为 Euclid 范数。
例 7 对任意 x ( x1, x2, , xn) T F n，由
|| x ||p
1/ p n
| xi |p , p 1
i1
定义的|| ||p 是 F n 上的向量范数，称为p -范数或 lp
UT AU Λ diag( λ1, λ2, , λn)
这里 A 的特征值 λi (i 1, 2, , n) 都为正数。
从而有
A UΛUT U Λ Λ UT BT B
此时
|| x ||A xT Ax xT BT Bx (Bx)T Bx || Bx ||2
因此对任意 y C n ， || x y ||A || B( x y) ||2
数 || A || 表示对于任意向量 x F n ， A 可以 “拉伸”向量 x 的最大倍数，即使得不等式
|| A x || C || x || 成立的最小的数 C 。称 || A || 为范数 || || 和 || ||
j1
n
| xj
j1
yj |; yj |;
yj |;
1
yj |m m;
以及与椭圆范数类似的Mahalanobis距离：
d 2( x, y) ( x y)T Σ 1( x y)T ,
这里 x, y 是从正态母体 N ( μ, Σ)中抽取的两个样本。
四、 向量范数的性质
定理15 Euclid范数是酉不变的，即对任意酉矩阵
量范数推广到矩阵范数。
一、 矩阵范数的概念
定义1 对 F m n 中的任意矩阵 A ，都有一个非负实
数 || A || 与之对应，并且具有下列三个条件（正定性、
正齐性和三角不等式,矩阵乘法相容性）：
(1) (正定性) || A || 0; A O || A || 0
(2) (正齐性) || A || | | || A || ; ( F )
例 3 对任意 A (ai j ) F mn ，由
|| A ||m
1
max
i m,1 j
n | ai j |
定义的 || ||m 是 F mn 上的（广义）矩阵范数，称为 l 范数。
例 4 对任意 A (ai j ) F mn ，由
|| A ||F
1/ 2 mn
| ai j | 2
i1 j1
C1 || x || β || x || α C2 || x || β
注意这个结论对无限维未必成立。另外，根据等价 性，处理向量问题（例如向量序列的敛散性）时， 我们可以基于一种范数来建立理论，而使用另一种 范数来进行计算。
§2、矩阵范数
向量是特殊的矩阵，m n 矩阵可以看 成一个 m n 维向量，因此自然想到将向
i
x |
|| xi |
max i
lim
p
| xi || x
| ||
p
是向量范数显然很 。
令
|
xj
|
max | i
xi
|
，则有
p
|| x || | x j | ( | xi |p )1/ p || x ||p
i 1
(n | x j |p )1/ p n1/ p || x ||
由极限的两边夹法则，并注意到 lim n1/ p 1，即得
tr( AH A) 1/2
定义的 || ||F 是 F mn 上的矩阵范数，称为 l2 范
数，Euclid 范数或Frobenius范数(F—范数)。
二、 算子范数和范数的相容性
矩阵不仅仅是向量，它还可以看成变换或算子。 实际 中，从算子或变换的角度来定义范数更加有用。
定义5 对 F m n 中的任意矩阵 A ，用一个非负实
（3） ||x y|| ||x|| ||y||。( x、y n )
二、 向量范数的概念
定义3 如果 V 是数域 F 上的线性空间，对 V 中的任
意向量 x V ，都有一个非负实数 || x || 与之对应，并
且具有下列三个条件（正定性、正齐性和三角不等式）：
(1) (正定性) || x || 0; x || x || 0 (2) (正齐性) || x || | | || x || ; ( F )
一、 从向量的长度或模谈起
例 1 复数 x (a, b) a i b j 的长度或模指的是量
|| x || a2 b2 显然复向量 x 的模 || x || 具有下列三条性质：
(1) || x || 0 ，当且仅当 x 时，等号成立。 (2) || x || | | || x || ; ( R)
|| f (t) ||1
| f (t) |pdt
a
b
|| f (t) ||2
| f (t) |2dt
a
|| f (t) || max | f (t) | atb
例 13 若矩阵 A C nn 为Hermite正定矩阵，则由
|| x ||A xH Ax , x C n
定义的|| ||A是 C n上的向量范数，称为加权范数或椭
n
如果 W diag(w1, , wn )，此时|| x ||A ( | wi xi |2 )1/，2
这就是加权范数或椭圆范数名称的由来。 i 1
在现代控制理论中，称二次型函数
V ( x) || x ||2P xH P x
为李雅普诺夫（Lyapunov）函数，这里 P 是正定对
称矩阵。大家已经知道，此函数是讨论线性和非线 性系统稳定性的重要工具。
欲证结论。
p
例 10 计算向量
α (3i, 0, 4i, 12)T 的p范数，这里 p 1, 2, .
解：
4
|| α ||1
| xk | | 3i | | 4i | | 12 | 19.
k1
|| α ||
max k
|
xk
|
max(3, 0, 4, 12)
12.
4
1
|| α ||2 ( | xk | )2
2
2
在广义实数范围内，P能否取到正无穷大呢？具体而
言，如何计算这种范数呢？
例 9 对任意 x ( x1, x2, , xn) T F n ，由
|| x ||
也就是
lim
p
|| x ||p
|| x ||
max i
|
xi
|
定义的|| || 是 F n上的向量范数，称为 -范数或 l
范数或极大范数。
证明： 验证 || 容易。下证 max
（3）(三角不等式) ||A B|| ||A|| ||B||，A、B F m
(4) (矩阵乘法相容性) AB A B
则称 || A ||是矩阵 A 的矩阵范数。
例 2 对任意 A (ai j ) F mn ，由
|| A ||m 1
mn
| ai j |
i1 j1
定义的 || ||m 1 是 F mn 上的矩阵范数，称为 l1 范数。
k1
| 3i |2 | 4i |2 | 12 |2 13.
%ex501.m i=sqrt(-1);a=[3*i,0,-4*i,-12]'; norm(a),norm(a,1),norm(a,'inf')
ans = 13
ans = 19
ans = 12
这些范数在几何上如何理解呢？
例11 对任意 x ( x1, x2 ) T C 2，对应于 1, 2, , p 四
距离为
d( x, y) || x y ||, x, y V
则称此距离 d( , ) 为由范数 || || 导出的距离。此时 按此式定义了距离的 V 满足度量空间的距离三公理
（对称性、三角不等式和非负性），所以赋范线性空 间按由范数导出的距离构成一个特殊的度量空间。
三、 常用的向量范数
例 6 对任意 x ( x1, x2, , xn) T F n，由
D( x, y) || x y ||2 ( x y)T ( x y)
其他距离测度还包括
Manhat tan 距离 D( x, y) Chebyshev距离 D( x, y) Minkowski距离 D( x, y)
Chebyshev距离 D( x, y)
n
| xj
j1
max j n
|x
P
j
| xj
各类空间的层次关系
Hilbert空间
欧氏空间 Rn和 C n
例 4 设V 是内积空间，则由
|| x ||
x, x , x V
定义的 || || 是 V 上的向量范数，称为由内积 , 导
出的范数。这说明范数未必都可由内积导出。例如后
面介绍的 || || 和 || ||1 。
例 5 在赋范线性空间 V 中，定义任意两向量之间的
种范数的闭单位圆 || x || 1 的图形分别为
例 12 对任意 f (t) C[a, b] ，由
|| f (t) ||p
b
1/ p
| f (t) |pdt , p 1
a
定义的 || ||p 是 C[a, b]上的向量范数，称为 Lp 范数。
特别地，L1 范数、L2 范数和 L 范数分别为 b
|| Bx ||2 || By ||2
|| x ||A
|| y ||A
一般地，由于 A 是Hermite正定矩阵，从而存在
Cholesky分解，即存在可逆矩阵 W （未必是酉矩 阵），使得 A W HW ，因此
|| x ||A (Wx)H (Wx) ||W x ||2
这从几何上可以理解成求可逆变换 W的像的“长 度”||Wx ||2 。这说明只要运算W x 成立即可，因此对 矩阵 W 的要求可放宽为列满秩矩阵。
例 14 （模式识别中的模式分类问题） 模式分类的问题指的是根据已知类型属性的观测样本
的模式向量 s1, , sM ，判断未知类型属性的模式 向量 x 归属于哪一类模式。其基本思想是根据 x 与 模式样本向量 si 的相似度大小作出判断。
最简单的方法是用两向量之间的距离来表示相似度， 距离越小，相似度越大。最典型的是Euclidean距离
第五章 向量范数和矩阵范数
§1、向量范数
对于实数和复数，由于定义了它们的绝对 值或模，这样我们就可以用这个度量来表示它 们的大小（几何上就是长度），进而可以考察 两个实数或复数的距离。
对于n 维线性空间，定义了内积以后， 向量就有了长度（大小）、角度、距离等度量 概念，这显然是3维现实空间中相应概念的推 广。利用公理化的方法，可以进一步把向量长 度的概念推广到范数。
（3） ||x y|| ||x|| ||y||。 ( x、y )
例 2 n 维欧氏空间中向量 x 的长度或模定义为
|| x || ( x, x) x12 x22 xn2
显然向量 x 的模 || x || 也具有下列三条性质：
(1) || x || 0 ，当且仅当 x 时，等号成立。 (2) || x || | | || x || ; ( R)
|| x ||p
1/ p 2
| xi |p
i1Leabharlann 定义的|| ||p 不是 F n 上的向量范数。
因为
n 2, p
1 2
时，取 (1, 0)T ,
(0,1)，T 则
|| ||1 || ||1 1, || ||1 4
2
2
2
|| ||1 || ||1 || ||1
2
U C n n 以及任意 x C n ，均有
|| U x ||2 || x ||2
这个定理的结论是显然的，因为酉变换保持向量的 内积不变，自然也保持了Euclid意义下的几何结构 （长度、角度或范数等）不变。
定理16 有限维线性空间 V 上的不同范数是等价的， 即对 V 上定义的任意两种范数 || || α , || || β ，必存在 两个任意正常数 C1 , C2 ，使得
范数。
特别地，p = 1 时，有
例 8 对任意 x ( x1, x2, , xn) T F n，由
|| x ||1 | x1 | | x2 |
| xn |
定义的|| ||1 是 F n 上的向量范数，称为1-范数或 l1
范数或和范数，也被风趣地称为Manhattan范数。
遗憾的是，当 0 p 1 时，由
（3）(三角不等式) ||x y|| ||x|| ||y||，x、y V
则称 || x || 是向量 x 的向量范数，称定义了范数的线
性空间 V 为赋范线性空间。
拓扑空间
线性空间
Hausdorff空间
距离空间 (度量空间)
拓扑线性空间 距离线性空间
赋范空间
完备距离 线性空间
Banach空间
内积空间