向量范数和矩阵范数

1 2
时，取 (1, 0)T ,
(0,1)，T 则
|| ||1 || ||1 1, || ||1 4
2
2
2
|| ||1 || ||1 || ||1
2
2
2
在广义实数范围内，P能否取到正无穷大呢？具体而
言，如何计算这种范数呢？
max i
lim
p
| xi || x
| ||
p
是向量范数显然很 。
令
|
xj
|

max | i
xi
|
，则有
p
|| x || | x j | ( | xi |p )1/ p || x ||p
i 1
(n | x j |p )1/ p n1/ p || x ||
由极限的两边夹法则，并注意到 lim n1/ p 1，即得
D(x, y) ?
max j n
|x
P
j
yj |;
å Ä Minkowski距离 D( x, y) ? | xj yj | ;
j= 1
å Ä Chebyshev距离 D( x, y) ? 骣琪琪琪ç桫j=n1 | xj
1
yj
|m
m; ÷
以及与椭圆范数类似的Mahalanobis距离：
d 2( x, y) ? ( x y)T Σ- 1( x - y)T ,
§2、矩阵范数
向量是特殊的矩阵，m n 矩阵可以看 成一个 m n 维向量，因此自然想到将向
量范数推广到矩阵范数。
一、 矩阵范数的概念
定义1 对 F m´ n 中的任意矩阵 A ，都有一个非负实
数 || A || 与之对应，并且具有下列三个条件（正定性、
正齐性和三角不等式,矩阵乘法相容性）：
内积空间
各类空间的层次关系
Hilbert空间
欧氏空间 Rn和 C n
例 4 设V 是内积空间，则由
|| x || ? x, x > , "x ? V
定义的 ||g|| 是 V 上的向量范数，称为由内积 < g, g> 导
出的范数。这说明范数未必都可由内积导出。例如后
面介绍的 ||g|| 和 ||g||1 。
则称 || A ||是矩阵 A 的矩阵范数。
例 2 对任意 A (ai j ) F mn ，由
mn
邋 || A ||m 1 º
| ai j |
三、 常用的向量范数
例 6 对任意 x ( x1, x2,L , xn) T F n，由
|| x ||2 º | x1 |2 + | x2 |2 + L + | xn |2 定义的||g||2 是 F n上的向量范数，称为2-范数或 l2
范数，也称为 Euclid 范数。
例 7 对任意 x ( x1, x2,L , xn) T F n，由
（3） ||x y|| ||x|| ||y||。 ("x、y ? C)
例 2 n 维欧氏空间中向量 x 的长度或模定义为
|| x || ( x, x) x12 x22 L xn2
显然向量 x 的模 || x || 也具有下列三条性质：
(1) || x || 0 ，当且仅当 x 时，等号成立。 (2) || x || | | || x || ; ( R)
12.
4
1
å || α ||2= ( | xk | )2 = | 3i |2 + | - 4i |2 + | - 12 |2 = 13.
k= 1
%ex501.m i=sqrt(-1);a=[3*i,0,-4*i,-12]'; norm(a),norm(a,1),norm(a,'inf')
ans = 13
（3）(三角不等式) ||x y|| ||x|| ||y||，x、y V
则称 || x || 是向量 x 的向量范数，称定义了范数的线
性空间 V 为赋范线性空间。
拓扑空间
线性空间
Hausdorff空间
距离空间 (度量空间)
拓扑线性空间 距离线性空间
赋范空间
完备距离 线性空间
Banach空间
正定知 xH Ax > 0 ，即 || x ||A > 0 。
对于任意 k C ，有 || k x ||A = (kx)T A(kx) = | k | xT Ax = | k |?|| x ||A
由于 A 为Hermite正定矩阵，故存在酉矩阵 U ，使得
UT AU = Λ = diag( λ1, λ2,L , λn)
这里 A 的特征值 λi (i = 1, 2,L , n) 都为正数。
从而有
A = UΛUT = U Λ ? Λ UT º BT B
此时
|| x ||A xT Ax xT BT Bx (Bx)T Bx || Bx ||2
Fra Baidu bibliotek
因此对任意 y C n ， || x + y ||A = || B( x + y) ||2
= max | f (t) | a＃t b
例 13 若矩阵 A C nn 为Hermite正定矩阵，则由
|| x ||A º xH Ax , "x ? C n
定义的|| · ||A是 C n上的向量范数，称为加权范数或椭
圆范数。
当 x 时，|| x ||A = 0 ；当 x ¹ θ 时由 A 对称
最简单的方法是用两向量之间的距离来表示相似度， 距离越小，相似度越大。最典型的是Euclidean距离
D( x, y) ? || x y ||2 = ( x - y)T ( x - y)
其他距离测度还包括
n
å Ä Manhat tan 距离 D( x, y) ? | xj yj | ;
j= 1
Ä
Chebyshev距离
这里 x, y 是从正态母体 N ( μ, Σ)中抽取的两个样本。
四、 向量范数的性质
定理15 Euclid范数是酉不变的，即对任意酉矩阵
U Î C n´ n 以及任意 x Î C n ，均有
|| U x ||2 = || x ||2
这个定理的结论是显然的，因为酉变换保持向量的 内积不变，自然也保持了Euclid意义下的几何结构 （长度、角度或范数等）不变。
定义的||g||1 是 F n 上的向量范数，称为1-范数或 l1
范数或和范数，也被风趣地称为Manhattan范数。
遗憾的是，当 0 p 1 时，由
å || x ||p º 骣 琪 琪 琪 琪 桫i=21 | xi |p 1/ p
定义的||g||p 不是 F n 上的向量范数。
因为
n 2, p
例 9 对任意 x ( x1, x2,L , xn) T F n ，由
|| x ||¥ º
lim
p? ?
|| x ||p
也就是
|| x ||¥
º
max i
|
xi
|
定义的||g|| 是 F n上的向量范数，称为 -范数或 l
范数或极大范数。
证明： 验证 || 容易。下证 max
i
x |
|| xi |
? || Bx ||2 + || By ||2
|| x ||A + || y ||A
一般地，由于 A 是Hermite正定矩阵，从而存在
Cholesky分解，即存在可逆矩阵 W （未必是酉矩
阵），使得 A = W HW ，因此
|| x ||A = (Wx)H (Wx) = ||W x ||2
这从几何上可以理解成求可逆变换 W的像的“长 度”||Wx ||2 。这说明只要运算W x 成立即可，因此对 矩阵 W 的要求可放宽为列满秩矩阵。
定理16 有限维线性空间 V 上的不同范数是等价的， 即对 V 上定义的任意两种范数 ||g|| α , ||g|| β ，必存在 两个任意正常数 C1 , C2 ，使得
C1 || x || β ＃ || x || α C2 || x || β
注意这个结论对无限维未必成立。另外，根据等价 性，处理向量问题（例如向量序列的敛散性）时， 我们可以基于一种范数来建立理论，而使用另一种 范数来进行计算。
n
å 如果 W = diag(w1,L , wn )，此时|| x ||A = ( | wi xi |2 )1/，2
这就是加权范数或椭圆范数名称的由来。 i= 1
在现代控制理论中，称二次型函数
V ( x) ? || x ||2P xH P x
为李雅普诺夫（Lyapunov）函数，这里 P 是正定对
第五章 向量范数和矩阵范数
§1、向量范数
对于实数和复数，由于定义了它们的绝对 值或模，这样我们就可以用这个度量来表示它 们的大小（几何上就是长度），进而可以考察 两个实数或复数的距离。
对于n 维线性空间，定义了内积以后， 向量就有了长度（大小）、角度、距离等度量 概念，这显然是3维现实空间中相应概念的推 广。利用公理化的方法，可以进一步把向量长 度的概念推广到范数。
（3） ||x y|| ||x|| ||y||。("x、y ? Rn )
二、 向量范数的概念
定义3 如果 V 是数域 F 上的线性空间，对 V 中的任
意向量 x Î V ，都有一个非负实数 || x || 与之对应，并
且具有下列三个条件（正定性、正齐性和三角不等式）：
(1) (正定性) || x || 0; x || x || 0 (2) (正齐性) || x || | | || x || ; ( F )
b a
|
f
(t) |pdt
1/ p
,
p³
1
定义的 || · ||p 是 C[a, b]上的向量范数，称为 Lp 范数。
特别地，L1 范数、L2 范数和 L 范数分别为 b
ò || f (t) ||1 º | f (t) |pdt a
b
ò || f (t) ||2 º
| f (t) |2dt
a
|| f (t) ||¥
å || x ||p º
骣 琪 琪 琪 琪 桫i=n1 | xi |p
1/ p
,
p³
1
定义的||g||p 是 F n 上的向量范数，称为p -范数或 lp
范数。
特别地，p = 1 时，有
例 8 对任意 x ( x1, x2,L , xn) T F n，由
|| x ||1 º | x1 | + | x2 | + L + | xn |
一、 从向量的长度或模谈起
例 1 复数 x = (a, b) = a i + b j 的长度或模指的是量
|| x || a2 b2 显然复向量 x 的模 || x || 具有下列三条性质：
(1) || x || 0 ，当且仅当 x 时，等号成立。 (2) || x || | | || x || ; ( R)
例 5 在赋范线性空间 V 中，定义任意两向量之间的
距离为
d( x, y) ? || x y ||, "x, y ? V
则称此距离 d( g, g) 为由范数 ||g|| 导出的距离。此时 按此式定义了距离的 V 满足度量空间的距离三公理
（对称性、三角不等式和非负性），所以赋范线性空 间按由范数导出的距离构成一个特殊的度量空间。
(1) (正定性) || A || 0; A O || A || 0
(2) (正齐性) || A || | | || A || ; ( F )
（3）(三角不等式) ||A B|| ||A|| ||B||，A、B F m
(4) (矩阵乘法相容性) AB A B
欲证结论。
p
例 10 计算向量
α = (3i, 0,- 4i,- 12)T 的p范数，这里 p = 1, 2,? .
解：
4
å || α ||1= | xk | = | 3i | + | - 4i | + | - 12 | = 19.
k= 1
|| α ||¥
=
max | k
xk
|=
max(3,0,4,12) =
ans = 19
ans = 12
这些范数在几何上如何理解呢？
例11 对任意 x ( x1, x2 ) T C 2，对应于 1, 2, , p 四
种范数的闭单位圆 || x || £ 1 的图形分别为
例 12 对任意 f (t) C[a, b] ，由
ò || f (t) ||p º
骣 琪 琪 桫
称矩阵。大家已经知道，此函数是讨论线性和非线 性系统稳定性的重要工具。
例 14 （模式识别中的模式分类问题） 模式分类的问题指的是根据已知类型属性的观测样本
的模式向量 s1,L , sM ，判断未知类型属性的模式 向量 x 归属于哪一类模式。其基本思想是根据 x 与 模式样本向量 si 的相似度大小作出判断。