第五章 向量范数和矩阵范数

特别地，L1 范数、L2 范数和 L 范数分别为
|| f ( t ) ||1 º
|| f ( t ) ||2 º
ò ò
a
b
| f ( t ) | p dt
b a
| f ( t ) |2dt
|| f ( t ) ||¥ = max | f ( t ) |
a＃t b
例 13 若矩阵
AC
n n
为Hermite正定矩阵，则由
D( x , y) ? || x
y ||2 =
( x - y)T ( x - y)
其他距离测度还包括
Ä
Manhat tan 距离 D( x , y) ?
å
n
| xj
yj | ; y j |; yj | ; y j |m ÷
1 m
Ä Chebyshev距离 D( x , y ) ? max | x j j P n Ä Minkowski距离 D( x , y ) ? å | x j 骣 Ä Chebyshev距离 D( x , y ) ? 琪 | xj 琪 å 琪 ç 桫
种范数的闭单位圆 || x || £ 1 的图形分别为
例 12 对任意
f ( t ) C [a, b]
b
，由
1/ p
骣 p || f ( t ) || p º 琪 | f ( t ) | dt , p³ 1 琪 ò 桫a 定义的 || · || p 是 C[a, b]上的向量范数，称为 Lp 范数。
|| U x ||2 = || x ||2
这个定理的结论是显然的，因为酉变换保持向量的 内积不变，自然也保持了Euclid意义下的几何结构
（长度、角度或范数等）不变。
定理16 有限维线性空间 V 上的不同范数是等价的， 即对 V 上定义的任意两种范数 || g|| α , || g|| β ，必存在 两个任意正常数 C1 , C 2 ，使得
j= 1 j= 1 n
j= 1
;
以及与椭圆范数类似的Mahalanobis距离：
d ( x , y) ? ( x
2
这里
y) Σ ( x - y) ,
T - 1 T
x, y
是从正态母体
N ( μ, Σ) 中抽取的两个样本。
四、 向量范数的性质
定理15 Euclid范数是酉不变的，即对任意酉矩阵
U Î C n´ n 以及任意 x Î C n ，均有
å
n
， | wi xi |2 )1/2
i= 1
在现代控制理论中，称二次型函数
V ( x ) ? || x ||2 P
xH P x
为李雅普诺夫（Lyapunov）函数，这里 P 是正定对 称矩阵。大家已经知道，此函数是讨论线性和非线 性系统稳定性的重要工具。
例 14 （模式识别中的模式分类问题）
模式分类的问题指的是根据已知类型属性的观测样本 的模式向量 s1 , L , sM ，判断未知类型属性的模式 向量 x 归属于哪一类模式。其基本思想是根据 x 与 模式样本向量 si 的相似度大小作出判断。 最简单的方法是用两向量之间的距离来表示相似度， 距离越小，相似度越大。最典型的是Euclidean距离
x ( x1 , x2 , , xn ) F
T
n 1/ p
n
，由
骣 p || x || p º 琪 | x | 琪 å i 琪 琪 桫
i= 1
, p³ 1
定义的 || || p 是 F n 上的向量范数，称为p -范数或 l p 范数。
特别地，p = 1 时，有
例 8 对任意
x ( x1 , x2 , , xn ) F
n n和 C R
例 4 设 V 是内积空间，则由
|| x || ?
x, x > , " x ? V
定义的 || || 是 V 上的向量范数，称为由内积 < g, g> 导 出的范数。这说明范数未必都可由内积导出。例如后 面介绍的 || || 和 || ||1 。
例 5 在赋范线性空间 距离为
三、 常用的向量范数
例 6 对任意
x ( x1 , x2 , , xn ) F
T
n
，由
|| x ||2 º | x1 |2 + | x2 |2 + L + | xn |2 定义的 || ||2 是 F n上的向量范数，称为2-范数或 l2
范数，也称为 Euclid 范数。
例 7 对任意
且具有下列三个条件（正定性、正齐性和三角不等式）：
(1) (正定性 )
(2) (正齐性 )
|| x || 0;
x || x || 0
|| x || | | || x || ; ( F )
（3）(三角不等式) ||x y|| ||x|| ||y|| ，x、y V
C1 || x || β ＃ || x || α
C 2 || x || β
注意这个结论对无限维未必成立。另外，根据等价 性，处理向量问题（例如向量序列的敛散性）时，
我们可以基于一种范数来建立理论，而使用另一种
范数来进行计算。
§2、矩阵范数
向量是特殊的矩阵， m n 矩阵可以看 成一个 m n 维向量，因此自然想到将向 量范数推广到矩阵范数。
|| x ||A º
x H Ax , " x ? C n
定义的|| · ||A是 C n上的向量范数，称为加权范数或椭 圆范数。 ；当 x ¹ θ 时由 A 对称 正定知 x H Ax > 0 ，即 || x ||A > 0 。 当 时，|| x ||A = 0
对于任意
x
k C
，有
|| k x ||A = ( kx )T A ( kx ) = | k | xT Ax = | k | ?|| x ||A
%ex501.m
i=sqrt(-1);a=[3*i,0,-4*i,-12]'; norm(a),norm(a,1),norm(a,'inf')
ans =
13 ans = 19 ans =
12
这些范数在几何上如何理解呢？
例11 对任意
x ( x1 , x2 ) C
T
2
，对应于 1, 2, , p 四
2 2
2
在广义实数范围内，P能否取到正无穷大呢？具体而
言，如何计算这种范数呢？
例 9 对任意
x ( x1 , x2 , , xn ) F || x ||¥ º lim || x || p
T
n
，由
也就是
p?
?
|| x ||¥ º max | xi |
i
定义的|| || 是 F n上的向量范数，称为 -范数或 l 范数或极大范数。
则称 || x || 是向量 x 的向量范数，称定义了范数的线 性空间 V 为赋范线性空间。
拓扑空间
线性空间

Hausdorff空间

拓扑线性空间

距离空间 (度量空间)


距离线性空间

完备距离 线性空间

赋范空间

Banach空间

内积空间

Hilbert空间
各类空间的层次关系
欧氏空间
å
4
| xk | = | 3i | + | - 4i | + | - 12 | = 19.
k
k= 1
|| α ||¥ = max | xk | = max(3, 0, 4,12) = 12.
|| α ||2 = ( å | xk
k= 1
4
1 | )2
=
| 3i |2 + | - 4i |2 + | - 12 |2 = 13.
第五章 向量范数和矩阵范数
§1、向量范数
对于实数和复数，由于定义了它们的绝对 值或模，这样我们就可以用这个度量来表示它 们的大小（几何上就是长度），进而可以考察 两个实数或复数的距离。 对于n 维线性空间，定义了内积以后， 向量就有了长度（大小）、角度、距离等度量 概念，这显然是3维现实空间中相应概念的推 广。利用公理化的方法，可以进一步把向量长 度的概念推广到范数。
i= 1
定义的 || || p 不是 F n 上的向量范数。 因为
n 2, p 1 2
2
T 时，取 (1, 0)T , (0,1)，则
|| ||1 || ||1 1, || ||1 4
2 2
|| ||1 || ||1 || ||1
因此对任意
yC ， || x + y ||A = || B( x + y) ||2 ? || Bx ||2 + || By ||2
n
|| x ||A + || y ||A
一般地，由于
A
是Hermite正定矩阵，从而存在
Cholesky分解，即存在可逆矩阵 W （未必是酉矩
阵），使得 A = W HW ，因此
（3） ||x y|| ||x|| ||y|| 。 ( " x、y ? C )
例 2
n 维欧氏空间中向量
x
的长度或模定义为
2 2 || x || ( x , x ) x12 x2 xn
显然向量 x 的模 || x || 也具有下列三条性质：
(1)
|| x || 0
|| x ||A = (Wx ) H (Wx ) = || W x ||2
这从几何上可以理解成求可逆变换 W的像的“长
度”|| Wx ||2 。这说明只要运算W x 成立即可，因此对 矩阵 W 的要求可放宽为列满秩矩阵。 如果 W = diag ( w1 , L , wn ) ，此时 || x ||A = ( 这就是加权范数或椭圆范数名称的由来。
，当且仅当 x 时，等号成立。
(2) || x || | | || x || ; ( R)
（3） ||x y|| ||x|| ||y|| 。( " x、y ? R n )
二、 向量范数的概念
定义3 如果 V 是数域 F 上的线性空间，对 V 中的任 意向量 x Î V ，都有一个非负实数 || x || 与之对应，并
一、 矩阵范数的概念
定义1 对 F m´ n 中的任意矩阵 A ，都有一个非负实 数 || A || 与之对应，并且具有下列三个条件（正定性、
正齐性和三角不等式,矩阵乘法相容性）：
(1) (正定性 )
(2) (正齐性 )
|| A || 0;
A O || A || 0
|| A || | | || A || ; ( F )
一、 从向量的长度或模谈起
例 1 复数 x = ( a, b ) = a i + b j 的长度或模指的是量
|| x || a b
2
2
显然复向量 x 的模 || x || 具有下列三条性质：
(1)
|| x || 0
，当且仅当 x 时，等号成立。
(2) || x || | | || x || ; ( R)
证明： 验证 || x || max | xi | 是向量范数显然很 i 容易。下证 max | xi | lim || x || p 。
令 | x j | max | xi | ，则有
i
i p
p
|| x || | x j | ( | xi | )
(n | x j | )
由于
A
为Hermite正定矩阵，故存在酉矩阵 U ，使得
U T AU = Λ = diag ( λ1 , λ 2 , L , λ n ) 这里 A 的特征值 λ i ( i = 1, 2, L , n) 都为正数。
从而有 此时
A = UΛU T = U Λ ? Λ U T º BT B
|| x || A xT Ax xT BT Bx ( Bx )T Bx || Bx ||2
欲证结论。
i 1
p 1/ p
|| x || p
1/ p
p 1/ p
n
|| x ||
1/ p
由极限的两边夹法则，并注意到 lim n
p
1，即得
例 10 计算向量
α = (3i ,0, - 4i , - 12)T
的p范数，这里 p = 1, 2, ? .
解 ：
|| α ||1 =
T
n
，由
|| x ||1 º | x1 | + | x2 | + L + | xn |
定义的 || ||1 是 F n 上的向量范数，称为1-范数或 l1 范数或和范数，也被风趣地称为Manhattan范数。
遗憾的是，当
wenku.baidu.com0 p1
2
时，由
1/ p
骣 p || x || p º 琪 | x | 琪 å i 琪 琪 桫
V
中，定义任意两向量之间的
d ( x , y ) ? || x
y ||, " x , y ? V
则称此距离 d ( g, g) 为由范数 || || 导出的距离。此时 按此式定义了距离的 V 满足度量空间的距离三公理 （对称性、三角不等式和非负性），所以赋范线性空 间按由范数导出的距离构成一个特殊的度量空间。