第三章向量范数与矩阵范数

x 1 2 22 42 21 2
x max 1, 2, 4 4。
常见向量范数：特殊点
遗憾的是，当 0 p 1 时，由
å || x ||p º 骣 琪 琪 琪 琪 桫i=21 | xi |p 1/ p
定义的||g||p 不是 F n 上的向量范数。
因为
n 2, p
n
å 如果 W = diag(w1,L , wn )，此时|| x ||A = ( | wi xi |2)1/，2
这就是加权范数或椭圆范数名称的由来。 i= 1
非常见向量范数：加权范数
在现代控制理论中，称二次型函数
V ( x) ? || x ||2P xH P x
为李雅普诺夫（Lyapunov）函数，这里 P 是正定对
面介绍的 ||g|| 和 ||g||1 。
向量范数
例 4 在赋范线性空间 V 中，定义任意两向量之间的
距离为
d( x, y) ? || x y ||, "x, y ? V 则称此距离 d( g, g) 为由范数 ||g|| 导出的距离。此时 按此式定义了距离的 V 满足度量空间的距离三公理
（对称性、三角不等式和非负性），所以赋范线性空 间按由范数导出的距离构成一个特殊的度量空间。
5
向量范数：向量的长度或模
例 1 复数 x = (a, b) = a i + b j 的长度或模指的是量
|| x || a2 b2 显然复向量 x 的模 || x || 具有下列三条性质：
(1) || x || 0 ，当且仅当 x 时，等号成立。 (2) || x || | | || x || ; ( R)
x(k) i

xi
，则称
x(k)
ò || f (t) ||p º
骣 琪 琪 桫
b a
|
f (t) |pdt
1/ p
,
p³
1
定义的 ||g||p 是 C[a, b]上的向量范数，称为 Lp 范数。
特别地，L1 范数、L2 范数和 L 范数分别为
b
ò || f (t) ||1 º
| f (t) |pdt
a
b
ò || f (t) ||2 º
引入
为了研究线性方程组近似解的误差估计和迭代法的收敛 性，我们需要对Rn中向量或Rn2中矩阵的“大小”引进某 种度量——范数。
4
向量范数
对于实数和复数，由于定义了它们的绝对 值或模，这样我们就可以用这个度量来表示它 们的大小（几何上就是长度），进而可以考察 两个实数或复数的距离。
对于n 维线性空间，定义了内积以后， 向量就有了长度（大小）、角度、距离等度量 概念，这显然是3维现实空间中相应概念的推 广。利用公理化的方法，可以进一步把向量长 度的概念推广到范数。
最简单的方法是用两向量之间的距离来表示相似度， 距离越小，相似度越大。最典型的是Euclidean距离
D(x, y) ? || x y ||2 = (x- y)T (x- y)
其他距离测度还包括
n
å Ä Manhat tan 距离 D( x, y) ? | xj yj | ;
j= 1
Ä
Chebyshev距离
1 2
时，取
(1, 0)T ,
(0,1)T，则
|| ||1 || ||1 1, || ||1 4
2
2
2
|| ||1 || ||1 || ||1
2
2
2
常见向量范数：极大范数
在广义实数范围内，P能否取到正无穷大呢？具体而 言，如何计算这种范数呢？
例 8 对任意 x ( x1, x2,L , xn) T F n ，由
|| x ||¥ º
lim
p? ?
|| x ||p
也就是
|| x ||¥
º
max i
|
xi
|
定义的||g|| 是 F n上的向量范数，称为 -范数或 l
范数或极大范数。
常见向量范数：极大范数
证明： 验证 || x 容易。下证 max |
向量范数
向量范数
定义：设函数 f : Rn R，若 f 满足 (1) f(x) 0， xRn , 等号当且仅当 x = 0 时成立 （正定性） (2) f(x) = || ·f(x) ， xRn , R （齐次性） (3) f(x+y) f(x) + f(y) （三角不等式） 则称 f 为 Rn 上的（向量）范数，通常记为 || ·||
i
|| xi |
max i
lim
p
| xi || x
| ||
p
是向量范数显然很 。
令
|
xj
|

max i
|
xi
|
，则有
p
|| x || | x j | ( | xi |p )1/ p || x ||p
i 1
(n | xj |p )1/ p n1/ p || x ||
第三章 向量范数与矩阵范数
1
内容提要
范数的引入 向量范数的类型、定义与性质 矩阵范数的类型、定义与性质 方阵的谱半径 范数及其应用
2
本讲内容
范数的引入
原因
向量范数
定义、常见向量范数、性质
矩阵范数
定义、常见矩阵范数、性质
矩阵条件数
3
向量范数与矩阵范数
内积空间
各类空间的层次关系
Hilbert空间
欧氏空间 Rn和 C n
常见向量范数
Rn 空间上常见的向量范数
1-范数： 2-范数： p-范数：
n
x 1
xi = |x1 | | x2 | L | xn |
i 1 1
x
2


n i1
xi2

2


x12 x22 L xn2
当 x 时，|| x ||A = 0 ；当 x ¹ θ 时由 A 对称
正定知 xH Ax > 0 ，即 || x ||A > 0 。
对于任意 k C ，有
|| k x ||A = (kx)T A(kx) = | k | xT Ax = | k |?|| x ||A
由于 A 为Hermite正定矩阵，故存在酉矩阵 U ，使得
| f (t) |2dt
a
|| f (t) ||¥
= max | f (t) | a＃t b
非常见向量范数：加权范数 例 11 若矩阵 AC nn 为Hermite正定矩阵，则由
|| x ||A º xH Ax, "x ? Cn 定义的||g||A是 C n上的向量范数，称为加权范数或椭
圆范数。
UT AU = Λ = diag( λ1, λ2,L , λn)
这里 A 的特征值 λi (i = 1, 2,L , n) 都为正数。
从而有
A = UΛUT = U Λ ? ΛUT º BT B
此时
|| x||A xT Ax xT BT Bx (Bx)T Bx || Bx ||2
因此对任意 y Cn ， || x + y ||A = || B(x + y) ||2
? || Bx ||2 + || By ||2 || x ||A + || y ||A
一般地，由于 A 是Hermite正定矩阵，从而有可逆矩
阵 W （未必是酉矩阵），使得 A = W HW ，因此
|| x ||A = (Wx)H (Wx) = ||W x ||2
这从几何上可以理解成求可逆变换 W 的像的“长 度”|| Wx ||2 。这说明只要运算 W x 成立即可，因此 对矩阵 W 的要求可放宽为列满秩矩阵。
8
向量范数
定义 如果 V 是数域 F 上的线性空间，对 V 中的任
意向量 x Î V ，都有一个非负实数 || x || 与之对应，并
且具有下列三个条件（正定性、正齐性和三角不等式）：
(1) (正定性) || x || 0; x || x || 0 (2) (正齐性) || x || | | || x || ; ( F)
（3） ||x y|| ||x|| ||y||。
6
向量范数：向量的长度或模
例 2 n 维欧氏空间中向量 x 的长度或模定义为
|| x || ( x, x) x12 x22 L xn2 显然向量 x 的模 || x || 也具有下列三条性质：
(1) || x || 0 ，当且仅当 x 时，等号成立。 (2) || x || | | || x || ; ( R) （3） ||x y|| ||x|| ||y||。("x、y ? Rn )
例 6 对任意 x ( x1, x2,L , xn) T F n，由
å || x ||p º
骣 琪 琪 琪 琪 桫i=n1 | xi |p
1/ p
,
p³
1
定义的||g||p 是 F n 上的向量范数，称为p -范数或 l p
范数。
常见向量范数：1-范数
特别地，p = 1 时，有
例 7 对任意 x ( x1, x2,L , xn) T F n，由
1
x
p


n
i1
xi
pp
-范数（有时也称最大范数）：
x


max
1in
xi
11
向量范数
例 3 设V 是内积空间，则由
|| x || ? x, x > , "x ? V
定义的 ||g|| 是 V 上的向量范数，称为由内积 < g, g> 导
出的范数。这说明范数未必都可由内积导出。例如后
（3）(三角不等式) ||x y|| ||x|| ||y||，x、y V 则称 || x || 是向量 x 的向量范数，称定义了范数的线
性空间 V 为赋范线性空间。
9
拓扑空间
线性空间
Hausdorff空间
距离空间 (度量空间)
拓扑线性空间 距离线性空间
赋范空间
完备距离 线性空间
Banach空间
由极限的两边夹法则，并注意到 lim n1/ p 1，即得
欲证结论。
p
这些范数在几何上如何理解呢？
例9 对任意 x ( x1, x2 ) T C 2，对应于 1, 2, , p 四
种范数的闭单位圆 || x || £ 1 的图形分别为
非常见向量范数
例 10 对任意 f (t)C[a, b] ，由
常见向量范数：2-范数
例 5 对任意 x ( x1, x2,L , xn) T F n，由
|| x ||2 º | x1 |2 + | x2 |2 + L + | xn |2 定义的||g||2 是 F n上的向量范数，称为2-范数或 l2
范数，也称为 Euclid 范数。
常见向量范数：p-范数
这里 x, y 是从正态母体 N ( μ, Σ)中抽取的两个样本。
范数性质
范数的性质
(1) 连续性 定理：设 f 是 Rn 上的任一向量范数，则 f 关于 x 的每个分 量连续。
(2) 等价性
定理：设 || ·||s 和 || ·||t 是 Rn 上的任意两个范数，则存 在常数 c1 和 c2 ，使得对任意的 xRn 有
称矩阵。大家已经知道，此函数是讨论线性和非线 性系统稳定性的重要工具。
例 12 （模式识别中的模式分类问题）
模式分类的问题指的是根据已知类型属性的观测样本
的模式向量 s1 ,L , sM ，判断未知类型属性的模式 向量 x 归属于哪一类模式。其基本思想是根据 x 与 模式样本向量 si 的相似度大小作出判断。
|| x ||1 º | x1 | + | x2 | + L + | xn |
定义的||g||1 是 F n 上的向量范数，称为1-范数或 l1
范数或和范数，也被风趣地称为Manhattan范数。
常见向量范数：举例
例：求向量 x 1, 2, 4T的0，１，2和∞-范数。
解：
x 3 0
x 1 2 4 7 ; 1
D(x, y) ?
max j
Байду номын сангаас
|
x
j
yj |;
n
å Ä Minkowski距离 D(x, y) ? | xj yj | ;
j= 1
å Ä Chebyshev距离 D( x, y) ? 骣琪琪琪ç桫j=n1 | xj
1
yj
|m m; ÷
以及与椭圆范数类似的Mahalanobis距离：
d 2( x, y) ? ( x y)T Σ- 1( x - y)T ,
c1
x s
x t c2
x s
30
范数性质
(3) Cauchy-Schwarz 不等式
定理： (x, y) x y
2
2
(4) 向量序列的收敛性
证明：略
定义：设 x(k) 是 Rn 中的一个向量序列，其中
x(k)

x1(k),
x2(k),K
,
xn(k
)
T

如果
lim
k