第4章 范数理论1
范数
常用的算子范数： n
j 1 n
可证（例6）。 || A || m ax | aij | （行和范数） 1 i n
i 1
|| A ||1 m ax | aij | （列和范数） 1 j n
|| A ||2
max ( AT A) （谱范数 ( spectral norm ) ）
( Error Analysis for Linear system of Equations )
思考:求解 A x b 时, A 和 b 的误差对解 x 有何影响？ 设 A 精确，b 有误差 b ，得到的解为 x x ，即
A( x x) b b
1
绝对误差放大因子
常用向量范数：
|| x || 1
(1) || x || 0 ; || x || 0 x 0
Rn空间的向量范数
n || · ,对任意 x , y R 满足下列条件 ||
i1
n
| xi |
|| x ||
2
i1
n
| x |
i
2
|| x || max | x i |
|| 2
相容性
（1）矩阵范数与矩阵范数的相 容:‖AB‖≤‖A‖‖B‖ （2）矩阵范数与向量范数 设A∈M，‖A‖是矩阵范数,x∈Rn，‖x‖是 向量范数.如果满足不等式:
‖Ax‖≤‖A‖‖x‖
则称矩阵范数‖A‖与向量范数‖x‖相容.
Frobenius范数:
|| A ||F
| a ij |2 (向量|| ·||2的直接推广)
|| A || 1
② ( I A)1 A( I A)1 ( I A)( I A)1 I
重庆大学 矩阵理论及其应用 4
4.1向量范数及其性质
4.1.1向量范数的概念及P-范数
Df 4.1 (V , K ),∀x ∈V , 对应了一个实值函数 x ,且满足 (1)非负性 若x ≠ 0，则 x > 0;若x = 0，则 x = 0； (2)齐次性 ax = a x ；a ∈ K (3)三角不等式 x + y ≤ x + y ；x, y ∈V
k→∞
k→∞
其中 i 为任意一种向量范数。
4.2矩阵的范数
定义4.3 设A、B ∈ Rn×n , a ∈ R, 按照某一法则在Rn×n 定义了一个A的实值函数，记为 A ，且满足
(1)非负性 若A ≠ 0，则 A > 0;若A = 0，则 A = 0； (2)齐次性 aA = a A ； (3)三角不等式 A + B ≤ A + B ； (4)相容性 AB ≤ A B ； 则称 A 为矩阵范数。
Df 4.4 ∀x ∈ Rn , A∈ Rn×n ,若向量范数 x 与矩阵 范数 A 满足
Ax ≤ A x
则称矩阵范数 A 和向量范数 x 相容。
nn
∑ ∑ A = m1
aij
i=1 j=1
A
m∞
=
n ⋅ max i, j
aij
1
∑ ∑ ( ) A = F
⎛n n
2 ⎞2
A
m2
=⎜ ⎝
i =1
j=1
引理Minkowski不等式：设x = ( x1, ..., xn ), y = ( y1, ... yn ) ∈ Rn则
1
1
1
∑ ∑ ∑ ⎛ n
⎜ ⎝ i=1
xi + yi
范数
3.3 范数3.3.1 向量范数在一维空间中，实轴上任意两点距离用两点差的绝对值表示。
绝对值是一种度量形式的定义。
范数是对函数、向量和矩阵定义的一种度量形式。
任何对象的范数值都是一个非负实数。
使用范数可以测量两个函数、向量或矩阵之间的距离。
向量范数是度量向量长度的一种定义形式。
范数有多种定义形式，只要满足下面的三个条件即可定义为一个范数。
同一向量，采用不同的范数定义，可得到不同的范数值。
定义3.1对任一向量，按照一个规则确定一个实数与它对应，记该实数记为，若满足下面三个性质：（1），有，当且仅当时，（非负性）（2），，有（齐次性）（3.37）（3），，有（三角不等式）那么称该实数为向量的范数。
几个常用向量范数向量的范数定义为其中，经常使用的是三种向量范数。
或写成例3.5 计算向量的三种范数。
向量范数的等价性有限维线性空间中任意向量范数的定义都是等价的。
若是上两种不同的范数定义，则必存在,使均有或（证明略）向量的极限有了向量范数的定义，也就有了度量向量距离的标准，即可定义向量的极限和收敛概念了。
设为上向量序列，若存在向量使，则称向量列是收敛的（是某种向量范数），称为该向量序列的极限。
由向量范数的等价知，向量序列是否收敛与选取哪种范数无关。
向量序列，收敛的充分必要条件为其序列的每个分量收敛，即存在。
若，则就是向量序列的极限。
例3.6 求向量序列极限向量。
解：算出每个向量分量的极限后得在计算方法中，计算的向量序列都是数据序列，当小于给定精度时，取为极限向量。
3.3.2 矩阵范数矩阵范数定义定义3.2 如果矩阵的某个非负实函数，记作，满足条件：（1）当且仅当时，（非负性）（2）（齐次性）（3）对于任意两个阶数相同的矩阵有（三角不等式性）（4）矩阵为同阶矩阵（相容性）则称为矩阵范数。
矩阵的算子范数常用的矩阵范数是矩阵的算子范数，可用向量范数定义：设，记方阵的范数为，那么或（3.38）称为矩阵的算子范数或从属范数。
第4讲范数概率论与数理统计
������.
������ ������为范数，满足范数的定义 （1）（2）（3）.
常用范数 1-范数 2-范数(或Euclid范数)
∞-范数(或最大值范数)
������ ������ = ������ ������ =
������ ������=������
������������
������
������ ������=������
向量范数
定理（向量范数的等价性定理）： 设 ������ 是实数域 ������上 的������维线性空间，设 ∙ ������ 与 ∙ ������ 为������上的任意两种范数， 则存在两个与向量无关的正常数������������, ������������使得下面的不等 式成立
������������ ������ ������ ≤ ������ ������ ≤ ������������ ������ ������， 并称 ∙ ������与 ∙ ������为������上的等价范数.
������ + ������ ≤ ������ + ������ . 称 ������, ∙ 为赋范线性空间 .
向量范数
p-范数：在������ 维向量空间������������中，
������ ������ =
������
������ ������=������
������������
������
矩阵范数
常用矩阵范数 ������ ∈ ������������×������
1-范数 2-范数 ∞-范数
������
������
=
max
������≤������≤������
矩阵范数理论及其应用
第四章 矩阵范数理论及其应用知识要点：1、向量范数及其性质（范数与赋范空间，n 维向量的1-范数1x 、2-范数2x 、p -范数px 和∞范数x∞，pp lim xx ∞→∞=，aP a xPx =，2H H PxPx x P Px ==，有限维赋范空间的范数是等价的）2、矩阵范数及其相容性（Frobenius 范数，FEn =，相容性：AB A B ≤，1E ≥）3、算子范数（定义，列范数，行范数，谱范数）4、矩阵范数的应用（矩阵序列及幂级数的收敛性，矩阵条件数，摄动理论、矩阵的谱半径）§4.1 向量范数及其性质一、范数与赋范线性空间定义1：如果线性空间V 中的任一向量x ，都对应—个实值函数()f x （记为x ），并满足以下三个条件（称为范数公理）：(1)非负性：0x ≠时, x ＞0；0x =时, x =0。
(2)齐次性：ax =a x ,a K ∈，x V ∈。
(3)三角不等式：x y +≤x +y ，,x y V ∈。
则称x 为V 上向量x 的范数（norm ），V 称为赋范线性空间（normed linear space ）。
易证x y -满足距离公理，称之为x 与y 的范数诱导的距离。
若0n x x -→，则称nx 收敛于x ，记为n x x →。
例1：对于连续函数空间[,]C a b 中的向量()f x ，可如下定义范数为：1()()baf t f t dt =⎰，()max ()a t bf t f t ∞≤≤=，1()()bpppa f t f t dt ⎡⎤=⎢⎥⎣⎦⎰，1p ≤<∞。
分别称之为1-范数，∞-范数，p -范数。
注：需要用到数学专业的一些函数不等式，才能证明上述范数的正确性。
性质1：对于赋范线性空间V 上任意的x ，定义实函数()f x x =，则()f x 为V 上的连续函数，即0x x →时，0()()f x f x →，其中0x V ∈。
向量范数
且
A 0 A 0
A A
C , A C
mn
AB A B
AB A B
A, B C
mn
称为A的范数。
矩阵范数的性质： (1) A A
(2) A B A B
矩阵范数同向量范数具有类似的性质，比如等价性：
对于两个矩阵范数
m
, C 上的同类向量范数，如果有
n
A C
mn
, X C
n
则称矩阵范数与向量范数是相容的。 定理2 设 是 C 上的相容矩阵范数，则在 C n 上存 在与 相容的向量范数 证明：任取一非零向量 C
X
n
n n
定义向量X的范数为
n
X
n
H
X C
容易验证
AX
性质1 证明 对于任意n阶矩阵A，成立 ( A k ) [ ( A )] k 设1, 2, …, n是属于A的所有特征值
则A 的特征值为 1 , 2 , , n
k k k k
因此 ( A ) max i i
k
k
( max i ) [ ( A )]
n
n
定义Dn是C n的单位球面(有界闭集)
D n x ( x1 , x 2 , , x n ) C
T
n
x
2
1
x 0
x x
2
Dn
因为
是连续函数，
故它在Dn上取到最大值m和最小值M
m
x x
2
x x
2
武汉大学《现代控制理论》数学知识回顾 第四章 矩阵的范数-特征值矩阵分解法
现代控制理论讲义第四章矩阵范数和奇异值分解4.1 引言在这一讲中，我们将引入矩阵范数的概念。
之后会介绍矩阵的奇异值分解或者叫SVD。
SVD 揭示了矩阵的2范数，它的值意义更大：它使一大类矩阵扰动问题得以解决，同时也为后面稳定鲁棒性的概念打下基础；它还解决了所谓的完全最小二乘问题，该问题是我们前面讲的最小二乘问题的推广；还帮我们澄清在矩阵求逆计算中碰到的态性的概念。
在下一讲中，我们会花更大的篇幅来叙说SVD的应用。
例 4.1 为了提高大家对矩阵范数研究和应用的兴趣，我们首先从一个例子开始，该例子提出了与矩阵求逆有关的矩阵态性问题。
我们所感兴趣的问题是矩阵求逆对矩阵扰动的敏感程度。
考虑求下列矩阵的逆马上就可以求得现在我们假设对一个受到扰动的矩阵求逆求逆后，结果就成了在这里表示A中的扰动，表示中的扰动。
显然中一项的变化会导致中的变化。
如果我们解，其中，得到，加入扰动后，解得。
在这个结果中，我们仍然可以清楚的看到开始数据仅有的变化，却导致解产生的变化。
以上例子中我们看到的要比在标量情况下差的多。
如果是标量，那么，所以的倒数中小数部分的变化和的变化在同一量级上。
因此，在上例中的现象完全是在矩阵的时候才出现的。
看上去好像和是近似奇异的事实有关——因为它的列几乎不独立，且它的行列式值要比它的最大元素小很多，等等。
随后（见下一讲），我们会找到衡量奇异程度的合理方法，同时还要说明在求逆情况下，这种方法和灵敏度的关系如何。
在理解这种灵敏度和扰动的细节关系之前，我们首先要找到度量向量和矩阵量级的方法。
在第一讲中我们已经引入了向量范数的概念，所以我们现在来看一下矩阵范数的定义。
4.2 矩阵范数一个维复数矩阵可以看成（有限维）赋范向量空间中的一个算子：其中，这里的范数指的是标准欧氏范数。
定义的归纳2-范数如下：术语“归纳”是指在向量和的范数的基础上，使得以上矩阵范数的定义有意义。
该定义中，归纳范数表示矩阵在中单位圆上向量扩大的倍数，也就是说，它表示矩阵的增益。
范数的定义[精华]
![范数的定义[精华]](https://img.taocdn.com/s3/m/23f7fc90ed3a87c24028915f804d2b160a4e8641.png)
3.3 范数3.3.1 向量范数在一维空间中，实轴上任意两点距离用两点差的绝对值表示。
绝对值是一种度量形式的定义。
范数是对函数、向量和矩阵定义的一种度量形式。
任何对象的范数值都是一个非负实数。
使用范数可以测量两个函数、向量或矩阵之间的距离。
向量范数是度量向量长度的一种定义形式。
范数有多种定义形式，只要满足下面的三个条件即可定义为一个范数。
同一向量，采用不同的范数定义，可得到不同的范数值。
若X是数域K上的线性空间，泛函║·║: X->R 满足：1. 正定性：║x║≥0，且║x║=0 <=> x=0；2. 正齐次性：║cx║=│c│║x║；3. 次可加性(三角不等式)：║x+y║≤║x║+║y║ 。
那么║·║称为X上的一个范数。
常用范数这里以C^n空间为例，R^n空间类似。
最常用的范数就是p-范数。
若x=[x1,x2,...,xn]^T，那么║x║p=(|x1|^p+|x2|^p+...+|xn|^p)^{1/p}可以验证p-范数确实满足范数的定义。
其中三角不等式的证明不是平凡的，这个结论通常称为闵可夫斯基(Minkowski)不等式。
当p取1，2，∞的时候分别是以下几种最简单的情形：1-范数：║x║1=│x1│+│x2│+…+│xn│2-范数：║x║2=(│x1│^2+│x2│^2+…+│xn│^2)^1/2∞-范数：║x║∞=max(│x1│,│x2│,…,│xn│)其中2-范数就是通常意义下的距离。
矩阵范数一般来讲矩阵范数除了正定性，齐次性和三角不等式之外，还规定其必须满足相容性：║XY║≤║X║║Y║。
所以矩阵范数通常也称为相容范数。
如果║·║α是相容范数，且任何满足║·║β≤║·║α的范数║·║β都不是相容范数，那么║·║α称为极小范数。
对于n阶实方阵(或复方阵)全体上的任何一个范数║·║，总存在唯一的实数k>0，使得k║·║是极小范数。
范数理论及其应用
i i p = i 1= i 1
∑ξ
n
n
+η =
p
∑ξ
n
i
+ ηi
n
p −1
ξi + ηi
p −1
= i 1= i 1
≤ ∑ ξi + ηi
p −1
ξi + ∑ ξi + ηi
ηi
应用 Hölder 不等式
n q p n ( p−1)q ξi + ηi ξi ≤ ∑ ξi + ηi ∑ ∑ ξi i 1= i 1= i 1 n p −1 n q p n ( p−1)q ξi + ηi ηi ≤ ∑ ξi + ηi η ∑ ∑ i i 1= i 1= i 1 n p −1 1 1 1 p
（m、M 与 x 无关） ，它就称为向量范数的等价 得 m x α ≤ x β ≤ M x α， 性。 同时有
1 x ≤ x M β
α
≤
1 x m
β
7
二、矩阵范数 1. 矩阵范数定义：设 k m×n (k = c或R) 表示数域 k 上全体 m × n 阶矩阵的集 合。若对于 k m×n 中任一矩阵 A，均对应一个实值函数，并满足以下四个 条件： （1）非负性： A ≥ 0 ，等号当且仅当 A=0 时成立； （2）齐次性： αA = α A , α ∈ k; （3）三角不等式： A + B ≤ A + B , A,B ∈ k m×n 则称 A 为广义矩阵范数； （4）相容性： AB ≤ A B 则称 A 为矩阵范数。
（3）三角不等式 x + y ≤ x + y , x, y ∈ V 。 则称 x 为 V 中向量 x 的范数，简称为向量范数。 例 1. x ∈ Cn ，它可表示成 x =ξ [ 1 ξ 2 ξn ] ， ξi ∈ C ，
矩阵分析引论--第四章--矩阵的奇异值分解-向量范数、向量范数
n
定义 E
xi2 .
证明
a,
都与
b
E 等价.
i 1
利用 a
x11 xn n
( x1 ,, xn )连续，
在单位球面
S
y
(
y1 ,,
yn
n
)
i 1
yi2
1
上
取得最大值M与最小值m.
目录 上页 下页 返回 结束
第四章第一二节 向量范数、矩阵范数
第二节 矩阵范数
定义4-2 设A P nn ,定义非负实数 A， 满足下列条件: (1) 正定性：当A 0时，A 0; (2) 齐次性：kA k A (k P); (3) 三角不等式： A B A B . (4) AB A B . 则称非负实数||A||为n×n方阵的范数.
则称非负实数||||为向量 的范数.
此时称线性空间V 为线性赋范空间.
目录 上页 下页 返回 结束
第四章第一二节 向量范数、矩阵范数
设V是内积空间， V ,定义： ( , ),
则 • 是V上的一个范数，称为由内积引出的范数.
向量范数的性质：
P124, 1
(1) 0 0 ;
(2) 0时， 1 1 ;
A F
n
2
aij
tr( AH A）
i , j1
是与 2相容的方阵范数. 称为 F 范数.
注：当U为酉矩阵时，有
F范数的优点
A的酉相似矩阵的F 范数相同.
目录 上页 下页 返回 结束
第四章第一二节 向量范数、矩阵范数
常用的矩阵范数
n
(1)
A
1
max
1 jn i 1
aij
矩阵论范数理论
第二章 范数理论在第一章我们曾利用内积定义了向量的长度，他是几何向量长度概念的一种推广。
虽然当n>3时对定义的向量长度无法作出具体的几何解释，但这样规定的长度具有几何向量长度的基本性质，即非负性，齐次性和三角不等式。
本章我们采用公理化的方法，八项量长度的概念推广到更一般的情形，主要讨论向量范数、矩阵范数及其有关的应用。
§2.1 向量范数定义 2.1 若对任意n C x ∈都有一个实数x与之对应，且满足：（1） 非负性：当x 0 x0 x 0x 0 ?==时，；当，；（2） 齐次性：对任何C xx ll l ?，； （3） 三角不等式：对任意n x,y C Î，都有x y ,x y +?则称x为n C 上的向量x 的范数，简称向量范数。
定义中并未给出向量范数的计算方法，只是规定了向量范数应满足的三条公理，称之为向量范数三公理。
从范数定义可得范数的下列基本性质。
定理2.1 对任意，n C y x,∈有 （1）x -=x；（2）x .y xy -?只证（2）。
根据三角不等式，有x x y y x y y =-+?+ y y x x yx x=-+?+综合二式即得x y x y-?证毕例 2.1 设12n ().T n x C x x x = ，， 规定2x =第一章已表明2x是向量x 的一种范数，并称之为向量2-范数，该范数具有如下重要的性质，对任意n x C Î和任意n 阶酉矩阵U ，有22Ux .x =称之为向量2-范数的酉不变性。
例2.2 设12n x ().T n C x x x =，，规定11x nkk x ==å则1x 是向量x 的一种范数，称为向量1-范数。
证当111x 0x 0 x 0x 0x 0.nk k x =?>==å时，显然；当时，的每一分量都是，故对任意λ C , Î有n1111x nkk k k x l l xlx l =====邋又对任意12y (,,).T n n C h h h =有1111111()n nn nkk k k kk k k k k x y x y xh x h xm ====+=+?=+=+邋邋故1x是n C 上的一种向量范数。
关于范数的理解或定义
I 、向量的范数向量x ∈R n的范数f(x )是定义在R n空间上取值为非负实数且满足下列性质的函数：1对于所有的x ≠ 0,x ∈R n有f(x )>0; (非负性） 2 对于所有的α∈R 有f(αx ）=αf(x ); （正齐性） 3对于所有的x,y ∈R n有f(x+y )≤f(x )+f(y ). （三角不等式）一、 一般情况下，f(x )的具体模式如下：p x = p ni pix 11)(∑=，p 1≥ 也称它为p-范数。
下证p-范数满足上述的三个性质：1、对于所有的x ∈R n，x ≠ 0，p ni pix 11)(∑=显然是大于0的，故性质1 成立。
2、 由pxα = pni pix 11)(∑=α = αp ni pi x 11)(∑= = αp x 知性质2 成立。
3、欲验证性质3，我们的借助下列不等式：设p>1,q>1,且p 1 + q1 = 1，则对所有的0,≥βα有αββα≥+qpqp证：考虑函数p tptt -=1)(ϕ，因为)1(1)(11'-=-p t pt ϕ，由()t 'ϕ=0 t=1,又因为01)1(''<-=pqϕ，所以当t = 1的时候)(t ϕ取最大值，则有：p p ttp111-≤-， 令t = q pβα,代入可得： q p p q ppq p1111=-=-⎪⎪⎭⎫⎝⎛βαβα, 化简之后即得： αββα≥+qpqp证毕！又令∑=)(1i px x piα，∑=)(1i qy y qiβ，代入上不等式可得：∑∑+)()(iq i i p iy y x x qqpp∑∑≥)()(11y x yx i qi pqpii，两边同时对i 求和，并利用关系式p 1 + q1 = 1可知：∑∑≥+=∑∑∑∑∑)()(11)()(1y x yx y y x x i qi piq i ip i qpiiqqpp从而有：∑∑≤∑)()(11y x y x i qi pqpii另一方面，又有：∑+∑++=-yx y x y x iip pi i ii 1)(1y x y x ii p ii +≤∑+-yy x x y x ip ip i i i i ∑+∑+--+=11()()()()()()∑∑-+∑∑-≤++y y x x y x ipiiq p ipiiq p pqpq111111()()()()⎥⎥⎦⎤⎢⎢⎣⎡∑∑-=+∑+y x y x ipip piiqp pq1111()()()⎥⎥⎦⎤⎢⎢⎣⎡∑∑=+∑+y x y x ipip piippq111 左右两边同时除以()∑+y x iipq1得：()()()∑∑≤∑++y x y x ipipiip ppp111。
矩阵论学习复习资料
x V = X = 1 x 3
x 2 x1 − x 4 = 0 x − x = 0, x4 2 3
5. 设 V1, V2 分别是
V1 = {(x1, x2 L, x2 ) x1 + x2 +L+ xn = 0, xi ∈K} V2 = {(x1, x2 L, x2 ) xi − xi+1 = 0, xi ∈K}
6. 求下列矩阵的 求下列矩阵的Jordan标准形 标准形
1 0 3 1 −1 1 − 4 −1 0 A = − 3 − 3 3 , B = 7 1 2 − 2 − 2 2 − 7 − 6 −1
7. 求下列矩阵的最小多项式
a O −1 − 2 6 a A = −1 0 3, B = b −1 −1 3 N b
0 0 1 0
b N b a O a
8.设A 是一个 阶方阵，其特征多项式为 设 是一个6阶方阵 阶方阵， 最小多项式为m ƒ(λ)=(λ+2)2(λ-1)4, 最小多项式为 A(λ)=(λ+2)(λ-1)3, λ 求出A的若当标准形 求出 的若当标准形. 的若当标准形 9.对于 阶方阵 ，如果使 m=O成立的最小正整数 对于n 阶方阵A，如果使A 对于 成立的最小正整数 为m，则称 是m次幂零矩阵，证明所有 阶n-1次幂 次幂零矩阵， ，则称A是 次幂零矩阵 证明所有n阶 次幂 零矩阵彼此相似，并求其若当标准形 零矩阵彼此相似，并求其若当标准形. 10. 如果λ1,λ2,…, λs是A 的特征值，则Ak的特征值只能 的特征值， …
矩阵论复习 一. 线性空间 1. 线性空间的概念 2. 线性空间的基，维数与坐标（基变换与与坐 线性空间的基，维数与坐标（ 标变换） 标变换） 3. 线性子空间的概念与运算 (1)定义 (2) 运算（交与和，直和） 定义 运算（交与和，直和）
(5) 范数理论及其应3-
2010-12-6
i
1 2
2 n (m ax i ) 2 i Nhomakorabea1
n x
1 x c2
x
x x
x
c2 x c4 x
c6 x
x 2 (max i )2 1 x i
B x y
12
2
Bx Bx Bx 2 Bx 2 By 2 x A y
T
A
10
例3：设 y 是 C m中的一个向量范数，给定矩阵
AC
则
mn
当 x 0 时，Ax 0 ，所以 2） k C,
x
Ax
0
，它的n个列向量线性无关。对于 C
因此， A
2010-12-6 21 2010-12-6
A
m1
x
1
m1
与 x 1 相容。
22
（4）证明相容性 划分 Bnl b1 , bl ，则 AB Ab1 , , Abl ，且有
例2、设 A aij
i, j
mn
C mn , x 1 , , n ，证明
2010-12-6 19 2010-12-6 20
定义：设 C mn 的矩阵范数 A 同类范数
M
, C m 与 C n 中的
M
例1、设 A aij
x
V
，若
M
Ax
V
A
第三讲范数理论及其应用
第三讲 范数理论及其应用一、向量范数1、向量范数定义：设V 为数域K 上的向量空间，若对于V 的任一向量x ，对应一个实值函数x ，并满足以下三个条件： （1）非负性 x 0≥，等号当且仅当x=0时成立； （2）齐次性 x x ,k,x V;α=αα∈∈ （3）三角不等式x y x y ,x,y V +≤+∈。
则称x 为V 中向量x 的范数，简称为向量范数。
例1. n x C ∈，它可表示成[]T12n x =ξξξ ，i C ξ∈，1n22i 2i 1x ∆=⎛⎫=ξ ⎪⎝⎭∑就是一种范数，称为向量的2-范数或l 2范数。
证明：（i ）非负性 1n22i 2i 1x 0=⎛⎫=ξ≥ ⎪⎝⎭∑，当且仅当()i 0i 1,2,,n ξ== 时，即x ＝0时，2x ＝0（ii ）齐次性 11nn2222i i 22i 1i 1x x ==⎛⎫⎛⎫α=αξ=αξ=α ⎪⎪⎝⎭⎝⎭∑∑（iii ）[]T12n y =ηηη ，i C η∈[]T1122n n x y +=ξ+ηξ+ηξ+η n22i i 2i 1x y =+=ξ+η∑()22222i i i i i i i i i i 2Re 2ξ+η=ξ+η+ξη≤ξ+η+ξη n222i i 222i 1x y x y 2=+≤++ξη∑()222222222x yx y 2xy +=++根据Hölder 不等式：11nnnpqp q i i i i i 1i 1i 1a b a b ===⎛⎫⎛⎫≤ ⎪⎪⎝⎭⎝⎭∑∑∑，i i 11p,q 1,1,a ,b 0p q >+=> 11nnn2222i i i i 22i 1i 1i 1xy ===⎛⎫⎛⎫=ξη≥ξη ⎪ ⎪⎝⎭⎝⎭∑∑∑∴ 222x y x y +≤+ 2、范数的意义范数可以看作长度概念的推广，主要用于逼近的程度。
范数是用来描述向量的长度的，因为向量的长度可以用来刻画向量序列的性质（如收敛或发散）。
范数
假设V是域F上的矢量空间；V的半范数是一个函数P:V→R;x→p(x），满足于：∀a∈F,∀u,v∈V,p(v) ≥ 0 （非负性）p(a v) = |a|p(v），（正值齐次性）p(u+v) ≤p(u) +p(v) (三角不等式).范数是一个半范数加上额外性质：p(v) 是零矢量，当且仅当v是零矢量(正定性）如果拓扑矢量空间的拓扑可以被范数导出，这个拓扑矢量空间被称为赋范矢量空间。
若X是数域K上的线性空间，泛函║·║： X->R 满足：⒈正定性：║x║≥0，且║x║=0 <=> x=0；⒉正齐次性：║cx║=│c│║x║；⒊次可加性（三角不等式）：║x+y║≤║x║+║y║。
那么║·║称为X上的一个范数。
（注意到║x+y║≤║x║+║y║中如令y=-x，再利用║-x║=║x║可以得到║x║≥0，即║x║≥0在定义中不是必要的。
）如果线性空间上定义了范数，则称之为赋范线性空间。
注记：范数与内积，度量，拓扑是相互联系的。
⒈利用范数可以诱导出度量：d(x,y)=║x-y║，进而诱导出拓扑，因此赋范线性空间是度量空间。
但是反过来度量不一定可以由范数来诱导。
⒉如果赋范线性空间作为（由其范数自然诱导度量d(x,y)=║x-y║的）度量空间是完备的，即任何柯西(Cauchy）序列在其中都收敛，则称这个赋范线性空间为巴拿赫（Banach）空间。
⒊利用内积<·，·>；可以诱导出范数：║x║=<x,x>1/2。
反过来，范数不一定可以诱导内积。
当范数满足平行四边形公式║x+y║2+║x-y║2=2（║x║2+║y║2）时，这个范数一定可以诱导内积。
完备的内积空间称为希尔伯特（Hilbert）空间。
⒋如果去掉范数定义中的正定性，那么得到的泛函称为半范数（seminorm或者叫准范数），相应的线性空间称为赋准范线性空间。
对于X上的两种范数║x║α，║x║β，若存在正常数C满足║x║β≤C║x║α那么称║x║β弱于║x║α。
范数及其应用
范数及其应⽤范数的⼀般化定义：设p ≥1的实数，p-norm 定义为：||x ||p :=(n∑i =1x ip )1p||x ||0:=n∑i =0x 0i严格来讲，L0不属于范数，上⾯的公式让⼈难以理解。
在实际应⽤中，⼈们往往采⽤以下定义：||x ||0=#(i )with x i ≠0其表⽰向量中所有⾮零元素的个数。
||x ||1:=n∑i =1x i也称为曼哈顿距离。
L0范数是指向量中⾮0的元素的个数。
如果我们⽤L0范数来规则化⼀个参数矩阵W 的话，就是希望W 的⼤部分元素都是0。
换句话说，让参数W 是稀疏的。
看到了“稀疏”⼆字，⼤家都应该从当下风风⽕⽕的“压缩感知”和“稀疏编码”中醒悟过来，原来⽤的漫⼭遍野的“稀疏”就是通过这玩意来实现的。
但你⼜开始怀疑了，是这样吗？看到的papers 世界中，稀疏不是都通过L1范数来实现吗？脑海⾥是不是到处都是||W||1影⼦呀！L1范数和L0范数可以实现稀疏，L1因具有⽐L0更好的优化求解特性⽽被⼴泛应⽤。
范数中最常见，也最著名的⾮L2范数莫属。
||x ||2:=n∑i =1x 2i从学习理论的⾓度来说，L2范数可以防⽌过拟合，提升模型的泛化能⼒。
从优化或者数值计算的⾓度来说，L2范数有助于处理不好的情况下矩阵求逆很困难的问题。
L1和L2的差别，为什么⼀个让绝对值最⼩，⼀个让平⽅最⼩，会有那么⼤的差别呢？下降速度：L1就是按绝对值函数的“坡”下降的，⽽L2是按⼆次函数的“坡”下降。
模型空间的限制：对于L1和L2规则化的代价函数来说，我们写成⼀下形式：Lasso :minw||y−Xw ||2,s .t . ||w ||1≤CRidge :minw||y −Xw ||2,s .t . ||w ||2≤C考虑⼆维的情况，等⾼线与norm ball 相交的地⽅就是最优解。
L1-ball 的最优点⼤都出现在"⾓点"处，这便⼤概率产⽣了稀疏性；L2-ball 却不范数||L0范数√L1范数||L2范数√L2范数的优点可以，它只是⼀种规则化⼿段。
范数及条件数
反之，若 A 0
x 1
Ax 0 Ax A 0.
2， A max Ax max Ax
x 1
max Ax A .
x 1
3,对任意两个n阶方阵A和B， A B max ( A B ) x max Ax Bx
x 1 x 1
矩阵的谱半径
定义：设A R 的特征值为
nnቤተ መጻሕፍቲ ባይዱ
( A) max i
1i n
i
(i 1, 2,
, n) 称
为A的谱半径。
定理： ( A) A ,
( Ax x
A 为 A 的任意矩阵范数
x , Ax A x
x A x A ( A) A )
|| x || max | xi |
1i n
不难验证，上述三种范数都满足定义的条件。 注：上述形式的统一：
|| x || p (i 1 | xi | p )1/ p
n
1 p
例 设x=(1, 0, -1, 2)T, 计算
x
解:
1
, x
, x
2
x
1
=1+0+|-1|+2=4
对称矩阵范数
证明：由AT A知
T 2 2 || A ||2 ( A A ) ( A ) | ( A ) | 2 max max max
所以有
|| A ||2 | max ( A) |
又因为A非奇异，则 ( A) 0,由 ( A1 ) -1 ( A)得
设系数矩阵有微小的扰 动 0.0001 0 A 0 0 1.0001 0.99 x1 1.99 0.99 0.98 x 1.97 2
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
而当 p 等于 1 或 2 时，则分别称为 C 上向量的 1 范数及 2 范数．
n
并且
p
lim x
x
p
max xi ，
1 i n
（5.1.6）
（5.1.7）
从而
max xi
1 i n
也是 C 上的一种向量范数，称为向量的 范数．
n
证明
n
（1）显然 x
Ax
Ay
x
y ，
所以， 也满足三角不等式．
n 因而 是 C 上的一种范数．
例 设 A是n 阶正定实对称矩阵，在向量空间 R n 中 , 定义向 量函数为
X
A
X AX
T
1 2
X x1 , x2 , , xn R n
T
试证上述函数是向量范数，称为向量的加权范数或椭圆范数.
k 1 n 1 q q
．
那么由（1）知
ak ( ak )
p k 1 n 1 p
bk ( bk )
k 1 n 1 q q
ak
n k 1
p
p ak
p
bk
n k 1
q
q bk
，
q
上式两边对 k 1,2,, n 求和得
k 1
n
ak ( ak )
p k 1 n 1 p
证明
因为A是正定对称矩阵，故存在可逆矩阵P，使得
P T AP I
从而
A P
X
A
1 2
T 1
P P
T T
1
1 T
1 2
P 1 B T B
T
X AX
T
A
X
T
B BX
(BX )
1 x
x
2 x
y x y
例 在向量空间C n中, 向量的长度是一种向量范数,称 为2-范数或欧氏范数。
x
2
( xi
i 1
n
2
)
1 2
x ( x1 , x2 ,, xn )T C n
证明 易验证条件 (i) 和 (ii) 成立，现验证条件 (iii) 也 成立.下面用到了Chauchy-Schwarz不等式.
p q 成立（如果 pq2 ，那么（1）就是最基本的不等式 ． 2 2 2 ）
p
q
（1）
证明 当 0 或者 0 时， （1）显然成立，以下假设
0, 0 ．
令
( )
那么
p
p
q
q
，
( ) q 1 ，
n
p
( xi ) 不是 C n 上的向量范数．
i 1
n
1 p p
注 2 在向量空间 C 中也可以直接证明∞ - 范数是向量范数， 即，满足向量范数定义的三个条件.
x
max xi
1 i n
证明 范数定义中的条件(i)显然成立，现验证条件 (ii) 和(iii)也成立
x
max xi max xi x
k 1
ak bk
k 1
n
p
ak bk ak bk
k 1 n
n
p 1
( ak bk ) ak bk
k 1 n
p 1
ak ak bk
k 1 n
p 1
bk ak bk
k 1 n p q
n
p 1
ak ak bk
T T n
x y x1 y1, x2 y2 ,, xn yn ，
T
n p 1 p n p 1 p n p
从而由 Minkowski 不等式（5.1.3） ，可以得到
x y
p
( xi yi ) ( xi ) ( yi ) x p y p ，
i 1 i 1 i 1
n n 1 1 p q 注意到 1 ，上式两端同除以 ( ak bk ) （如果 ak bk q p k 1 k 1
n
1 p p
n
1 p p
n
1 p q
1
p
0，
1 p
则（3）显然成立） ，就得到
( ak bk ) ( ak ) ( bk ) ．
p p p k 1 k 1 k 1
第三章
范数理论
本章主要介绍线性空间 C n 上的向量范数和 C m n 上的 矩阵范数以及二者之间的相容性关系等内容，为以后各章的 学习奠定必要的理论基础．
主要内容 一、向量范数
二、矩阵范数与算子范数
三、范数的应用
第一节 向量范数 主要内容：
1.向量范数的定义及几种常见的向量范数
2.向量范数的等价性
x y
2 2
x y , x y ( x, x ) ( x, y ) ( y , x ) ( y , y )
x
2 2
2 x
2
y
2
y
2 2பைடு நூலகம்
x
2
y
2
2
两边开方即得证。 反例：设 x R1 , 若令 x x 2 , 显然，它满足范数定义中的正定性，但不满足齐 1 次性，因此它不是 R 中的范数。
T
x1 6
x 2 14
x
3
3.通过已知的范数构造新的向量范数
T x x1 , x2 ,, xn C n ，规定 x
例 设 是C
m
上的一种范数，
A C mn 是 一 个 列 满 秩 矩 阵 ， 对 于
，证明
Ax
是 C 上的一种范数．
n
证明 因为 是范数，所以 x
ak bk
k 1
n
p
ak bk ak bk
k 1 n
n
( ak bk ) ak bk
k 1 n
p 1
ak ak bk
k 1 n
p 1
bk ak bk
k 1 n p q
n
p 1
ak ak bk
k 1
p q
bk ak bk ,
一、向量范数的定义 对于向量空间 C n 上的任意向量 如果函数 : C n R 满足：
x 0 x 0
x
, 对应一个实值函数 x
1）正定性: x 0 且
2）齐次性:
x x , F
3）三角不等式: x y x y
则称
x 为向量X的范数。
范数的性质：
1 p
所以 p 满足三角不等式． 综上所述，可知 x
p
( xi ) 是 C n 上的一种向量范数．
p i 1
n
1 p
n 对于给定的 x x1, x2 ,, xn C ，记 x j max xi ，则对于 1 p 有 T
1i n
x j ( xi ) n x j ，
a
k 1
n
k
bk ( ak ) ( bk ) ．
k 1 k 1
n
1 p p
n
1 q q
（2）
证明
假设 a1, a2 ,, an 不全为零，并且 b1 , b2 ,, bn 也不全为零，
否则（2）显然成立．令非负实数
ak ( ak )
k 1 n 1 p p
,
bk ( bk )
二、 几个著名的不等式
为了介绍范数理论， 我们需要了解一些相关的不等式知识， 当然， 它们在许多其它场合也是非常有用的．如果常数 p 1, q 1, 并且
1 1 1 ，则称 p, q 为共轭指数． p q
定理 式 设 p, q 为共轭指数，则对任意的实数 0, 0 ，不等
n
1 p
n
1 p
n
三、 Cn上的向量范数
下面先介绍一些 C 上常用的向量范数．
1. p 范数(Holder 范数)
n
例
给定常数 p [1,) ，对任意的 x x1, x2 ,, xn C n ，定义
T
x
p
( xi ) ，
i 1
n
1 p p
（5.1.5）
n 则 p 是 C 上的一种向量范数，称为向量的 p 范数.
k 1 k 1 k 1
n
1 p p
n
1 p p
n
1 p p
（3）
证明 当 p 1 时，因为 ak bk ak bk , k 1,2,, n ，所以（3）式成立．当
p 1 时，设 q 为 p 的共轭指数，于是 p 1
p ，从而由 Hölder 不等式可得 q
p 1
x
x
1 n
x
i 1
n i 1
i
1 2
1－范数，
)
2
( xi
2
2－范数(或Euclid范数)
x
max xi
1 i n
∞－范数(或最大值范数)。
它们均构成范数。
说明：在同一个向量空间，可以定义多种向量范数，而对 于同一个向量，不同定义的范数，其大小可能不同。
x 1,2,3