矩阵分析课件chapter2 范数理论及其应用例题详解

第2章范数理论及其应用

2.1向量范数及l p范数

定义：如果V是数域K上的线性空间，且对于V的任一向量x，对应一个实数值||x||，它满足以下三个条件：

1)非负性：||x||≥0,且||x||=0⇔ x=0;

2)齐次性：||k⋅x||=|k|⋅||x||，k∈K；

3)三角不等式：||x+y||≤||x||+||y||.

则称||x||为V上向量x的范数，简称为

向量范数。

注意：2)中|k|当K为实数时为绝对值，

当K为复数域时为复数的模。

虽然向量范数是定义在一般的线性空间上的，但是由于前面的讨论，我们知道任何线性空间在一组基下都代数同构于常用的n维向量空间，因此下面我们仅仅讨论n维向量空间就足够了。范数首先是一个函数，它将线性空间的任意

向量映射为非负实数。

范数与函数

性质1. 范数是凸函数。

即|| (1-λ)x+λy||≤(1-λ)||x||+λ||y||

其中0≤λ≤ 1。

向量的范数类似于向量长度。

性质2. 若||⋅||为线性空间V上的向量范数，

则k||⋅|| 仍然为向量范数, 其中k > 0.

性质3. 若||⋅||f和||⋅||g为线性空间V上的两个

向量范数，则

(1). ||⋅||f+ ||⋅||g为V上向量范数。

(2). max{ ||⋅||f, ||⋅||g } 为V上向量范数。

性质4. 若||⋅||f和||⋅||g分别为线性空间V上

两个线性交集为0的子空间V1和V2上的

两个向量范数，则对任意x∈V1⊕V2,存在

唯一分解x= u+v, 其中u∈V1,v∈V2,

定义||x||1=||u||f+ ||v||g ,||x||2=max{||u||f,||v||g}

则||x||1和||x||2为V1⊕V2上的向量范数。

性质5. (范数与凸集) 若||⋅||为线性空间V上的

向量范数，集合Ω={x: ||x||≤ 1}为V上凸集。

反之，若Ω为V上的均衡闭凸集，即

x∈Ω,则λ⋅x∈Ω,其中|λ|≤1.其中Ω含有内点，

即包含一个小的单位球。则可以定义函数P(x) 如下：当x≠0时，P(x)= min {λ > 0:x/λ∈Ω }

当x=0时，P(x)=0.则P(x)为V上的范数。

证明：1). 显然P(x) ≥ 0, 且P(0)=0.

下面我们证明若P(x)=0, 则x=0;

用反证法，设x≠0，则由P(x)的定义，任给λ>P(x)=0, 则有x/λ∈Ω。有因为Ω为有界集。即存在常数M>0 使得对任意y∈Ω, ||y||≤M. 其中||⋅||为某一给定的范数。

令y=x/λ,则得到||x/λ||≤M,即||x||≤λ⋅M,由于λ为任意

大于0的数，若令λ→0 则有||x||=0。因||⋅||为范数，

从而x=0. 这样，我们就证明了1).

2). 若x=0, 则P(k x)=k P(x)显然成立。

假设x≠0, 由于x/P(x)∈Ω,且

任何λ≥P(x), x/λ∈Ω;

而任何λ< P(x), x/λ∉Ω.

显然k x/P(kx)∈Ω, 则[(k/|k|)⋅{x /[ P(kx)/|k|] }∈Ω

注意k/||k||的幅度为1,从而有Ω的均衡性，

我们有x /[ P(kx)/|k|]∈Ω，这样由定义有

P(x)≤P(kx)/|k|, 即

|k|⋅P(x)≤P(kx). (♥)

同样由于x/P(x)∈Ω,注意到k/||k||的幅度为1，

从而(kx)/(||k|| P(x) )∈Ω,由定义有

P(kx)≤ |k|⋅P(x) (♠)

联合(♥)和(♠)，我们有P(kx)=|k| P(x).

(3). 设x≠0,y≠0, 则x/P(x)∈Ω, y/P(y)∈Ω,

令λ=P(y)/(P(x)+P(y)), 由于Ω为凸集，

从而

(x+y)/(P(x)+P(y))=(1-λ)⋅ x/P(x)+λ⋅ y/(P(y)∈Ω,

这样有P(x+y)的定义，我们有

P(x+y)≤P(x)+P(y).

当x和y有一个或全部为0时，显然三角不等式

仍然成立。

联合1), 2)和3), 从而P(x)为范数。

这个性质说明了范数和均衡凸集之间的

一一对应关系。

均衡凸集与范数

例1: 向量的p范数：

||x||p={|x1|p+|x2|p+…+|x n|p}1/p

取p=1,2,和∞便分别得到1范数，2范数和∞范

数。

即||x||1=|x1|+|x2|+…+|x n|

||x||2={|x1|2+|x2|2+…+|x n|2}1/2

||x||∞=max i |x i |

其中||⋅||2范数为由内积导出的范数。

Holder 不等式

∑∑∑===⎪⎭⎫ ⎝⎛⎪

⎭⎫ ⎝⎛≤n i q n i q i p n i p i i i b a b a 1/11/11|||||| p,q>1, 1/p+1/q =1.

例2.(加权范数)设A 为实对称正定矩阵，对 x ∈R n ,定义||x||=(x T Ax)1/2称为加权范数。

范数有无穷多， 但它们彼此等价。即 定理：设||x||α和||x||β为有限维线性空间的任意 两个范数，则存在与x 无关的两个常数c 1,c 2 使得下面式子成立：

c 1||x||β ≤ ||x||α ≤ c 2||x||β

证明思路 1)范数等价为等价关系,满足传递性;

2)任意范数为坐标函数的连续函数；

3)在单位圆周上有大于零的极大极小值, 与2-范数等价。

利用范数等价证明:

向量收敛的两个定义一致性.

即：

向量序列x (n )收敛指每个分量数列x i (n )收敛。 向量序列x (n )收敛指||x (n )||的范数序列收敛。

矩阵范数

定义2.3 设A ∈C m ⨯n ,定义一个实值函数||A||,它 满足以下三个条件：

1)非负性： ||A||≥0,且||A||=0⇔ A=0;

2)齐次性：||k ⋅A||=|k|⋅||A||， k ∈C ；

3)三角不等式：||A+B||≤||A||+||B||.

则称||A||为A 的广义矩阵范数。

很明显矩阵按广义范数收敛和分量收敛 是等价的。

即：

1.矩阵序列A (n )收敛指矩阵的每个元素 数列a ij (n )为收敛数列。

2.矩阵序列A (n )收敛指矩阵的广义范数 序列||A (n )||为收敛数列。

%

向量范数同类：设||.||a 和||.||b 分别为C n 和C m 的向量范数，设n ≥ m ，任给x ∈C n ,

设x=(y T ,0,...,0)T ∈C n , 若满足

||x||a =||y||b