第3章_范数理论及其应用
向量范数3-1,3-2,3-3
A
X AX
X x1 , x2 , , xn R n
T
试证上述函数是向量范数，称为向量的加权范数或椭圆范数。 证明 因为A是正定对称矩阵，故存在可逆矩阵P，使得
P T AP I
从而
A P
X
A
1 2 A
T 1
P P
T T 1 2
1
1 T
1 2
P 1 B T B
证明 易验证条件(i)和(ii)成立，现验证条件(iii)也 成立。 下面用到了Chauchy-Schwarz不等式。
x y
2 2
x y , x y ( x, x ) ( x, y ) ( y , x ) ( y , y )
x
2 2
2 x
2y2源自 y2 2定理对 x ( x , x ,, x )T C n C n R 分别定义三个函数 1 2 n
x
x
1
x
i 1
n i 1
n
i
1 2
1－范数，
)
2
( xi
2
2－范数(或Euclid范数)
x
max xi
1 i n
∞－范数(或最大值范数)。
它们均构成范数。 说明：在同一个向量空间，可以定义多种向量范数，而对 于同一个向量，不同定义的范数，其大小可能不同。
AX
AX H A X H A X
即矩阵范数与向量范数相容
算子范数
定义 设
即由向量范数构造矩阵范数
和
分别是 C m 和 C n
3-1,2,3,4向量范数.ppt
x
∞
= max x i
1≤ i ≤ n
它们均构成范数。 它们均构成范数。 说明：在同一个向量空间，可以定义多种向量范数， 说明：在同一个向量空间，可以定义多种向量范数，而对 于同一个向量，不同定义的范数，其大小可能不同。 于同一个向量，不同定义的范数，其大小可能不同。
x = (1,2,−3)
T
x1 =6
第二节 矩阵范数
主要内容： 主要内容： 1·矩阵范数的定义、性质 矩阵范数的定义、 矩阵范数的定义 2·算子范数（由向量诱导的矩阵范数） 算子范数（由向量诱导的矩阵范数） 算子范数 3·几种常用的矩阵范数 几种常用的矩阵范数
定义
设A∈C
m×n
定义一个实值函数
⋅
C
m× n
满足： → R 满足：
（1）正定性 （2）齐次性 （3）三角不等式 (4)相容性 (4)相容性 则
Ax
Ax 是C
n
Dn = x = ( x1 , x 2 , ⋯ , x n )
知 Ax 在D n上取到最大值。 上取到最大值。
{
的连续函数，D 的连续函数，
T
n
是C n中的有界闭集， 中的有界闭集，
x =1
}
最后证明
A 成为矩阵范数
A ≥ Ax0 x0 > 0;
n 正定性: 正定性 设 A ≠ 0, 则存在 x0 ≠ 0 ∈ C , 使 Ax0 ≠ 0,
x+ y
2 2
= ( x + y , x + y ) = ( x , x ) + ( x, y ) + ( y , x ) + ( y , y )
≤ x 2 +2 x
《高等数学》第三章 范数理论及其应用
例3、设 A
aij
C mn , x
mn
1,,n T
，证明
1
n n
2 2
A
m2
i 1
j 1
aij
是矩阵范数，且与 x 相容 2
证明：（1）～（2）成立，
设 Bmn ,划分 A a1,, an , B b1,, bn ，则有
则
x
也是 C n
中的一个向量范数。
证：1）设 A a1, a2 ,, an ，由假设知a1, a2 ,, an
线性无关。
x1
当 x0
Ax
a1 , , an
x2
a1 x1
an xn
0
xn
又因为 y 是 C m 中的一个向量范数，有 Ax 0
x y B x y Bx By x y
A
2
2
2
A
A
2010-12-6
10
例3：设 y 是 C m中的一个向量范数，给定矩阵 A C mn ，它的n个列向量线性无关。对于 C m
中的一个向量 x x1, x2 ,, xn T ，规定
x
Ax
Abl 1
A
m1
b1
1
A m1
bl 1
A m1
b1
1
bl
1
A B m1 m1
n
因此， A m1
aij
是矩阵范数，且与 x 相容 1
i, j1
2010-12-6
范数在数值计算中的应用
淮北师范大学2013届学士学位论文范数在数值计算中的应用学院、专业数学科学学院数学与应用数学研究方向数值分析学生姓名李双阳学号***********指导教师姓名陈昊指导教师职称讲师2013年月日范数在数值计算中的应用李双阳（淮北师范大学数学科学学院，淮北，235000）摘要范数在解决数值计算中的一些问题有很大的用处。
应用复合最速下降法，给出了求解矩阵方程组（AXB=E,CXD=F）加权范数下对称解及最佳逼近问题的迭代解法。
对任意给定的初始矩阵，改迭代算法能够在有限步迭代计算之后得到矩阵方程组的对称解，并且在上述解集合中也可以给出指定矩阵的最佳逼近矩阵。
并对线性方程组解的误差估计的推广定理理解对解的误差与矩阵、摄动矩阵、向量、摄动向量、算子范数之间的关系进行证明。
从而了解范数以及极限的概念以致更好的解决像函数的一次逼近、二次逼近、矩阵方程组对称解的最佳逼近以及线性方程组解的误差估计等数值计算问题。
关键词：最速下降法，对称解，最佳逼近，摄动矩阵，算子范数Norm in the application of the numerical calculationLi Shuangyang(School of Mathematical Science, Huaibei Normal University, Huaibei, 235000)AbstractNorm in numerical calculation in solving the problems are of great use. Application of compound the steepest descent method, solving matrix equations is presented (AXB = E, CXD = F) weighted norm under symmetric solution and the optimal approximation problem of iterative method. On any given initial matrix, the iterative algorithm can step in finite iterative calculation after get the symmetric solutions of matrix equations, and also in the solution set can be specified matrix optimal approximation of the matrix is given. And the error estimates of solutions of the linear equation theorem to understand the solution of the error and matrix, the perturbation matrix, vector, the perturbation dynamics, the relationship between the operator norm. To understand the norm and the concept of limit so that a better solution as a function of an approximation, quadratic approximation, symmetric matrix equations solution of the optimal approximation and the error of linear equations and numerical calculation.Key words：The steepest descent method, the symmetric solution of optimal approximation, the perturbation matrix operator norm目录一．引言................................................................................................ - 1 -二.范数性质........................................................................................... - 2 -2.1向量范数、矩阵范数的基本性质 ........................................... - 2 -定理2.1.1 .................................................................................. - 2 -定理2.1.2 .................................................................................. - 2 -定理2.1.3 .................................................................................. - 2 -定理2.1.4 .................................................................................. - 2 -定理2.1.5 .................................................................................. - 2 -2.2.李普希兹条件下范数的一些性质 ........................................... - 4 -定理2.2.1.................................................................................. - 4 -定理2.2.2 .................................................................................. - 4 -定理2.2.3 .................................................................................. - 4 -定理2.2.4 .................................................................................. - 5 -定理2.2.5 .................................................................................. - 5 -定理2.2.6 .................................................................................. - 6 - 三．加权范数下矩阵方程组的对称解及其最佳逼近 ....................... - 6 - 例题............................................................................................ - 8 -四.向量范数、矩阵范数下线性方程组解的误差估计的推广 ........ - 10 -4.1证明.......................................................................................... - 10 -4.2证明.......................................................................................... - 11 - 结论...................................................................................................... - 12 -参考文献.............................................................................................. - 12 - 致谢...................................................................................................... - 13 -一．引言近年来，随着计算机技术的普及和计算速度的不断提高，数值计算在工程设计和分析中得到了越来越广泛的重视，已经成为解决复杂的工程分析计算问题的有效途径，现在从汽车到航天飞机几乎所有的设计制造都已离不开数值计算，其在航空航天、汽车、土木建筑、电子电器、国防军工、船舶、铁道、石化、能源、科学研究等各个领域的广泛应用已使设计水平发生了质的飞跃。
关于范数的总结范文
关于范数的总结范文
一、范数的定义
范数（Norm）是对向量空间中的向量长度或矩阵列之间的距离的度量。
范数具有很好的抽象性，可以用来衡量向量与向量、矩阵与矩阵之间的距
离（不同定义的范数衡量的是不同的距离），是向量空间、矩阵理论以及
机器学习和深度学习等各个领域都很重要的概念。
范数，由曼哈顿距离和欧氏距离得名，有着自然的几何解释：向量或
矩阵表示为一个点，范数则表示为该点到原点的距离。
向量空间中的范数
不仅代表着向量的长度，还可以用来衡量向量之间的距离，从而被广泛应
用于不同的领域，其中有几种范数的定义比较重要，如曼哈顿距离、欧式
距离、切比雪夫距离和闵式距离等。
二、范数的分类
1）一阶范数：一阶范数是指向量中元素绝对值之和，或者是矩阵每
一列元素绝对值之和，也就是模，常用的一阶范数有曼哈顿距离L1、欧
氏距离L2和切比雪夫距离L∞。
2）二阶范数：二阶范数是指向量每个元素的绝对值平方和，或者是
矩阵每一列元素的绝对值平方和，也叫做F范数或Frobenius范数。
它表
示的是一个矩阵中向量的总范数，常用于评估数据的分布特征。
范数及其应用
一般来说，监督学习可以看做最小化下面的目标函数：
L(yi,f(xi;w)) 衡量我们的模型（分类或者回归）对第i个样 本的预测值f(xi;w)和真实的标签yi之前的误差。
L0范数与L1范数
L0范数是指向量中非0的元素的个数。如果我 们用L0范数来规则化一个参数矩阵W的话，就是 希望W的大部分元素都是0，让参数W是稀疏的 。
c1 x
x
c2 x
并称 和 定理
为 Cn上的等价范数。
（向量序列收敛性定理） 设 xk Cn , 则
k xi xi 0, i 1, 2, , n lim xk x 0 lim k k
lim x k = x
k
其中 x k x1 , x2 , , xn
这说明，W的L1范数是绝对值，|w|在w=0处是不可微的。
L1范数和L0范数可以实现稀疏，L1因具有比L0更好的优 化求解特性而被广泛应用。
稀疏的原因
特征选择
稀疏规则化受欢迎的一个关键原因在于它能实现特征的 自动选择。
可解释性
通过稀疏可以使模型更容易解释。
L2范数
L2范数: ||W||2，在回归里面，有人把有它的 回归叫“岭回归”，有人也叫它“权值衰减”。 它的强大功效是改善机器学习里面一个非常重要 的问题：过拟合。
上面的图是线性回归，从左到右分别是欠拟合，合适的 拟合和过拟合三种情况。
Logistic回归
如果模型复杂（可以拟合任意的复杂函数），它可以让 我们的模型拟合所有的数据点，也就是基本上没有误差。 对于回归来说，就是我们的函数曲线通过了所有的数据 点。对分类来说，就是我们的函数曲线要把所有的数据 点都分类正确。这两种情况很明显过拟合了。
数值计算方法-范数
（A） = max{i } 为A的谱半径。
1 j n
推论：矩阵特征值与矩阵范数关系 若是矩阵A的特征值，即存在非零向量x使得Ax x, 则有
A
也即矩阵特征值得模不大于矩阵的任何一范数。
F 范数：（P71） A
2 a ij ， i, j n
F
在矩阵分析中，一般把上述范数称为Frobinius范数， 简称F-范数
(1) || A || || x || 5 5 10 ， 49.5 || A || || x || (2) || b || || x || 5 5 10 ， 1.99 || A || || x ||
向量序列，如果 lim xi( k ) xi , i 1,2, , n, 则称
k
向量序列{x ( k ) }收敛于向量x ( x1 , x2 , xn )T , 并记为 lim x ( k ) x
k
等式成立的充要条件是 lim x ( k ) -x
k
推论：对称矩阵范数的关系 设A为对称矩阵, 则 || A ||2 | max ( A) |, 又若A非奇异（可逆） ,
1 则 || A1 ||2 || min ( A) || 。
证明：由A A知
T T 2 2 || A ||2 ( A A ) ( A ) | ( A ) | 2 max max max
i 1 n p
max xi ;
1i n
③欧几里得(Euclid )范数： x 2=
2 x i i 1
n
例.求下列向量的各种常用范数
x (1,4,3, 1)T
解： x 1 = x1 x2 x4 9; x2 x
范数理论及其应用
i i p = i 1= i 1
∑ξ
n
n
+η =
p
∑ξ
n
i
+ ηi
n
p −1
ξi + ηi
p −1
= i 1= i 1
≤ ∑ ξi + ηi
p −1
ξi + ∑ ξi + ηi
ηi
应用 Hölder 不等式
n q p n ( p−1)q ξi + ηi ξi ≤ ∑ ξi + ηi ∑ ∑ ξi i 1= i 1= i 1 n p −1 n q p n ( p−1)q ξi + ηi ηi ≤ ∑ ξi + ηi η ∑ ∑ i i 1= i 1= i 1 n p −1 1 1 1 p
（m、M 与 x 无关） ，它就称为向量范数的等价 得 m x α ≤ x β ≤ M x α， 性。 同时有
1 x ≤ x M β
α
≤
1 x m
β
7
二、矩阵范数 1. 矩阵范数定义：设 k m×n (k = c或R) 表示数域 k 上全体 m × n 阶矩阵的集 合。若对于 k m×n 中任一矩阵 A，均对应一个实值函数，并满足以下四个 条件： （1）非负性： A ≥ 0 ，等号当且仅当 A=0 时成立； （2）齐次性： αA = α A , α ∈ k; （3）三角不等式： A + B ≤ A + B , A,B ∈ k m×n 则称 A 为广义矩阵范数； （4）相容性： AB ≤ A B 则称 A 为矩阵范数。
（3）三角不等式 x + y ≤ x + y , x, y ∈ V 。 则称 x 为 V 中向量 x 的范数，简称为向量范数。 例 1. x ∈ Cn ，它可表示成 x =ξ [ 1 ξ 2 ξn ] ， ξi ∈ C ，
范数
向量范数在一维空间中，实轴上任意两点距离用两点差的绝对值表示。
绝对值是一种度量形式的定义。
范数是对函数、向量和矩阵定义的一种度量形式。
任何对象的范数值都是一个非负实数。
使用范数可以测量两个函数、向量或矩阵之间的距离。
向量范数是度量向量长度的一种定义形式。
范数有多种定义形式，只要满足下面的三个条件即可定义为一个范数。
同一向量，采用不同的范数定义，可得到不同的范数值。
定义3.1 对任一向量，按照一个规则确定一个实数与它对应，记该实数记为，若满足下面三个性质：若X是数域K上的线性空间，泛函║·║: X->R 满足：1. 正定性：║x║≥0，且║x║=0 <=> x=0；2. 正齐次性：║cx║=│c│║x║；3. 次可加性(三角不等式)：║x+y║≤║x║+║y║ 。
那么║·║称为X上的一个范数。
常用范数这里以C^n空间为例，R^n空间类似。
最常用的范数就是p-范数。
若x=[x1,x2,...,xn]^T，那么║x║p=(|x1|^p+|x2|^p+...+|xn|^p)^{1/p}可以验证p-范数确实满足范数的定义。
其中三角不等式的证明不是平凡的，这个结论通常称为闵可夫斯基(Minkowski)不等式。
当p取1，2，∞的时候分别是以下几种最简单的情形：1-范数：║x║1=│x1│+│x2│+…+│xn│2-范数：║x║2=(│x1│^2+│x2│^2+…+│xn│^2)^1/2∞-范数：║x║∞=max(│x1│,│x2│,…,│xn│)其中2-范数就是通常意义下的距离。
定理中任意两种向量范数║x║α,║x║β是等价的,即有m,M>0使m║x║α≤║x║β≤M║x║可根据范数的连续性来证明它.由定理1可得定理2.设{x(k)}是Cn中向量序列,x是Cn中向量,则║x(k)-x║→0(k→∞) iff xj(k)-xj→0,j=1,2,…,n(k→∞)其中xj(k)是x(k)的第j个分量,xj是x的第j个分量.此时称{x(k)}收敛于x,记作x(k)→x(k→∞),或 .矩阵范数一般来讲矩阵范数除了正定性，齐次性和三角不等式之外，还规定其必须满足相容性：║XY║≤║X║║Y║。
研究生 矩阵论 课后答案
|
xk
|2
)
1 2
是范数.
k =1
(2)证明函数 || x ||∞ = max{| x1 |,| x2 |,...,| xn |}是范数.
2.设
x∈R2,
A=
⎛4 ⎜⎝1
1⎞ 4⎟⎠
,请画出由不等式||
x
||
A
≤
1决定的x的全
体所对应的几何图形.
3.在平面 R2中将一个棍子的一端放在原点,另一端放
生成子空间V,求V的正交补空间V ⊥.
15.(MATLAB)将以下向量组正交化.
(1) x1 = (1,1,1)T , x2 = (1,1, 0)T , x3 = (1, −1, 2);T
(2) f (t) = 1, g(t) = t, h(t) = t2是[0,1]上的多项式空间
的基,并且定义(
f
9.把下面矩阵A对应的λ -矩阵化为Smith标准形,并且写
出与A相似的Jordan标准形.
⎛1 −1 2 ⎞
(1)
⎜ ⎜
3
−3
6
⎟ ⎟
⎜⎝ 2 − 2 4⎟⎠
⎛ −4 2 10⎞
(2)
⎜ ⎜⎜⎝
−4 −3
3 1
7 7
⎟ ⎟⎟⎠
⎧ dx1
⎪ ⎪
dt
=
3x1
+ 8x3
10.(MATLAB)求解微分方程:
α3 = (0,1,1)T 的矩阵为: ⎡ 1
A=⎢ 1 ⎢⎣−1
0 1⎤ 1 0⎥ 2 1⎥⎦
求在基e1 = (1,0,0)T ,e2 = (0,1,0)T ,e3 = (0,0,1)T下的矩阵.
10.设S = {ε1,ε2 ,ε3,ε4}是四维线性空间V的一个基,已知
范数及其应用
诱导范数
给出向量范数，由此诱导出相应的矩阵范 数，是构造矩阵范数的重要方法。 矩阵的诱导范数与相应的向量范数是相容的。
定义：设 x α 是向量范数，则
A α = max
x≠0
Ax α xα
= max Ax
|| x||α =1
α
为矩阵范数，称为由向量范数 x
α
诱导的矩阵范数，也叫算子范数。
显然，A α ≥ Ax x
称为矩阵A的谱半径。
定理：(1)ρ ( A ) = ρ ( A)
k
k
(2)ρ ( AAH ) = ρ ( AH A) =|| A ||2 2 (3) A是正规矩阵时，ρ ( A) =|| A ||2
证明：设A的特征值为：λ1 , λ2 , L, λn
则A 的特征值为：λ , λ2 , L , λn
矩阵论
主讲 孟纯军
向量与矩阵范数
范数是向量或者矩阵的一个数字特征，在讨 论向量序列或者矩阵序列的收敛性是起根本 的作用 在分析算法的稳定性和扰动分析时，范数也 是基本的工具之一。 范数概念是长度概念的推广。
平面上向量的长度
考虑R 2中向量的长度： x = ( x1 , x2 )T ,| x |= x12 + x2 2
x
∞
≤ x1≤n x
∞
x2≤ x1≤ n x
'
2
(3)
x
∞
≤ x 2 ≤n x
∞
定理：有限维空间V上的任意两种范数等价。
矩阵范数
设矩阵空间C n×n(或者R n×n )，A ∈ C n×n , 按照某种对应法则A →|| A ||∈ R, 满足
满足：（） A ||≥ 0， A ||⇔ A = （非负性） 1 || || 0
范数
（假定A 可逆）
max ( x ) T x =1 ） （3 = A 1 A min ( x ) A
x =1
（假定A 可逆）
例 3.3.1
x2 x2
T ( z2 )
T(z1)
z2
z1 x1 x1
(a) 单位圆 （b）单位圆在线性变换下的像
矩阵从属范数在逼近论中的应用
例 3.2.5
3.3 范数的应用
3.3.1 线性变换的误差分析 设T是线性变换，A是与之对应的矩阵，即
T( x ) = Ax
下面我们研究在此线性变换下“单位圆” 的象。
的结论：
x =1 x =1
（） ( x ) = max = A 1 max T Ax
1 A
1
Ax （2 min ( x ) = min = ） T
若令 u =
x x v
，则
u
v
=1
，此时
Ax x
v
v
x = A x v
= Au
v
v
因此，我们可得到如下结论。
定理3.2.1
A = max Ax
x =1
v
定理3.2.2 任意从属范数都是范数，即对 A ∈ C m × n ， ∈ C m × n ， C ∈ C n× p B 任意 λ ∈ C ，都有：
设 A∈ R
n×n
b ∈ R n×1 非奇异， ，考虑如下线性
方程组 Ax = b . 由于误差，设用Gauss消去法得到的解 为
x ，满足 ( A + E ) x = b
∧
∧
其中E是由舍入引
起的误差矩阵.
设机器的有效数字为t，则
∧ ∧
范数
注:
cond (A) 与 所取的范数有关
常用条件数有：
cond (A)1 =‖A‖1 ‖ A 1‖1 cond (A) cond (A)2 =‖A‖ ‖ A 1‖
max ( AT A) / min ( AT A)
特别地，若 A 对称，则
max | | cond ( A)2 min | |
|| 2
相容性
（1）矩阵范数与矩阵范数的相 容:‖AB‖≤‖A‖‖B‖ （2）矩阵范数与向量范数 设A∈M，‖A‖是矩阵范数,x∈Rn，‖x‖是 向量范数.如果满足不等式:
‖Ax‖≤‖A‖‖x‖
则称矩阵范数‖A‖与向量范数‖x‖相容.
Frobenius范数:
|| A ||F
| a ij |2 (向量|| ·||2的直接推广)
定理1.4.6 对任意算子范数 || ·|| 有: ( A) || A ||
证明：由算子范数的相容性，得到 || Ax || || A || || x ||
将任意一个特征根 所对应的特征向量 u 代入 | | || u || || u || || Au || || A || || u ||
定理1.4.4 若矩阵 A 对某个算子范数满足 ||A|| < 1，则必有
①. I A 可逆； ②.
I A
1
1 1 || A ||
证明：① 若不然，则 ( I A) x 0 有非零解，即存在非零向
x0 使得 量
Ax0 x0
|| Ax0 || 1 || x0 ||
常用向量范数：
|| x || 1
(1) || x || 0 ; || x || 0 x 0
第三讲范数理论及其应用
第三讲 范数理论及其应用一、向量范数1、向量范数定义：设V 为数域K 上的向量空间，若对于V 的任一向量x ，对应一个实值函数x ，并满足以下三个条件： （1）非负性 x 0≥，等号当且仅当x=0时成立； （2）齐次性 x x ,k,x V;α=αα∈∈ （3）三角不等式x y x y ,x,y V +≤+∈。
则称x 为V 中向量x 的范数，简称为向量范数。
例1. n x C ∈，它可表示成[]T12n x =ξξξ ，i C ξ∈，1n22i 2i 1x ∆=⎛⎫=ξ ⎪⎝⎭∑就是一种范数，称为向量的2-范数或l 2范数。
证明：（i ）非负性 1n22i 2i 1x 0=⎛⎫=ξ≥ ⎪⎝⎭∑，当且仅当()i 0i 1,2,,n ξ== 时，即x ＝0时，2x ＝0（ii ）齐次性 11nn2222i i 22i 1i 1x x ==⎛⎫⎛⎫α=αξ=αξ=α ⎪⎪⎝⎭⎝⎭∑∑（iii ）[]T12n y =ηηη ，i C η∈[]T1122n n x y +=ξ+ηξ+ηξ+η n22i i 2i 1x y =+=ξ+η∑()22222i i i i i i i i i i 2Re 2ξ+η=ξ+η+ξη≤ξ+η+ξη n222i i 222i 1x y x y 2=+≤++ξη∑()222222222x yx y 2xy +=++根据Hölder 不等式：11nnnpqp q i i i i i 1i 1i 1a b a b ===⎛⎫⎛⎫≤ ⎪⎪⎝⎭⎝⎭∑∑∑，i i 11p,q 1,1,a ,b 0p q >+=> 11nnn2222i i i i 22i 1i 1i 1xy ===⎛⎫⎛⎫=ξη≥ξη ⎪ ⎪⎝⎭⎝⎭∑∑∑∴ 222x y x y +≤+ 2、范数的意义范数可以看作长度概念的推广，主要用于逼近的程度。
范数是用来描述向量的长度的，因为向量的长度可以用来刻画向量序列的性质（如收敛或发散）。
范数（norm）
范数（norm）【范数定义】⾮负实值函数（⾮线性）1）⾮负性： || a || >= 02）齐次性： || ka || = |k| ||a||3）三⾓不等式： || a + b || <= || a || + || b ||注：完备的线性赋范空间称为巴拿赫空间（Banach Space）【向量范数】l p范数（p范数）： || x ||p = ( Σ |x i|p )1/p ( p = 1 ~ ∞ )l1范数 ( p = 1 )， || x ||1 = Σ |x i|l2范数 ( p = 2 )， || x ||1 = ( Σ |x i|2 )1/2（Euclidean Norm）l∞范数 ( p = ∞ )， || x ||∞ = max i { |x i| }【矩阵范数】Frobenius Form：|| A ||F = ( tr( A H A ) )1/2谱范数：|| A ||2 = ( lamda max( A H A ) )1/2 ( A的最⼤奇异值，或者A H A的最⼤特征值 )【相容矩阵范数】对于C mxn上的矩阵范数 || • ||，满⾜ || AB || <= || A || || B ||Frobenius Form是相容范数（但不是算⼦范数）【算⼦范数】设 || • ||u和 || • ||v分别是C m和C n上的向量范数，则导出C mxn上的矩阵范数 || • ||uv， || A ||uv = max { || Ax ||u } , s.t. || x ||v = 1谱范数由向量范数 || • ||2导出算⼦范数是相容范数【对偶范数（dual norm）】定义：令 || • ||为R n上的范数，定义对偶范数 || • ||* 为： || z ||* = sup { z T x }, s.t. ||x|| <= 1性质：l p范数的对偶范数是l q范数，其中1/p + 1/q = 1证明：通过Holder不等式证明 |l2范数的对偶范数是l2范数l1范数的对偶范数是l∞范数。
第二章 范数理论及其应用
范数理论及其应用
向量的范数
定义： 是实数域R（或复数域C）上的n维线性 定义： 设V是实数域 （或复数域 ）上的 维线性 是实数域 空间，对于V中的任意一个向量 空间，对于 中的任意一个向量 α 按照某一确定法 α 范数， 则对应着一个实数，这个实数称为该向量的范数 则对应着一个实数，这个实数称为该向量的范数， 并且要求范数满足下列条件： 记为 α ，并且要求范数满足下列条件： （1）非负性：当 α ≠ 0, ）非负性：
2 12 i =1
n
（3）∞-范数 α ） 范数
∞
= lim α
p →∞
p
= max ai
1≤ i ≤ n
证明： 证明：令 x = max ai ，则
1≤i ≤ n
于是有
yi =
α
p
ai x
n i =1
, i = 1, 2,L , n
p 1 p
= x ( ∑ yi )
n
另一方面
1 ≤ ∑ yi p ≤ n
例3
对于任意 A ∈ C m×n，定义
A
Frobenious范数。 范数。 范数
F
= ( ∑∑ aij )
i =1 j =1
m
n
2 1
2
也是矩阵A的范数 的范数。 可以证明 A 也是矩阵 的范数。我们称此范数为矩阵的 证明：此定义的非负性、齐次性是显然的。利用 证明：此定义的非负性、齐次性是显然的。利用Minkowski 不等式容易证明三角不等式。现在我们验证乘法的相容性。 不等式容易证明三角不等式。现在我们验证乘法的相容性。 设 A ∈ C m×l , B ∈ C l ×n ，则
α = ( a1 , a2 ,L , an ) ∈ C
范数及其应用
范数及其应⽤范数的⼀般化定义：设p ≥1的实数，p-norm 定义为：||x ||p :=(n∑i =1x ip )1p||x ||0:=n∑i =0x 0i严格来讲，L0不属于范数，上⾯的公式让⼈难以理解。
在实际应⽤中，⼈们往往采⽤以下定义：||x ||0=#(i )with x i ≠0其表⽰向量中所有⾮零元素的个数。
||x ||1:=n∑i =1x i也称为曼哈顿距离。
L0范数是指向量中⾮0的元素的个数。
如果我们⽤L0范数来规则化⼀个参数矩阵W 的话，就是希望W 的⼤部分元素都是0。
换句话说，让参数W 是稀疏的。
看到了“稀疏”⼆字，⼤家都应该从当下风风⽕⽕的“压缩感知”和“稀疏编码”中醒悟过来，原来⽤的漫⼭遍野的“稀疏”就是通过这玩意来实现的。
但你⼜开始怀疑了，是这样吗？看到的papers 世界中，稀疏不是都通过L1范数来实现吗？脑海⾥是不是到处都是||W||1影⼦呀！L1范数和L0范数可以实现稀疏，L1因具有⽐L0更好的优化求解特性⽽被⼴泛应⽤。
范数中最常见，也最著名的⾮L2范数莫属。
||x ||2:=n∑i =1x 2i从学习理论的⾓度来说，L2范数可以防⽌过拟合，提升模型的泛化能⼒。
从优化或者数值计算的⾓度来说，L2范数有助于处理不好的情况下矩阵求逆很困难的问题。
L1和L2的差别，为什么⼀个让绝对值最⼩，⼀个让平⽅最⼩，会有那么⼤的差别呢？下降速度：L1就是按绝对值函数的“坡”下降的，⽽L2是按⼆次函数的“坡”下降。
模型空间的限制：对于L1和L2规则化的代价函数来说，我们写成⼀下形式：Lasso :minw||y−Xw ||2,s .t . ||w ||1≤CRidge :minw||y −Xw ||2,s .t . ||w ||2≤C考虑⼆维的情况，等⾼线与norm ball 相交的地⽅就是最优解。
L1-ball 的最优点⼤都出现在"⾓点"处，这便⼤概率产⽣了稀疏性；L2-ball 却不范数||L0范数√L1范数||L2范数√L2范数的优点可以，它只是⼀种规则化⼿段。
范数理论及其应用
武汉理工大学理学院
5.1 向量范数
Problem：
线性空间的向量是否定义其他形式的长度？
Motivation：
欧氏空间的内积可以定义向量的范数 范数的本性特征。
范数的公理化定义
Definition (P108) :
要点：1. 正定性：长度总为正数；零向量长度为0；
2. 齐次性：成比例的向量其长度成比例； 3. 三角不等式：三角形两边之和大于第三边
例 Rn上的1-范数，2-范数，p-范数， -范数
x ( x1 , x2 ,..., xn )T : x 1 | x1 | ... | xn |; x 2 x12 ... xn2 ; x p | x1 | p ... | xn |
1 p p
x max{| x1 |,..., | xn |}
最小二乘解的问题(1): 最小二乘解满足的条件
Motivation 若线性方程组Ax=b无解，则希望 寻找一个最接近的解。 a11 x1 a12 x2 ... a1s xs b1 a x a x ... a x b 21 1 22 2 2s s 2 Ax b : ... an1 x1 an 2 x2 ... ans xs bn Solution 定义误差(cost)函数：使误差最小！！！ L( x1 , x2 ,..., xs ) (a11 x1 a12 x2 ... a1s xs b1 )2
j
AT ( Ax b) 0, A (1 ,..., s )
线性方程组Ax=b的最小二乘解一定满足
AT Ax AT b
例 求下面方程组的最小二乘解
x1 2 x2 3 x3 1 x x3 0 1 2 x3 1 2 x1 2 x1 4 x2 6 x3 3
第3章 矩阵范数及其应用
的一种范数，在 V 中取定一个基 e1 , e2 , , en ，那么对任意的 x V ，存 在唯一的向量 ( x1 , x2 , , xn ) P ，使得 x x1e1 x2 e2 xn en ，
n
在此意义下 x 与 ( x1 , x2 , , xn ) 一一对应，我们定义
Ax Ay
x
y
，
所以， 也满足三角不等式． 因而 是 C n 上的一种范数．
3.1.4 有限维线性空间上范数的等价性
由以上例题可以看出，在同一个线性空间上，可以定义多种范数．但 它们所描述的收敛性如何呢？下面具体讨论这一问题． 假设 ，
是同一个线性空间 V 上的两种范数，并且存在常数 （3.1.8）
( x, x) 是 V 上的范数．
( x, x) 0 ，并且 x 0
kx (kx, kx) k k ( x, x)
进一步，因为
k ( x, x) k ( x, x) k x ，
2
x y
2
x y, x y x, x 2 Re x, y y, y ，
n
1 xn a ，所以 m 0 ，这说明 { xn } 也依范数 收敛于 a ．反之，如果
，同理可以证明 { x n } 也依范数 { xn } 依范数 收敛于 a ，利用（3.1.8） 收敛于 a ．所以如果（3.1.8）式成立，那么两种不同范数所描述的收敛性 是一致的．以后当（3.1.8）式成立时，就称范数 与 下列结论成立．
注 3.1.1 定义 3.1.1 中的条件 （1） 体现了范数是普通长度概念 的推广，而条件（2）及（3）则分别对应着线性空间 V 与 P 上的数 乘运算及 V 上的加法运算． 注 3.1.2 设 (V , ) 是一个赋范线性空间，那么利用 V 上的范 数 ，可以描述 V 中点列的收敛性：设 { xn } 是 V 中的一个点列，