关于向量与矩阵范数笔记

(1) 非负性: 当 A ̸= 0 时, ∥A∥ > 0; 当 A = 0 时, ∥A = 0; (2) 齐次性: 对任意 k ∈ C, A ∈ Cm×n, 有 ∥kA∥ = |k|∥A∥; (3) 三角不等式: 对任意 A, B ∈ Cm×n, 有 ∥A + B∥ ≤ ∥A∥ + ∥B∥, 则称 ∥A∥ 为矩阵 A 的范数.
∑n
( ∑n
)1/p
( ∑n
)1/q
|xiyi| ≤
|xi|p
|yi|q ,
i=1
i=1
i=1
其中实数
p>
1,
q
>1
且
1 p
+
1 q
=
1.
定理 1.2 (Minkowski 不等式). 设 x = (x1, . . . , xn)T , y = (y1, . . . , yn)T ∈ Cn, 则
{ ∑n
关于向量与矩阵范数笔记
摘要 向量与矩阵的范数定义方式很多, 各种范数之间关系比较复杂, 稍作 整理, 以备查询.
关键词 向量范数; 矩阵范数; 等价关系
1 向量范数
定义 1.1 ([1] P169 第六章第一节). 设 V 是数域 P 上的线性空间, ∥α∥ 是以 V 中向量 α 为自变量的非负实值函数, 如果它满足以下三个条件:
∥x∥ν =1
则 ∥ · ∥µ,ν 是 Cm×n 上的矩阵范数, 并且 ∥ · ∥µ, ∥ · ∥ν 和 ∥ · ∥µ,ν 相容.
(2.7)
定义 2.3. 设 ∥ · ∥µ 和 ∥ · ∥ν 分别是 Cm 和 Cn 上的向量范数, 由 (2.7) 式定义的非负实 值函数 ∥ · ∥µ,ν 叫做 Cm×n 上的算子范数 或称为由向量范数 ∥ · ∥µ 和 ∥ · ∥ν 导出的矩阵范数.
i=1
x1, . . . , xn 的连续函数.
定义 1.2. 设 ∥α∥a, ∥α∥b 是 n 维线性空间 V 上定义的两种向量范数, 如果存在两个与 α 无关的正常数 d1, d2 使得
d1∥α∥b ≤ ∥α∥a ≤ d2∥α∥b, ∀ α ∈ V.
(1.12)
则称范数 ∥α∥a, 与 ∥α∥b 是等价的. 容易证明, 向量范数的等价具有自反性、对称性和传递性.
|xi|p
,
i=1
1 ≤ p < +∞
(1.2)
(1.3) wk.baidu.com1.4) (1.5)
1
1 向量范数
2
其中, 2 范数也称 Euclid 范数. 而且成立 lim ∥x∥p = ∥x∥∞.
p→∞
各范数之间成立如下关系 ([1] P198):
√ ∥x∥∞ ≤ ∥x∥1 ≤ n∥x∥∞
√ ∥x∥2 ≤ ∥x∥1 ≤ n∥x∥2
定理 2.3. 设 ∥ · ∥ 是 Cn×n 上的任一相容矩阵范数, 则对任意 A ∈ Cn×n 有
|λi| ≤ ∥A∥, ∀ λi ∈ λ(A), 其中 λ(A) 表示 A 的特征值全体.
由定理2.3可知, 对任意 A ∈ Cn×n 有
ρ(A) ≤ ∥A∥,
其中 ∥ · ∥ 是 Cn×n 上的任一相容矩阵范数, ρ(A) 表示 A 的谱半径. 引理 2.1. 设 ∥ · ∥ν 是 Cn 上的向量范数, 则点集 φν = {x ∈ Cn | ∥x∥ν = 1}
(2.9)
∥AB∥p ≤ ∥A∥p∥B∥p, ∀ A ∈ Cm×n, ∀ B ∈ Cn×k (p = 1, 2, ∞).
关于 ∥A∥p 有下面的表示定理
定理 2.7. 设 A = (aij) ∈ Cm×n, 则有
列和范数 谱范数 行和范数
∥A∥1 ∥A∥2 ∥A∥∞
∑ m = max |aij|,
1≤j≤n i=1
不收敛的向量序列称为发散的.
lim x(k) = x.
k→∞
定理 1.7. Cn 中向量序列 x(k) 收敛于向量 x 的充分必要条件是对任一向量范数 ∥ · ∥ 数 列 {∥x(k) − x∥} 收敛于 0.
2 矩阵范数
定义 2.1 ([1] P175 第六章第二节). 设 ∥A∥ 是以 Cm×n 中矩阵 A 为自变量的非负实值 函数, 如果它满足以下三个条件:
xα ≤ 1 − α + αx.
对任意正实数
A, B,
在上式中令
x=
A B
,
α
=
1 p
,
1
−
α
=
1,
q
则 A1/pB1/q
≤
A p
+
B.
q
由此再令
a = A1/p, b = B1/q, 即得 (1.9).
定理 1.1 (Hölder 不等式). 设 x = (x1, . . . , xn)T , y = (y1, . . . , yn)T ∈ Cn, 则
成为度量空间.
在 n 维向量空间 Cn 中, 对任意向量 x = (x1, . . . , xn)T ∈ Cn, 定义
1 范数
2 范数 ∞ 范数 p 范数
∑n ∥x∥1 = |xi|
(i=1 ∑n
)1/2
∥x∥2 =
|xi|2
i=1
∥x∥∞ = max |xi|
1≤i≤n
( ∑n
)1/p
∥x∥p =
由定义2.1易知, 对任意矩阵 A, B ∈ Cm×n, 有
∥A∥ − ∥B∥ ≤ ∥A − B∥
(2.1)
对于 A = (aij) ∈ Cm×n,
∥A∥F
=
( ∑ m ∑n
)1/2
|aij |2
=
(tr(AH A))1/2
i=1 j=1
(2.2)
2 矩阵范数
4
称为 A 的 Frobenius 范数. 这里 AH 表示 A 的共轭转置. 易知 ∥A∥F 是 Cm×n 中内积 (A, B) = tr(BHA) 所导出的矩阵范数. 因此, 矩阵 Frobe-
= (λmax(AH A))1/2 , ∑n
= max |aij|,
1≤i≤m j=1
其中 λmax(AHA) 表示 (AHA) 的最大特征值.
(2.10)
(2.11) (2.12) (2.13)
参考文献
6
值得指出的是, Forbenius 范数 ∥ · ∥F 是相容范数, 但不是算子范数. 矩阵的谱范数虽不便 计算, 但有许多很好的性质, 所以在理论研究中常常使用谱范数.
∥x∥α = ∥Ax∥β, x ∈ Cn
所定义的 ∥ · ∥α 是 Cn 上的向量范数.
量
定理 1.4. 设 V 是数域 P 上的 α 可唯一地表示为 α = ∑n xiϵi, x
n =
维线性空间, (x1, . . . , xn)T
ϵ1, . . . , ∈ Pn.
ϵn 为 又设
V ∥·
的一组基, 则 V 中任一向 ∥ 是 Pn 上的向量范数, 令
√ ∥x∥∞ ≤ ∥x∥2 ≤ n∥x∥∞
(1.6) (1.7) (1.8)
引理
1.1.
如果实数
p
> 1,
q
>1
且
1 p
+
1 q
= 1,
则对任意非负实数
a,
b
都有
ap bq ab ≤ +
pq
(1.9)
证明： 若 a = 0 或 b = 0, 则 (1.9) 显然成立. 下面考虑 a, b 均为正数的情况. 对 x > 0, 0 < α < 1, 记 f (x) = xα − αx. 易证 f (x) 在 x = 1 处达到最大值 1 − α, 从而 f (x) ≤ 1 − α, 即
定理 1.6. 有限维线性空间 V 上的任意两个向量范数都是等价的.
定义 1.3. 设 {x(k)} 是 Cn 中的向量序列, 其中 x(k) = (x(1k), x(2k), . . . , x(nk))T . 如果当 k → ∞ 时 x(k) 的每一个分量 x(ik) 都有极限 xi(i = 1, 2, . . . , n), 则称向量序列 {x(k)} 是收敛 的, 并且向量 x = (x1, x2, . . . , xn)T 称为 {x(k)} 的极限, 记为
定理 2.8. 设 A ∈ Cm×n, 则
∥A∥2 ∥AH ∥2
= max |yHAx|, ∥x∥2 =1 ∥y∥2 =1
= ∥AT ∥2 = ∥A∥2,
∥AH A∥2 = ∥A∥22,
∥A∥22 ≤ ∥A∥1∥A∥∞,
并且对 m 阶酉矩阵 U 和 n 阶酉矩阵 V , 有
∀ A ∈ Cm×n.
(2.3)
定义 2.2. 设 ∥ · ∥α, ∥ · ∥β 和 ∥ · ∥γ 分别是 Cm×n, Cn×k 和 Cm×k 上的矩阵范数, 如果
∥AB∥γ ≤ ∥A∥α∥B∥β, ∀ A ∈ Cm×n, ∀ B ∈ Cn×k,
(2.4)
则称 ∥ · ∥α, ∥ · ∥β 和 ∥ · ∥γ 是相容的. 特别地, 如果 Cn×n 上的矩阵范数 ∥ · ∥ 满足
i=1
∥α∥ν = ∥x∥,
则 ∥α∥ν 是 V 上的向量范数.
2 矩阵范数
3
定理 1.5. 设 ∥ · ∥ 是数域 P 上的 n 维线性空间 V 上的任一向量范数, ϵ1, . . . , ϵn 为 V 的一组基, V 中任一向量 α 可唯一地表示为 α = ∑n xiϵi, x = (x1, . . . , xn)T ∈ Pn. 则 ∥α∥ 是
}1/p
( ∑n
)1/p
( ∑n
)1/p
|xi + yi|p
≤
|xi|p
+
|yi|p ,
i=1
i=1
i=1
其中实数 p ≥ 1.
(1.10) (1.11)
下述定理指出, 可以利用已知的向量范数去构造新范数.
定理 1.3. 设 ∥ · ∥β 是 Cm 上的向量范数, A ∈ Cm×n 且 rank(A) = n, 则由
nius 范数是向量 Euclid 范数的自然推广. Cm×n 是复数域上 mn 维线性空间, 由定理1.6可得矩阵范数等价性定理.
定理 2.1. 设 ∥ · ∥α, ∥ · ∥β 是 Cm×n 上的矩阵范数, 则存在仅与 ∥ · ∥α, ∥ · ∥β 有关的正常
数 d1, d2 使得
d1∥A∥β ≤ ∥A∥α ≤ d2∥A∥β,
如果把 Cn 上的向量范数 ∥ · ∥p (p = 1, 2, ∞) 限制到 Cm 上, 恰好是 Cm 上的向量范数 ∥ · ∥p, 由定理2.5可以得到 Cm×n 上的算子范数 ∥ · ∥p
∥A∥p = max ∥Ax∥p,
∥x∥p=1
∀ A ∈ Cm×n (p = 1, 2, ∞),
并且由定理2.6知, 这些算子范数都是相容的, 即
由定义1.1易知, 对任意向量 α, β ∈ V , 有
∥α∥ − ∥β∥ ≤ ∥α − β∥
(1.1)
在赋范线性空间 V 中, 对任意向量 α, β ∈ V , 通过
d(α, β) = ∥α − β∥
规定由范数 ∥ · ∥ 决定的距离 d(α, β). 以后对每个赋范线性空间总是按此方式引入距离, 使之
是 Cn 中的有界闭集. 引理 2.2. 设 ∥ · ∥µ 是 Cm 上的向量范数, A ∈ Cm×n, 则 ∥Ax∥µ 是 x ∈ Cn 的连续函数.
2 矩阵范数
5
定理 2.4. 设 ∥ · ∥µ 和 ∥ · ∥ν 分别是 Cm 和 Cn 上的两个向量范数, 对 A ∈ Cm×n, 令
∥A∥µ,ν = max ∥Ax∥µ,
(1) 非负性: 当 α ̸= 0 时, ∥α∥ > 0; 当 α = 0 时, ∥α∥ = 0; (2) 齐次性: 对任意 k ∈ P, α ∈ V , 有 ∥kα∥ = |k|∥α∥; (3) 三角不等式: 对任意 α, β ∈ V , 有 ∥α + β∥ ≤ ∥α∥ + ∥β∥, 则称 ∥α∥ 为向量 α 的范数, 并称定义了范数的线性空间为赋范线性空间.
关于算子范数之间的相容性, 有下述结果.
定理 2.5. 设 ∥ · ∥µ, ∥ · ∥ν 与 ∥ · ∥ω 分别是 Cm, Cn 与 Ck 上的向量范数, 如果按照 (2.7) 式分别定义 Cm×n, Cn×k 与 Cm×k 上的算子范数 ∥ · ∥µ,ν, ∥ · ∥ν,ω 和 ∥ · ∥µ,ω, 则
∥AB∥µ,ω ≤ ∥A∥µ,ν∥B∥ν,ω,
∀ A ∈ Cm×n, ∀ B ∈ Cn×k.
(2.8)
特别地, 有
定理 2.6. 设 ∥ · ∥ 是 Cn 上的向量范数, 则在 Cn×n 上由向量范数 ∥ · ∥ 导出的矩阵范数 ∥ · ∥ 是相容矩阵范数, 即
∥AB∥ ≤ ∥A∥∥B∥, ∀ A, B ∈ Cn×n.
∥AB∥ ≤ ∥A∥∥B∥, ∀ A, B ∈ Cn×n,
(2.5)
则称 ∥ · ∥ 是自相容的矩阵范数, 或简称为相容范数. 易知, 矩阵 Frobenius 范数与向量 Euclid 范数是相容的,
∥Ax∥2 ≤ ∥A∥F ∥x∥2, ∀ A ∈ Cm×n, ∀ x ∈ Cn.
(2.6)
定理 2.2. 设 ∥ · ∥ 是 Cn×n 上的相容矩阵范数, 则在 Cn 上存在与 ∥ · ∥ 相容的向量范数.