电子科大MATLAB第6节 范数与条件数

1
P=5范数 P=0.4范 数
P=2范数 P=1范数
向量范数的几何意义
• 利用参数法绘制等范数曲线。
p x1 p x2 p 1 x1 p x2 p 1 x1 sin2/ p (t), x2 cos2/ p (t)
• clear all
• % close all
• clc
•
• % figure
LTI：线性时不变系统
尺度算子
a 0 0 0
y(n) ax(n) 0
a
0
0
x
y
0 0 ... 0
0
0
0
a
线性时不变算子的矩阵表示
差分算子
1 1 0 0 0 x(1) x(2) x(1)
0
1 ... 0
0
x(2)
x(3) x(2)
y(n) x(n 1) x(n) 0 0 ... 1 0 ... ...
可采用矩阵理论分析线性算子的性能。
矩阵范数的性质
• 相容性：设‖‖a是向量范数， ‖‖m是矩阵范数
Ax A x
a
ma
则矩阵范数‖‖m为与向量范数‖‖a 相容的矩阵范数。
• 矩阵范数相容性：设‖‖矩阵范数，满足： AB A B
则矩阵范数‖‖为相容矩阵范数。
矩阵范数的性质
性质1：算子范数与其对应的向量范数相容，即：
第三章 线性方程组求解的数值方法 第二节 范数与条件数
向量范数（Vector norm）
• 公理化定义：向量范数：满足如下性质的函数：f (x) : n
1. x 0 2. x 0 x 0 3. ax a x 4. x y x y
正定性 齐次性 三角不等性
向量范数
• 例：判断下面那些是向量范数，那些不是，不满足那些性质。
n
x @ 1
xi
i 1
x
2
@ n i1
xi
1/ 2
2
x @max
i
xi
lp范数：
x
p
@ n i1
xi
1/ p
p
最常用的范数
n
x @ 0
xi 0
x0 1, x 0; 00 0
ax a x ×
i 1
x @x1
x 0 x 0 × 不满足性质 2
不满足性质 3
x 0√
ax a x √
•
plot((-x1), (y1), 'r')
•
plot((x1), (-y1), 'r')
•
plot((-x1), (-y1), 'r')
• end
向量范数应用
• 应用：判断向量的大小
x1 x2 ×
向量不能比大小
x1 x2 √
向量通过定义范数 比大小
向量范数应用
• 最重要的用途之一：分析向量收敛性，定义向量的极限：
Ax A x
1,2,
1,2, 1,2,
Ax A max Ax A x
x
性质2：算子范数是相容范数：
AB A B
ABx
Bx
AB max
A max A B
x
x
矩阵范数与谱半径的关系
定义：矩阵A的谱半径记为 (A) = max | i | ，其中i 为 1i n
A 的特征根。
性质3：对于任意算子范数有：( A) || A || 证明： 由算子范数相容性可得：
0
0
0
1
1
x(n
1)
x(n)
x(n
1)
0 0 0 0 1 x(n) 0 x(n)
累加算子 1
n
1
y(n) x(i) 1
i 1
1
1
0 1 1 1 1
0 ... ... 1 1
0 0 0 1 1
x(1) Hale Waihona Puke Baidu
0 0 0
0 1
x(1)
x(2)
...
x(n 1)
证明：若 是 A 的一个特征根，则2 必是 A2 的特征根。 若 (A) | 0 | （最大特征根），则02 必是 A2 的
最大特征根。 || A ||2 max ( A2 ) 02 0 ( A)
范数概念结构
n
多元单值函数
mn
底层概念继 承了顶层概 念的性质。
不
范数
性质 1~4
相
容
矩
矩阵范数
矩阵范数（Matrix norm） • 矩阵范数应用：
• 满足性质1~4的 mn 的函数
– 病态问题 – 分析迭代算法的收敛性
1. A 0 2. A 0 A 0
正定性
3. aA a A
齐次性
4. A B A B
三角不等性
• 矩阵范数：
– Frobenius 范数：
nn
|| A ||F | aij |2 — 向量|| ·||2的直接推广 i1 j 1
0
0
...
0
0
x(n
1)
x(n
2)
0 0 0 1 0 x(n) x(n 1)
记作：D
线性微分方程
a0x(n) a1x(n 1) a2x(n 2) b0 y(n) b1y(n 1) b2 y(n 2) 可记为：
a0I a1D(1) a2D(2) x b0I b1D(1) b2D(2) y 其中，D(1)，D(2)为一阶，二阶时移算子
• 任意矩阵范数等价
矩阵的算子范数（Induced norm）
• 算子（诱导）范数：由向量范数导出的矩阵范数：
矩阵范数 • 常见算子范数：
Ax A @max( )
x0 x
向量范数
Ax
n
||
A
||1
@max( x0
x
1)
1
max
1 jn
i 1
| aij
|
Ax
n
||
A
||
@max( x0
x
)
max
阵
范
数
相容矩阵范数 AB A B
向量范数
， ，...,
1
2
常用范数。
算子范数
Frobenius 范 范
， ，...,
1
2
nn
|| A ||F
| aij |2
i1 j1
病态问题
• “良态”问题和“病态”问题
– 若原始数据有很小的变化δx，对应的输出变化δy也很小，则称该数学 问题是良态问题；
I B1 1
1 || B ||
线性方程组的病态问题
问题三，A，b都存在扰动：
– 给定方程组Ax=b，其解为x*， – 另给定包含误差方程组（A+E）x=b+e，其解为x’，分析误差。
|| x || || A1 |||| A || ( e E ) || A1 |||| A || ( e E )
...
...
...
... ...
...
j 2 ( N 1)0 e N
j 2 ( N 1)1
eN
j 2 ( N 1)2
eN
...
j 2 ( N 1)( N 1) e N
x(0) y(0)
x(1)
y(1)
... ...
x(
N
1)
y(
N
2)
x(N 1) y(N 1)
8 8.00002
的解为 x1＝1，x2＝2
若方程系数有一个小的扰动，
2x1
2x1 3x2 2.99999x2
8 8.00003
解此方程得 x1＝8.5，x2＝－3
方程系数变化很小，但方程的解变化很大
从系统角度分析，系统输入很小误差，对结果产生很大影响。
上述两组解都是对应方程的真实解，因此，病态问题与算法无关。
上页证明中用到了如下性质：
性质： I B1 1
1 || B ||
证明： I (I B)(I B)1 (I B)1 B(I B)1
(I B)1 I mB(I B)1 || (I B)1 || 1 || B || || (I B)1 || || (I B)1 || (1 || B ||) 1
问题二，A 存在扰动： – 给定方程组Ax=b，其解为x*， – 给定包含误差方程组（A+E）x=b，其解为x’，分析误差（A+E 可逆）
令 x’= x*+δx，将方程（A+E）x’=b与Ax*=b 做差，并展开，得到： ( A E) x Ex x ( A E)1 Ex (I A1E)1 A1Ex
hk，如果
lim
k
gk
lim
k
hk
A, 则lim k
fk
A
所以： lim n
xn x
=0
t
收敛到同一值。
思考题：
• 度量（距离）的公理化定义：
1. (x, y) 0
2. (x, y) 0 x y
3. (x, y) (y, x) 4. (x, y) (x, z) (z, y)
思考： 1、利用范数定义 (x,y) x y 是不是度量 2、度量和范数的区别有那些？能不能用度量定义范数？
x(n)
x(1) x(2)
...
n1
x(i)
i 1
n
x(i)
i 1
不考虑边界 问题
线性时不变算子的矩阵表示
时移算子 0 0 0 0 0 x(1) 0
1
0
...
0
0
x(2)
x(1)
y(n) x(n 1) 0 1 ... 0 0 ... ...
|| Ax || || A || || x ||
将任意特征值对应的特征向量u带入得： | | || u || || u || || Au || || A || || u || A 由于为任意特征值，则
( A) max | i | || A || 1i n
矩阵范数与谱半径的关系
性质4：若A对称矩阵，则有：|| A ||2 ( A)
– 若δy很大，则称为病态问题 – 病态问题中，结果对于数据的变化率都很大（很敏感），因此数据微
小变化必将导致参数模型精确解的很大变化 – 数学问题的病态问题完全取决于该数学问题本身的属性，在采用数值
方法求解之前就存在，与数值方法无关。
线性方程组的病态问题
例：线性方程组：
2x1
2x1 3x2 3.00001x2
• hold on
• axis equal
• p = 0.4;
•
•
• for iii = 1 : 200
•
t = (iii - 1) / 200 * pi / 2;
•
x1 = (sin(t)) .^ (2 / p);
•
y1 = (cos(t)) .^ (2 / p);
•
plot((x1), (y1), 'r')
A 2
max ( AT A) 16.7197
矩阵算子
• 为什么叫做“算子范数”？ – 任意离散有限线性算子可表示为矩阵形式。
x(t)
y(t)
y(n)
LTI
A/D
x(t)
x(n) 离散 y(n)
A/D
LTI
线性方程组： Linear equation system Linear system
可表示为 矩阵形式
|| x || (I A1E)1
|| x ||
A1
E
|| A1 |||| E 1 || A1E
|| ||
|| A1 |||| A || E
|| A || || A1 |||| A || E
1 || A1 |||| A || E
|| A ||
|| A ||
矩阵范数 性质5
误差很小 情况下。
矩阵范数的性质
给定向量序列{x0,x1,...,xk ,...},
lim
k
x
k
x
ξ-δ语言描述：
0, K,使得∀k > K时，满足： xk x
为什么没有给出具体是那个范数？
向量范数的等价性定理 c1
x
x 2 c2
x
向量范数的等价性定理：
设
x
和
s
x
t 是Rn上的任意两种向量范数，则存在常数c1, c2
线性方程组的病态问题
问题一：b存在扰动： – 给定方程组Ax=b，其解为x*， – 另给定包含误差方程组Ax=b+e，其解为x’，分析其误差。
x A1b x ' A1b A1e
相容性
x x ' A1e A1
e A1
A
e
x
x
b/ A
b
相容性 b Ax b A x A 1
bx
线性方程组的病态问题
线性时变算子的矩阵表示
傅立叶变换
j 2 00 e N
j 2 01
eN
j 2 02
j 2 0( N 1)
eN
... e N
y(k )
N 1
e
j 2 N
ki
x(i)
i0
j 2 10
eN ...
j 2 11
eN ...
j 2 12
eN
...
j 2 1( N 1) e N
... ...
0，使得：
c1
x s
x t c2
x s
推论：向量序列在某范数下收敛，则在任意范数下收敛。
推论证明： xn在 g s 收敛 :
lim
n
xn
x
s
0
lim
n
c1
xn
x
s
lim
n
c2
xn x s 0
由向量范数等价定理，可得：
c1
xn x
s
xn x t c2
xn x
s
夹逼定理：
已知 gk
fk
1in
| aij
j1
|
Ax
||
A
||2
@max( x0
x
2)
max ( AT A)
2
列和范数 行和范数 谱范数
矩阵的算子范数
• 例：已知矩阵A，求算子1范数和算子∞范数。
1 A 6
2 5
3 4
6行 15 和
7 8 9 24
14 15 16
列和
所以，行和范数 A 为24，列和范数 A 为16
1
xy x y √
向量范数的几何意义
• 除了范数等于0以外，任意范数取 值都对应无穷多向量，上述向量构 成了高维空间的连续曲面。
P大于1，p范数为凸函数
P小于1，p范数不为凸函数
范数的凸性对求解最优化 问题很重要。
1
0.8
0.6
0.4
0.2
0
-0.2
-0.4
-0.6
-0.8
-1
-1
-0.5
0
0.5