第3章 线性方程组解法 第2节 向量范数等价性证明

将实数
n
(x, y) yT x xi yi
i 1
n
（或复数 (x, y) y H x ） xi yi
i1
称为向量 x,的y 数量积.
18
将非负实数
1
x
2
1
(x, x) 2
n i 1
xi2 2
或
1
x 2
1
(x, x) 2
n i1
xi 2 2
称为向量 x的欧氏范数 .
，x *
记为
lim x(k ) x*.
k
25
定理7
( N (的x)连续性) 设非负函数 N (x) x
为 R上n 任一向量范数， 则 N (是x) 的x分量
的连续函数.
xi2 ) 2 .
i 1
也称为向量 x的欧氏范数.
4. 向量的 -范p数：
n
x ( p
xi p )1/ p ,
i 1
其中 p [1., )
可以证明向量函数 N (x)是 x上p 向量R的n 范数, 且容易说明上述三种范数是 p-范数的特殊情况.
24
例 计算向量 x (1,的2,3各)T种范数.
关于范数，成立如下定理.
定理6
设 x, yR（ n 或Cn ), 则
1. (x,x)0, 当且仅当x 0 时成立；
19
2. (x, y) (x, y), 为实数, (或(x, y) (x, y), 为复数）；
3. (x, y) ( y,x)(或(x, y) ( y,x));
4. (x1 x2, y) (x1, y) (x2, y);
证明 设 是 的A 任一特征值， 为x相应的特征向量，
则 Ax ，x 由相容性条件 (5.7) 得
x x Ax A x ,
注意到 x , 即0 得
A
15
定理4 定理5
如果 A R为nn对称矩阵， 则 A ( A). 2
如果 B ， 1 则 I 为B非奇异矩阵， 且
(I B)1 1 , 1 B
21
定义2 (向量的范数) 如果向量 x (R或n )的C某n 个实值函数 N (x) ，满x 足条件：
1. x 0 ( x 0 当且仅当x0 ) ( 正定条件），
2. x x , Rn (或Cn ),
（1）
3. x y x y ( 三角不等式），
则称 N (是x) (R或n )上C的n一个向量范数(或模). 由(3)
n x
，
i 1
i 1
即x x
x
x1
n nx
1
x
。
注：
Rn上一切范数都等价（证 明见后）。
向量范数概念可以推广到矩阵.
R nn
中R 的n2 向量，
R nn中矩阵的一种范数
F ( A)
1
A
F
i,
n
ai2,
j 1
j
2
,
称为 A的Frobenius范数.
R n上2 的2范数
A显然满足正定性、齐次性及三角不等式. F
(I B)1 I B (I B)1 , (I B)1 1 . 1 B
17
向量范数等价性证明
向量范数概念是三维欧氏空间中向量长度概念的推广， 在数值分析中起着重要作用.
定义1 设
x (x1, x2 ,, xn )T , y ( y1, y2 ,, yn )T R（n 或 C）n .
向量范数
函 称N数 （（（1(N定123.x）））向)义x正齐三量|9|（定次角x范 |向x性性不|数是 ，量等的R若范式定xxn上满 数义x）足 或0对 ,C：yxx于n，一 向其 0个量 x中 向x 量yR范 x,nR数或 (x或 0,或 x或 y模记 CRC。n为n)的；或某 ；个C实n值。非负
11
n
n
Ax0
max
1in
aij x j
j1
ai0 j
j1
.
3. 由于对一切 xR n , Ax 2 ( Ax, Ax) ( AT Ax,x)0, 2
从而 AT 的A 特征值为非负实数，
1 2 n 0.
（5.9）
A为T 对A 称矩阵，设 u1, u为2 ,的,相un应于A(5.9)
定义 (矩阵的范数) 如果矩阵 A Rnn
实值函数 N ( A) , A 满足条件
5
1. A 0 ( A 0 Ax0 ) (正定条件),
2. cA c A , cRn (齐次条件); （5.4）
3. A B A B (三角不等式);
4. AB A B .
则称 N ( A) R上n的n 一个矩阵范数(或模).
2
2
x0 x
1
max ( AT A).
2
例
设
A
1 3
，计42算
的各种A范数.
解
A max{ 1 3, 2 4}6,
1
13
A max{ 1 2 , 3 4}7,
A 12 (2)2 (3)2 42 5.477, F
A 2
max ( AT A)
15
221 5.46.
对于复矩阵(即 A)定Cn理n 18中的第1,2项显然也成立，3 应改为
上面定义的
F( A) A F
上的R一n个n 矩阵范数.
由于在大多数与估计有关的问题中，矩阵和向量会同
时参与讨论，所以希望引进一种矩阵的范数，它和向量范
数相联系而且和向量范数相容的.
6
即对任何向量 x 及R n A都R成nn立
Ax A x .
（5.5）
定义 (矩阵的算子范数) 设 x ,R n A， Rnn 给出一种向量范数 x(如 v 或 1∞,2)，相应地定义一个矩阵
由 即对柯证事西||明实xx|,不 |：上yxy等 只，||R22验 式 y|n|||,x证2||（ |(有 ||||xx三|xx|y||||||x,||2222角||x222y||)不 222(||x|||y等 |||y|||xx|||x2|式y2|y|||,)|22|||2x|， |2||||2xyy。并 |y|||||||)22y且 2||(以2|||x|,||,则“ yyyx||)|||2|22222”。2(范x,数y)i为n1( 例 Cxy,iay。 yu)，ich2y不i等n1 式xi2
|，
于是有
(1) (a) || x ||2 | x j |2 | xi |2 || x ||22 || x || || x ||2 ，
||即x
||x
||x
(2)
即xx xx
(b)
||
x
||22
n
xi 2
|x|2
2 nn||
(a) x
xx||i； 1n
2
2
xi
(b)
x
x
2
R
(
x
,
x
i 1
)1/ 2
(
n
xi 2 )1/ 2；
nn为对称正i1定阵，x
R
n
,
NA(x)
x
(
Ax,
x
)1
/
2
(
A
n
aij xi x j )1 2
称为向量的能量范数。
i, j1
定理19 设x Rn (或x
(或C n上)的向量范数。
C
n
)，则N
x
,
N
1
x
,
N
2
x
是R
n
上
v
的非负函数
Ax
A max
v.
v
x0
x
v
可以验证 A满足定义4，所以 v
个范数，称为 A的算子范数.
（5.6）
是A v
上R矩nn阵的一
7
定理1
设
x是 v
上R一n 个向量范数，
上矩阵的范数，且满足相容条件
则 A是 v
R nn
Ax A x .
v
v
v
证明 由(5.6)相容性条件(5.7)是显然的.
现只验证定义4中条件(4). 由(5.7)，有
（5.7）
ABx
v
A v
Bx
v
A v
B
v
x
.
v
当 x 时0，有
ABx
v A B .
x
v
v
v
8
故
ABx
AB max
v A B .
v
x0
x
v
v
v
显然这种矩阵范数 依A赖于具体的向量范数 . x
v
v
也就是说，给出一种具体的向量范数 x，相应地就可得到 v
5. (Cauchy-Schwarz不等式)
(x, y) x y ,
2
2
等号当且仅当 x与 线y 性相关时成立；
6. 三角不等式
x y x y .
2
2
2
20
向量的欧式范数可以看成是对 中R向n 量“大小”的一 种度量.
也可以用其他办法来度量向量的“大小”. 例如，对于 x (x1, x2可)T以用R一2 ,个 的函数 x N (x) mi来a1,x2度x量i 的“大x小”，而且这种度量“大小”的 方法计算起来比欧氏范数方便. 一般要求度量向量“大小”的函数N (x满) 足正定性、 齐次性和三角不等式.
n
||
x
||2
；
定理19
范数的等价性
x,
y
R
n，有
(1) || x || || x ||2
n
||Βιβλιοθήκη x||；(2) || x ||2 || x ||1
n
||
x
||2
；
(3)
||
x
|| ||
x
||1
n
||
x
||
。
证明：记x x1
xn
T,
n
||
x
||
max |
1in
xi
||
xj
解
x 6, x 3, x 14.
1
2
定义3 设 {x(k为)} 中R一n 向量序列， x*R n , 记
x(k ) (x1(k ) , x2(k ) ,, xn(k ) )T , x* (x1*, x2*,, xn* )T .
如果
lim
k
xi(k
)
xi* (i
1,2,, n),
则称 x(k收) 敛于向量
1. 设 x (x1,, 不, x妨n )T设 0 .
A0 记
n
t
x
max
1in
xi ,
max 1in
j1
aij ,
则
n
n
Ax max 1in
aij x j
j1
max i
aij
j1
xj
n
t max i
j1
aij .
10
这说明对任何非零 x R，n 有
Ax
.
x
（5.8）
i
n 1
y i2
n
n
n
注：证“1”范数时，用 xi yi xi yi 。
3定. 理范2数0的等x价, y性
R
i 1
n，有
(1) (3)
|| ||
x x
|| ||
|| ||
x x
||2 ||1 n
n || x
|| x ||
|| 。
；
(2)
||
i 1
x ||2
||
i 1
x ||1
A
2
max x0
x
H AH Ax xH x
1/ 2
max ( AH A).
14
定义 设 A R的n特n 征值为 i (i , 1,2,, n) 称
为 A的谱半径.
(
A)
max
1in
i
定理3 (特征值上界) 设 A R,nn 则 ( A) , A
即 A的谱半径不超过 的A 任何一种算子范数(对
亦A对). F
的特征向量且 (ui , u j )， 又ij设 为x任一R非n 零向量，
于是有
n
x ciui , i 1
12
其中 c为i 组合系数，则
n
Ax 2 2 x2
( AT Ax, x) ( x, x)
2
ci21
i1 n ci2
1.
i1
另一方面，取 x ， u则1 上式等号成立，故
Ax
A max
2 1
i 1
n
i 1
xi
nn xx ；
i 1
n
xj
2
nxj
2
n ||
x
||2
i 1
x
2
2 2
n
2
xi
i1 n
n xi
i 1
x
2
1
2 n
x
2
2
x
2
x 1
x
nx ,
，
1
nx ， 2
22
11
(3)
22
(a)
x
xj
n
(b) x 1
xi
n
xi
x
，
1
i1 n
xj nxj
2定. 常义用10的设向x 量 (范x1数,, xn )T Rn(或 x C n )
（1）向量的“∞”范数：N
(
x)
||
x ||
max
1inn
xi
（2）向量的“1”范数：N1 ( x) || x ||1 xi
x ；
；
y
x y
（3）向量的“2”范数：N
2
(
x
)
（4）向量的能量范数：设A
其中‖·‖是指矩阵的算子范数.
证明 用反证法. 若 det(I B, ) 0 则 (I B)x 0
有非零解，即存在 x0 0 使 Bx0 , x0
,Bx0 1
x0
故 x0 Bx0 ，B x0 B 1 与假设矛盾.
又由 (I B)(I ， 有B)1 I
16
从而
(I B)1 I B(I B)1,
接下来说明有一向量
x0, 0
使 Ax0 .
x0
n
设 ， ai0 j 取向量 x0 (x1,, , xn )T 其中 j 1
x j sgn( ai0 j ) ( j 1,2,,n).
显然
x0
,1
且 Ax的0 第 个i0分量为
， n
n
ai0 j x j
ai0 j
j 1
j 1
这说明
一种矩阵范数 .A v 定理2 设 x ,R n A，则R nn
n
1.
A
max
1in
j1
aij
(称为A的行范数),
n
2.
A max 1 1 jn
i1
aij
(称为A的列范数),
9
3.
A 2
max ( AT A)
(称为A的2范数）.
其中 max ( A表T A示) 的A最T 大A 特征值.
证明 只就1，3给出证明，2同理.
x x y y x y y .