《数值分析》第4章 解线性方程组的迭代法

及矩阵 A Rn，n 有 || Ax ||t || A ||s|| x ||t
都成立，则称矩阵范数 || ||s和向量范数 || ||相t 容.
注意：为了保证矩阵范数和向量范数相容，最常用的矩阵范数
是由相应向量范数导出的.
4.1.3 矩阵范数和矩阵序列的极限
定理4 设 || |是| R中n 的向量范数，对于任何 A Rn，n若
4.1.2 向量范数和向量序列的极限
定义2 (向量范数) 如果在 Rn中定义了实值函数，记为 || ，||
对所有 x, y Rn以及 R，若满足 （1） || x || 0，当且仅当 x 0时， || x || (0非负性) ；
（2） || x ||| | || x |(|齐次性)；
（3） || x y |||| x || || y(|三| 角不等式). 则称 || x ||为向量 x的范数 (或模).
于是有
c1 || x(k) x* || || x(k) x* || c2 || x(k) x* ||
lim ||
k
x(k)
x* || 0
lim ||
k
x(k)
x*
||
0
4.1.2 向量范数和向量序列的极限
例1 计算向量 x (5,1,3)的T 常用范数.
解
|| x || 5
|| x ||1 9
（3）|| A B |||| A || || B；||(三角不等式) （4） || AB |||| A || || B；|| 则称 || A ||为矩阵 A 的范数.
4.1.3 矩阵范数和矩阵序列的极限
相容性： 设有矩阵范数 || ||s和向量范数 || ||，t 如果对任何向量 x Rn
其中 ei (0, , 0,1, 0, , 0)(第 个i 元素为1)， i 1, 2, . , n
4.1.2 向量范数和向量序列的极限
从而有
n
n
| || x || || y || | || x y |||| (xi yi )ei || | (xi yi ) | || ei ||
证明 先证明式 (4.2). 由定义，对任何 x 0，有 || Ax || || A || || x ||
从而式 (4.2) 成立; 而当 x 0时，式 (4.2) 显然成立. 下面验证 || A ||满足范数条件: （1）显然 || A || 0，并且 A O时， || A ||. 0其次，若 || A ||，0则由 式 (4.2)，对于任何 x ，Rn || Ax |，|因0 而 A. O
又由 (E A)(E A)1 ，E有
从而有 即
(E A)1 E A(E A)1
|| x ||2 35
4.1.3 矩阵范数和矩阵序列的极限
定义4 (矩阵范数) 如果在 Rn中n 定义了实值函数，记为 || ，|| 对
所有 A, B R，n以n 及 ， 若R 满足： （1）|| A || 0，当且仅当 A O时， || A || ；0(非负性) （2）|| A ||| | || A；|| (齐次性)
定理 2 (范数的等价性) 设 || x ||，s || x ||为t R中n 任意两种范数，则 存在常数 c1, c2 0，使得
c1 || x ||s || x ||t c2 || x ||s 对一切 x Rn.
注意：由定理2可知, 如果在一种范数意义下向量序列收敛, 则在任 何一种范数意义下该向量序列亦收敛.
|| A ||2 (AT A)
特别当 A是实对称矩阵时，有
|| A ||2 (AT A) (A2) (A)
此时，A的 2-范数与该矩阵的谱半径相等.
4.1.3 矩阵范数和矩阵序列的极限
定理6 对任何 A Rn，n || 为|| 任一种矩阵范数，则有
(A) || A ||
证明 设 是 A的任意特征值， x为相应的特征向量，则
4.1.2 向量范数和向量序列的极限
常用的向量范数：设 x Rn
（1）向量的 - 范数 (最大范数)：
||
x
||
max
1 i n
|
xi
|
n
（2）向量的 1 - 范数 (绝对值范数)：|| x ||1 | xi | i 1
1
n
1
（3）向量的 2 - 范数： || x ||2 ( x, x)2 ( xi2 )2
定义3 (向量序列的极限) 设 {x(k)}为 R中n 一向量序列， x* R，n
记 x(k ) (x1(k ) , x2(k ) , , xn(k )，) x* (x1*, x2*, ,，x2* )如 果
lim
k
x(k ) i
xi* (i
1, 2,
,，n)则称向量序列
{x (收k ) }敛于向量
|| x||1
|| x||1
|| x|| 1
（4）设 A, B Rn，n 有
|| AB || max || (AB)x |||| A || max || Bx |||| A || || B ||
|| x||1
|| x||1
因此 || A ||是矩阵 A的范数.
4.1.3 矩阵范数和矩阵序列的极限
是 ( A) 1.
证明 必要性. 设有特征值 满足 | |，1 相应特征向 量 x 0，则任何正整数 k，有 Ak x k ，x 故 Ak不x 趋于 ，0 与 lim Ak O矛盾，故 ( A) .1
k
充分性. 略
4.1.3 矩阵范数和矩阵序列的极限
定理8 若 || A ||，1 则 E A是非奇异的，且
迭代法的优点：需要计算机存储空间少，易于编程，计算简单，原 始系数矩阵在计算过程中始终不变.
迭代法的思想：迭代法是基于一定的递推格式，产生方程组精确解 近似序列的数值算法，其收敛性和误差估计是迭代法的主要理论，也是 研究的重要问题.
预备知识
4.1.1 向量的数量积及其性质
定义1 设 x (x1, x2 , , x，n ) y ( y1, y2, , yn )(或Rn )，C将n 实数
n
n
( x, y) xi y(i或复数 ( x, y) yH x )x称i yi为向量 与x 的数y 量积(或内
i 1
1
i 1 n
1
积). 将非负实数 || x ||2 ( x, x)2 ( (x或i2 )2
n
1
|| x ||2 ( ) 称xi 2为)2向量
i 1
i 1
x 的欧氏范数.
定理3 lim x(k) 的x* 充要条件是 lim || x(k) x* || ， 0其中
k
k
量的任一种范数.
为|| 向||
4.1.2 向量范数和向量序列的极限
证明 显然，
lim
k
x(k)
x*
lim
k
||
x(k)
x*
||
0
而对于 Rn 中任一范数 || ||，由定理2，存在常数 c1, c2 ，0 使
lim
k
a(k ij
)
aij ,
i, j 1, 2, , n
则称矩阵序列 {Ak}收敛于 A，记为
lim
k
Ak
A
定理5
lim
k
Ak
A的充要条件是
lim
k
||
Ak
A
|，| 0式中
阵的任一种范数.
为|| 矩||
4.1.3 矩阵范数和矩阵序列的极限
定义6 (谱半径) 矩阵 A Rn的n 特征值按模最大值称为 A的谱 半径，记作 (，A)即 ( A) m1iaxn，| 式i | 中 是i 的特A 征值. 注意：由谱半径的定义，矩阵的 2-范数可记为
常用的矩阵范数：设矩阵 A (aij ) Rnn （3）2 - 范数 (谱范数)：
|| A ||2 max ( A A)
式中，A为 A的转置矩阵， max ( A A为) 矩阵 A 的A 最大特征值， 它是
从属于向量 2-范数的矩阵范数.
（4）F - 范数：
n
|| A ||F ( ai2j )1/2 i, j1
，x*
记为
lim x(k ) x*
k
4.1.2 向量范数和向量序列的极限
定理1 (范数的连续性) Rn中的任何范数 || x |均| 为 x的连续函数.
证明 对任何向量 x (x1, x2 , , xn，) y ( y1, y2 , , y，n )有
n
x xiei i 1
n
y yiei i 1
|| E A 1 || 1
1 || A ||
证明 用反证法. 若 det(E A) ，0 则 (E A)x 有0非零解， 即存在 x 0，使 Ax x， || Ax || . 故1 || A |，| 1与假设矛
|| x ||
盾，因此 E A是非奇异的.
4.1.3 矩阵范数和矩阵序列的极限
4.1.3 矩阵范数和矩阵序列的极限
（2）对于任何 R，有
|| A || max || Ax ||| | max || Ax ||| | || A ||
|| x||1
|| x||1
（3）设 A, B Rn，n 有
|| A B || max || (A B)x || max || Ax || max || Bx |||| A || || B ||
第四章 解线性方程组的迭代法
4.1 预备知识 4.2 简单迭代法 4.3 雅可比迭代法和高斯-赛德尔迭代法 4.4 超松弛迭代法 4.5 共轭梯度法
引言
在实际应用中，由微分方程离散化产生的离散方程组大都是高阶的 线性方程组，而且系数矩阵往往是含零元素较多的稀疏矩阵. 这时用直 接法求解是不实际的，因为直接法有可能破坏了系数矩阵的稀疏性，使 得存储量大为增加.
数量积的性质: 设 x 与 y是向量，是数，则 （1 ）( x, x) 0，当且仅当 x 时0 成立;
4.1.1 向量的数量积及其性质
（2） ( x, y) (x, y；)
（3） (x, y) ( y, x；) （4） ( x1 x2 , y) ( x1, y) ( x2,；y) （5） | ( x, y) ||| x ||2|| y |(|2Cauchy-Schwarz不等式) ； （6） || x y ||2 || x ||2 || y |(|三2 角不等式) .
i 1
i 1
n
|| x y || || ei || c || x y || i 1
n
式中 c || ei .|| 又当 x y时， || x y || ，0所以当 i 1
x 时y，
|| x |||| y || ，即 || x ||为 x的连续函数.
4.1.2 向量范数和向量序列的极限
Ax x. 由式 (4.2) 得
| | || x ||| x ||| Ax |||| A || || x ||
即 | ||| A |.| 由 的任意性得到 ( A) || A. ||
4.1.3 矩阵范数和矩阵序列的极限
定理7 对于任意 A Rn，n lim Ak 的O 充分必要条件 k
定义
|| A || max || Ax || || x||1
（4.1）
则 || A || 是矩阵 A的范数. 如此得到的矩阵范数 || |称| 为向量范数 的从|| 属|| 范数，它与向量范数 相容||,即|| 有
|| Ax || || A || 列的极限
常用的矩阵范数：设矩阵 A (aij ) Rnn
（1）- 范数 (行范数)：
n
||
A ||
max
1in
| aij
j 1
|
它是从属于向量 - 范数的矩阵范数.
（2）1 - 范数 (列范数)：
n
||
A ||1
max
1 jn
i 1
|
aij
|
它是从属于向量 1 - 范数的矩阵范数.
4.1.3 矩阵范数和矩阵序列的极限
它是与向量 2-范数相容的矩阵范数，但不是从属范数.
4.1.3 矩阵范数和矩阵序列的极限
例2
设
A
2 1
10， 计算
A的常用范数.
解
|| A || 3, || A ||1 3
|| A ||2 3+2 2 , || A ||F 6
4.1.3 矩阵范数和矩阵序列的极限
定义5 (矩阵序列的极限) 设有矩阵序列 Ak (ai(jk) ) Rn，n 如果存 在 A (aij ) Rn，n 使
i 1
4.1.2 向量范数和向量序列的极限
常用的向量范数：设 x Rn
n
1
（4）向量的 p- 范数：|| x ||p ( | xi |p ) p , 0 p
i 1
注意：上述定义的范数均满足向量范数定义的三个条件, 并且 前三种范数都是 p - 范数的特例.
4.1.2 向量范数和向量序列的极限