数值分析第六章
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
迭代法----用某种极限过程去逐步逼近线性方程组精确解的方法.
我们主要介绍迭代法的一般理论及雅可比迭代
法、高斯—塞德尔迭代法、超松弛迭代法，研究它
们的收敛性。
下面先介绍向量和矩阵的范数
6.1 向量和矩阵的范数
为了研究线性方程组的近似解的误差估计和迭代法的收敛性, 我们需要对Rn中的向量(或Rnⅹn中的矩阵)的大小引进某种量— —向量(或矩阵)的范数.
k
要研究B满足什么条件下B k 0( k ) .
问题：（1）如何建立迭代公式？ （2）向量序列收敛的条件是什么？ （3）收敛速度、误差估计是多少？
6.6.1
迭代公式的建立
1.雅可比（Jacobi}迭代
例1 求解线性方程组
8x 1 3x 2 2 x 3 20, 4 x 1 11x 2 x 3 33, 6 x 3x 12x 36. 2 3 1
一般地，由Ax b变形得到等价的x Bx f .
设有解x*, 则 x* Bx * f 1
又设任取初值 x (0) , 则可构造迭代序列 x ( k 1) Bx ( k ) f
近似解的方法称为 迭代法(一阶定常迭代法 ) .
(2)若 lim x ( k )存在(记为x*)，则称此迭代法收敛, 显然x *
第6章
考虑线性方程组
线性代数方程组的解法
a11 x1 a12 x2 a1n xn b1 a x a x a x b 21 1 22 2 2n n 2 an1 x1 an 2 x2 ann xn bn
也就是
定义6.1( 向量范数) 如果x R n (或C n )的某个非负实值函数 N ( x) || x ||, 满足
(1) (2) (3) 则称 (4) 正定性： 齐次性：
|| x || 0,
等号当且仅当
x0
时成立；
R , || x || | | || x || ;
三角不等式：
k
2
定义1 (1)对于方程组x Bx f，用公式 2 逐步代入求
是解, 否则迭代法发散.
引进误差向量 ε ( k ) x ( k ) x*,则由 1 2 得 ε
k
( k 1)
Bε
(k)
B ε .
k ( 0)
收敛： lim ε ( k ) 0 lim B k 0.
它们满足如下相容关系：
|| Ax ||1 ||A||1||x||1 ,
|| Ax || || A || || x || ，
|| Ax ||2 || A ||2 || x ||2 , || Ax ||2 || A ||F || x ||2 .
Frobenius 范数不是算子范数 我们只关心有相容性的范数，算子范数总是相容的。
例2.
求矩阵A的各种常用范数
1 2 0 3 A 1 2 1 4 0 1 1 2
2
n
5
2
解:
{ 2 , 5 ,2} 5 A 1 max aij max 1 j n
1 j n i 1
aij max{3,4,2} 4 A max 1 i n
|| A B |||| A || || B || , A, B Rnn .
(4) || AB |||| A || || B || , A, B Rnn .
则称
|| A || 为 矩阵
A
的范数或模。
|| A ||F 就是R nn上的一个矩阵范数.
我们希望一种矩阵范数满足和向量范数的相容性，即 || Ax |||| A || || x ||, A Rnn , x Rn .
(1)
记为Ax=b,即
8 4 6 3 11 3 2 1 12
8x 1 3x 2 2 x 3 20, 4 x 1 11x 2 x 3 33, 6 x 3x 12x 36. 2 3 1
(1)
x1 20 x 33 . 2 x3 36
2 2 2 1
x 1 c2 x
,即
1*4≤9≤9/4*4=9
5
(k ) 定义6.2 设{x ( k ) }为R n中一个向量序列, 记x ( k ) ( x1( k ) , x2 , , (k ) T xn ) , x* ( x1*, x2 *, , xn *)T . 若 lim xi( k ) xi *(i 1, 2, , n), k
其中M为可选择的非奇异矩阵,且使Mx=d容易求解。 于是, Ax=b⇔x=M-1Nx+M-1b x Bx f .
(0) n 取初始向量 x R ，得迭代方程 其中B M N, f M b. ( k 1) (k ) x Bx f , k 0,1,,
1 1
定理 设||x||v 是R n上一种向量范数, 则 ||A||v 是R nn上 一种矩阵范数, 且满足相容条件 || Ax |||| A || || x ||, A R nn , x R n .
诱导出的常用矩阵范数有：
定理6.4 设A Rnn , 则
n || A ||1 max | a |, ij 1 j n i 1
j 1
n
1 i n
由于
T ( A A) A2 max
12
因此先求AT A的特征值
1 1 0 1 2 T A A 2 2 1 1 2 0 1 1 0 1
特征方程为
1 0 2 0 1 0 9 1 1 1 2 1
|| x || max ቤተ መጻሕፍቲ ባይዱ xi |,
1in
|| x ||1| x1 | | xn |,
n p 1/ p || x || p ( | xi | ) , p [1, ). (p-范数) i 1 可以验证它们都是范数. 易见前三种范数是p-范数的 特殊情况 (|| x || lim || x || p ).
性质较好
使用最广泛
14
定义6.6. 设A Rnn的特征值为 1 , 2 ,, n , 称 ( A) max{1 , 2 ,, n }
为矩阵A的谱半径
显然
A2
max ( AT A) ( AT A)
|| A ||2 矩阵AT A的最大特征值
定理6.5(特征值上界) 设A Rnn , 则 ( A) || A || (任一范数).
定理6.3 lim x ( k ) x* lim || x ( k ) x* || 0, 其中 || || 为向量
k k
n
的任一种范数.
下面把向量范数概念推广到矩阵上. 视R 中矩阵为R 中 的向量，则由R 上2 范数得到R nn中矩阵的一种范数.
n n || A ||F | a |2 ， —F范数( Frobenius) ij i 1 j 1
定义6.5( 矩阵的算子范数) 设x R n , A R nn . 对于给定一种 向量范数 ||x||v , 相应地定义 ||Ax||v ||A||v max max ||Ax||v . x0 ||x||v ||x||v 1 (下面验证||A||v 是矩阵的一种范数)称为矩阵的算子范数.
AX=b.
线性方程组的解法可分为直接法和迭代法两大类。
低阶稠密的线性方程组用直接法(如高斯消去法和三 角分解法(LU分解法）)。
大型稀疏非带状的线性方程组(n很大,且零元素很多.
如偏微方程数值解产生的线性方程组,n≥104)的求解
问题？ 零元素多，适合用迭代法。迭代法简单好用，而 直接法计算代价太高。
p
|| x || 2 | x1 |2 | xn |2 ,
max xi ( x1 1i n
n
1 p 1 i n
p
x2
p
xn
p
)
1
p
(n max xi )
1 i n
p
1
p
max xi max xi ( p )
1i n
x
|| x y |||| x || || y || , x, y Rn .
|| x || 为向量
x 的范数或模。
由(3)可推出不等式
|| x || || y || || x y || , x, y R n .
几种常用范数
且 x x2 x1
(无穷范数)
(1-范数) (2-范数)
n2
nn
n2
下面给出矩阵范数的一般定义.
nn 如果 A R 的某个非负实值函数 定义6.3(矩阵的范数)
N ( A) || A ||, 满足
(1) (2) (3) 正定性： 齐次性： 三角不等式：
|| A || 0,
等号当且仅当
A 0 时成立；
R , || A || | | || A || ;
则称x ( k )收敛到x *.记为 lim x ( k ) x *.
k
定理6.1( N(x)的连续性) 设N ( x) || x || 为R n是上任一向量 范数，则N ( x)是x的分量x1 , x2 ,, xn的连续函数.
定理6.2(向量范数的等价性) 设 || x ||s ,|| x ||t 为R 是上向量 任意两种范数, 则存在常数c1 , c2 0, 使得对一切x R n有 c1 || x ||s || x ||t c2 || x ||s .
p
x
( p 时),
例1.求下列向量的各种常用范数
x (1,4,3,1)T
解:
x 1 x1 x2 x4 9 x 2 ( x1 x2 x4 ) 2 27 3 3
xi 4 x max 1i 4
显然, 本例中 c1 x
n || A || max | a |, ij 1i n j 1
—列范数
—行范数
A 2 max ( AT A)
—2范数
|| A ||2 矩阵AT A的最大特征值 ,
A的每列绝对值之和的最 大值,
A的每行绝对值之和的最 大值,
max ( AT A)为AT A的特征值的绝对值的最 大值
1 1
0
2
T
0
det(I A A)
T
0 1
9
1
2
可得A A的特征值为
1 9.1428, 2 2.9211 , 3 0.9361
13
1 9.1428, 2 2.9211 , 3 0.9361 max ( AT A) 9.1428
a11 x1 a12 x2 a1n xn b1 a x a x a x b 21 1 22 2 2n n 2 an1 x1 an 2 x2 ann xn bn
考虑线性方程组
也就是 进行矩阵分解
Ax=b. A=M-N,
A 2 max ( AT A) 3.0237 A F tr ( A A) 2 9 2 3.6056
T
A1
容易计算
A
A2
计算较复杂
对矩阵元素的 变化比较敏感
AF
不是从属范数
较少使用
1 2 0 T A A 0 9 1 1 1 2
即矩阵A的谱半径不超过矩阵的任何一种算子范数
定理6.6 若A Rnn为对称矩阵, 则 ( A) || A ||2 .
定理6.7 若方阵B满足 || B || 1, 则I B为非奇异阵, 且 1 1 || I B || . 1 || B ||
6.6
线性代数方程组的基本迭代法
我们主要介绍迭代法的一般理论及雅可比迭代
法、高斯—塞德尔迭代法、超松弛迭代法，研究它
们的收敛性。
下面先介绍向量和矩阵的范数
6.1 向量和矩阵的范数
为了研究线性方程组的近似解的误差估计和迭代法的收敛性, 我们需要对Rn中的向量(或Rnⅹn中的矩阵)的大小引进某种量— —向量(或矩阵)的范数.
k
要研究B满足什么条件下B k 0( k ) .
问题：（1）如何建立迭代公式？ （2）向量序列收敛的条件是什么？ （3）收敛速度、误差估计是多少？
6.6.1
迭代公式的建立
1.雅可比（Jacobi}迭代
例1 求解线性方程组
8x 1 3x 2 2 x 3 20, 4 x 1 11x 2 x 3 33, 6 x 3x 12x 36. 2 3 1
一般地，由Ax b变形得到等价的x Bx f .
设有解x*, 则 x* Bx * f 1
又设任取初值 x (0) , 则可构造迭代序列 x ( k 1) Bx ( k ) f
近似解的方法称为 迭代法(一阶定常迭代法 ) .
(2)若 lim x ( k )存在(记为x*)，则称此迭代法收敛, 显然x *
第6章
考虑线性方程组
线性代数方程组的解法
a11 x1 a12 x2 a1n xn b1 a x a x a x b 21 1 22 2 2n n 2 an1 x1 an 2 x2 ann xn bn
也就是
定义6.1( 向量范数) 如果x R n (或C n )的某个非负实值函数 N ( x) || x ||, 满足
(1) (2) (3) 则称 (4) 正定性： 齐次性：
|| x || 0,
等号当且仅当
x0
时成立；
R , || x || | | || x || ;
三角不等式：
k
2
定义1 (1)对于方程组x Bx f，用公式 2 逐步代入求
是解, 否则迭代法发散.
引进误差向量 ε ( k ) x ( k ) x*,则由 1 2 得 ε
k
( k 1)
Bε
(k)
B ε .
k ( 0)
收敛： lim ε ( k ) 0 lim B k 0.
它们满足如下相容关系：
|| Ax ||1 ||A||1||x||1 ,
|| Ax || || A || || x || ，
|| Ax ||2 || A ||2 || x ||2 , || Ax ||2 || A ||F || x ||2 .
Frobenius 范数不是算子范数 我们只关心有相容性的范数，算子范数总是相容的。
例2.
求矩阵A的各种常用范数
1 2 0 3 A 1 2 1 4 0 1 1 2
2
n
5
2
解:
{ 2 , 5 ,2} 5 A 1 max aij max 1 j n
1 j n i 1
aij max{3,4,2} 4 A max 1 i n
|| A B |||| A || || B || , A, B Rnn .
(4) || AB |||| A || || B || , A, B Rnn .
则称
|| A || 为 矩阵
A
的范数或模。
|| A ||F 就是R nn上的一个矩阵范数.
我们希望一种矩阵范数满足和向量范数的相容性，即 || Ax |||| A || || x ||, A Rnn , x Rn .
(1)
记为Ax=b,即
8 4 6 3 11 3 2 1 12
8x 1 3x 2 2 x 3 20, 4 x 1 11x 2 x 3 33, 6 x 3x 12x 36. 2 3 1
(1)
x1 20 x 33 . 2 x3 36
2 2 2 1
x 1 c2 x
,即
1*4≤9≤9/4*4=9
5
(k ) 定义6.2 设{x ( k ) }为R n中一个向量序列, 记x ( k ) ( x1( k ) , x2 , , (k ) T xn ) , x* ( x1*, x2 *, , xn *)T . 若 lim xi( k ) xi *(i 1, 2, , n), k
其中M为可选择的非奇异矩阵,且使Mx=d容易求解。 于是, Ax=b⇔x=M-1Nx+M-1b x Bx f .
(0) n 取初始向量 x R ，得迭代方程 其中B M N, f M b. ( k 1) (k ) x Bx f , k 0,1,,
1 1
定理 设||x||v 是R n上一种向量范数, 则 ||A||v 是R nn上 一种矩阵范数, 且满足相容条件 || Ax |||| A || || x ||, A R nn , x R n .
诱导出的常用矩阵范数有：
定理6.4 设A Rnn , 则
n || A ||1 max | a |, ij 1 j n i 1
j 1
n
1 i n
由于
T ( A A) A2 max
12
因此先求AT A的特征值
1 1 0 1 2 T A A 2 2 1 1 2 0 1 1 0 1
特征方程为
1 0 2 0 1 0 9 1 1 1 2 1
|| x || max ቤተ መጻሕፍቲ ባይዱ xi |,
1in
|| x ||1| x1 | | xn |,
n p 1/ p || x || p ( | xi | ) , p [1, ). (p-范数) i 1 可以验证它们都是范数. 易见前三种范数是p-范数的 特殊情况 (|| x || lim || x || p ).
性质较好
使用最广泛
14
定义6.6. 设A Rnn的特征值为 1 , 2 ,, n , 称 ( A) max{1 , 2 ,, n }
为矩阵A的谱半径
显然
A2
max ( AT A) ( AT A)
|| A ||2 矩阵AT A的最大特征值
定理6.5(特征值上界) 设A Rnn , 则 ( A) || A || (任一范数).
定理6.3 lim x ( k ) x* lim || x ( k ) x* || 0, 其中 || || 为向量
k k
n
的任一种范数.
下面把向量范数概念推广到矩阵上. 视R 中矩阵为R 中 的向量，则由R 上2 范数得到R nn中矩阵的一种范数.
n n || A ||F | a |2 ， —F范数( Frobenius) ij i 1 j 1
定义6.5( 矩阵的算子范数) 设x R n , A R nn . 对于给定一种 向量范数 ||x||v , 相应地定义 ||Ax||v ||A||v max max ||Ax||v . x0 ||x||v ||x||v 1 (下面验证||A||v 是矩阵的一种范数)称为矩阵的算子范数.
AX=b.
线性方程组的解法可分为直接法和迭代法两大类。
低阶稠密的线性方程组用直接法(如高斯消去法和三 角分解法(LU分解法）)。
大型稀疏非带状的线性方程组(n很大,且零元素很多.
如偏微方程数值解产生的线性方程组,n≥104)的求解
问题？ 零元素多，适合用迭代法。迭代法简单好用，而 直接法计算代价太高。
p
|| x || 2 | x1 |2 | xn |2 ,
max xi ( x1 1i n
n
1 p 1 i n
p
x2
p
xn
p
)
1
p
(n max xi )
1 i n
p
1
p
max xi max xi ( p )
1i n
x
|| x y |||| x || || y || , x, y Rn .
|| x || 为向量
x 的范数或模。
由(3)可推出不等式
|| x || || y || || x y || , x, y R n .
几种常用范数
且 x x2 x1
(无穷范数)
(1-范数) (2-范数)
n2
nn
n2
下面给出矩阵范数的一般定义.
nn 如果 A R 的某个非负实值函数 定义6.3(矩阵的范数)
N ( A) || A ||, 满足
(1) (2) (3) 正定性： 齐次性： 三角不等式：
|| A || 0,
等号当且仅当
A 0 时成立；
R , || A || | | || A || ;
则称x ( k )收敛到x *.记为 lim x ( k ) x *.
k
定理6.1( N(x)的连续性) 设N ( x) || x || 为R n是上任一向量 范数，则N ( x)是x的分量x1 , x2 ,, xn的连续函数.
定理6.2(向量范数的等价性) 设 || x ||s ,|| x ||t 为R 是上向量 任意两种范数, 则存在常数c1 , c2 0, 使得对一切x R n有 c1 || x ||s || x ||t c2 || x ||s .
p
x
( p 时),
例1.求下列向量的各种常用范数
x (1,4,3,1)T
解:
x 1 x1 x2 x4 9 x 2 ( x1 x2 x4 ) 2 27 3 3
xi 4 x max 1i 4
显然, 本例中 c1 x
n || A || max | a |, ij 1i n j 1
—列范数
—行范数
A 2 max ( AT A)
—2范数
|| A ||2 矩阵AT A的最大特征值 ,
A的每列绝对值之和的最 大值,
A的每行绝对值之和的最 大值,
max ( AT A)为AT A的特征值的绝对值的最 大值
1 1
0
2
T
0
det(I A A)
T
0 1
9
1
2
可得A A的特征值为
1 9.1428, 2 2.9211 , 3 0.9361
13
1 9.1428, 2 2.9211 , 3 0.9361 max ( AT A) 9.1428
a11 x1 a12 x2 a1n xn b1 a x a x a x b 21 1 22 2 2n n 2 an1 x1 an 2 x2 ann xn bn
考虑线性方程组
也就是 进行矩阵分解
Ax=b. A=M-N,
A 2 max ( AT A) 3.0237 A F tr ( A A) 2 9 2 3.6056
T
A1
容易计算
A
A2
计算较复杂
对矩阵元素的 变化比较敏感
AF
不是从属范数
较少使用
1 2 0 T A A 0 9 1 1 1 2
即矩阵A的谱半径不超过矩阵的任何一种算子范数
定理6.6 若A Rnn为对称矩阵, 则 ( A) || A ||2 .
定理6.7 若方阵B满足 || B || 1, 则I B为非奇异阵, 且 1 1 || I B || . 1 || B ||
6.6
线性代数方程组的基本迭代法