第3节 简单迭代法
合集下载
3-迭代
f ( x)
连续，对
2 简单迭代法及其收敛性
迭代法是数值计算中一类典型方法，不仅用
于方程求根，而且用于方程组求解，矩阵求特征 值。 迭代法的基本思想是一种逐次逼近的方法， 首先给定一个粗糙的初值，然后用同一个迭代公
式，反复校正这个初值，直到满足预先给出的精
度要求。
下面的各种求根方法，实质上就是如何构造
lim xk x 故有 k
（3）设 m>k，则有 xm xk ( xi 1 xi )
i k
使 x1 g ( x1 ) ， x2 g ( x2 )
则由微分中值定理和定理条件有
( ) x1 x2 x x g(x ) g(x ) g 1 2 1 2 L x1 x2 x1 x2
x1 与 x2 之间。 其中ξ 在 上式出现的矛盾说明 x1 x2
可以看出，迭代序列收敛。 当 k 越来越大时， xk 接近方程的近似根
3 （2） x x3 1 ，这时 g ( x) x 1
x* 1.32472
。
仍取初值 x0 1.5 ，得迭代公式 xk 1 xk 1
3
k 1, 2,3
x1 2.375 x2 12.3965 x3 1904.01 x4 6.90252 109
迭代序列发散。
按这一迭代公式计算下去，当 k 变大时， xk 远离的 f ( x) 0 精确根。
用迭代法求方程近似根的基本问题 就是 g ( x)如何构造才能使迭代序列 {xk } 收敛。 迭代法的几何意义 求方程（2）的根，实质上就是求直线 y x 与曲线 y g ( x) 的交点 P 的横坐标 x* ，如图。 从图可以看出： （1）如果迭代公式 xk 1 g ( xk ) 收敛，则迭代函数 y g ( x) 曲线走势平坦，即 g ' ( x ) 1 （2）如果迭代公式 xk 1 g ( xk ) 发散，则迭代函数 y g ( x)曲线走势陡峭，即 g ' ( x) 1
连续，对
2 简单迭代法及其收敛性
迭代法是数值计算中一类典型方法，不仅用
于方程求根，而且用于方程组求解，矩阵求特征 值。 迭代法的基本思想是一种逐次逼近的方法， 首先给定一个粗糙的初值，然后用同一个迭代公
式，反复校正这个初值，直到满足预先给出的精
度要求。
下面的各种求根方法，实质上就是如何构造
lim xk x 故有 k
（3）设 m>k，则有 xm xk ( xi 1 xi )
i k
使 x1 g ( x1 ) ， x2 g ( x2 )
则由微分中值定理和定理条件有
( ) x1 x2 x x g(x ) g(x ) g 1 2 1 2 L x1 x2 x1 x2
x1 与 x2 之间。 其中ξ 在 上式出现的矛盾说明 x1 x2
可以看出，迭代序列收敛。 当 k 越来越大时， xk 接近方程的近似根
3 （2） x x3 1 ，这时 g ( x) x 1
x* 1.32472
。
仍取初值 x0 1.5 ，得迭代公式 xk 1 xk 1
3
k 1, 2,3
x1 2.375 x2 12.3965 x3 1904.01 x4 6.90252 109
迭代序列发散。
按这一迭代公式计算下去，当 k 变大时， xk 远离的 f ( x) 0 精确根。
用迭代法求方程近似根的基本问题 就是 g ( x)如何构造才能使迭代序列 {xk } 收敛。 迭代法的几何意义 求方程（2）的根，实质上就是求直线 y x 与曲线 y g ( x) 的交点 P 的横坐标 x* ，如图。 从图可以看出： （1）如果迭代公式 xk 1 g ( xk ) 收敛，则迭代函数 y g ( x) 曲线走势平坦，即 g ' ( x ) 1 （2）如果迭代公式 xk 1 g ( xk ) 发散，则迭代函数 y g ( x)曲线走势陡峭，即 g ' ( x) 1
第三章 迭代法s4 解线性方程组的迭代法
得 x(1) = ( 0.5000, 2.8333, -1.0833 )T
x(9) = ( 2.0000, 3.0000, -1.0000 )T
举例（续）
SOR 迭代格式
( x1( k 1) (1 ) x1( k ) 1 x2k ) 2 ( k 1) (k ) ( k 1) (k ) x2 (1 ) x2 8 x1 x3 3 ( k 1) ( ( x3 (1 ) x3k ) 5 x2k 1) 2
( k ( k 在计算 xi( k 1) 时，如果用 x1 k1) ,, xi(11) 代替 x1 k ) ,, xi(1) ，则 可能会得到更好的收敛效果。此时的迭代公式为
x1( k 1) ( x2k 1) ( k 1) xn
( ( ( b1 a12 x2k ) a13 x3k ) a1n xnk ) a11 ( ( b2 a21 x1( k 1) a23 x3k ) a2 n xnk ) a22
解得
x
x ( k 1) (1 ) x ( k ) D 1 b Lx ( k 1) Ux ( k )
( k 1)
D L
1
1
(1 ) D U x
(k )
D L b
1
GS D L
Jacobi 迭代 x( k 1) D1 ( L U ) x( k ) D1b
M = D, N = M – A = -(L + U)
GS 迭代
x
( k 1)
L D Ux
1
(k )
4.2简单迭代法
( x) L 1对 x[a, b] 成立。
则① 方程x=φ(x)在[a,b]上有唯一根x*; ② 任取 x0[a, b]，由 xk+1 = φ(xk) 得到的序列 x k k 0 收敛于x*。并且有误差估计式： ③ x * x k
L xk xk ห้องสมุดไป่ตู้ 1 L
显然 ( x)在[1, 2]上单调增加。
而(1) 3 2 1，( 2) 3 3 2
即 ( x ) [(1), ( 2)] [1,2]， 所以( x )满足条件（I）。
又
2 1 1 3 | ' ( x ) || ( x 1) | 3 L 1 3 3 4
③ ③
L x * xk xk xk 1 1 L
k ？ ④ | x*x | L | x x | k 0 ？ 1 L 1
x * xk L | x * xk 1 | L | ( x * xk ) ( xk xk 1 ) |
L x * xk xk xk 1 1 L
3 x2 2 x1 1 3
3 x3 2 x2 1 55
显然迭代法发散
(2) 如果将原方程化为等价方程 仍取初值
x0 0
x
3
x 1 2
迭代格式
xk 1
3
xk 1 2
x1 3 x2 3
依此类推,得
1 x0 1 3 0.7937 2 2 x1 1 3 1.7937 0.9644 2 2
( k = 1, 2, … )
可用 | xk xk 1 | 来控制迭代过程
Lk | x1 x0 | ④ | x * xk | 1 L
迭代法
取 x(0)=(0,0,0)T 计算结果如下：
k
x1(k)
1 0.72
x2(k) 0.83
x3(k) 0.84
2 0.971 1.07
1.15
……
…
…
11 1.099993 1.199993 1.299991
12 1.099998 1.199998 1.299997
上页 下页
例2 用Gauss—Seidel 迭代法解上题.
x (0 ) (初 始 向 量)，
x
(
k
1
)
Bx (k)
f
(k 0,1, , ),
( 2 .7 )
其中B=I-(D-L)-1A= (D-L)-1U=G, f=(D-L)-1b. 称矩 阵G=(D-L)-1U为解Ax=b的高斯—塞德尔迭代法的迭 代矩阵.
上页 下页
由高斯—塞德尔迭代法(2.7)有
(k j
)
)
/
a
i
i
,
j1
ji1
x (k 1) i
(1
)
x
( i
k
)
x~
( i
k
1
)
x(k) i
( x~i(k 1)
x
( i
k
)
),
( i 1 ,2 , , n ).
即
i1
n
x ( k 1) i
x
(k i
)
(bi
a
i
j
x
( j
k
1
)
a
i
j
x
( j
k
)
)
/
a
i
i
数值分析2 迭代法
§2简单迭代法——不动点迭代(iterate)迭代法是数值计算中的一类典型方法，被用于数值计算的各方面中。
一、简单迭代法设方程f(x)=0 (3)在[a,b]区间内有一个根*x ，把(3)式写成一个等价的隐式方程x=g(x) (4)方程的根*x 代入(4)中，则有)(**=x g x (5)称*x 为ｇ的不动点（在映射ｇ下，象保持不变的点），方程求根的问题就转化为求(5)式的不动点的问题。
由于方程(4)是隐式的，无法直接得出它的根。
可采用一种逐步显式化的过程来逐次逼近，即从某个[a,b]内的猜测值0x 出发，将其代入(4)式右端，可求得)(01x g x =再以1x 为猜测值，进一步得到)(12x g x =重复上述过程，用递推关系——简单迭代公式求得序列}{k x 。
如果当k →∞时*→x x k ,}{k x 就是逼近不动点的近似解序列，称为迭代序列。
称(6)式为迭代格式，g(x)为迭代函数，而用迭代格式(6)求得方程不动点的方法，称为简单迭代法，当*∞→=x x k k lim 时，称为迭代收敛。
构造迭代函数g(x)的方法：(1)=x a x x -+2，或更一般地，对某个)(,02a x c x x c -+=≠；(2)x a x /=； (3))(21xa x x +=。
取a=3,0x =2及根*x =1.732051，给出三种情形的数值计算结果见表表 032=-x 的迭代例子问题：如何构造g(x)，才能使迭代序列}{k x 一定收敛于不动点？误差怎样估计？通常通过对迭代序列}{k x 的收敛性进行分析，找出g(x)应满足的条件，从而建立一个一般理论，可解决上述问题。
二、迭代法的收敛性设迭代格式为),2,1,0()(1 ==+k x g x k k而且序列}{k x 收敛于不动点*x ，即∞→→-*k x x k (0时）因而有)3,2,1(1 =-≤-*-*k xx x x k k (7)由于),(),)((11*-*-*∈-'=-x x x x g x x k k k ξξ当g(x)满足中值定理条件时有),(),)((11*-*-*∈-'=-x x x x g x x k k k ξξ (8)注意到(8)式中只要1)(<<'L g ξ时，(7)式成立.经过上述分析知道,迭代序列的收敛性与g(x)的构造相关,只要再保证迭代值全落在[a,b]内，便得：假定迭代函数g(x)满足条件(1) 映内性：对任意x ∈[a,b]时，有a ≤g(x) ≤b ；(2) 压缩性：g(x)在[a,b]上可导，且存在正数Ｌ<1，使对任意 x ∈[a,b]，有L x g <')( （9）则迭代格式)(1k k x g x =+对于任意初值0x ∈[a,b]均收敛于方程x=g(x)的根，并有误差估计式011x x LL x x kk --≤-*（10）证明 ：收敛性是显然的。
迭代法
第三章 线性代数方程组数值解法（迭代法）迭代法是解线性方程组的另一类方法，特别是适用于解大型稀疏线性方程组，如由某些偏微分方程数值解法中转化来的高阶线性代数方程组。
事实上，迭代法是求解多种数值问题的基本方法。
迭代法作为一种求解数值问题的通用方法，其基本思想是针对求解问题预先设计好某种迭代格式，从而产生求解问题的近似解的迭代序列，在迭代序列收敛于精确解的情况下，按精度要求取某个迭代值作为问题解的近似值，这就是求解数值问题的迭代法。
在这一章，我们的求解问题是线性方程组，下一章是非线性方程和非线性方程组，在不少其他问题中还会用到。
迭代法的内容包括下述两个主要方面： ① 针对具体问题构造具体的迭代格式。
② 研究迭代格式(序列)的收敛性并作误差分析。
3.1 解线性方程组迭代法的基本概念和基本迭代公式解线性代数方程组 b Ax = （3.1.1） (nn RA ⨯∈非奇异,0),,,(21≠=T n b b b b , Tn x x x x ),,,(21 =为解向量 )的迭代法的具体做法是： 把方程组(3.1.1)变形为等价形式)(x F x =我们这里只研究如上式的线性的形式 f Bx x +=(其中nn R B ⨯∈，nR f ∈ )例如把A分解为nn R M N M A ⨯∈-=,则（ b M Nx Mx b x N M 11)(--+=→=- ）如果令 N M B 1-=， b M f 1-= 这就是前面的迭代格式 f Bx x +=。
（对应的迭代公式是： ),,2,1,0()()1(n k f Bx xk k =+=+ 其中每一步迭代值仅依赖于前一步的迭代值。
称为单步迭代。
） 如果{)(k x }当 ∞→k 时有极限*x 存在， *)(lim x xk k =∞→则称迭代公式是收敛的；3.2 Jacobi 迭代法/Gauss —Seidel 迭代法这是解线性方程组的两种基本的方法。
1. Jacobi 迭代公式设方程组b Ax =中 nn ij Ra A ⨯∈=)(，ni R b b ∈=且 ),,2,1(0n i a ii =≠。
简单迭代法
问题: 由g ( x k ) = x k + 1 , 求 x k + 1，然而 x k 是否是g(x)定义域上的值? 问题: 是否是g(x)定义域上的值? g(x)定义域上的值 定义4 保持有界, 且全在g(x)定义域内, g(x)定义域内 定义4 若迭代序列 { x k } 保持有界, 且全在g(x)定义域内,则 lim xk = x* . 则简单迭代 简单迭代法(3.2)称为适定 (3.2)称为适定的 若进一步有 k → ∞ 简单迭代法(3.2)称为适定的； 称为收敛 法(3.2)称为收敛的。 称为收敛的 迭代公式 x k + 1 = g ( x k ), k = 0,1,L ( 3 . 2 ) 当迭代(3.2)收敛时, 又是g(x)的连续点, g(x)的连续点 当迭代(3.2)收敛时,极限点 x * 又是g(x)的连续点,则 (3.2)收敛时 * = g( lim xk ) = g( x * ) x = limxk +1 = lim g ( xk ) k →∞
a ≤ x ≤b
x ∈[ a , b ]
邻近讨论， 因此有局部收敛定理4 实际计算中往往只在根 x 邻近讨论， 因此有局部收敛定理4： 若 （ 定理4 局部收敛定理） 定理4 局部收敛定理） g ( x ) 在不动点 x * 的 δ 邻域满足 x ∈ [ x* δ , x* + δ ], 有 g ( x ) g ( x * ) ≤ L x x * ,( 3 . 7 ) 0 < L < 1, * x0 ∈ [ x* δ , x* + δ ], 由 xk +1 = g( xk ) 产生的序列{ x k } 收敛于 x , 则 x* xk ≤ Lk x* x0 , k = 0,1,L. ( 3 .8 ) 且有误差估计： 且有误差估计： 证明： 证明：k ≥ 1, x* xk = g( x* ) g( xk 1 ) ≤ L x* xk 1 ∴ x* x1 ≤ L x* x0 ≤ Lδ < δ，
第三章 迭代法s3 Newton迭代法
2
’(x*) = 0ቤተ መጻሕፍቲ ባይዱ
Newton 法至少 二阶 局部收敛
定理 设 f(x) 在其零点 x* 的某个邻域内二阶连续可导且
x*是单根 ，则存在 x* 的某个 邻域 N(x*) =[x*- , x* + ], 使得对 x0 N(x*)，Newton 法产生的序列以不低于二阶 的收敛速度收敛到 x* 。 (局部收敛定理)
Newton迭代法发散的例子
Newton法局部收敛性
单根：平方收敛 g( x )
f ( x ) f ( x ) f ( x )
2
0
m重根：线性收敛
g ( x ) lim
x x*
f ( x ) f ( x )
f ( x )
2
1
第三章 迭 代 法
第三节 Newton迭代法
Newton迭代
基本思想： 将非线性方程线性化
设 xk 是 f (x)=0 的近似根， 将 f (x) 在 xk Taylor 展开: f ( ) f ( x ) f ( xk ) f ( xk )( x xk ) ( x xk )2 , 在 xk 和 x 之间. 2! f ( xk ) f ( xk ) f ( xk )( x * xk ) x* x k 0 f ( x*) f ( xk ) y f ( xk ) xk 1 xk f ( xk )
x* 是单根时： f’(x* ) 0
x* xk+1 xk
x
Newton迭代
Newton 法可以看作下面的不动点迭代：
xk 1 ( xk ) 其中 ( x ) x f ( x ) f ( x )
简单迭代法
定理中条件2最重要。实际上，假定在根 的某邻域 x
<上 (x) L 1 ，则对此邻域上任意x (x) (x) () L x x
说明 (x)也在此邻域，条件1自然成立。
实际问题中满足条件2的区间[a,b]难以求得。但若 (x)
已知根的存在区间[a,b],自然可取中点c作
为根的精略近似值x0。为求逐次逼近 的
近似值x1,x2,,自然希望使用相同公式
xk+1= (xk),k=0,1,2,
(5-3)
利用此式求根近似值的方法称为简单迭代法。
{Xk} 称为迭代序列， (x)称 为迭代函数，
上式称为迭代格式。显然，如果迭代序列
xmk xk
xmk xmk1 xmk1 xmk2 xk1 xk
(Lm Lm1 L) xk xk1
L 1 L
xk
xk1
9
令m ,则得公式(5-6).
序列{xk}收敛于 时，如果
一
lim
k
xk1 xk p
3
作迭代格式 xk+1=(xk3-5)/2 令x0=2.5,得迭代序列:x1=5.3125,x2=72.46643066, X3=190272.0118,x4=3.444250536 1016 ,x5=2.042933398 1046,计算x6时溢出
简单迭代收敛定理 设迭代函数(x)满足条件： 1 当x[a,b]时(x) [a,b]
解法二迭代序列超线性收敛。进一步可证
2( )
24( 3 15 2 (3 2 2)3
2 )
1.366771471
0
故解法二平方收敛。一般收敛阶数p越大，迭代序列 收敛越快；线性收敛时常数c(称渐进常数)必满足 0<c<1;常数c越小，收敛也越快。
迭代法
一，对迭代法进行简介迭代法又称为辗转法，是用计算机解决问题的一种基本方法，为一种不断用变量的旧值递推新值的过程，与直接法相对应，一次性解决问题。
迭代法分为精确迭代和近似迭代，“二分法”和“牛顿迭代法”属于近似迭代法。
迭代法利用计算机运算速度快、适合做重复性操作的特点，让计算机对一组指令（或一定步骤）进行重复执行，在每次执行这组指令（或这些步骤）时，都从变量的原值推出它的一个新值。
迭代是数值分析中通过从一个初始估计出发寻找一系列近似解来解决问题（一般是解方程或者方程组）的过程，为实现这一过程所使用的方法统称为迭代法（Iterative Method）。
一般可以做如下定义：对于给定的线性方程组x=Bx+f（这里的x、B、f同为矩阵，任意线性方程组都可以变换成此形式），用公式x(k+1）=Bx(k)+f（括号中为上标，代表迭代k次得到的x，初始时k=0)逐步带入求近似解的方法称为迭代法（或称一阶定常迭代法）。
如果k趋向无穷大时limx（k）存在，记为x*，称此迭代法收敛。
显然x*就是此方程组的解，否则称为迭代法发散。
跟迭代法相对应的是直接法（或者称为一次解法），即一次性的快速解决问题，例如通过开方解决方程x +3= 4。
一般如果可能，直接解法总是优先考虑的。
但当遇到复杂问题时，特别是在未知量很多，方程为非线性时，我们无法找到直接解法（例如五次以及更高次的代数方程没有解析解，参见阿贝耳定理），(这是为什么迭代法可以求解复杂方程的原因之一)。
这时候或许可以通过迭代法寻求方程（组）的近似解（还是没有详细解释选用迭代法的原因）。
最常见的迭代法是牛顿法。
其他还包括最速下降法、共轭迭代法、变尺度迭代法、最小二乘法、线性规划、非线性规划、单纯型法、惩罚函数法、斜率投影法、遗传算法、模拟退火等等。
利用迭代算法解决问题，需要做好以下三个方面的工作：1.确定迭代变量在可以用迭代算法解决的问题中，至少存在一个直接或间接地不断由旧值递推出新值的变量，这个变量就是迭代变量。
数值计算方法 第3章-简单迭代法
y=x3
y=x +1
2017/8/5
数值计算方法
8
课程内容 §1 根的搜索与二分法
(2) 方程 f(x)=x4-4x3+1=0.
300
由f(x)= 4x2(x-3)=0 得驻点 x1=0, x2=3。
250 200 150
y=4x -1 y=x
4
3
该二点将实轴分为三个区间:
(-∞, 0), (0, 3)，(3, +∞)
2017/8/5 数值计算方法 5
课程内容 §1 根的搜索与二分法
求隔根区间的一般方法 若 f(x)在[a,b]内连续, 且 f(a) ·f(b)<0, 则 f(x)=0 在[a,b]内必有根; 若f(x)在[a,b]内还严格 单调, 则f(x)=0在[a,b]内只有一根, 据此可得求 隔根区间的两种方法。
x (-∞,0) 0 (0,3) 3 (3,4) 4 (4,+∞) 0 - 0 + + + f(x) f (x) ↘ + ↘ - ↗ + ↗ (0,3) (3,4) 隔根区间
2017/8/5 数值计算方法 10
课程内容 §1 根的搜索与二分法
2. 逐步搜索法
从区间[a, b]的左端点 a 出发, 按选定的步长
若 f ( x 0) · f(b)<0, 则x*∈(x0 , b), 令 a1=x0, b1=b。
不论出现哪种情况, (a1, b1)均为新的有根区间, 它 的长度只有原有根区间长度的一半, 达到了压缩有根 区间的目的。
2017/8/5 数值计算方法 15
课程内容 §1 根的搜索与二分法
对压缩了的有根区间, 又可实行同样的步骤, 再压 缩。如此反复进行, 即可的一系列有根区间套
第三章迭代法
k L L x1 x0 x * xk xk xk 1 1 L 1 L
后验估计
先验估计
算法设计中迭代结束条件: 近似使用|xk-xk-1|<
不动点原理
例3.3 x3x1
3 k 1
(1) xk x
1 ， g ( x) x -1,
1 = 0 ，[1,2], x0=1.5, 103 2 3
n
Jacobi迭代G = -D-1(L+U) (直接证||G||<1) Gauss-Seidel迭代, G (L D)1U ~ 令 y Gx ，
先证存在某x, ||x|| =1, 使||Ĝ|| =||y|| 再证当||x|| =1, 有||y|| <1
Jacobi迭代(直接证||G||<1)
件是否可靠?
计算公式矩阵形式
和分解：
A=L(下三角)+D (对角) +U (上三角)
迭代
x(k)= Gx (k-1) + f, k=1,2,…
Jacobi迭代
G = -D-1(L+U) = I-D-1A f = D-1 b
Gauss-Seidel迭代
G = - (L+D)-1 U f = (L+D)-1 b
证明思路：(1)解的存在唯一性; (2)解的收敛 性;(3)误差估计式(习题)。
直接从Ax=b判断
aij ）， 推论 若A按行严格对角占优（ aii j 1, j i 则解Ax=b的Jacobi迭代和Gauss-Seidel迭代 均收敛。 证明思路：用定理3.4. A严格对角占优， 则 无穷大范数 ||G||<1
(0) (0) x3 1 ，精度要求 =10-3。 初值取 x1(0) x2 计算得 ||x(6) x(5)||10-3.
后验估计
先验估计
算法设计中迭代结束条件: 近似使用|xk-xk-1|<
不动点原理
例3.3 x3x1
3 k 1
(1) xk x
1 ， g ( x) x -1,
1 = 0 ，[1,2], x0=1.5, 103 2 3
n
Jacobi迭代G = -D-1(L+U) (直接证||G||<1) Gauss-Seidel迭代, G (L D)1U ~ 令 y Gx ，
先证存在某x, ||x|| =1, 使||Ĝ|| =||y|| 再证当||x|| =1, 有||y|| <1
Jacobi迭代(直接证||G||<1)
件是否可靠?
计算公式矩阵形式
和分解：
A=L(下三角)+D (对角) +U (上三角)
迭代
x(k)= Gx (k-1) + f, k=1,2,…
Jacobi迭代
G = -D-1(L+U) = I-D-1A f = D-1 b
Gauss-Seidel迭代
G = - (L+D)-1 U f = (L+D)-1 b
证明思路：(1)解的存在唯一性; (2)解的收敛 性;(3)误差估计式(习题)。
直接从Ax=b判断
aij ）， 推论 若A按行严格对角占优（ aii j 1, j i 则解Ax=b的Jacobi迭代和Gauss-Seidel迭代 均收敛。 证明思路：用定理3.4. A严格对角占优， 则 无穷大范数 ||G||<1
(0) (0) x3 1 ，精度要求 =10-3。 初值取 x1(0) x2 计算得 ||x(6) x(5)||10-3.
简单迭代法
迭代公式可能收敛，也可能发散，那么
(1)当迭代函数(x)满足什么条件时，相应的迭代公式 xk+1=(xk)才收敛？
(2)当迭代收敛时，迭代值的误差如何估计？ 我们也不能无穷迭代下去，只能迭代有限次，所以需 要估计迭代值的误差，以便适时终止迭代。
迭代格式有多种，如何选择迭代函数才能保证迭 代法的数列收敛？有如下定理：
计式，得：
x* xk
Lk 1 L
x1 x0
计算方法二③
16/32
注1：定理2.1给出了一个收敛的迭代数列{xk}的误差 估计式。利用它，在给定精度ε>0后，只要计算到
L 1 L
|
xk
xk 1
|
就有：|x*-xk|<ε
即：只要前后两次迭代值的差值足够小，就 可使近似值xk达到任意的精度要求。
计算方法二③
记 x3=(x2) 如此反复计算…… xk+1=(xk) ，(k=0,1,2,…)
8/32
当{xk}收敛于a，而(x)是连续函数时，那么a
就是所求方程的根x* 。这是因为
a
lim
k
xk 1
lim
k
(
xk
)
(lim k
xk
)
(a)
a即是(x)的不动点。 即：x*=a
一般地，我们称(x)为方程f(x)=0的迭代函数，上
述求根的方法，称为简单迭代法。
迭代函数(x)的构造方法是多种多样的。
计算方法二③
5/32
例1 用迭代法求方程x3-x-1=0在x=1. 5附近的根。 解：先将原方程改写为如下两种等价形式：
x=1(x) 3 x 1
(1)当迭代函数(x)满足什么条件时，相应的迭代公式 xk+1=(xk)才收敛？
(2)当迭代收敛时，迭代值的误差如何估计？ 我们也不能无穷迭代下去，只能迭代有限次，所以需 要估计迭代值的误差，以便适时终止迭代。
迭代格式有多种，如何选择迭代函数才能保证迭 代法的数列收敛？有如下定理：
计式，得：
x* xk
Lk 1 L
x1 x0
计算方法二③
16/32
注1：定理2.1给出了一个收敛的迭代数列{xk}的误差 估计式。利用它，在给定精度ε>0后，只要计算到
L 1 L
|
xk
xk 1
|
就有：|x*-xk|<ε
即：只要前后两次迭代值的差值足够小，就 可使近似值xk达到任意的精度要求。
计算方法二③
记 x3=(x2) 如此反复计算…… xk+1=(xk) ，(k=0,1,2,…)
8/32
当{xk}收敛于a，而(x)是连续函数时，那么a
就是所求方程的根x* 。这是因为
a
lim
k
xk 1
lim
k
(
xk
)
(lim k
xk
)
(a)
a即是(x)的不动点。 即：x*=a
一般地，我们称(x)为方程f(x)=0的迭代函数，上
述求根的方法，称为简单迭代法。
迭代函数(x)的构造方法是多种多样的。
计算方法二③
5/32
例1 用迭代法求方程x3-x-1=0在x=1. 5附近的根。 解：先将原方程改写为如下两种等价形式：
x=1(x) 3 x 1
简单迭代法的概念与结论.ppt
得
因此,当
xk
L 1L xk 1
xk xk 1
1L
L
迭代就可以终止, xk可以作为方程的近似解
上一页 下一页 返回
由定理一可以看到
L或|(x)|在[a,b]上越小, 迭代法收敛就越快
设ek xk x *
定义1. 若存在实数 p 1和c 0满足
lim
k
ek 1 ekp
c
则称迭代法p阶收敛,当p 1时称为线性收敛, p 1时
由于 即 f (
(x)
x*) 0
f(fx)(fx，)(2x),假(x*定)
x
0
*是f(x)的一个单根， f ( 则由上式知 p 2 。
x
*
)
f (
0
x)
于是依据定理二可以断定，牛顿法在根 x* 的邻近是至少
以平方收敛的。
上一页 下一页 返回
定义2：如果存在 x的* 某个邻域 R : x x* ，使迭代过程 xk1 (xk )对于任意初值x0 R 均收敛，则称迭代过程 xk1 (xk )在根 x* 邻近具有局部收敛性。 定理三：设x*为方程 x (x) 的根，(x)在 x* 的邻近连续。
f (a) 0, f (b) 0 由介值定理知，存在 x* [a,b]有f (x*) 0即 x* (x*)
假设 x1*, x2* 满足方程 x (x)
由条件2
x1* x2* (x1*) (x2*) L x1* x2* x1* x2*
所以 x1* x2*
上一页 下一页 返回
2 设方程 x (x)在区间 a,b内有根 x*，
简单迭代法的概念与结论
简单迭代法又称逐次迭代法，基本思想是构造不动点 方程，以求得近似根。即由方程f(x)=0变换为x=(x),
第二章(1) 二分法与简单迭代法
定理2.1： f(x)在[a ,b]内连续，α 是方程f(x)在隔根区间[a ,b] 内的根，则由二分法产生的数列{xn}收敛于方程的根α ,且有 误差估计式 ba | xn | n ( n 0,1,)
2
控制误差ε常用的方法如下： (1)先计算对分次数再对分。由
ba ba 计算得 n l og2 2k
( x0 ,( x0 ))
0
x2
x1
x0
x
0
x0 x1
x2
x
数值分析
y p1 p0
y=x y=φ(x)
y p0
y=x
x x0 y x1 x* y=x y y=φ(x) p0 x0 x* y=φ(x)
p1 y=φ(x) x x1 y=x
p0 p1
x x0 x*
p1
x
数值分析
x1 x0 x*
例22求方程32190832基本思想二分法就是将方程的有根区间对分然后再选择比原来区间缩小一半的有根区间如此继续下去直到得到满足精度要求的根为止的一种简单的区间方法
第二章 方程的近似解法
在科学技术的数学问题中，经常遇到求解一元函数方程 f(x)=0 (2.1) 的问题。 这里f(x)是单变量x 的函数，它可以是代数多项式
(1)描图法
画出y=f(x)的略图，从而看出曲线与x轴交点的 大致位臵。也可将f(x)=0等价变形为g1(x)=g2(x)的 形式，y=g1(x)与y=g2(x)两曲线交点的横坐标所在的 子区间即为含根区间。 例如，求方程3x-1-cosx=0的隔根区间。 将方程等价变形为3x-1=cosx ，易见y=3x-1与y=cosx 的图像只有一个交点位于[0.5，1]内。
简单迭代法的概念与结论
定义1.
称为超线性收敛 , p = 2时称为平方收敛
显 , p越 ,收 速 也 越 然 大 敛 度 就 快
上一页 下一页 返回
定理二：对于迭代过程xk+1 = (xk ) ，如果 ( p) (x) 在所求根 x* 的邻近连续| ′(x)| L < 1，并且 ′(x*) =′ (x*) ==( p1) (x*) = 0 (*) ≤
上一页
返回
返回
定理一指出, 只要构造的迭代函数满足
(x1) (x2 ) ≤ L x1 x2
≤ 0 ≤ L <1 或 | ′(x)| L < 1
此时虽收敛但不 一定是唯一根
迭 法 k +1 = (xk )就 敛 代 x 收
L xk +1 xk 得 由 xk +1 x * ≤ 1 L L xk xk 1 < ε 1 L 1 L ε ≈ε 因此,当 xk xk 1 < L
( p) (ζ) (xk x* ) p 注意到 (xk ) = xk+1， (x* ) = x* 由上式得 xk+1 x = p!
上一页
下一页
返回
ek +1 ( p) (x*) 因此对迭代误差有: p → 。这表明迭代过程 p! ek
xk+1 = (xk )
确实为P阶收敛，证毕。 定理二告诉我们，迭代过程的收敛速度依赖于迭代函数. 如果选取当 x ∈[a, b] 时 ′(x) ≠ 0 ,则该迭代过程只能是线性
| xk+1 x* |=| (xk ) (x* ) |≤ L | xk x* |
故
xk +1 x* ≤ L xk x*
据此反复递推有
xk x* ≤ Lk x0 x*
第3节 简单迭代法
求
y x
分别就下列四种情况说明几何意义： 从点 p0 ( x0 , g( x0 )) 出发,作平行于x轴 的直线交y=x于点 ( g( x0 ), g( x0 )), 过该点 说明两点： { xk } 中 xk 的产生。 作平行于y 轴的直线交y =g(x)于点 (1) { xk } 何时收敛,何时发散。 p1 ( g( x0 ), g( g( x0 ))), 即 p1 ( x1 , g( x1 )). （2）
* x 0 x0 x1 x2 x g ( x ) 1 y=g(x)
g( x ) 1
*
* 0 x0 x2 x x1 p
0
x
p0 p1 x1 x0 x*
迭代法不收敛
x x0 x*
p1
y=g(x)
x
x1
定理 考虑方程 x = g(x), g(x)C[a, b], 若
( I ) 当 x[a, b] 时， g(x)[a, b]； ( II ) 0 L < 1 使得 | g’(x) | L < 1 对 x[a, b] 成立。 则任取 x0[a, b]，由 xk+1 = g(xk) 得到的序列 x k 0 收 k 敛于g(x) 在[a, b]上的唯一不动点。并且有误差估计式：
| xk 1 xk | | x * xk ( x * xk 1 ) | | x * xk | | x * xk 1 | | x * xk | L | x * xk | 可用 | xk 1 xk | 来 Lk 控制收敛精度 | x1 x0 | ? ⑤ | x * xk |
③ 当k 时， xk 收敛到 x* ？
| x * xk | | g( x*) g( xk 1 ) | | g(ξ k 1 ) | | x * xk 1 |
迭代解法(全章)讲解ppt课件
10/18/2023
第六章 线性方程组的迭代解法
21
§3 常用的三种迭代解法
一、 Jacobi迭代法
对于线性方程组 Ax=b
(1)
设 det(A)≠ 0 ，aii ≠ 0,i=0,1,2,…,n ，按照如下方式对A
进行分裂：
A=L+D+U
(2)
10/18/2023
第六章 线性方程组的迭代解法
22
则由 Ax=b 得到 (L+D+U) x=b >D x=-(L+U)x+b
或 向量序列 {x(k)} 收敛于向量 x* ，当且仅当它的每一 个分量序列收敛于x* 的对应分量，即
10/18/2023
第六章 线性方程组的迭代解法
7
二、矩阵的范数
矩阵范数是反映矩阵“大小”的一种度量，具体定义如下。 定义6.3 设||·||是以n阶矩阵为变量的实值函数，且满足 条件：
(1) || A ||≥0，且|| A ||＝0时，当且仅当A＝0
矩阵1-范数：
列和
矩阵2-范数：
矩阵∞-范数：
行和
以上三种范数都满足矩阵范数的条件，通常将这三种 矩阵范数统一表示为||A ||p，P＝1 ，2 ，∞。
10/18/2023
第六章 线性方程组的迭代解法
9
例6.2 设矩阵
求矩阵A的范数||A ||p，P＝1 ，2 ，∞ 。 解 根据定义
由于 则它的特征方程为:
25
对于 n 元线性方程组 其一般式为：
从中解出：
得Jacobi迭代格式
通过|| x(k+1)-x(k)||<ε 控制迭代次数。
10/18/2023
8-2简单迭代法
0.69314718
2:
3: 4: 5: 6:
0.99071047
1.09551097 1.12995299 1.14101798 1.14454695
g1 ( x ) ln( x 2), 1) x [0, 2] g1 ( x) [0, 2] 1 ( x) 2) g1 , x2 1 ( x ) 1, x [0, 2] g1 2 x0 [0, 2]时迭代收敛
第二步：近似根精确化
-1.63212056 -1.80448547 -1.83544089 -1.84045686 -1.84125511 -1.84138178 -1.84140187 -1.84140506 -1.84140557 -1.84140565 -1.84140566 -1.84140566
Aitken 加速
y y = g(x)
( x K 1 x K ) 2 ˆ K xK 一般地，有：x x K 2 x K 1 x K 2
y=x
x0 , x1 g( x0 ), x2 g( x1 ), ˆ 0 , x3 g( x2 ), x ˆ 1 , x4 g( x3 ), x ... ...
将初值代入得 x1 0.125, x2 21.376953,
x3 10023.861
显然，此迭代序列发散.
迭代格式（2）
20 f ( x) 0 x 2 x 10 20 x n 1 2 迭代格式 x n 10
将初值代入得
x14 1.5945618
20 x1 2 1.6326531 1.5 10
X*=1.14619317
7:
8:
1.14566982Байду номын сангаас
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
1 | x k 1 x k | | x * xk | 1 L
L | x1 x 0 | | x * xk | 1 L
k
( k = 1, 2, … )
且存在极限
lim
k
x * x k 1 g x * x * xk
证明：① g(x) 在[a, b]上存在不动点？
1 | x k 1 x k | ? 1 L
注意:
由 于 xk 1 xk 在 计 算 过 程 中 容 易 算 ， 又 有 估 计 式 出 | x * xk |
1 | xk 1 xk |, 在 程 序 中 ， 常 用xk 1 xk | 来 控 制 精 度 。 | 1 L
Output: approximate solution x or message of failure.
Step 1 Set i = 1; Step 2 While ( i Nmax) do steps 3-6 Step 3 Set x = g(x0); /* compute xi */ Step 4 If | x x0 | < TOL then Output (x); /* successful */ STOP; Step 5 Set i ++; 当 x */ Step 6 Set x0 = x ; /* update x0 很大时，此处
g( x ) 3, x [1,2],故不能用g( x) x 3 1 作为迭代函数. 但
1 3
令 ( x ) ( x 1)
( x )
1 33 ( x 1)2
在[1,2] 上满足 0 ( x )
1 1,所以可用 3 3 4 4
1
( x )作迭代函数求 f ( x ) 0 的根.
令 f ( x ) g( x ) x
f ( x ) 有根
a g( x ) b
f ( a ) g(a ) a 0 , f ( b ) g ( b ) b 0
② 不动点唯一？
~ ~ 反证：若不然，设还有 x g( x )，则 ~ ~ ~ ~ x* x g( x*) g( x ) g(ξ ) ( x * x ), 在 x * 和 x 之间。 ~ ~ ( x* x )(1 g(ξ )) 0 而 | g(ξ ) | 1 x* x
问题: 定义4
由g( xk ) xk 1 , 求 xk 1，然而 xk 是否是g(x)定义域上的值? 如果 lim x k x * . 则简单迭代法(3.2)称为收敛的。 k 迭代公式 xk 1 g( xk ), k 0,1, ( 3.2)
* 当迭代(3.2)收敛时,极限点x 又是g( x)的连续点。则 * lim g ( xk ) g( lim xk ) g( x * ) x lim x
求
y x
分别就下列四种情况说明几何意义： 从点 p0 ( x0 , g( x0 )) 出发,作平行于x轴 的直线交y=x于点 ( g( x0 ), g( x0 )), 过该点 说明两点： { xk } 中 xk 的产生。 作平行于y 轴的直线交y =g(x)于点 (1) { xk } 何时收敛,何时发散。 p1 ( g( x0 ), g( g( x0 ))), 即 p1 ( x1 , g( x1 )). （2）
| xk 1 xk | | x * xk ( x * xk 1 ) | | x * xk | | x * xk 1 | | x * xk | L | x * xk | 可用 | xk 1 xk | 来 Lk 控制收敛精度 | x1 x0 | ? ⑤ | x * xk |
③ 当k 时， xk 收敛到 x* ？
| x * xk | | g( x*) g( xk 1 ) | | g(ξ k 1 ) | | x * xk 1 |
பைடு நூலகம்
L | x * xk 1 | ...... Lk | x * x0 | 0
④ | x * xk |
当x (1,2)时g( x )单调，因此 ( x ) (1,2) g 当x (1,2)时 g(1) 1 1 (0,1) g( 2) 1 1 (0,1) 3 34 3 3 36
2 1 g(1) 3 2 (1,2) g(2) 3 5 (1,2) g( x ) ( 3 x 1) 3 0 3
依次进行下去得到 { xk }, 且 xk 1 g( xk ).
y g( x )
的根
0 g( x* ) 1 y
p0
y
*
p1
p2
yx
y g (x)
y
1 g( x ) 0
*
p0
p2
yx
xk x* 迭代法收敛
y=x y
x*
p1
y g (x)
y=x
3.1 简单迭代法公式
§3 简单迭代法(不动点迭代法)
问题: f(x)实函数.求f(x)=0的近似值。 基本思想方法： ( 3.1) x g( x ) (1)先将f(x)=0化为等价方程 (2) 从某 x0 出发,作序列 { xk } : 初始近似 x g( x ), k 0,1, (迭代公式) ( 3.2) k 1 k k+1次近似 若 { xk } 收敛于 x * 且 g ( x ) 连续,则 x * 是f(x)=0的根。 (3.2)式称为简单迭代法或单点迭代法或单步迭代法。 g(x)称为 迭代函数。 说明: 由f(x)=0化成等价方程x=g(x)的化法有很多种。 讨论的问题: (1) 如何选取迭代函数g(x)？ (2) g(x)满足什么条件，迭代序列收敛？
例：给出迭代式，证明 用迭代法求f ( x ) x 3 3 x 1在(1,2)的 实根时的收敛性。 1 3 2 x ( x 1) g( x ) g( x) x 1 x (1,2) 解： 由原式可得：
3 该式迭代不收敛。 从原方程中解出： 3 3 x 1 (3 x 1)1 3 g( x) x
2 1 g( x ) ( 3 x 1) 3 3
5 3
0
x (1,2)
g( x)单调，因此( x) (0,1)， g( x) 1 g
收敛于1,2)中的根。 (
根据定理 6可知，当 0 (1,2)时，xk 1 (3 xk 1)1 3 迭代得到的序列 2 x
1 L | xk 1 xk | | g( xk ) g( xk 1 ) | | g( ξ k )( xk xk 1 ) |
L | xk xL 1 | ...... Lk | x1 x0 | k 越 小 收敛越快 x * x k 1 ⑥ lim g x * ? k x * x k x * xk 1 g( ξ k )( x * xk ) lim lim g( x*) k x * x k x * xk k
定理2-7 （局部收敛定理）
x * 是 方 程 g( x )的 根 ， ( x )在x *的 某 个 邻 域 一 阶 导 数 续 ， x g 连 且 g( x * ) 1， 则 迭 代 法 具 有 局 部 敛 。 收
例 证明f ( x) x 3 x 1 0在[1,2]上有根，且写出一种收 敛的迭代法 解: f (1) f (2) (1) 5 0, f ( x ) 在 [1,2] 上有根. 方程x g( x ) x 3 1与 f ( x ) 0 等价.
x x
0 TOL 可改为 iterations); /* unsuccessful */ Step 7 Output (The method failed after Nmax x
STOP.
Aitken(埃特金)加速方法
xk 1 x* g( xk ) g( x* ) g( k )( xk x* ) xk x* g( xk 1 ) g( x* ) g( k 1 )( xk 1 x* )
* x 0 x0 x1 x2 x g ( x ) 1 y=g(x)
g( x ) 1
*
* 0 x0 x2 x x1 p
0
x
p0 p1 x1 x0 x*
迭代法不收敛
x x0 x*
p1
y=g(x)
x
x1
定理 考虑方程 x = g(x), g(x)C[a, b], 若
( I ) 当 x[a, b] 时， g(x)[a, b]； ( II ) 0 L < 1 使得 | g’(x) | L < 1 对 x[a, b] 成立。 则任取 x0[a, b]，由 xk+1 = g(xk) 得到的序列 x k 0 收 k 敛于g(x) 在[a, b]上的唯一不动点。并且有误差估计式：
k
k 1
k
k
g( x映成了 ( x ), 因此 ( 3.2) g 即x*是(3.2)的解。x )把定义域的每个
的解也称 g ( x ) 的不动点。 也可理解成：g ( x ) 是映射，若 x * 满足
* 则 x 称为 g ( x )的不动点。 x g( x ),
*
*
几何意义 求x=g(x)的根
实际计算中往往只在根
x
*
邻近讨论，因此有局部收敛定理4：
定理2-6 （局部收敛定理） 对 方 程 g( x )， 若 存 在 根 *的 某 个 邻 域 : x x * , 且 具 有 性 质 x x R
对 任 意 初 值 0 R, xk 1 g( xk )( K 0,1,)收 敛 ， 则 称 k 1 g( xk ) x x 在x *的邻 域R内 具 有 局 部 收 敛 性 。