牛顿迭代法概论

➢ 重根
Q1: 若 f ( x*) ，0 牛顿迭代法是否仍收敛？ 设 x* 是 f 的 n 重根，则：f ( x) ( x x )n q( x) 且 q( x ) 0 。
因为牛顿迭代法事实上是一种特殊的不动点迭代，
其中 ( x) x ，ff (则(xx))
| ( x*) |
1
f ( x*)2 f ( x*) f ( x*) f ( x*)2
k
)
(
x
*
xk
)2
x*
xk
f ( xk ) f ( xk )
f (k )
2! f ( xk )
(
x
*
xk
)2
k 在 x* 和 xk 之间
x k 1
在单根附近收敛快！
xk1 x * ( x * xk )2
f (k )
2 f ( xk )
只要 f ( x ) 0，则令 k 可得结论。
3.牛顿迭代法的改进
f ( x1 )
f ( x1 ) f ( x0 ) x1 x0
需要2个初值 x0 和 x1。
x* x0
f ( x0 ) f ( x0 )
x1
y
x1是如下线性方程的根！
y f ( x0 ) f ( x0 )( x x0 )
( x0 , f ( x0 ))
x* x2 x1 x0
xk 1 xk
f ( xk ) f ( xk )
x
k 0,1, 2,
只要 f C1，每一步迭代都有 f ( xk ) 0
k 0,1, 2,
则 (x* ) 0 ，所以上述格式是平方收敛的。
4.优缺点
• 优点：收敛速度快，稳定性好，精度高
• 缺点：在重根附近收敛速度会降阶；每次都要计算函
数及其导数值，计算量大。
• 注解：牛顿法是局部收敛的，所以要求初值选在解的 附近，实际计算时，常先用简单迭代法算几步，估计 出一个质量较好的初值！！
1 1 n
1
A1: 有局部收敛性，但重数 n 越高，收敛越慢。
Q2: 如何加速重根的收敛？
A2: 根的重数已知，可将 f 的重根转化为另一函数的单根。
令
(x)
f f
((xx))，则
f 的重根是
的单根，且
(x)
(x x*)g(x) mg(x) (x x* )g(x)
对 (x) 构造出相应的牛顿迭代格式，迭代函数为
5.牛顿迭代法的改进——弦割法 基本思想：牛顿迭代法每一步要计算 f 和 f， 为了避免计算导 数值，现用 f 的差商近似代替微商 ，从f 而得到弦割法。
割线
收敛比牛顿迭代法慢，且对 初值要求同样高。
切线
x2 x1 x0
切线斜率 割线斜率
xk 1
xk
f ( xk )( xk xk1 ) f ( xk ) f ( xk1 )
• 原理：取 x0 x*，将 f (x) 在 x0 处做一阶Taylor展开:
f (x)
f ( x0 )
f ( x0 )(x x0 )
f
(
2!
)
(wk.baidu.com
x
x0
)2
在 x0 和 x 之间，取 x x* ，可将 (x* x0)2 看成高阶
小量，则有：
0 f ( x*) f ( x0 ) f ( x0 )( x * x0 )
其中 ( x) x ，ff则((xx))
( x) 1
f 2 ( x) f ( x) f ( x) f 2( x)
✓ ( x*)
f ( x*) f ( x*) f 2 ( x*) 0 1
收敛
由泰勒展开：
0
f ( x*)
f ( xk )
f ( xk )(x * xk )
f
(
2!
牛顿迭代法
1.背景
• 一维搜索：本身可以用来解决科学和实践中的许多一 维最优化问题,但它更多的是作为一种加速算法收敛的 手段,用来与多维优化方法相结合以求解众多的多维优 化问题。
• 精确一维搜索 • 不精确一维搜索
2.基本思想与原理
• 基本思想：将非线性方程线性化，以线性方程的解逼 近非线性方程的解。
(x) x (x) x
f (x) f (x)
( x)
[ f (x)]2 f (x) f (x)
从而可构造出相应的迭代法格式为
xk 1
xk
[
f
f (xk ) f (xk ) (xk )]2 f (xk ) f
( xk )
若已知根的重数为 n，可将迭代格式改为，
xk 1
xk
n
f ( xk ) f ( xk )
而且
lim
k
xk
x，则
x*就是
f
的根。
3.几何解释
• 方程 f (x) 0的根 x*在几何上是曲线 y f (x) x轴的 交点的横坐标。若 xk是根 x*的一个近似，过曲线上横
坐标为 xk的点 Pk 作曲线 y f (x) 的切线，则该切线
与 x 轴交点的横坐标即为 xk 1。
证明：牛顿迭代法事实上是一种特殊的不动点迭代