最优化方法 第三章第四讲 Newton法

|| g k ||
4.0 4.5156
0.1273
0.0003
6.0828 8.4495 1.3388 0.0511 0.0001
(0.1550, 0.1650)T
(0.0057, 0.0111)T (0.0000, 0.0000)T
0.0000
xk (0,0)
严格局部极小点
8 x1－2x1 x2 g ( x) 2 2 x2－x1
例 3.4.2 用 Newton 法求解 2 ， min f ( x) x1 x2 2 x12 2 x1 x2 x2 初始点设为 (0,0)T 。 4 x1 2 x2 1 4 2 G ( x) 解： g ( x) ， 2 2 2 x1 2 x2 1 k 0：
(1.9999996, 1.0000016)T 2.75 1012
例 3.4.4 用 Newton 法求解问题
2 min f ( x) 4 x12＋x2 －x12 x2 取初始点为 xA (1,1)T , xB (3, 4)T , xC (2,0)T 。
2 min f ( x) 4 x12＋x2 －x12 x2
取初始点 x0 ，令 k 0 。
Step2
Step3
计算 g k 。
若 gk ，则 x* xk ，停；否则计算
Gk ，并由 Gk pk g k 解出 pk 。
Step4
令 xk 1 xk pk ，k k 1， 转 Step2。
Newton法
x(1), ε >0, k=1 k=k+1
例 3.4.3 用 Newton 法求解问题
2 min f ( x) ( x1 2)4 ( x1 2)2 x2 ( x2 1)2 问题极小点为 (2, 1)T , 取初始点为 (1,1)T 。
解: 用 Newton 法得到得迭代点如表所示：
k
0 1 2 3 4 5 6
xk
xk 1 xk pk ， 令 其中 pk 应满足 Gk pk g k 。
方程组 Gk pk g k 称为 Newton 方程， 公式 xk 1 xk Gk1 g k 称为 Newton 迭代公式。
算法 3.4.1 Newton 法 给定控制误差 0 。
Step1
(1,1)T
(1, 0.5)T
f ( xk )
6.0 1.5
(1.3913043, 0.69565217)T 4.09 101 (1.7459441, 0.94879809)T 6.49 10 2
(1.9862783, 1.0482081)T 2.53 103 (1.9987342, 1.0001700)T 1.63 106
3.4.3
Newton 法的优缺点
优点 ⑴如果G *正定且初始点合适，算法是二阶收敛的。 ⑵对正定二次函数，迭代一次就可得到极小点。
缺点 ⑴对多数问题算法不是整体收敛的。 ⑵在每次迭代中需要计算 Gk 。 ⑶每次迭代需要求解线性方程组，Gk p g k ，该方 程组有可能是奇异或病态的（有时 Gk 非正定） ， pk 可 能不是下降方向。 ⑷收敛于鞍点或极大点的可能性并不小。
1 Gk pk g k g 0 ， g0 2 ， 1 1 1 G0 p0 g 0 ， p0 3 1 2 1 0 x1 x0 p0 3 , g1 , x1 为极小点。 0 2
2
其中 hk xk x* 。
证明：因 f ( x) 是三阶连续可微函数的，故由 Taylor 公 式有 g ( xk h) gk Gk h O( h 2 ) ， 取 h hk ，即 xk h x*，得到 0 g * g k Gk hk O( hk 2 ) ，
0 pk hk O( hk ) hk 1 O( hk )
2 2
因此由O()的定义，存在常数 使得
hk 1 hk
2
成立。 若取 充分小使之满足 1，则有
hk 1 hk
2
hk hk 。
因此， xk 1 N ( x* )。 由归纳法，如果 x0 N ( x* ) ，则对所有的 k ，Newton 法有定义，且 hk ( )k h0 0 (k ) 于是定理得证。
定理 3.4.1 设 f ( x) 是某一开域内的三阶连续可微函数， 且它在该 开域内有极小点 x*，设 G* G( x* ) 正定，则当 x0 与 x*充分 接近时，对一切 k ，Newton 法有定义，且当xk 为无穷 点列时，xk 二阶收敛于 x*，即 hk 0 且
hk 1 O( hk )
1 T f ( x) qk ( x) f k g k ( x xk ) ( x xk )T Gk ( x xk ) 2
由一阶必要条件知， xk 1应满足qk ( x) 0 ， Gk ( x xk ) g k 0。 即
x xk Gk1gk
xk 1 xk Gk1 g k
1 0 解： g ( x) ( x1 ,9 x2 ) ，G ( x) 0 9
T
例 3.4.1
k0
1 0 0
xk 1 xk Gk1 g k
1
9 1 0 9 0 * x1 x0 G g x 。 1 0 9 9 0
由 于 G * 正 定 且 G( x) 连 续 ， 所 以 存 在 x* 的 一 个 邻 域
N ( x* ) x / x x* ，使x N ( x* ) ，G( x) 正定且G ( x) 1


有上界。 于是， 若 xk N ( x* ) ， 对上式两边乘以Gk1 ， 再由 hk 1 的定义有
8 0 G (0,0) 0 2
8－2x2 －2x1 G ( x) 2 －2x1
解: (2)用 Newton 法得到得迭代点如表所示：
k
0 1 2
xk
(3, 4)T
(2.8333,4.0000)T
f ( xk )
|| g k ||
16.0 16.0 16.0
实用中，判断 若▽2f(x(k)) 非正定时
进行相应处理 ▽2f(x(k)) p= -▽f(x(k)) 得p(k) , x(k+1)=x(k)+p(k)
No || ▽f(x(k)) ||< ε?
Yes
STOP.x(k+1)—l.opt
用 Newton 法求解 1 2 9 2 min f ( x) x1 x2 ， 2 2 设初始点 x0 (9,1)T 。
1.0000 0.0278 0.0000
(2.8284,4.0000)T
xk ( 2 2,4)，
鞍点
8 x1－2x1 x2 g ( x) 2 2 x2－x1
8－2x2 －2x1 G ( x) 2 －2x1
4 2 0 G ( 2 2 ,4 ) 4 2 2
xC ( 2,0)
8－2x2 －2x1 G ( x) 2 －2x1
8 x1－2x1 x2 g ( Baidu Nhomakorabea) 2 2 x2－x1
8 4 G ( 2,0) 4 2
Hesse 阵奇异，无法继续计算。
3.4.2
收敛性
8 x1－2x1 x2 g ( x) 2 2 x2－x1
8－2x2 －2x1 G ( x) －2 x 2 1
解: (1)用 Newton 法得到得迭代点如表所示：
k
0 1 2 3 4
xk
(1,1)T
(0.75, 1.25)T
f ( xk )