牛顿法和拟牛顿法

f ( x(k) ) f ( x(k1) ) 2 f ( x(k1) )(x(k) x(k1) ) p(k ) : x(k 1) x(k ) q(k ) : f (x(k 1) ) f (x(k ) ) q(k ) 2 f (x(k 1) ) p(k )
p(k ) H k1q(k )
是
f ( x(k) )
x x(k)
否
d (k ) H kf ( x(k ) )
k
arg min 0
f (x(k)
d (k) )
x(k1) x(k ) kd (k )
是
kn
否
x(1) x(n1)
p(k ) x(k1) x(k ) q(k ) f ( x(k1) ) f ( x(k ) ) H k H k1 H k H k k : k 1
式
H BFGS k1
Hk
(1
q( k )T p(k
Hkq(k) q )T (k )
)
p(k)T p(k) p(k)T q(k)
p(k)q(k)T Hk Hkq(k) p(k)T p(k)T q(k)
令u(k )
p(k )；k
1 u(k )T q(k )
;v(k)
Hkq(k )； k
1 v(k )T q(k )
H k
p(k) p(k)T p(k )T q(k )
Hkq(k) q(k)T Hk q(k)T H kq(k )
计 算 步
骤：
重置
x(1) , 0
H1 In , d (1) f ( x(1) ), k 1
注释
• 在一定条件下，收敛且具有二次终止性。 • 无法保证Hk的正定性；即使能，也有可能导致
△Hk无界。
DFP算法
Hk k u(k) u(k)T kv(k) v(k)T
秩为 2
p(k ) H k1q(k )
(Hk k u(k)u(k)T kv(k)v(k)T )q(k)
k u(k )u(k )T q(k ) kv(k)v(k)T q(k) p(k ) Hkq(k)
p(k ) 2 f ( x(k 1) )1 q(k )
1.秩1校正 2.DFP(Davidon-Fletcher-Powell)算法：
秩2校正
3.BFGS(Broyden-Fletcher-GoldfarbShanno)公式及Broyden族
H1 I; Hk1 Hk Hk
校正 矩阵
秩1校正
d (k ) H kf ( x(k ) ) f ( x(k ) )T d (k ) 0
搜索方向为下降方向
定理
设用DFP方法求解正定二次函数
min f (x) 1 xT Ax bT x c 2
任取x(1)，令H1 0 共轭 则 p(i)T Ap( j) 0 1 i j n
H k1Ap(i) p(i) 1 i k n
找替代牛顿法的方法
目标： 收敛快 程序简单
同时 不需要二阶导数
找： 像牛顿 又不是牛顿 的家伙！！！
基本思想：
用不包含二阶导数的矩阵近似Hesse矩阵的逆。
拟牛顿条件
d (k ) 2 f H( xk(k ) )1f ( x(k ) )
x(k1) x(k) kd (k) 首先分析 2 f (x(k) )1与一阶导数的关系：
其中p(i) x(i1) x(i) id (i)
DFP法具有二次终止性！ H n1 A1
BFGS公式
p(k ) H k1q(k )
DFP公 式
H k
p(k) p(k)T p(k )T q(k )
Hkq(k) q(k)T Hk q(k)T H kq(k )
q(k ) Bk 1 p(k )
牛顿法和拟牛顿法
无约束优化问题
线搜索方法
• dk ：搜索方向 （下降就可）： dk ▽f(xk) < 0
• αk ： 搜索步长： 1） 精确搜索： f(x＋αd ) 达到最小 2） Wolfe 搜索： （两个条件）
精确搜索
Wolfe 非精确搜索
Wolfe 非精确搜索
线搜索方法的下降
• 方法收敛之关键：估计 搜索方向与最速下降方向的夹角
在 点x ( k 1) 处 进 行 二 阶Taylor展 开 ：
f ( x) f ( x(k1) ) f ( x(k1) )(x x(k1) ) 1 ( x x(k1) )T 2 f ( x(k1) )(x x(k1) )
2
f ( x) f ( x(k1) ) 2 f ( x(k1) )(x x(k1) )
Hk k z(k) z(k)T
p(k ) H k1q(k )
(Hk k z(k)z(k)T )q(k)
z(k)
p(k) Hkq(k)
k z(k)T q(k)
秩为 1
k (z(k)T q(k) )2 q(k)T ( p(k) Hkq(k) )
0? Hk
( p(k)
Hkq(k ) )( p(k ) Hkq(k ) )T q(k)T ( p(k) Hkq(k) )
线搜索方法的收敛性
定理 如果 f(x) 下方有界，如果搜索方向 与最速下降法的夹角不靠近π/2,则由线搜索 方法产生的点列 xk 满足：
|| gk || → 0
搜索方向
最速下降法： 共轭梯度法： 牛顿法：
牛顿方向
牛顿方向
是如下问题的解
牛顿法的优缺点
收敛快 －－－ 二次收敛 程序简单
计算量大 －－－ 需要二阶导数 要求高 －－－ 需要二阶导数 需要计算Hesse矩阵，而此矩阵可能非正定， 可能导致搜索方向不是下降方向。
p(k ) ,q(k ) 互换
Bk
q(k ) q(k)T q(k )T p(k )
Bk p(k ) p(k )T Bk p(k )T Bk p(k )
BFGS修正公式
Bk1 Bk Bk
H k 1
B 1 k 1
(
M
uv T
)1
M
1
M 1uv T M 1 1vT M 1u
ShermanMorrison公
例4.13：用DFP方法求解
min 2x12 x22 4x1 2
初始点x(1)
2 1,
H1
1 0
0 1
2 1
1
5 18
8
9 4Leabharlann Baidu
9
1
17 36
1 86 38 H2 306 38 305
1 0
DFP法具有二 次终止性！
定理 : 若f (x(k) ) 0(k 1,...,n), 则DFP方法构造的Hk 0.