第二章 一维极小化方法-牛顿法

T − − 当Gk > 0 时， ∇f ( x k )T d k = −∇f ( x k )T Gk 1 gk = − gk Gk 1 gk < 0 , 有
∴ 当Gk > 0 时， k 是下降方向。 d 是下降方向。
如果对 Newton 法稍作修正： 法稍作修正： x
k +1
= x + tk d
k
k
令
∇Q(x) = gk +Gk(x − x ) = 0
k
正定， 若 Hesse 矩阵 G k 正定，即 G k > 0，
− 则 G k 1 > 0，此时有
− x k +1 = x k − G k 1 g k
这就是 Newton 迭代公式 。
比较迭代公式
− d k = −G k 1 g k ,
x k +1 = x k + t k d k , 有
xT I x
法为变尺度算法。 称 Newton 法为变尺度算法。
3.
附加某些条件使得： 如何对 H k 附加某些条件使得： （1）迭代公式具有下降性 质 （2） H k 的计算量要小 （3）收敛速度要快
↔
↔
Hk > 0
源自文库
H k +1 = H k + ∆H k ( ∆H k = H k +1 − H k )
g k ≈ g k +1 + G k +1 ( x k − x k +1 )
−1 G k +1 ( g k +1 − g k ) = x k +1 − x k ,
这样我们想到
记 y k = g k + 1 − g k , s k = x k + 1 − x k , 则有
4、拟 Newton 算法
( 变尺度法 )的一般步骤； 的一般步骤；
− H k ≈ Gk1
↔
− 如何保证 H k > 0和 H k ≈ G k 1 ?
如何确定 ∆ H k ？
拟 Newton 条件
− 拟 Newton 条件 ↔ H k ≈ G k 1
分析： − 需满足的条件， G 分析： k 1 需满足的条件，并利用 此条件确定 H k 。
记 g ( x ) = ∇ f ( x ), g k = ∇ f ( x k ) G k = ∇ f 2 ( x k ), 则因为
k
迭代公式： 先考虑 Newton 迭代公式： x = x − G ∇f ( x )
迭代公式中， 在 Newton 迭代公式中，如果我们 用
− 则有： 正定矩阵 H k 替代 G k 1，则有：
x k +1 = x k − H k ∇ f ( x k )
2.
考虑更一般的形式： 考虑更一般的形式： x k +1 = x k − t k H k ∇ f ( x k )
step4. 若 || ∇f ( x
k +1
) ||< ε , 停止， = x 停止， x
*
k +1
;
令 否则， k := k + 1 , 转step 4 。
4. 算法特点
收敛速度快，为二阶收敛。 初始点要选在初始点附近。
5. 存在缺点及修正
(1) f ( x k +1 ) < f ( x k ) ?
而
t k = 1。
3. 算法步骤
step 1. 给定初始点 x 0，精度 ε > 0 , k := 0
step2. 计算g k = ∇f ( x k )和G k = ∇ 2 f ( x k )
− 可逆时， 当 G k 可逆时， x k + 1 = x k − G k 1 g k 。
step3. 由方程组∇Q( x ) = g k + G k ( x − x k ) = 0 解出x k +1
f ( x ) ≈ f ( x k +1 ) + ∇f ( x k +1 )T ( x − x k +1 )
1 + ( x − x k +1 )T ∇ 2 f ( x K +1 )( x − x k +1 ) 2
g ( x ) ≈ g ( x k + 1 ) + ∇ 2 f ( x k + 1 )( x − x k + 1 )
（2） 初始点的选取困难，甚至无法实施。 ） 初始点的选取困难，甚至无法实施。
(3)
−1 G k 的存在性和计算量问题
。
问题一： 问题一： 如何使得 f ( x k + 1 ) < f ( x k ) ?
法中， 在 Newton 法中，有
− x k +1 = x k − G k 1 g k = x k + d k
x k +1 = x k − t k H k ∇f ( x k ) H k ≡ I时 ⇒ 梯度法 最速下降方向 d k = −∇ f ( x k ) , 度量为 x =
− H k = G k 1时 ⇒ Newton 法 − 最速下降方向 d k = − G k 1∇ f ( x k ), 度量为 x = − xT Gk 1 x
t k : f ( x k + t k d k ) = min f ( x k + t d k )
则有： 则有： f ( x k + 1 ) < f ( x k ) 。
问题二： 如何克服缺点（ 问题二： 如何克服缺点（ 2）和（ 3） ?
二、拟 Newton 算法
1.
k +1 k −1 k
( 变尺度法 )
一、Newton 法
1. 问题
min f ( x )
x∈R n ∈ n
f ( x )是R 上二次连续可微函数 即f ( x ) ∈ C ( R )
2 n
2. 算法思想
x → x →L→ x → x
0 1 k k +1
→L
为了由 x 产生x
k
k +1
，用二次函数 Q( x )近似f ( x )。
f ( x) ≈ Q( x) = f ( xk ) + ∇f ( xk )T ( x − xk ) + 1 k T 2 k k + ( x − x ) ∇ f ( x )(x − x ) 2 1 k T k k T k = f ( x ) + gk ⋅ ( x − x ) + ( x − x ) Gk ( x − x ) 2 其中 g k = ∇f ( x k )T , G k = ∇ 2 f ( x k )。
Step 1 . 给定初始点 x 0 ,正定矩阵 H 0 , 精度 ε > 0， k := 0
step 3. 令 x k + 1 = x k + t k d k , 其中 t k : f ( x k + t k d k ) = min f ( x k + t d k )。