最优化牛顿法

令
Q ( x ) g k G k ( x x ) 0
k
若Hesse矩阵G k 正定，即G k 0，
1 则G k 0，此时有
1 x k 1 x k Gk gk
这就是Newton迭代公式 。
比较迭代公式 x k 1 x k t k d k , 有
1 d k G k gk ,
称Newton法为变尺度算法。
3.
如何对H k 附加某些条件使得： （1）迭代公式具有下降性质 （2）H k 的计算量要小 （3）收敛速度要快

Hk 0
H k 1 H k H k ( H k H k 1 H k )
1 H k Gk

1 如何保证 H k 0和H k G k ?
如何确定 H k？
拟Newton 条件
1 拟Newton 条件 H k G k
1 分析： Gk 需满足的条件，并利用此条件确定H k 。
记g( x ) f ( x ), g k f ( x k ) Gk f 2 ( x k ), 则因为
f ( x ) f ( x k 1 ) f ( x k 1 )T ( x x k 1 )
SR1校正特点
1. 不需要做线搜索，而具 有二次终止性。
2. 具有遗传性质 H i y j s j , j i . 3. 不保证 H k 0, 只有（sk H k yk )T yk 0时，才正定。
H k 的确定。
四、DFP算法
1. DFP算 法 的 提 出 ： （1） 1959年Davidon首 次 提 出 （2） 1963年Fletcher和Powell做 了 改 进 （3） 多 变 量 无 约 束 优 化 问 的 题一 个 重 要 工 作
y0

T H 0 y 0 y0 H0 T y0 H0 y0
1.00380 0.03149 。 0.03149 0.12697
1
1.49416 。 搜索方向d H 1f ( x ) 0.09340
1
0.0000 。 x x t1d x 0.49423d 0.0000
uk 必在sk H k yk 上。 假定sk H k yk （否则， 0 H k已满足拟牛顿条件）
T ( s H y ) v T 则有 v k yk 0 H k 1 H k k T k k k v k yk ( sk H k y k )( sk H k y k )T 要求 H k 对称 H k 1 H k ( s k H k y k )T y k
即：
uk s k , vk H k y k ,
k
1 , T sk y k 1
T yk Hk
k
yk
。
根 据 上 述 推导 ， 我 们够 能得 到 H k的DFP的 校 正 公 式： H k 1 H k
T sk sk T sk yk

T H k y k yk Hk T yk Hk yk
step 3. 令 x k 1 x k t k d k , 其中 t k : f ( x k t k d k ) min f ( x k t d k )。
Step 1. 给定初始点 x 0 ,正定矩阵 H0 ,精度 0，k : 0
Step 4. 判断 x ຫໍສະໝຸດ Baidu 1 是否满足终止准则： yes: 计算 stop, x * : x k 1
当Gk 0 时， d k 是下降方向。
如果对Newton法稍作修正： x k 1 x k t k d k t k : f ( x k t k d k ) min f ( x k t d k )
则有：f ( x k 1 ) f ( x k ) 。
问题二： 如何克服缺点（ 2）和（ 3）?
H k 的确定。
三、对称秩一校正（ SR1）
如何确定 H k？ 秩1校正法
T H k 1 H k H k H k uk vk
待定：uk，v k R n
T 由拟牛顿条件H k 1 yk ( H k uk vk ) yk sk T uk vk y k sk H k yk
二、拟Newton 算法
1. x
k 1 k 1 k
( 变尺度法 )
k
先考虑Newton迭代公式： x G f ( x )
在Newton 迭代公式中，如果我们用
1 正定矩阵H k 替代G k ，则有：
x k 1 x k H k f ( x k )
2. 考虑更一般的形式： x k 1 x k t k H k f ( x k )
x k 1 x k t k H k f ( x k ) H k I时 梯度法 最速下降方向 d k f ( x k ) , 度量为 x xT I x
H k Gk1时 Newton法 Newton方向 d k Gk1f ( x k ), 度量为 x xT Gk x
step 4. 若 || f ( x k 1 ) || , 停止， x * x k 1 ;
否则， 令 k : k 1, 转step 2 。
4. 算法特点
收敛速度快，为二阶收敛。 初始点要选在最优解附近。
5. 存在缺点及修正
(1) f ( x k 1 ) f ( x k ) ?
（2） 初始点的选取困难，甚至无法实施。
(3)
1 Gk 的存在性和计算量问题。
问题一： 如何使得 f ( x k 1 ) f ( x k ) ?
在Newton 法中，有
1 x k 1 x k Gk gk x k d k
1 1 当Gk 0 时， 有 f ( x k )T d k f ( x k )T Gk g k g k T Gk gk 0 ,
0.26154 , s0 x x 1.04616
1 0
0.52308 。 y0 f ( x ) f ( x ) g1 g 0 8.36923
1 0
按照DFP的校正公式： H1 H 0
T s0 s0 T s0
而
t k 1。
3. 算法步骤
step1. 给定初始点x ，精度 0, k : 0
0
step2. 计算gk f ( x k )和Gk 2 f ( x k )
1 当Gk 可逆时，x k 1 x k Gk gk 。
step3. 由方程组Q( x ) gk Gk ( x x k ) 0 解出x k 1
2. 如 何 确 定 H k？ 秩2校 正 法
H k 1 H k H k
T T H k k uk uk k vk vk
待定： k，k R , uk，vk Rn
根 据 拟Newton条 件 ： H k 1 yk sk， 我 们 有
T T ( H k k uk uk k vk vk ) y k sk T T 即：k uk uk y k k vk vk y k sk H k y k
1 ( x x k 1 )T 2 f ( x K 1 )( x x k 1 ) 2
g( x ) g( x k 1 ) 2 f ( x k 1 )( x x k 1 )
g k g k 1 G k 1 ( x k x k 1 )
1 k 1 k Gk ( g g ) x x , 这样我们想到 1 k 1 k H k 1 ( g k 1 g k ) x k 1 x k 。
2 1 1 1 1
因为 f ( x 2 ) 0，所以 x 2是极小点。
五、BFGS 校正( Broyden Fletcher Goldfard Shanno ,1970)
记y k g k 1 g k , sk x k 1 x k , 则有
H k 1 yk sk 拟Newton条件或拟 Newton方程。
4、 拟Newton算 法 ( 变 尺 度 法 )的 一 般 步 骤 ；
Step 2. 计算搜索方向d k H k f ( x k ) ;
yk

计算 H k ， k : k 1 , 转 step 2.
例. 请用DFP算法求解min f ( x )
2 x1 解：取H 0 I , f ( x ) 8x 。 2 第一步DFP 算法与梯度法相同： 1 2t ， 因为 x tf ( x ) 1 8t
一、Newton 法
1. 问题
min f ( x ) xR
n
f ( x )是R 上二次连续可微函数 即f ( x ) C ( R )
2 n
n
2. 算法思想 0 1 k k 1 x x x x
为了由x 产生x
k k 1
，用二次函数Q( x )近似f ( x )。
f ( x ) Q( x ) f ( x k ) f ( x k )T ( x x k ) 1 k T 2 k k ( x x ) f ( x )( x x ) 2 1 k T k k T k f ( x ) g k ( x x ) ( x x ) Gk ( x x ) 2 其中 g k f ( x k )T , Gk 2 f ( x k )。
DFP校 正 公 式
定理： H0 0 sT yk 0, 则DFP校正可以保证 H k 0。 k
3、DFP算法的步骤；
将变尺度法的第 5 步改为：
step 5. 按照DFP的校正公式： H k 1 H k
T sk sk T sk T H k y k yk Hk T yk Hk yk
满 足 上 述 方 程 的 解 很， 多我 们 可 以 如 下 确 定组 一解 ：
T k uk uk y k sk T k vk vk yk Hk yk
这样，我们可以取： uk sk , vk H k y k ,
T k uk y k 1, T k vk y k 1。
0 0
2 x1

2 4 x2 , 初始点 x 0
1 . 1
f ( x 0 t 0f ( x 0 )) min f ( x 0 tf ( x 0 )) (1 2t ) 2 4(1 8t ) 2 0.73846 。 解得 t 0 0.13 , 所以 x 1 0.04616
SR1校正： H k 1
( sk H k y k )( sk H k y k )T Hk ( s k H k y k )T y k
SR1校正具有二次终止性， 即对于二次函数，它不 需要线搜索， 而具有n步终止性质H n G 1 .
定理 设s0 , s1 ,, sn1线性无关，那么对二次 函数，SR1校正 方法至多 n步终止，即H n G 1 .
No : 转step 5 。
step 5. 令 g k 1 f ( x k 1 ) , g k f ( x k ) ,
y k f ( x k 1 ) f ( x k ) g k 1 g k , s k x k 1 x k 。
按照校正公式 H k 1 H k H k , 计算H k 1使得H k 1满足 拟Newton条件 或拟Newton方程：H k 1 y k sk 。 令 k : k 1， 转step 2.