变尺度法ppt课件

H I时 梯度法, k
最速下降方向 d k f ( xk ) , 度量为 x xT I x
Hk Gk1时 Newton法 最 速下 降 方 向d k Gk1f ( xk ), 度 量为 x xTGk1 x
也称拟Newton法为变尺度算法。
4
3. 如何对H 附加某些条件使得： k （1）迭代公式具有下降性质 Hk （ 0 正定）
k
k
f ( x) f ( xk1 ) f ( xk1 )T ( x xk1 )
1 ( x xk1 )T 2 f ( x K 1 )( x xk1 ) 2
g( x) g( xk1 ) 2 f ( xk1 )( x xk1 )
gk gk1 Gk1 ( x k x k1 )
Gk11 ( gk1 gk ) x k1 x k ,
k
Step3. 令 xk 1 xk kd k , 其中tk : f ( xk kd k ) min f ( xk d k )。
7
Step 4. 判断 xk 1 是否满足终止准则： yes: 计算 stop, 则x* : xk1
No : 转 step 5 。
Step5. 令 gk1 f ( xk1), gk f ( xk ), gk f ( xk1) f ( xk ) gk1 gk , xk xk1 xk 。
k
1 xTk gk
,
k
Hale Waihona Puke Baidu
1 gTk Hk gk
。
根 据 上 述 推 导 ， 我 们 能够 得 到H k的DFP的 校 正 公 式 ：
H k 1
Hk
xTk xk xTk gk
Hk gk gTk Hk gTk Hk gk
DFP校正公式
性质： H0 0 Hk 0。
11
三、DFP算法的步骤 将拟牛顿法的第5 步：
满 足 上 述 方 程 的 解 很 多， 我 们 可 以 如 下 确 定 一组 解 ：
k uk uTk gk xk kvkvTk gk Hk gk
这样，我们可以取：
uk xk ,
k uTk gk 1,
vk Hk gk , kvTk gk 1。
10
即：
uk xk , vk Hk gk ,
（2）H 的计算量要小 H k1 H k H k k ( H k H k1 H k )
（3）收敛速度要快
Hk
G
1 k
如 何 保 证H k
0和H k
G
1 k
?
如 何 确 定H k？
5
拟Newton条件 Hk Gk1
分析 Gk1 需满足的条件，并利用此条件确定Hk 。
记g( x) f ( x), g f ( xk ) G f 2 ( xk ), 则因为
按照校正公式Hk 1 Hk Hk , 计算Hk 1使得Hk 1满足 拟Newton 条件 或拟Newton 方程：Hk 1gk xk 。 令 k : k 1，转step 2.
改为:
Step 5. 按照 DFP 的校正公式：
H k1
Hk
xkT xk xkT gk
H
k
gk
g
T k
H
k
gkT H k gk
二. 如何确定H ？ 秩2校正法 k Hk 1 Hk Hk Hk k uk ukT kvkvkT 待定：k，k R, uk，vk Rn 9
根据 拟Newton 条件：Hk 1gk xk，我们有
(Hk kukuTk kvkvTk )gk xk
即：k uk uTk gk k vk vTk gk xk H k gk
牛顿法特点
|| ||
xk1 x xk x*
* || ||2
,
0.
▪ 收敛速度快，为二阶收敛。 ▪ 初始点要选在最优点附近。
存在缺点及修正 (1) f ( xk1 ) f ( xk ) ?
xk 1
xk
Gk1
g
，
k
g
为梯度，
k
Gk1海塞阵的逆
(2) 初始点的选取困难，甚至无法实施。 (3) G1的存在性和计算量问题。
k
1
问题一：如何使得 f ( x k1 ) f ( x k ) ?
在Newton法中，有
x k1 x k G 1 g x k d k kk
当G 0 时，有 f ( xk )T d k f ( xk )T G1g g TG1g 0 ,
k
kk
k kk
当Gk正定时，d k是下降方向。
按照校正公式Hk 1 Hk Hk , 计算Hk 1使得Hk 1满足 拟Newton 条件 或拟Newton 方程：Hk 1gk xk 。 令 k : k 1，转step 2.
问题 : 如何确定一个合适的H ? k 8
DFP算法
一、DFP法的提出
（1） 1959年Davidon首次提出 （2） 1963年Fletcher和Powell做了改进 （3） 多变量无约束优化问题的一个重要工作
一、拟牛顿法的思想
1. 先考虑Newton迭代公式：xk1 xk Gk1f ( xk )
在Newton迭代公式中 ，如果我们用正定矩阵Hk替代Gk1， 则有：
xk 1 xk Hkf ( xk )
2. 考虑更一般的形式：xk1 xk k Hkf ( xk )
3
xk1 xk k Hkf ( xk )
如 果 对Newton法 稍 作 修 正 ：
xk1 xk kd k tk : f ( xk kd k ) min f ( xk d k )
t
则有：f ( xk1 ) f ( xk )。
广义牛顿法
2
问 题 二 ： 如 何 克 服 缺 点 （2） 和 （3）? 4.5 拟牛顿法(变尺度法)
H k1( gk1 gk ) x k1 x k
这样我们想到
6
记gk gk1 gk , xk xk1 xk ,则有
拟Newton条件或拟Newton方程: Hk1gk xk . 二、拟Newton算法(变尺度法)的一般步骤 :
Step 1. 给定初始点 x0 ,正定矩阵 H0 , 误差 0，k : 0 Step 2. 计算搜索方向 dk H f ( xk );
计算 H k ，k : k 1, 转 step 2.
12
四、变尺度法算法框图：
k k1
修正H (k ) 产生H (k 1)
x(1) , H (1)对 称
0, k 1
d (k ) -H (k )f ( x(k ) )