基于新拟牛顿方程的一类超线性收敛的改进BFGS算法

文章编号:1673 5196(2007)04 0150 03

基于新拟牛顿方程的一类超线性

收敛的改进BFGS算法

王海滨

(南通职业大学基础部,江苏南通 226007)

摘要:针对无约束最优化问题,在已建立的一类新拟牛顿方程的基础上,把满足于传统拟牛顿方程的一类改进BFG S算法推广到新拟牛顿方程,从而得到一类基于新拟牛顿方程的改进BFGS算法.证明该算法在目标函数为一致凸时具有局部超线性收敛性.

关键词:新拟牛顿方程;改进BF GS算法;局部超线性收敛性

中图分类号:O224 文献标识码:A

A class of modified BFGS algorithm with superlinear convergence

based on new quasi Newton equation

WANG Hai bin

(Dept.of Basic C ou rses,Nantong Vocational College,Nantong 226007,China)

Abstract:Aimed at unconstrained optimization pro blems,a class o f m odified BFGS alg orithm suitable fo r tr aditional quasi New to n equation w as g eneralized to the new quasi New ton equation,and a class of modi fied BFGS algorithm based on new quasi New ton equatio n w as obtained.It w as pro ved that,w hen the ob jective functio n w as uniform ly convex,this alg orithm possessed superlinear convergence.

Key words:new quasi New to n equation;m odified BFGS algo rithm;super linear conver gence

针对无约束最优化问题:min

x R n

f(x),f(x)连续

可微.传统的拟牛顿法的不足是修正矩阵B k所满足

的拟牛顿方程仅包含f(x)的梯度值信息,而忽略可

以利用的函数值信息.文[1]推导了一个修正矩阵

B k所满足的新拟牛顿方程

B k+1s k= y k, y k=y k+

k

s T k s k

s k(1)

式中:s k=x k+1-x k,y k=g k+1-g k

g k=f(x k),f k=f(x k)

k=3(g k+1+g k)T s k+6(f k-f k+1)

采用新拟牛顿方程的拟牛顿法,既保留原拟牛顿法的绝大部分特性,又由于使用更多的函数值信息,它的一个明显优势在于 y k对2f(x k+1)s k的近似精度要比y k高一阶.数值计算显示基于新方程的拟牛顿方法明显优于原拟牛顿方法.

文[2]把一类改进的BFGS算法[3]推广到新 收稿日期:2006 03 31

作者简介:王海滨(1968 ),女,江苏南通人,讲师.拟牛顿方程,得到基于新方程的一类改进的BFGS 算法.其步骤如下:

算法1:

步聚1:给定初始点x1 R n,选取n n对称正定矩阵B1,令k=1;

步聚2:计算g k=f(x k),若!g k!=0;则停;否则转步骤3;

步聚3:令d k=-B-1k g k;

步聚4:令x k+1=x k+ k d k.

式中: k由如下Wolf线搜索确定.

给定 0,

1

2

,! (,1),若 k满足:

f(x k+d k)∀f(x k)+g T k d k(2)

g(x k+d k)T d k#!g T k d k(3)同时成立,则取 k=1;否则取 k>0,满足:

f(x k+ k d k)∀f(x k)+ k g T k d k(4)

g(x k+ k d k)T d k#!g T k d k(5) 步骤5:计算g k+1=f(x k+1),若!g k+1!=0,则停;否则选取正数!t k,令

第33卷第4期2007年8月

兰 州 理 工 大 学 学 报

Jo ur nal of L anzho u U niv ersity of T echno lo gy

Vo l.33No.4

A ug.2007

B k+1=B k-B k s k s T k B k

s T k B k s k

+!t k

∀y k∀y T k

∀y T k s k(6a)

∀y k=y k k<-

1

2

y T k s k

y k k#-1

2

y T k s k

(6b)

s k,y k, y k, k取法同式(1).

参数!t k满足:

|1-!t k|∀#t∃!s k!(7)对所有k成立,其中#t∃为一常数.

步骤6:令k=k+1,转步骤3.

注:为了保证校正矩阵的正定继承性,使用了策略(6b),确保s T k∀y k[2]>0.

下面证明基于新拟牛顿方程的改进BFGS算法1在目标函数为一致凸时的局部超线性收敛性.为此,假定目标函数f(x)满足下列条件:

假设A1:

1)f(x)二次连续可微,且x*是f(x)的极小点.

2)f(x)一致凸,即存在m、M>0,使得

m!u!2∀u T G(x)u∀M!u!2

对u R n,x D成立,其中D={x R n|f(x)∀f(x1)}是凸集.

3)G(x)在D上Lipschitz连续,即存在常数L,使得

!G(x)-G(x∃)!∀L!x-x∃! x,x∃ D 作为假设A1的结果,容易得到[4]

!y k!∀M!s k!(8)

m!s k!2∀s T k y k∀M!s k!2(9)

ms T k y k∀!y k!2∀Ms T k y k(10)现给出如下引理:

引理1 设{B k}%k=1由下列递推关系定义:

B k+1=B k-B k s k s T k B k

s T k B k s k

+

q k q T k

s T k q k

(11)

式中:s T k q k>0,并且假设s k和q k满足下列条件:

!q k-G*s k!

!s k!∀∀k

式中:G*是正定对称矩阵.另外,序列{∀k}满足:

&%

k=1

∀k<%

那么

lim k∋%!(B k-G*)s k!

!s k!=0

并且序列{!B k!}和{!B-1k!}有界.

证明 见文[5]定理3.2.

定理1 设假设A1成立,正数序列{!t k}满足式(7),那么对任意对称正定矩阵B1和对称正定阵G*,由基于新拟牛顿方程的改进BFGS算法1产生的矩阵序列{B k}满足下列条件:

lim

k∋%

!(B k-G*)s k!

!s k!=0(12)并且序列{!B k!}和{!B-1k!}有界.

证明 为了证明式(12)成立,根据引理1,只须证明对算法1产生的矩阵序列{B k},存在正数序列{∀k}和对称正定阵G*,使得

!q k-G*s k!

!s k!∀∀k(13)且

&%

k=1

∀k<%(14)当递推关系式(11)中的q k=!t k∀y k时,即得算法1中的拟牛顿校正公式(6a).

因此

!q k-G*s k!

!s k!=

!t k∀y k-G*s k!

!s k!

1)当∀y k=y k时,

!q k-G*s k!

!s k!=

!!t k∀y k-G*s k!

!s k!=

!y k-G*s k-(1-!t k)y k!

!s k!∀

!y k-G

*s

k!

!s k!+|1+!t k|

!y k!

!s k!

由假设A1可知:

!y k-G*s k!

!s k!=

!g k+1-g k-G*s k!

!s k!= !(G(#)-G

*)s

k!

!s k!∀

!G(#)-G*!!s k!

!s k!∀

L max{!x k+1-x*!,!x k-x*!}

# (x k,x k+1)(15)由式(7,8,15)可知:

!q k-G*s k!

!s k!∀

!y k-G*s k!

!s k!+|1-!t k|

!y k!

!s k!∀L max{!x k+1-x*!,!x k-x*!}+#t∃M!s k!∀L m ax{!x k+1-x*!,!x k-x*!}+

#t∃M(!x k+1-x*!+!x k-x*!)∀

(L+2#t∃M)max{!x k+1-x*!,!x k-x*!}=

L∃max{!x k+1-x*!,!x k-x*!}(16)式中:L∃=L+2#t∃M,令∀k=L∃m ax{!x k+1-x*!, !x k-x*!}.

从而式(13)成立.

由文[2]中定理2.5可知,算法1产生的序列

(

151

(

第4期 王海滨:基于新拟牛顿方程的一类超线性收敛的改进BF GS算法