无约束优化问题的非单调Perry-Shanno方法

无约束优化问题的非单调Perry-Shanno方法
林海婵
【摘要】提出了一个处理无约束优化问题的PS无记忆拟牛顿型方法.在一定的假设条件下,分析了算法全局收敛性,数值试验结果表明该算法是有效的.
【期刊名称】《海南大学学报（自然科学版）》
【年(卷),期】2015(033)004
【总页数】9页(P318-326)
【关键词】无记忆拟牛顿型方法;非单调线搜索;全局收敛性
【作者】林海婵
【作者单位】海南大学信息科学技术学院,海南海口570228
【正文语种】中文
【中图分类】O221
考虑如下的无约束优化问题
其中，f:Rn→R是连续可微的函数.
Perry-Shanno(PS)无记忆拟牛顿型方法最初由Perry[1]和Shanno[2-3]提出，具有如下的迭代形式
其中，αk>0是由一维线搜索得到的一个步长,而搜索方向dk满足
其中，gk是函数f在xk处的梯度，Bk由下列Perry-Shanno修正公式
其中，sk=xk+1-xk，yk=gk+1-gk.如果采用Bk的逆形式Hk,可得到如下的修正公式
相应的迭代方向定义如下
.
非单调线搜索方法首次由Grippo[4]提出.选择步长αk满足下列条件
其中，β(0,1),0≤mk≤min{mk-1+1,M},而M是预先给定的一个非负整数.许多学者对非单调线搜索方法进行了深入研究，并取得了许多后继成果，具体参考方献[5-11].值得一提的是，对目标函数是凸函数的情形,刘光辉等[12]提出了非单调的Perry-Shanno方法(NPS),该方法采用改进的Wolfe线搜索准则
来获得步长αk，其中
尽管非单调线搜索方案(7)在某些情况下是有效的，但仍然存在一些明显的缺陷(详见文献[13]).为了弥补不足,Zhang和Hager[14]提出了利用函数平均值代替(7)中
的最大函数值的Wolfe型非单调线搜索技术寻找αk,使其满足不等式
，
其中，0<γ1<γ2<1，ηk[0，1]，
，
数值试验结果表明这种非单调技术明显优于传统的非单调线搜索技术(7)(详见文献[14,11]).
最近，Gu和Mo[15]对Zhang和Hager提出的非单调线搜索技术(2)进行了改进，并给出了非单调技术
，
其中，β(0，1)，
并且0≤θk≤θmax<1.数值试验结果表明这一改进实用且有效[15,10].
当目标函数是凸函数时，PS方法的全局收敛性已取得一些研究成果.比如，带精确线搜索的PS方法的全局收敛性已经被Perry[1]验证；Shanno[2]给出了带Wolfe 线搜索的PS方法的全局收敛性证明；利用如下的线搜索方法
推广了Shanno的结论,其中μ1和μ2是2个正常数。

随后，Liu[12]等人和Yu[8]等人分别给出了具有全局收敛性的带非单调线搜索的PS方法.而这些方法的收敛性证明仅仅与上述提到的具体线搜索准则有关.需要指出的是，其对非凸优化的PS方法的全局收敛性研究进展不大.
受一般化线搜索准则[16]的启发,笔者提出了一个具有一般形式的非单调无记忆PS 方法，在一定的条件下，还证明其全局收敛性，数值实验结果表明该算法是有效的. 给出一种具有一般形式的非单调线搜索模型，因此，给出相关定义[16].
定义1 对任意的ti≥0,i=1,2,…，当时，有则称函数σ：[0，+∞) →[0，∞)为强制函数.
利用定义1，给出以下定义.
定义2 令α>0,α1[0，1)，σ1，σ2，σ3和ψ是强制函数，选取步长αk，使其满足下列3种情况之一：
1) f(xk+αkdk)≤f(xk)-σ1(γk)，其中
且若αk‖dk‖≤min{α，ψ(γk)}，则存在bk满足且{bk}，{x k+bkαkdk}是有界的；
3) f(xk+αkdk)≤f(xk)-σ3(γk)‖dk‖.
注1 由文献[16]中的定理2可知，经典的线搜索准则，比如回溯步长准则、Goldstein步长准则、Armijo步长准则和Wolfe步长准则都是定义2中的线搜索准则的特殊情况.
基于以上定义和式(9)的启发，引入了一种新的非单调线搜索准则，其步长αk定义其中，σ1，σ2和σ3是强制函数且Dk是由式(13)和(14)所定义.
注2 从式(12)和(13)可知，Dk是由函数值f(x0)，f(x1)，…，f(xk)构成的一个凸组合，同时，θk的选择控制式(15)的非单调性程度.如果θk=0，且对于任意的k有然后式(15)就变成了具有一般形式的单调Wolfe线搜索.
结合新的线搜索准则式(15)，给出如下的非单调PS无记忆拟牛顿方法：
NPS算法
步骤1 给定初始点x0Rn，D0=f(x0)，0≤ε≤1，θ0[0，θmax]和一个对称正定矩阵B0Rn×n，令k=0；
步骤2 计算gk，若gk≤ε，停止；否则，令dk=-Hkgk；
步骤3 找出满足式(15)的步长αk；
步骤4 令xk+1=xk+αkdk；
步骤5 修正Hk为Hk+1；
步骤6 令k：=k+1，转步骤2.
分析NPS算法的收敛性.为此，需如下假设：
1) 水平集L0={xRn∣f(x)≤f(x0)}有界.
2) f(x)是Rn上的二次连续可微函数，并且存在正常数c1和c2满足
引理1 若假设2)满足，则存在正常数c3，使得
证明不等式(17)的证明可参考文献[12]中的引理1.因此，仅证明不等式(18).利用假设2)，可推得
结合Cauchy-Schwartz不等式，由此可得
.
证毕.
注3 由引理1和式(19)，容易推出
引理2 由更新公式(4)和(5)分别定义矩阵序列{Bk}和{Hk}是对称正定的.
证明类似于文献[17]中的定理5.1.5的证明方法可证.
引理3 在假设2)满足的条件下，若存在ε>0，使得对于所有的k都有‖gk‖≥ε，那么
证明通过更新公式(4)和(5)，易推出Bk和Hk的迹满足
结合式(20)和引理1，可推出
显然，
意味着
其中
注意到
结合式(26)和(27)，则有
引理4 令{xk}是由带准则(15)的算法NPS产生的无限序列，若假设1)和2)满足，则
证明利用归纳法.显然，式(28)对于k=0满足.假设式(27)对于某个k成立，由式(13)可得
结合式(15)和(29)，即可推出
即式(28)对于k+1也成立.故式(28)成立.
引理5 设{xk}是由带准则(15)的算法NPS产生的无限序列，则序列{Dk}是单调递减的，并且对于任意的k，有xkL(x0).
证明由式(13)和(15)，对于所有的k,有
从而第一个结论成立；
再用归纳法证明第二个结论.显然，x0L0.假设xkL0,即当k≤l，有f(xk)≤f(x0).由式(28)和(31)得
即xl+1L0.所以，第二个结论也成立.
引理6 令{xk}是由带准则(15)的算法NPS产生的无限序列.若假设1)和2)成立，则证明注意到由‖dk‖}≥0.由式(30)可得fk+1≤Dk并且
‖dk‖}≤Dk-β1(1-θmax)，
由由引理4和引理5，并结合式(33)及假设1)即可推出结论(32)成立.
引理7 设{xk}是由带准则(15)的算法NPS产生的无限序列，若假设1)和2)满足，
证明利用反证法.若结论(34)不成立，则存在正常数ε，使得，
由假设2)和式(15)，可推出存在一个常量L满足
和
从而
结合式(38)和(21)可知
因为σ1，σ2和σ3是强制函数，再由定义1，式(21)，式(27)和(39)可推出存在
ε1>0，ε2>0和ε3>0满足
因此
其中，ε0=min{ε1，ε2，ε3}，显然，式(40)与式(32)相矛盾.因此，结论(34)正确. 为了验证NPS算法的可行性，选取了文献[18]中的35个标准测试函数进行测试，其中程序是利用Matlab R2010a进行了编程，在测试过程中其初始参数分别选取为β1=0.01，β2=0.3，α0=1，θ=0.9.
为了检验NPS算法的有效性，若第一组数值实验中，将其与其他经典的PRP，HS，和DY共轭梯度法(参考文献[17])进行了比较，所有算法的终止条件均
为‖gk‖≤10-5.详细的测试结果如表1所示,其中,字母“P”为测试问题，其排列顺序同文献[18];n为测试函数的维数.数值试验是以形式“k/kf”给出的,k为迭代次数，kf为函数值调用次数.此外若某个测试函数在迭代5 000次后或其运行时间超
过300 s后仍不能收敛到极值点,就认为此测试函数在该种算法下运行失败，记“failure”.
为了更直观的比较5种算法的数值试验效果,利用表1的数值结果,并且根据文献[19]中给出的关于性能线(Performance Profile)的定义,分别作出性能比较图,如图
1和图2所示.需要指出的是,由于梯度调用次数与算法的迭代次数是相同的，所以
梯度调用次数的性能比较图在此没有给出.
从图1和2中可以看出，从迭代次数和函数值调用次数来看,NPS算法的表现性能要优于其他4种算法.此外，从算法的失败次数来看，NPS算法的失败次数也少于其他4种算法.因此，NPS算法在一定程度上优于其他4种算法.
为了检验NPS算法的有效性，在第2组数值试验中，将其与带不同非单调线搜索规则的NPS方法进行了比较，这些规则分别是式(9)(记为NPS1方法)和式(8)(记为NPS2方法)，测试函数来自文献[18]中18个无约束优化问题.同时，初始参数除M=5外，其余同前.详细的测试结果见表2，性能比较图见图3和图4.
从图3和图4可以看出，从迭代次数和函数值调用次数来看， NPS算法的表现性能要优于其他2种算法.
通过理论分析和数值实验的结果，在处理无约束优化问题时，NPS算法具有计算速度快，存贮容量小的优点.当然，在大规模优化问题中，NPS算法的计算速度与其他算法的计算速度相差无几，因此，下一步的工作重点是如何改进NPS算法，使其提高大规则优化问题的计算速度.
【相关文献】
[1] Perry J M .A class of conjugate gradient algorithms with a two step variable metric memory [D]. Evanston： Northweatern University，1977.
[2] Shanno D F.On the convergence of a new conjugate gradient algorithm [J]. SIAM Journal on Numerical Analysis， 1978(15): 1 247-1 257.
[3] Shanno D F.Conjugate gradient methods with inexact searches [J]. Mathematics of Operations Research， 1978，3: 244-256.
[4] Grippo L，Lampariello F，Lucidi S.A nonmonotone line search technique for Newton’s method [J]. SIAM Journal on Numerical Analysis，1986，23:707-716.
[5] Deng N Y , Xiao Y ，Zhou F J.Nonmonotone trust region algorithm [J]. Journal of Optimization Theory and Applications， 1993，76： 259-285.
[6] Sun W Y . Nonmonotone trust region method for solving optimiztion problems [J]. Applied Mathematics and Computation ，2004(156)： 159-174.
[7] Qu S J , Zhang K C，Yang Y T . A nonmonotone trust region method of conic model
for unconstrained optimization [J]. Journal of Computational and Applied Mathematics，2008(220)：119-128.
[8] Yu Z S, Pu D G. A new nonmonotone line search technique for unconstrained optimization [J]. Journal of Computational and Applied Mathematics, 2008(219): 134 -144.
[9] Ahookhosh M，Amini K. An efficient nonmonotone trust-region method for unconstrained optimization[J]. Numerical Algorithms, 2012，59 :523-540.
[10] Ou Y G. A nonmonotone ODE-based method for unconstrained optimization[J]. International Journal of Computer Mathematics, 2014，91(8):1 840-1 860.
[11] Huang S, Wan Z ，Chen X H . A new nonmonotone line search technique for unconstrained optimization[J]. Numerical Algorithms, 2015，68 :671-689.
[12] Liu G H ，Jing L.Convergence of nonmonotone Perry and Shanno methods for optimization [J]. Computational Optimization and Applications,2000，16: 159-172. [13] Dai Y H .On the nonmonotone line search[J].Journal of Optimization Theory and Applications，2002，112(2)：315-330.
[14] Zhang H C,Hager W W.A nonmontone line search technique and its applications to unconstrained optimization[J].SIAM Journal on Optimization,2004(14):1 043-1 056. [15] Gu N Z, Mo J T.Incorporating nonmonotone strategies into the trust region method for unconstrained optimization [J]. Computers and Mathematics with Applications, 2008, 55: 2 158-2 172.
[16] 韩继业,刘光辉.无约束最优化线搜索一般模型及BFGS方法的整体收敛性[J]. 应用数学学报，1995(1): 112-122.
[17] 孙文瑜,袁亚湘.最优化理论与方法[M].北京：科学出版社, 1997.
[18] More J, Garbow B,Hillstrom K.Testing unconstrained optimization software [J]. ACM Transactions on Mathematical Software, 1981, 7: 17-41.
[19] Dolan E D, More J.Benchmarking optimization software with performance problems [J]. Mathematical Programming (Serial A), 2002, 91: 201-213.。