复合不可微最优化问题的非单调依赖域方法

解无约束优化的非单调自适应信赖域算法

５６
重庆工商大学学报（自然科学版）
第３０卷
并将此技术运用到信赖域方法中，获得了较好的数值效果。自适应方法是由Ｓａｒｔｅｎｅａｒ首次提出的，此方法可以避免信赖域半径更新的盲目性。自适应方法进一
步研究的主要有文献［９ — １０］等。２００９年，Ｓａｎｇ和Ｓｕｎ ¨ ¨ 充分利用当前迭代点的信息提出了一种自适应方法，即令：
表明了算法的有效性。关键词：无约束规划；非单调信赖域算法；自适应方法；滤子；全局收敛性
中图分类号：０２２１．２文献标志码：Ａ
０引言
本文考虑无约束最优化问题：
ｍｉｎ ∈尺）（１）
其中
，其中
其中ｄ＝ｘ一，ｇ＝ｖｆ（ｘ），对称阵Ｂ ∈Ｒ是
）或其近似，Βιβλιοθήκη △ ＞０是信赖域半径，ｌｆ．ＩＩ是向量范数或
由它导出的矩阵范数。由式（２）求得的试探步ｄ是否被接受，取决于两个下降量的比值，即ｒｋ：
１．１算法１（ＦＮＴＲ）步１：给定０ ∈ Ｒ，０＜ｔｏ１＜ｃｃＪ２＜ｌ，ｏ＝１，６ ∈（０，０．５），叼∈（０，１），Ａ∈（０，１），６＞０。０＜ｃ２＜１＜ｃ１，０＜ｃ２＜１＜ｃ１，
摘
要：受文献［１４］的启发，针对无约束优化问题提出了一个基于ｘ－＆模型的非单调信赖域算法；算法

两种非单调信赖域算法的数值比较研究

得了较好的效果．此后众多学者亦作出了大量的研究成果，如文献［］８［］１］这一类非单调信赖域７［］９［０等．算法均采用文献［］５中的非单调策略，即采用最大函数值型的参考函数值．随着对该类非单调信赖域方法研究的深入，进一步的数值计算结果表明，其计算效率一般与参数Ｍ的取值有较大关系¨ ．为增加非单调策略的灵活性，合理地选取参考函数值，高非单调算法的效率，０４年，洪超等 ¨ 更提２０张针对线搜索方法提出
功迭代步满足Ｐ ≥叼＞，。０所以它也是满足单调下降性质的算法．但研究表明当目标函数的非线性性态较强，如著名的Ｒｓｂｏｋ函数的等值线出现弯曲峡谷（ｕｅａｏａｅｓ的情况时，ｏｅｒｎｃｃｒｄｎｒｗｖｌｙ）ｖｒｌ单调算法的表现往往并不理想，搜索步长会非常小，收敛缓慢．为此，９６年，．Ｇｉｏ等人开创性地提出了非单调线搜索牛顿１８Ｌｒｐｐ
０引言
考虑无约束最优化问题
ｍｎ）ｉ
ＥＲ
（）１
其中）尺一Ｒ是二次连续可微函数．赖域方法是求解该类问题的一种有效而强适的迭代方法，：信近几十年来受到广泛关注．如今信赖域方法作为一种较成熟的数值方法也成为了标准的最优化教科书中讲授的重
２１年１月０１１
南京晓庄学院学报
ＪＯＵＲＮＡＬＯＦＮＡＮＩＡＯＺＪＮＧＸＩＨＵＡＮＧＵＮＩＥＲＳＴＶＩＹＮＯ．０１Ｖ２ｌｏ６．第６期

非线性优化与约束优化问题的求解方法

非线性优化与约束优化问题的求解方法非线性优化问题是在目标函数和约束条件中包含非线性项的优化问题。

约束优化问题是在目标函数中加入了一些约束条件的优化问题。

解决这些问题在实际应用中具有重要意义，因此研究非线性优化和约束优化问题的求解方法具有重要的理论和实际意义。

一、非线性优化问题的求解方法非线性优化问题的求解方法有很多，下面介绍几种常见的方法：1. 黄金分割法：黄金分割法是一种简单但有效的搜索方法，它通过不断缩小搜索范围来逼近最优解。

该方法适用于目标函数单峰且连续的情况。

2. 牛顿法：牛顿法利用目标函数的一阶和二阶导数信息来逼近最优解。

该方法收敛速度较快，但在计算高阶导数或者初始点选取不当时可能产生不稳定的结果。

3. 拟牛顿法：拟牛顿法是对牛顿法的改进，它通过逼近目标函数的Hessian矩阵来加快收敛速度。

拟牛顿法可以通过不同的更新策略来选择Broyden-Fletcher-Goldfarb-Shanno（BFGS）方法或者DFP方法。

4. 全局优化方法：全局优化方法适用于非凸优化问题，它通过遍历搜索空间来寻找全局最优解。

全局优化方法包括遗传算法、粒子群优化等。

二、约束优化问题的求解方法约束优化问题的求解方法也有很多，下面介绍几种常见的方法：1. 等式约束问题的拉格朗日乘子法：等式约束问题可以通过引入拉格朗日乘子来转化为无约束优化问题。

通过求解无约束优化问题的驻点，求得原始约束优化问题的解。

2. 不等式约束问题的罚函数法：不等式约束问题可以通过引入罚函数来转化为无约束优化问题。

罚函数法通过将违反约束条件的点处添加罚项，将约束优化问题转化为无约束问题。

3. 逐次二次规划法：逐次二次规划法是一种常用的求解约束优化问题的方法。

该方法通过依次处理逐个约束来逼近最优解，每次处理都会得到一个更小的问题，直至满足所有约束条件。

4. 内点法：内点法是一种有效的求解约束优化问题的方法。

该方法通过向可行域内部逼近，在整个迭代过程中都保持在可行域内部，从而避免了外点法需要不断向可行域逼近的过程。

非单调信赖域方法求解无约束非光滑优化问题

ＧＡＯＬｅｉｆｕ，ＹＵＤｏｎｇｍｅｉ・Ｎｏｎ。ｍｏｎｏｔｏｎｅｔｒｕｓｔｒｅｇｉｏｎｍｅｔｈｏｄｓｆｏｒｓｏｌｖｉｎｇｕｎｃｏｎｓｔｒａｉｎｅｄｎｏｎｓｍｏｏｔｈｏｐｔｉｍｉｚａｔｉｏｎｐｒｏｂ —
辽宁工程技术大学理学院系统科学研究所，辽宁阜新１２３０００
ＩｎｓｔｉｔｕｔｅｏｆＭａｔｈｅｍａｔｉｃｓａｎｄＳｙｓｔｅｍｓＳｃｉｅｎｃｅ，ＣｏｌｌｅｅｃｈｎｉｃａｌＵｎｉｖｅｒｓｉｔｙ，Ｆｕｘｉｎ，Ｌｉａｏｎｉｎｇ１２３０００，Ｃｈｉｎａ
ｌ引言
非光滑优化又称不可微优化，是最优化理论与方法中的一个重要分支。所谓非光滑优化，是指目标函数或约束函数中至少有一个不是连续可微（光滑）的非线性规划问题” 。近三十年来，许多研究人员开始关注非光滑优化问题的研究，在非光滑优化问题的发展进程中，Ｆ．Ｈ．Ｃｌａｒｋｅ和Ｒｏｃｋｆｅｌｌａｒ两个人无论是在理论上的研究还是在算法上的
ＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇａｎｄＡｐｐｌｉｃａｔｉｏｎｓ计算机工程与应用

求解无约束最优化非单调自确定信赖域算法

基金项目：家自然科学基金（０６０５国１６１０）
作者简介：刘宁（９３）男，广西玉林人，硕士研究生，主要研究方向为最优化理论与算法。Ｅｍａ：１８７＠１３ｔｍ１８一， — ｉｋ３７５６．ｏｌ
“ 一一
（一）
ｇ户＾ ÷（ｔ＾ ≥ ：一ＢＰｔｌｋ）
嚣［一Ｐ吉
］一
（ △） ≥ ，Ｐ）／７ｋ（ ’
令厂（＝厂ｚ（）ｍａ（（ｋｉ）ｍ（）ｆ）（ｆ）一ｔ＾ｘｆｘ－），足满足（）Ｏ一Ｏｍ（），志一ｍｉ是），］（为一非负整ｎｍ（一１＋１，
较容易出现可行域中存在细长弯曲的峡谷［，时算６这３
பைடு நூலகம்
法的有效性就大大降低。因为这时一旦迭代进入峡
谷，就只能沿着峡谷缓慢前进，样就会导致很小它这的步长，至出现锯齿现象［。针对上面所提出的困甚７］
步骤５设ｋ：＋１转步骤１一五，。
证毕。
（）４
引理２算法１适定的，是若假设１中的条件（）１
和（）２成立。
步骤４利用ＢＧＦＳ公式修正，到Ｂ一。得
证明由中值定理以及假设１又由于厂 ≥厂，，ｆ）＾
ｖｒｅｅａｅａｓａｉｄｕｎｄｒｓｔｌｏｅｇｎｃｒｌｏｏｂｔｎｅｅｕｉａｂｅｃｎｄｉｉｎｓｔｏ．

基于信赖域技术的非单调非线性共轭梯度算法

基于信赖域技术的非单调非线性共轭梯度算法孙清滢;徐敏才;刘丽敏【摘要】共轭梯度算法由于其迭代简单和较小的存储在求解大规模无约束优化问题中起着特殊的作用.本文基于信赖域技术和修正拟牛顿方程,结合Zhang非单调策略,设计了一种新的求解无约束最优化问题的基于信赖域技术的非单调非线性共轭梯度算法.该算法每次迭代自动产生信赖域半径,并通过求解一个简单的子问题得到下一个迭代点,信赖域技术的应用保证了算法的全局收敛性.新算法具有算法稳定、计算简单的特点,可用于求解病态和大规模问题.数值实验表明算法是有效的.%The conjugate gradient method has played a special role for solving the large scale unconstrained optimization problems due to the simplicity and the low storage. In this paper, based on the trust region technique and the modified quasi-Newton equation, a new non-monotone nonlinear conjugate gradient method for the unconstrained optimization problem is presented by combining with Zhang's non-monotone strategy. In each iteration, the new algorithm generates a suitable trust region radius automatically and obtain the next iterate by solving a simple subproblem. The trust region approach is used in the new algorithm to guarantee the global convergence. The new method has stable convergence and simple computation, so as to solve the ill-posed and large scale problems. The numerical results show that the new method is effective.【期刊名称】《工程数学学报》【年(卷),期】2011(028)005【总页数】7页(P686-692)【关键词】共轭梯度法;非单调步长规则;收敛性;线性收敛速度【作者】孙清滢;徐敏才;刘丽敏【作者单位】中国石油大学理学院,青岛266555;中国石油大学理学院,青岛266555;中国石油大学理学院,青岛266555【正文语种】中文【中图分类】O221.21 引言考虑无约束最优化问题其中f(x):Rn→R1是一阶连续可微函数．求解问题(1)的非线性共轭梯度算法，结构简单，收敛速度快，存储量小，适于求解大规模问题[1,2]．记gk=∇f(xk)，其迭代公式为其中αk为步长可通过某种策略确定，dk为搜索方向，其公式为这里βk为参数，不同的βk对应不同的共轭梯度法，著名有FR,PRP,HS,CD,DY[3]共轭梯度法．近年来，伴随着大规模优化问题出现，人们对共轭梯度法的研究逐渐活跃，建立收敛性好，数值效果有效且稳定的共轭梯度法是人们追求的目标，由此产生了一些新的共轭梯度算法．如Yuan和Stoer[4]将搜索方向dk在二维子空间span{gk,dk−1}上确定，即其中γk,βk为参数，得到一种新的共轭梯度算法．受其启发，张祖华和时贞军[5]基于信赖域技术提出了一种数值效果比FR,PRP,HS,CD,DY共轭梯度算法有效的新的单调下降的共轭梯度算法，并分析了算法的全局收敛性．基于拟牛顿条件，1988年，Barzilai和Borwein[6]提出了数值效果好且适于求解大规模问题(1)的两点步长梯度法(BB算法)．近年来，基于修正拟牛顿方程的非拟牛顿算法的研究亦吸引了不少国内外学者．Yuan[7]提出了一种修正的BFGS方法，赵云彬[8]等提出了一种伪Newton-δ族，陈兰平，焦宝聪[9,10]提出了一些新的非拟牛顿算法．最近，Wei[11]利用目标函数f(x)的Taylor展开式给出如下非拟牛顿方程易见，当Ak=0时，(5)即为拟牛顿方程．借助拟牛顿算法的对Hk=Bk− 1的修正技巧和对角稀疏拟牛顿算法的思想，给出Bk的新的修正形式．设Bk为对角稀疏正定矩阵，令其中△Bk为对角矩阵，为保证Bk+1的正定性，限制Bk+1=diag(b1k+1,b2k+1,···,bnk+1)取值，即Bk+1近似满足修正拟牛顿方程非单调线搜索技术由于其有利于获得全局最优解和算法的快速收敛而受到许多最优化爱好者的青睐[12-17]．最近，Zhang和Hager[18]改进了传统非单调技术中的参考值的选取，提出了一种新的非单调线搜索技术其中这里ηk−1∈ [ηmin,ηmax], ηmin ∈ [0,1)和ηmax ∈ [ηmin,1]是两个参数，β ∈ (0,1)为常数．本文将基于信赖域技术，结合Zhang的非单调策略，改进文献[5]的算法，设计一种新的求解问题(1)的非单调共轭梯度算法，分析算法的全局收敛性和线性收敛速度，用数值实验验证算法的有效性．2 算法基于信赖域技术的Zhang[18]非单调共轭梯度算法TRCG，有：步0 选取µ∈(0,1),ρ∈(0,1)，对任意的x0∈Rn,ηmin∈[0,1),ηmax∈[ηmin,1],0lt;Lminlt;Lmax,B0=In，令k:=0；步1 若∥gk∥=0，则停止迭代；否则，转步2；步2 令xk+1=xk+dk(αk)，这里αk 为{1,ρ,ρ2,···}中满足下式的最大者其中Ck由式(13)和式(14)确定．又而(γ,β)T∈R2为下列问题之解令k:=k+1，转步3；步3 利用式(11)修正Bk得Bk+1，选取ηk∈ [ηmin,ηmax]，令k:=k+1，转步1．3 全局收敛性首先对目标函数f(x)做如下假设：(H1) 目标函数f(x)在Rn上有下界；(H2) 目标函数的梯度g(x)=∇f(x)在包含水平集L(x0)={x∈Rn|f(x)≤f(x0)}的开凸集B上Lipschitz连续，即存在Lgt;0满足在以上假设条件下，可以证明如下结论．引理1 假设(H2)成立，xk,xk+dk∈B，则引理2 设dk(α)是问题(17)之最优解，则引理3 设{xk}是由算法TRCG产生的序列，则有f(xk+1)≤Ck,∀k；f(xk)≤Ck,∀k；{Ck}是单调不增序列．定理1 假设(H1)和(H2)成立，{xk}是由算法TRCG产生的无穷点列，则4 线性收敛速度线性收敛速度分析需要以下假设条件：(H3)f(x)是强凸函数，即存在常数rgt;0满足定理2 假设(H1)-(H3)成立，{xk,αk,gk,dk}是由算法TRCG产生的序列，则存在θ∈(0,1)满足：f(xk)− f(x∗) ≤ θk(f(x0)− f(x∗)), ∀ k，即{f(xk)}R-线性收敛于f(x∗)，其中x∗是问题(1)的惟一最优解．证明仿照文献[18]定理3.1易证．5 数值实验本节从网站：www.ici.ro/camo/neculai/SCALCG/testuo.pdf选择了2个算例，利用Matlab编制程序在Pentium III 933机器上对本文算法进行数值实验，并与参考文献[5]中的算法进行比较．在算法TRCG中，当Ak取式(7)、式(8)和Ak=0时，分别记为TRCG(1)、TRCG(2)、TRCG(0)．当ηk≡0时，算法分别变为其对应的单调算法，分别记为MTRCG(1)、MTRCG(2)、MTRCG(0)．令B=LkIn，其中则本文算法退化为文献[5]中算法的非单调形式，记为NZSCG．当ηk≡0时，算法变为文献[5]的单调算法，记为ZSCG，因此TRCG可看作文献[5]算法ZSCG的推广．取很大，则ηk−1就会很小，算法就趋于单调性算法，从而较好地利用在xk点的信息．算法NZSCG和ZSCG中取L0=6．算法终止准则采用∥gk∥≤ 10−3，表1给出了维数n=5000,10000,20000时，例1和例2的计算结果．表1: 例1和例2的计算结果算例算法迭代次数CPU时间(s)最优值例1TRCG(1)/MTRCG(1)45/66 1.301/2.006 9.5530e-8/1.0671e-6 98/986.111/6.920 1.6933e-7/1.6933e-7 71/66 10.510/10.856 1.1011e-6/7.8716e-7 TRCG(2)/MTRCG(2)41/89 1.261/2.821 8.6364e-9/7.3153e-7 104/1047.625/7.656 2.8414e-7/2.8414e-7 76/93 11.277/13.450 9.8032e-7/1.1669e-6 TRCG(0)/MTRCG(0)51/94 1.466/3.256 1.2011e-10/7.5685e-7 154/154 9.636/10.134 1.0372e-6/1.0372e-6 115/115 15.252/16.963 1.0115e-6/1.0115e-6 NZSCG/ZSCG 146/157 0.987/1.301 1.0384e-6/1.3982e-6153/163 3.825/4.362 8.7102e-7/1.3794e-6 159/169 10.760/11.052 8.1474e-7/1.3608e-6例2 TRCG(1)/MTRCG(1)34/76 1.255/2.889 5.2486e-9/1.4078e0 30/37 2.271/2.921 8.7973e-9/2.1266e-8 37/59 5.546/8.652 2.4420e-9/1.9451e0 TRCG(2)/MTRCG(2)33/65 1.241/2.448 2.2460e-9/3.2273e029/29 2.195/2.323 1.5753e-8/2.2000e-8 29/58 5.078/8.739 1.4906e-8/1.9451e0 TRCG(0)/MTRCG(0)37/57 1.315/2.018 1.7894e-8/1.6722e030/30 2.435/2.495 3.3208e-9/7.5286e-9 41/102 6.048/11.105 4.4957e-9/2.4166e0 NZSCG/ZSCG 62/70 1.178/1.358 2.8442e-8/2.5545e-8 64/722.331/2.615 2.5971e-8/2.5407e-8 66/74 4.065/4.965 2.3726e-8/2.5284e-8本文基于信赖域技术和修正拟牛顿方程，结合Zhang[18]非单调策略，设计了一种新的求解无约束最优化问题的非单调共轭梯度算法，分析了算法的收敛性和线性收敛速度，数值实验表明算法是有效的．新非单调算法需要较少的存储量、计算量、迭代时间和迭代次数，目标函数值更接近于最优值，新非单调算法不比单调算法差，对有些算例优势明显，因此新算法适合于大规模问题的计算．参考文献：【相关文献】[1]袁亚湘，孙文渝.最优化理论与方法[M].北京：科学出版社，1997 Yuan Y X,Sun W Y．Optimization Theory and Methods[M]．Beijing:Science Press,1997[2]戴彧虹，袁亚湘.非线性共轭梯度法[M].上海：上海科学技术出版社，2000 Dai Y H,Yuan Y X．Nonlinear Conjugate Gradient Method[M]．Shanghai:Shanghai Science and Technology Press,2000[3]Dai Y H,Yuan Y X.A nonlinear conjugate gradient method with a strong global convergence property[J].SIAM Journal on Optimization,1999,10(1):177-182[4]Yuan Y X,Stoer J.A subspace study on conjugate gradient algorithms[J].Zeitschrift f¨ur Angewandte Mathematik und Mechanik,1995,75(1):69-77[5]张祖华，时贞军.解无约束优化的一种新的共轭梯度法[J].数学进展，2009,38(3):340-344 Zhang Z H,Shi Z J．A new conjugate gradient method for unconstrainedoptimization[J]．Advances in Mathematics,2009,38(3):340-344[6]Barzilai J,Borwein J M.Two-point step size gradient methods[J].IMA Journal ofNumerical Analysis,1988,8:141-148[7]Yuan Y X.A modif i ed BFGS algorithm for unconstrained optimization[J].IMA Journal of Numerical Analysis,1991,11:325-332[8]赵云彬，易正俊.伪Newton-δ族的导出和全局收敛性[J].数值计算与计算机应用，1995,16:53-62 Zhao Y B,Yi Z J．Derivation and global convergence for pseudo-Newton-δclass[J]．Journal of Numerical Methods and Computer Applications,1995,16:53-62[9]陈兰平，焦宝聪.一类非拟Newton算法及其收敛性[J].应用数学与计算数学学报，1997,2:9-17 Chen L P,Jiao B C．A class of non-quasi-Newton methods and itsconvergence[J]．Communication on Applied Mathematics and Computation,1997,2:9-17 [10]陈兰平，焦宝聪.非拟牛顿非凸族的收敛性[J].计算数学，2000,3:369-378 Chen L P,Jiao B C．Convergence properties of the preconvex part of non-quasi-Newton’sfamily[J].Mathematica Numerica Sinica,2000,3:369-378[11]Wei Z,Li G,Qi L.New quasi-Newton methods for unconstrained optimization problems[J].Applied Mathematics and Computation,2006,175:1156-1188[12]Grippo L,Lampariello F,Lucidi S.A nonmonotone line search technique for N ewton’s method[J].SIAM Journal on Numerical Analysis,1986,23(4):707-716[13]Dai Y H.On the nonmonotone line search[J].Journal of Optimization Theory and Applications,2002,112:315-330[14]Dai Y H.A nonmonotone conjugate gradient algorithm for unconstrained optimization[J].Journal of Systems Science and Complexity,2002,15:139-145[15]Sun Q Y.Global convergence results of a three term gradient method with a non-monotone line search technique[J].ACTA Mathematica Scientia,2005,25B(1):170-178 [16]孙清滢，崔彬，王长钰.新非单调线搜索规则的Lampariello修正对角稀疏拟牛顿算法[J].计算数学，2008,30(3):255-268 Sun Q Y,Cui B,Wang C Y．Global convergence results of Lampariello modif i ed diagonal-spare quasi-Newton method with new non-monotone step size rule[J]．Mathematica Numerica Sinica,2008,30(3):255-268[17]孙清滢，郑艳梅.大步长非单调线搜索规则的Lampariello修正对角稀疏拟牛顿算法的全局收敛性[J].数学进展，2008,37(3):311-320 Sun Q Y,Zheng Y M．Global convergence results of Lampariello modif i ed diagonal-spare quasi-Newton method with large non-monotone-step size rule[J]．Advances in Mathematics,2008,37(3):311-320[18]Zhang H C,Hager W W.A nonmonotone line search technique and its application to unconstrained optimization[J].SIAM Journal on Optimization,2004,14(4):1043-1056。

一种非单调L—BFGS方法及其全局收敛性

一种非单调L—BFGS方法及其全局收敛性作者：邹舒周群艳来源：《江苏理工学院学报》2014年第06期关键词：有限内存BFGS；非单调；全局收敛性中图分类号：O241文献标识码：A文章编号：2095-7394（2014）06-0001-040引言考虑非线性无约束最优化问题min1x∈Rnf（x），（1）其中f：RnR二次连续可微。

拟牛顿法是求解问题（1）的最有效的方法之一。

线搜索拟牛顿法最基本的迭代格式[1]是xk+1=xk-αkHkgk， k=0，1，2，…。

其中x0给定，αk是由某种线搜索方法计算得到的步长，gk=f（xk），Hk∈Rn×n是当前迭代点xk处Hesse阵的逆的近似，满足拟牛顿方程Hk+1yk=sk，其中sk=xk+1-xk，yk=gk+1-gk。

通常Hk可借助拟牛顿公式校正得到，比如BFGS公式：Hk+1=VTkHkVk+ρksTksk，其中，ρk=11yTksk，Vk=I-ρkyksTk。

在过去的几十年中，BFGS拟牛顿算法被广泛应用于非线性最优化，其全局与局部收敛性得到了论证。

然而，当n较大时，不可能存储以及校正一个n阶的方阵。

对于大规模无约束优化问题，有限内存BFGS（L-BFGS）算法更受青睐。

L-BFGS法是在BFGS法的基础上改变得到的。

若在第k步，已经存储了m对最近的（si，yi），i=k-m+1，L，K。

选取Hesse阵2f（xk+1）的初始逆矩阵的近似H（0）k+1，用BFGS公式校正H（0）k+1^1m=min（m，k）次，就得到2f（xk+1）的逆矩阵的近似Hk+1。

故L-BFGS法中的Hk+1为[2]：Hk+1=（VTK…VTk-^1m+1）H（0）k+1（VTk-^1m+1…VTk）+ρk-^1m+1（VTk-1…VTk-^1m+2）sk-^1m+1sTk-^1m+1（Vk-^1m+2…Vk-1）+…+ρksksTk。

（2）L-BFGS法最主要的优点是不需要明显地存储n阶方阵Hk，只需存储第k步的向量Hkgk，这可以通过文献[1]中提出的双循环算法计算得到。

基于锥模型的非单调自适应信赖域算法

基于锥模型的非单调自适应信赖域算法王开荣;曾刘拴【摘要】针对无约束优化问题提出了一个基于锥模型的非单调信赖域算法.首先提出一种求解子问题的新方法,在此基础上给出该文算法.算法结合自适应技术,避免信赖域半径更新的盲目性;并引入滤子技术和新的非单调技术,利用非单调Armijo线搜索得到步长,进而产生新的迭代点.在一定的假设条件下,证明了该算法的全局收敛性,数值实验表明了算法的有效性.【期刊名称】《华中师范大学学报（自然科学版）》【年(卷),期】2015(049)002【总页数】8页(P171-178)【关键词】无约束规划;非单调信赖域算法;自适应方法;滤子;全局收敛性【作者】王开荣;曾刘拴【作者单位】重庆大学数学与统计学院,重庆401331;重庆大学数学与统计学院,重庆401331【正文语种】中文【中图分类】O221.2本文考虑无约束最优化问题：其中，f(x):R→Rn二阶连续可微且有下界．锥模型方法最初是由Davidon[1]和Sorensen[2]提出的.经典的锥模型如下：其中，s=xk+1-xk，gk=f(xk)，对称阵Bk∈Rn×n是2f(xk)或其近似，hk称为水平向量.若hk=0或者则锥模型退化为二次模型，因此锥模型是二次模型的推广，它包含更多的信息，具有二次模型没有的优势[3-5]．考虑到信赖域方法良好的性质，Di和Sun[6]首次提出了锥模型信赖域方法，他们考虑了下面的信赖域子问题：其中，Δk是信赖域半径是Euclide范数．近年来非单调线搜索技术[7-10]因其较好的数值效果而得到了广泛应用.2008年Mo和Gu[11]提出了一种较为简单的非单调技术，即：其中，并将此技术运用到信赖域方法中，获得了较好的数值效果．自适应方法[12-14]可以避免信赖域半径更新的盲目性.2009年，Sang和Sun[15]充分利用当前迭代点的信息提出了一种自适应方法，即令其中，滤子技术[16]最初的目的是为了克服使用价值函数时选取罚因子的困难.2005年，Gould等[17]将滤子技术应用到一般的无约束优化问题中，提出了一个滤子信赖域方法，2012年，孙文瑜和徐东[18]提出了一种基于锥模型的滤子信赖域方法，证明了其收敛性，并得到较理想的数值效果．本文基于锥模型(3)，首先给出一种求解(3)的简单算法，之后结合Mo等[11]的非单调技术、Sang和Sun[15]的自适应技术及Gould等[17]的滤子技术提出一个求解问题(1)的非单调自适应信赖域算法.当试探步不被接受时，采用滤子技术，增加试探步被接受的可能性；如果试探步也不被滤子集接受，取沿sk方向进行非单调Armijo线搜索得到步长αk，从而得新的迭代点xk+1=xk+αksk．为了给出求解(3)的简单算法，首先简化子问题(3)，在第k步迭代中，用χ(xk)I来逼近Bk，则子问题(3)转化为下面的形式：另外，锥模型应该满足下面的四个插值条件[5]:其中，sk-1=xk-xk-1，由(10)的第一个等式可得令则由上式可得因此有若χ(xk)≤0，则选取充分小的常数δ1>0，令这样就可以保证Bk=χ(xk)I正定．锥模型函数ck(s)的严格极小点为：而ck(s)的Cauchy点为其中，求解问题(3)的计算步骤为：算法1步骤1：若则令否则转步骤2；步骤2：令有了算法1，就可以给出求解问题(1)的算法2如下：算法2(FNTR)步骤1：给定初始滤子集F0，k→0．步骤2：计算若则x*=xk，停止计算，否则，转步骤3．步骤3：计算f(xk)，利用算法1求解信赖域子问题(8)，得试探步sk，令步骤4：计算步骤5：若rk≥ω1，令；否则，计算若被Fk接受，令并将加入到Fk，同时去除Fk中所有被支配的点，得到Fk+1；否则令求ik，使得ik是满足的最小的非负整数，令αk=λik，xk+1=xk+αksk．步骤6：计算χ(xk+1)，若χ(xk+1)≤θ或令χ(xk+1)=κ，Bk+1=χ(xk+1)I．步骤7：按式(6)、(7)更新信赖域半径，按文献[19]的方法更新hk，即其中，转第2步骤．说明： 1) 从算法2的步骤6可以看出，序列是一致有界的，即对任意的k有2) 为了保证算法2的全局收敛性，选取一个足够小的常数σ>0，使得对任意的k 有对算法2的收敛性，首先给出以下假设：(H1) f(x)在有界闭集H={x|f(x)≤f(x0)}上二阶连续可微;(H2) 算法2产生的序列包含在H中;(H3) 假设存在两个正常数和Mb，使得对任意的k有由假设(H1)和(H3)知，存在Δmax>0，使得对任意的k有Δk≤Δmax.为讨论问题的方便，记加到滤子集中}，A={k|rk<ω1}\S．引理1如果{Bk}是由算法2产生的，则对任意的k，Bk及都是正定对角阵，m1≤Bk≤m2，且存在m3，m4>0，使得证明由Bk+1=χ(xk+1)I和说明(1)很容易得到．引理2[20]若假设(H1)、(H2)、(H3)成立，sk是子问题(8)的解，则有其中是一个常数．引理3[21]设sk是子问题(8)的解则∃使得引理4若{xk}是由算法2产生的，则对任意的k有证明由Dk的定义知Dk+1-fk+1=η(Dk-fk+1)．现在考虑3种情况：k∈T，k∈S，k∈A．第1种情况：k∈T.因故有所以Dk+1-fk+1=η(Dk-fk+1)>0，即Dk+1>fk+1，又因即有Dk+1≤Dk，所以当k∈T时结论成立．第2种情况：k∈S.由滤子的定义知fk+1≤fk.若k-1∈T，则有fk≤Dk≤Dk-1，从而有即Dk+1≤Dk，又因即fk+1≤Dk+1，所以有fk+1≤Dk+1≤Dk．若k-1∈S，令M={i|1<i≤k，k-i∈T},如果M=Φ，则有fk+1≤fk≤…≤f1≤f0=D0.下面用数学归纳法证明Dk+1≤Dk.因f0=D0，所以k=1时有假设k=n时，有Dn+1≤Dn下证k=n+1时有Dn+2≤Dn+1，而所以Dk+1≤Dk成立.再证fk+1≤Dk+1，因Dk+1-Dk=(η-1)Dk+(1-η)fk+1=(1-η)(fk+1-Dk)，而由上面的证明可知Dk+1≤Dk，又(1-η)>0 ，所以有(fk+1-Dk)≤0，即fk+1≤Dk，从而有如果M≠Φ，设m=min{i|i∈M}，则有fk+1≤fk≤…≤fk-m+1，因k-m∈T，由第一种情况可知fk-m+1≤Dk-m+1≤Dk-m，而由归纳法可得Dk+1≤Dk，同上可得fk+1≤Dk+1．综上可得当k∈S时，有fk+1≤Dk+1≤Dk．第3种情况：k∈A.因故有即Dk>fk+1,所以Dk+1-fk+1=η(Dk-fk+1)>0，即Dk+1>fk+1，而则有Dk+1≤Dk,所以有fk+1≤Dk+1≤Dk．综合上面3种情况可知，对任意的k都有fk+1≤Dk+1≤Dk．引理5若假设(H1)、(H2)、(H3)成立，则存在常数M>0，使得对任意的k有证明由假设(H1)可知gk和2f(x)是一致有界的，即分别存在Mg>0和Mf>0使得对任意的k有和再由Taylor展式可得：令则结论得证．引理6[11]如果假设(H1)、(H2)、(H3)成立，αk满足(7)式，则存在对任意的k∈A 都有定理1如果假设(H1)、(H2)、(H3)成立则有证明首先证明时必有由的定义知因fk有界，故Dk有界，所以有所以有又因故必有下面证明反证.假设对充分大的k有又令k→∞，则有所以对充分大的k，有rk≥ω1，则由算法知对充分大的k存在μ*>0，使得这与矛盾.所以有定理2[21]如果假设(H1)、(H2)、(H3)成立，且则有定理3如果假设(H1)、(H2)、(H3)成立，且则有证明反证，假设当充分大时，有由引理4知{Dk}单调下降，又{Dk}有界，故其收敛，再由引理3和引理6得记因sk是下降方向，故对任意的k∈A，有fk+1≤fk，从而有又由Dk+m+1的定义知Dk+m+1是fk+1，fk+2，…，fk+m+1的凸组合，因此有故对充分大的k，有Dk-Dk+m+1≥β，这与{Dk}收敛矛盾，所以成立．定理4若假设(H1)、(H2)、(H3)成立，算法2产生的点列{xk}收敛于x*，2f(x*)正定，2f(x)在x*的邻域内Lipschitz连续，其中，Lipschitz常数为L，如果有且则点列{xk}Q-超线性收敛于x*．证明因2f(x*)正定，2f(x)在x*的邻域内Lipschitz连续，则存在正的常数m、M，使得对任意的s∈Rn，x∈Ω有则由(24)式可得进而有所以有2f(xk)sk．由说明2)知所以有0<c(0)-c(sk)=故有因f(x)二阶连续可微，所以有从而又所以有进而有所以,因此令k→∞，则有再结合(24)式，可得所以点列{xk}Q-超线性收敛于x*．本节给出算法2(FNTR)的数值试验结果，并与基本信赖域算法(TR)(文献[22]中算法3.6.1)，滤子信赖域算法(FilterTR)[23]以及锥模型回溯过滤信赖域算法(CRFTR)[24]做比较.算法用Matlab7.01编写程序.Fval表示最优点处的函数值，Gnorm表示迭代终止时函数梯度的范数，K表示迭代次数，CPU代表运行时间(单位为s).设定精度检验函数取自文献[25]，初始点的选取与文献[25]相同.如果计算不出结果或者时间超过200 s或者迭代次数超过1000次，则用“---”表示．算法2(FNTR)中，选择的参数为其中，算法2(FNTR)，算法(FilterTR)和算法(CRFTR)中的Bk都利用本文的方法更新，而算法(TR)中的Bk采用PRP方法更新.检验函数如表1，数值结果如表2．从表2的数据可以看出，算法2(FNTR)与算法(TR)相比，对于函数Penalty Ⅰ，Penalty Ⅱ，Variably，Broyden tridiagonal的高维情况，后者失效，且对于函数Broyden banded，后者无法求解，而算法2(FNTR)在这些函数上都有出色的表现，说明算法2(FNTR)的构造是可行的.算法2(FNTR)与算法(FilterTR)相比，对于函数Box 3-D，Osborne 2，Penalty Ⅰ，Penalty Ⅱ和Broyden banded，后者基本上无法求解，对于函数Variably，Broyden tridiagonal和Linear full rank的高维情况，后者基本失效，而前者却可以很好的求解，并且在其它函数的数值表现上，算法2(FNTR)也有很大的优势，说明对于大多数测试函数，锥模型与滤子方法的结合在数值表现上具有优势.算法2(FNTR)与算法(CRFTR)相比，在函数Gaussian，Box 3-D，Osborne 2，Penalty Ⅰ，Penalty Ⅱ的数值表现上，前者具有明显的优势，在函数Jensam，Gulf，Discrete integral，Broyden tridiagonal，Linear full rank的数值表现上，两者同样优秀，而在函数Variably，Broyden banded的数值表现上，前者稍显不足，说明在在信赖域方法框架下，线搜索、锥模型、非单调、自适应以及滤子等技术是可以混合使用的.上述结果表明本文提出的算法2(FNTR)是可靠有效的．【相关文献】[1] Davidon W C. Conic approximation and collinear scaling for optimizers[J]. SIAM Journal on Numerical Analysis， 1980， 17:268-281．[2] Sorensen D C.The Q-superlinear convergence of a collinear scaling algorithm for unconstrained optimization [J].SIAM Journal on Numerical Analysis， 1980， 17:84-114．[3] Ni Q. Optimization conditions for trust-region subproblems involving a conic model [J]. SIAM J Optim， 2005， 15:826- 837．[4] Qu Shaojian， Jiang Suda.A trust-region method with a conic model for unconstrained optimization[J]．Math Meth Appl Sci， 2008， 31:1780-1808．[5] Sun W Y, Yuan Y X.Optimization Theory and Methods[M]. New York：Springer, 2006.[6] Di S S. Stregion method for conic model to solve unconstrained optimization [J].Optim Methods Softw， 1996， 6:237-263．[7] Grippo L， Lampariello F， Lucidi S. A nonmonotone line search technique for Newton’s method[J].SIAM Journal on Numerical Analysis， 1986， 23(4) :707-716．[8] Deng N Y， Xiao Y， Zhou F J. Nonmonotone trust region algorithm[J]. Journal of Optimization Theory and Applications，1993， 76 (2) :259-285．[9] Zhang H， Hager W W. A nonmonotone line search technique and its application tounconstrained optimization[J].SIAM Journal on Optimization， 2004， 14(4):1043-1056．[10] Mo J， Liu C， Yan S. A nonmonotone trust region method based on nonincreasing technique of weighted average of the successive function values[J].Journal of Computational and Applied Mathematics， 2007， 209(1):97-108．[11] Gu Nengzhu， Mo Jiangtao.Incorporating nonmonotone strategies into the trust region method for unconstrained optimization[J].Computers and Mathematics with Applications， 2008， 55(9):2158-2172．[12] Sartenaer A. Automatic determination of an initial trust-region in nonlinear programming [J]. SIAM Journal on Scientific Computing， 1997， 18(6):1788-1803．[13] Fan J Y， Yuan Y X. A new trust region algorithm with trustregion radius convergingto zero[C]//Proceedings of the 5th International Conference onOptimization:Techniquesand Applications，Hongkong， Dec， 2001．[14] Zhang X S， Zhang J L， Liao L Z. An adaptive trust method and its convergence [J].Computers and Mathematics with Applications， 2003， 45(10-11):1469-1477．[15] Sang Zhaoyang， Sun Qingying. A self-adaptive trust region method with line search based on a simple subproblem model[J].Journal of Computational and Applied Mathematics， 2009， 232(2):514-522．[16] Fletcher R，Leyffer S. Nonlinear programming without a penalty function[J].Mathematical Programming， 2002， 91(2):239-269．[17] Gould N I M， Sainvitu C. Toint P H L.A filter-trust-region method for constrained optimization[J].SIAM Journal on Optimization， 2005， 16(2):341-357．[18] 孙文瑜，徐东. 解无约束最优化的基于锥模型的过滤集-信赖域方法[J].中国科学， 2012，42(5):527-543．[19] 诸梅芳，薛毅，张凤圣. 锥模型的拟NEWTON型信赖域方法[J].高等学校计算学报， 1995，17:36-47．[20] Qu Shaojian， Zhang Kecun， Zhang Jian. A nonmonotone trust-region method of conic model for unconstrained optimization[J]. Journal of Computational and Applied Mathematics. 2008， 220:119-128．[21] 冯琳，段复建，和文龙. 基于简单二次函数模型的滤子非单调信赖域方法[J].山东大学学报:理学版， 2012(5):1-8．[22] 袁亚湘，孙文瑜. 最优化理论与方法[M].北京:科学出版社， 1997．[23] 繆卫华，孙文瑜. 一个解无约束优化问题的过滤信赖域方法[J].高等学校计算数学学报， 2007，29(1):88-96．[24] 葛恒武. 无约束优化问题的锥模型回溯过滤信赖域算法[J].苏州大学学报:自然科学版， 2010,26(2):8-11．[25] More J J， Garbow B S， Hillstrom K E. Testing uncontrained optimization software[J]. ACM Trans Math Softw， 1981， 7(1):136-140．。

解非线性互补问题的非单调可行SQP方法

（）（）ｄ＋ ≥０
ｄ＋ ≥０
ｓ．．ｔ
（．０３）
ｌｌ≤Ａ，ＩＩｄ
得到搜索方向ｄ．
和所有的二次子规划一样，这个子问题可能是不相容的．献ｆ提出一种ＳＰ方文６］Ｑ法，通过利用ＱＰ子问题的ＫＴ点获得可行下降方向．为了方便起见，在解问题（． — ０２）的时候，文献『假设点总是非负的．但我们知道很多情况下初始点是不可行的．５１受文献『６启发，本文提出一种解非线性互补问题的可行Ｓ５］－ＱＰ方法．利用ＱＰ子问题的ＫＴ点得到一个可行下降方向，引入一个高阶校正步以克服Ｍａａｏ效应．同 — 并ｒｔｓ时，算法采用非单调线搜索技巧获得搜索步长．１８９６年，非单调技巧由Ｇｒｐｉｏ等人ｐ在文献ｆ中提出．基于非单调技巧也产生了很多相关方法，例如非单调线搜索方法７］［－１］非单调信赖域方法［－２非单调技巧可以克服搜索步太小的缺点，７５１２．６】改善由线搜
ＣｈｉｅｅＬｉａｙＣｌｓｉｃｔｏｎ０２１ｎｓｂｒｒａｓｆａｉ２ｉ
２１ａｈｍａｉｓＳｂｅｔＣｌｓｉｃｔｏ００６Ｋ１００Ｍｔｅｔｃｕｊｃａｓｆａｉｎ９Ｃ３．５Ｏｉ
ｒｓｌｓａｅａｓｅｏｔｄｉｈｓｐａｅ．ｅｕｔｒｌｏｒｐｒｅｎｔｉｐｒＫｅｙｗｏｄｓｃｎｔａｎｄｏｔｍｉａｉｎ，ｅｕｅｔａｕｒｒｔｃｐｒｇａｒｏｓｒｉｅｐｉｚｔｏｓｑｎｉｌａｄａｉｏｒｍｍｉ，ｃｉｅｓｔｑｎｇａｔｖｅ，ｎｎｍｏｏｏｅｔｃｎｑｅｇｏｌｃｎｅｇｎｅｏｎｔｎｅｈｉｕ，ｌｂａｏｖｒቤተ መጻሕፍቲ ባይዱｅｃ

非单调无约束最优化信赖域方法

步骤１给出初始点ｚｏ∈ Ｒ，＜ △∈ Ｒ，０叩 ”０＜＜＜１０ｙ＜ｙ＜１＜ｙ，，＜１２３０＜Ａ ≤ △，＞ｏｆ
０一个非负整数Ｍ．，步骤２令志一０ｒ（）一０，ｋｅ，计算ｆｏ— ｆ（ｏ．ｘ）
步骤３计算ｇ，果ｌｌ≤ 如ｌｌｇ，则停，令
一；则计算Ｂ．否
Байду номын сангаас
步骤４决定下面子问题的一个近似解ｓａｎｓ：Ｉｌ △ ）ｒｉ｛（）ｌＩ≤ ＾ｓ
其中（）由（）定义ｓ１步骤５计算 — ｆ（ｓ）ｐ一（ｋｘ＋，ｋｆ — ）（（ｋ）／一ｓ）．
数，矩阵范数为与其对应向量范数相容的矩阵范数．
１ＮＴ算法模型Ｒ
为了便于对照，给出通常的解无约束最优化ＵＴＲ方法（先即通常信赖域方法）的算法模型．在第ｋ设次
迭代ＵＴＲ法的模型问题是
１
（ｓｇｓ）一＋寺ｓｓＢ＾
维普资讯
２
西南师范大学学报（然科学版）自
第３３卷
≤ 价令一’１＾转步骤４ｙ△ ，．
步骤７选取 △ 其满足抖使
△ １一ｒｉ｛３，）ａｎｙ△
令志一是１转步骤３＋，．注在算法１，长被接受当且仅当Ｐ ≥ ，中步因此，算法在每次迭代都保证目标函数值单调下降．松弛对步长的接受条件，就可得到非单调信赖域法（ＮＴＲ）．算法２ＮＴＲ法

求解非线性无约束优化问题的一种非单调信赖域方法

若ｐ＜叼１
：：Ｂ，否则用ＢＧ准则Ｅ求得Ｂ，ｋＦＳＴ］令：＝ｋ＋１转步１，。
２全局收敛性
本节分析算法１的全局收敛性。为此，我们作如下假设：
１厂）二阶连续可微；）（２ｌＩ一致有界，）ＩｌＢ存在Ｍ＞０，ｌｌ＜Ｍ。ｌ！
模。
２５
（）一（）≥ｃ［（）一（ｋ］０ｓ０＾０，），Ｓ其中ｓ（）的解，是２０＜ｃ。＜１则（），３式依然成立。相关证明见参考文献［］６。
记预测下降量
ｐｅ＝（）一（，ｒｄ０ｓ）
一
种Ｗａｈｏ技术，ｒｐｔｄｇｃＧｉｏ等提出了一种无约束问题的非单调线性搜索方法，ｅｇｐＤｎ等第一次提出了无
约束问题的非单调信赖域方法，ｌｉＵｂｃｒｈ等提出了一种等式约束的非单调技术。本文将Ｕｂｃｌｉｒｈ等提出的非单调技术应用到求解无约束最优化问题中，提出了新算法，并证明了该算法的收敛性。
１算法
考虑无约束问题
ｍｎ（）ｉｘｆ（）１
解此问题的拟牛顿型信赖域子问题为
ｍｎｏ（）＝ｇ＋ｉ￣ｓｓｔ．ｌａｌ≤ Ｂｓ（）２
其中，＝ｇｘ）＝Ｖ（）Ａ＞０是信赖域半径，是Ｈｓｇ（ｆ，Ｂｅｓ阵的近似矩阵，７（）是在处ｅ矩ｆ的梯度。
引理２算法１是适定的，即若算法１在处不终止，则经有限次迭代后可得成功迭代步。引理３设｛｝是算法１得到的获得成功迭代点序列，则有

非单调QP-free非可行域方法

ＡｂｔａｔＡｎｗＱ－ｒｅｉｆａｉｌｍｔｏｗｔｓｒｃ：ｅｐｆｅｎｅｓｅｂｅｈｄｉｈ
ｎｎｎｔｎ１ｅｓａｃｔｃｎｑｅｓａｄｔｅＦｓｈｒｏｍｏｏｏｅｉｅｒｈｅｈｉｕｉｎｈｉｃｅ－ｎＢｒｉｔｒＮＣＰｆｎｔｎｉｒｐｓｄｆｒｍｉｉｚｎｍｏｔｕｍｅｓｅｕｃｉｐｏｏｏｎｍｉｉｇａｓｏｏｓｅｈ
Ｒ是指满足ＮＰ问题的一阶最优必要条件：Ｌ
正（）＝０Ｇ（ ≤ ０ ≥ ０，，），，
ｇ（）＝０１≤ ｉｍｉｉ， ≤ （）３
ＮｎｏｏｏｅＬｎｅｒｈＴｃｎｑｅｆｒＱ－ｏｍｎｔｎｉｅＳａｃｅｈｉｏＰｕ
ＢｒｉｔｒＮＣｕｃｉｎｆｒｔｅＫＫＴｉｓ－ｒｅｐｉｌｙｕｍｅｓｅＰｆｎｔｏｏｈｆｒｔｏｄｒｏｔｍａｉｔ
ｃｎｉｉｎ．ｎｎｔｎｌｅｓａｃｅｈｉｕｓａｅａｏｔｄｏｄｔｓＮｏｍｏｏｏｅｉｅｒｈｔｃｎｑｅｒｄｐｅｏｎｏｉｅｓａｃｅ．ｉｔｏｓｉｌｍｅｔｂｅａｄｇｏｌｎｌｒｈｓＴｈｓｍｅｈｄｉｍｐｅｎａｌｎｌｂｌｎｅａｙ
敛性和在适当条件下具有超线性收敛性的Ｑ．ｅＰｆｅｒ方法．一方面，迭代点靠近一个狭长的峡谷区另当

半无限极大极小离散化问题的一个非单调SQCQP算法

QCQP 子问题无法保证得到的下降方向是可行的,因此为了解决该问题,常见的方法是将子问题得到
的下降方向与找到的可行方向相结合以得到可行下降方向 ,或对原下降方向进行修正 ,但这两种方法
都会增加计算工作量 .针对该不足 ,文献 [5]提出了一类模松弛强次可行算法 ,该类算法具有初始点可
方法求解原问题 (1)可归结为求解一系列具有如下形式的半无限极大极小离散化问题 :
{ min maxf(x,y), x∈ ℝn y∈Y s.t.g(x,ω)≤0, ω ∈ Ω.
(2)
本文主要考虑具有固定离散水平q 的极大极小优化问题(2).序列二次约束二次规划(SQCQP)算
Abstract:Aimingattheproblemoflowcomputationalefficiencyofsequentialquadraticprogramming (SQP)algorithms when dealing withsemi-infinite minimax discretization problems withcomplex structuresandlargenonlinearities,weproposedanon-monotonicsequentialquadraticconstrained quadraticprogramming (SQCQP)algorithm,andprovedtheconvergenceofthealgorithm under appropiateconditions.Theresultsofnumericalexperimentsshow thatthenon-monotonicSQCQP algorithmisbetterthantheSQPalgorithminreducingthenumberofiterationsandcalculationtime whenthediscretelevelis100. Keywords:minimaxproblem;norm-relaxed;stronglysub-feasible;SQCQPalgorithm;non-monotonic technique

基于非单调技术的ODE型算法

第３卷第１０期
２１０２年３月
海南大学学报自然科学版
ＮＡＴＵＲＡＬＣ趣ｌＣＥＪＳＮＯＵＲＮＡＬＯＦＨＡＩＮＡＮＵＮＩＶＥＲＳＴＹＩ
ＶＯＩ３．ＯＮＯ．１
Ｍｇ．０１ｒ２２
文章编号：０４—１２（０２０ — ０６— ４１０７９２１）１０１０
第１期
张
军等：基于非单调技术的ＯＥ型算法Ｄ
参考文献：
［］ＢＯＢＧＳＭ．Ｓｍｆｃｉｅｈｄｒｎｏｓａｎｄｏｔｚｔｎｂｓｄｏｅｏｔｎｏｓｍｄａ１ＲＷＮＡＡ，ＩＧＣｏｅｅｅｔｅｍｔｏｓｏｃｎｔｉｅｐｉａｉａｅｎｔｌｉｆｙｔｓｏｏｉｒｆｖｆｕｒｍｉｏｈｓｕｏｓｅｆｒｎｙｄｆｅｔｌｑａｏｓ［］ＯｔＴｅｒｐｌ１８，２２１— ２．ｉｅｎｉｕｔｎＪ．ｐｉｈｏｙＡｐ，９９６：１２４ｆｒａｅｉｍ．
步骤２计算ｇ，Ｉ ≤ 停止．若ｌｌｇｌ
步骤３若（ｋ）定，步骤４，ｈＢ＋Ｉ正转否则，求最小正整数ｍ，得２＋Ｉ使一ｈＢ正定，ｈ记＝－ｋｎｉｈ．
步骤４求解下面线性方程组获得试探步ｄ．
由式（６１）得
２
，，．
≥芝
，
（６１）
）一
≥
，
（７１）
则存在正常数ｃ＝ｐ／（＋１ｈ）（＋ｃ（）一＋ｃ … ｏ２Ｍ／ｏ）一１≥ ㈧２≥ ，

无约束优化问题的非单调自适应信赖域算法

Ｎｏｎｍｏｔｎｄａｔｖｒｔｒｇｏｅｈｄｎｏｏｅａｐｉｅｔｕｓ－ｅｉｎｍｔｏｆｒｕｏｓｒｉｅｏｉｉａｉｎｐｒｂｅｓｏｎｃｎｔａｎｄｐｔｍｚｔｏｏｌｍ
Ｌｈ－ｎ，ＨＮｏｇｘａＩｕｊＺＡＧＨｎ —ｉＳｕ
代点包含的一次导数的信息自动产生一个信赖域半径．在一定的条件下，明了该算法的收证
敛性，并通过数值实验验证了该算法的有效．关键词：无约束优化；自适应信赖域算法；非单调算法；全局收敛性
中图分类号：２１２０２．文献标识码：Ａ
基于此，多自适应信赖域算法被提出加，ａｔｎｅ提出了一个自动确定初始信赖域半径的ＩＲ许ＳｒａｒｅＴＲ
算法，ｈｎ［等提出了一种新的自适应信赖域算法信赖域半径选取机制为＜＜ｃ
收稿日期：０７—１２２００— １作者简介：树君（９０一）男，李１８，长沙理工大学硕士生。
ｔｒ。ｉｅ
Ｋｅｒｓｙｗｏｄ：Ｕｎｏｓａｎｄｏｔｚｔｎ；ａａｔｅｔｕｔｒｇｏｌｏｔｍ；ｎｎｎｔｎｌｏｔｍ；ｌｂｌｃｎｃｎｔｉｅｐｉａｉｒｍｉｏｄｐｉｒｓｅｉｎａｇｒｖｉｈｏｍｏｏｏｅａｇｒｉｈｇｏａｏ —
文章编号：００— ７９２０）１０８ｏ１０９７（０８Ｏ — ０１一４
无约束优化问题的非单调自适应信赖域算法

不可微函数的梯度优化 -回复

不可微函数的梯度优化-回复什么是不可微函数？在数学中，可微函数是指具有导数的函数。

导数可以理解为函数在某一点上的变化率。

如果一个函数在某一点上没有导数或者导数不存在，那么该函数就被称为不可微函数。

不可微函数的梯度优化：问题与挑战梯度优化是一种常用的优化方法，用于求解函数的最小值。

然而，这种方法一般是基于可微函数的，因此不能直接应用于不可微函数。

不可微函数的梯度优化是一个具有挑战性的问题，因为没有导数可以提供有关函数局部变化的信息。

解决不可微函数的梯度优化问题的方法之一是使用次导数。

次导数可以理解为导数的导数，用于描述函数的曲率。

当函数在某一点上的导数不存在时，可以尝试计算次导数来获得更多的信息。

步骤一：计算次导数要解决不可微函数的梯度优化问题，首先需要计算函数的次导数。

次导数的计算方法因函数的具体形式而异。

对于一些简单的函数，可以直接使用基本的微积分知识进行计算。

对于更复杂的函数，可能需要使用更高级的数值计算方法，如数值差分或自动微分。

步骤二：构建优化算法一旦获得了函数的次导数，就可以构建梯度优化算法来求解函数的最小值。

与可微函数的梯度优化类似，可以使用梯度下降或其他相关的算法来逐步调整函数的参数，直到找到最小值。

在构建优化算法时，需要注意几个方面。

首先，由于不可微函数的次导数可能会出现不连续或不稳定的情况，因此需要谨慎选择算法的步长和迭代次数，以避免陷入局部最小值。

其次，由于不可微函数可能具有多个极小值点，所以在搜索最小值时可能会遇到多个局部最小值。

因此，在构建优化算法时，需要使用一些启发式方法，如随机化搜索或者尝试不同的初始点，以增加搜索全局最小值的可能性。

步骤三：验证结果最后，需要验证通过梯度优化求解的结果是否确实是函数的最小值。

这可以通过计算关于该点的次导数来实现。

如果次导数为零，那么这个点可能是函数的最小值。

如果次导数在某一点的一个方向上为正，而在另一个方向上为负，那么该点可能是函数的驻定点，而不是最小值。

复合优化方法

复合优化方法
复合优化方法是一种多目标、多约束的优化技术，用于解决复杂的问题，如结构设计、生产调度和资源配置等。

以下是一些常用的复合优化方法：
1. 数学规划法：这是复合优化最基本的方法，包括线性规划、非线性规划、整数规划等。

这些方法通过建立数学模型，将实际问题转化为数学问题，然后使用优化算法找到最优解。

2. 遗传算法：这是一种基于生物进化原理的优化算法。

它通过模拟基因的突变、交叉和选择等过程，寻找最优解。

遗传算法适用于多目标优化、约束优化等问题。

3. 模拟退火算法：该算法类似于物理中的退火过程，通过随机接受一定程度的劣解来避免陷入局部最优解。

它适用于解决大规模、非线性、离散的优化问题。

4. 蚁群优化算法：该算法模拟蚂蚁觅食行为，通过信息素的传递寻找最优解。

它适用于解决组合优化、离散优化等问题。

5. 粒子群优化算法：该算法模拟鸟群、鱼群等生物群体的行为，通过个体之间的信息共享和协作来寻找最优解。

它适用于解决连续、离散、多目标优化等问题。

6. 神经网络优化算法：该算法模拟人脑神经元网络的结构和工作原理，通过训练学习来找到最优解。

它适用于解决模式识别、函数逼近、信号处理等问题。

在选择复合优化方法时，需要考虑问题的特性、目标和约束条件等因素，以便选择最适合的方法。

同时，在实际应用中，也可以将多种方法结合起来，以达到更好的优化效果。

一类复合不可微规划的信赖域算法

一类复合不可微规划的信赖域算法
欧宜贵
【期刊名称】《应用数学》
【年(卷),期】2000(13)2
【摘要】提出了求解带线性的束的复不可微规划的信赖域算法。

【总页数】3页(P98-100)
【关键词】复合不可微规划;信赖域算法;收敛性;非光滑优化
【作者】欧宜贵
【作者单位】海南大学数理系
【正文语种】中文
【中图分类】O221;O224
【相关文献】
1.一类无约束复合非光滑优化的信赖域算法 [J], 欧宜贵;侯定丕
2.一类基于非单调信赖域技术的信赖域修正算法 [J], 刘芳;单锐
3.一类无约束复合非光滑优化的非单调信赖域算法 [J], 欧宜贵;侯定丕
4.一类不可微凸规划的信赖域算法(英文) [J], Yang Yimin (Anhui Institute of Mechanical and Electrical Engineering Wuhu 241000)
5.无约束不可微规划的信赖域算法 [J], 欧宜贵;候定丕
因版权原因，仅展示原文概要，查看原文内容请购买。

一个新的非单调自动确定信赖域半径的信赖域算法

考虑无约束优化问题：ｍｉ（）ｎ厂，其中ｆ：尺 ÷ ．只是一个二次连续可微函数．信赖域方法是
一
Ｃ＜Ｃ＜，ｌｌｃ＝，ｋ１整数｜．ｏＩｌＡ＝，２ｌ：，＝ Ⅳ １
步２如果０则停； ≤，否则转步３．
法相结合，提出了求解无约束优化问题的一个新的非单调自动确定信赖域半径的信赖域算法．在假设对任意Ｘ ∈ ，ｌ水平集Ｌｘ）｛ｌ（）（１有界，且目标函数在水平集（１ｘｆｘｓｆ）＝ｘｌＬ）１上连续可微；矩阵序列｛ｌ一致有界的条件下证明了本算法的全局收敛性．数值结果显示本算法是有效的．关冀词：无约束最优化；信赖域方法；非单调线搜索技术；
来代替传统信赖域方法中对信赖域半径 △ 的调节．
说明①本文中Ｉｕｉａ范数 ⑦ ｛】Ｉｃｄｎ．为．ＩｌｅＩ为Ｅ
由算法１产生点列，＝，），）（，ｇ＝ｖ（．⑦ 当
Ｎ＝１时，该算法即退化为文献【】自动确定信赖２中域半径的单调信赖域算法，略有修改．④本算法中
摘要：将非单调线搜索技术与自动确定信赖域半径的方
献【】自动确定信赖域半径的信赖域算法的效率１中
的提高．本文借鉴文献【，】３的思路，将文献【】出４３提的非单调技术引入文献【】出另一个新的非单调２，提
ｇｇ，ｃ，则Ａｍｘ２ｔＩ川一Ｉ如果ｌ川＝ａ｛ｌ＋，ｃｌｌｇ