THREECG及TTCG算法的全局收敛性证明

THREECG及TTCG算法的全局收敛性证明
佚名
【摘要】最近Andrei基于Perry共轭梯度及有限记忆拟牛顿算法,给出了两个三
项共轭梯度算法THREECG及TTCG算法,并证明了所给算法对于凸函数具有全局
收敛性.但是,对于非凸目标函数,其并未能建立THREECG及TTCG算法的全局收敛性.文章给出了THREECG及TTCG算法在Wolfe线搜索下的全局收敛性证明.
【期刊名称】《广西民族师范学院学报》
【年(卷),期】2019(036)003
【总页数】4页(P73-76)
【关键词】无约束优化;共轭梯度算法;Wolfe线搜索;全局收敛性
【正文语种】中文
【中图分类】TP312
由于共轭梯度算法结构简单，所需计算及存储量少，其被广泛应用于求解一下无约束优化问题：
最近Andrei给出了两个三项共轭梯度算法THREECG 及 TTCG 算法 [1-2]19-29，6316-6327，虽然这些算法具有良好的数值表现，但文中只给出THREECG及TTCG算法对凸函数的全局收敛性证明，本文将研究THREECG及TTCG算法对一般非凸函数的收敛性。

在文中，笔者将证明，如果步长αk满足以下Wolfe线搜索条件[3-4]226-235，185-188，THREECG及TTCG算法对于一般非凸目标函数具有全局收敛性：其中参数满足。

为了便于称述，下面给出THREECG及TTCG算法的具体迭代公式：
其中。

在THREECG算法中，参数tk取值如下：
而在TTCG算法中，参数tk取值如下：
一、假设条件
为了建立THREECG及TTCG算法对非凸函数的全局收敛性，采用Gilbert和Nocedal在文献[5]21-42中所用的策略，对共轭梯度参数βk进行非负性限制：
当对βk进行以上非负性限制后，THREECG及TTCG中的搜索方向如下：
设gk≠0，否则即表示算法获得了一个稳定点，另外，假设函数f(x)满足：
假设A：（1）f(x)在水平集
（2）在的某一邻域中，f(x)连续可微，且其梯度g(x)Lipschitz连续，即存在L＞0，对所有，下式成立
在以上假设下，易知：存在常数使得
二、收敛性证明
下文笔者将分析THREECG及TTCG算法的收敛性。

在此之前，先重述一些THREECG与TTCG算法的性质，这些性质在[1，2]中已经给出，证明略。

性质1.对于THREECG及TTCG算法如果步长αk满足Wolfe线搜索条件（2）和（3），则算法具有以下性质：
（1）算法满足充分下降性条件，即存在C＞0，使得
（2）αk满足
（3）如下Zoutendijk[6]37-86条件成立
对于非凸目标函数，笔者将建立THREECG及TTCG算法满足以下条件的全局收
敛性结果：
利用反证法，如果（17）式不成立，则存在γ＞0使得
引理1. 若f(x)满足假设A，对THREECG及TTCG算法，即dk+1由（11）生成，其中βk+, μk , tk分别由式（10）、（7）、（8）或（9）确定，步长αk满足Wolfe线搜索条件（2）和（3），如果（18）成立，则
证明：由充分下降性条件（14），如果dk=0，则与式（18）矛盾，因此uk是有定义的。

由（11）可得
利用三角不等式及（22）有：
根据ωk的定义可知
另一方面，Wolfe条件（3）表明
（18）、（24）与（25）表明：
其中。

如果（18）成立，
由充分下降性条件（14）及Zoutendijk条件（16）可得
由式（26）与（27）可得（19）成立，证毕。

引理2.若f(x)满足假设A，对THREECG及TTCG算法，即dk+1由（11）生成，步长αk满足Wolfe线搜索条件（2）和（3），则THREECG及TTCG算法满足
以下性质（*）。

性质（*）：如果条件（18）成立，则存在常数b＞1，λ＞0使得对所有k 有
下面我们将继续讨论THREECG及TTCG算法的一些性质。

下面将给出的引理3
表明：如果算法所产生的梯度的范数不趋于零，则对应的步长不可能都太小。

首先引入一些记号。

令N表示正整数集，对于λ＞0，定义
即K λ对应的是步长大于λ的指标集。

记
表示相邻的△的迭代点中，步长大于λ的指标集，表示该指标集中元素的个数。

引理3. 对THREECG及TTCG算法，若f(x)满足假设A，即dk+1由（11）生成，其中μk , tk分别由式（10）、（7）、（8）或（9）确定，步长αk满足Wolfe
线搜索条件（2）和（3），如果（18）成立，则存在λ＞0，对，存在k＞k0使
得
证明：采用反证法，假设
由μk定义（7）、Wolfe条件（3）及式（18）可得
定义（11）及（36）可得
其中利用文[5]中引理4.2中一样的证明方法，即可得到引理3。

基于引理2、引理3及文献[5]中定理4.3采用的证明思路，对THREECG及TTCG 算法，即可得到以下收敛结论。

定理1. 对THREECG及TTCG算法，若 f(x)满足假设A，即dk+1由（11）生成，，步长αk满足Wolfe线搜索条件（2）和（3），则
结语
在最优化算法中，算法对非凸函数的收敛性是衡量一个算法的重要指标，前文定理1表明：在Wolfe线搜索下，如果对文献[1]和文献[2]中所给出的THREECG及TTCG算法中的共轭梯度参数βk进行非负性限制，则所获得的算法对于非凸函数
具有全局收敛性。

【相关文献】
[1]N． Andrei． A simple three-term conjugate gradient algorithm for unconstrained optimization[J]． Journal of Computational and Applied Mathematics， 2013(241)．[2]N． Andrei． On three term conjugate gradient algorithms for unconstrained optimization[J]．Applied Mathematics and Computation，2013(219)．
[3]P． Wolfe． Convergence conditions for ascent methods[J]． SIAM review ， 1969(2)．
[4]P． Wolfe． Convergence conditions for ascent methods． ii： Some
corrections[J]． SIAM review，1971(2)．
[5]J． C． Gilbert， J． Nocedal． Global convergence properties of conjugate gradient methods for optimization[J]． SIAM Journal on optimization，1992(1)．
[6]G． Zoutendijk． Nonlinear programming，computational methods[J]． Integer and nonlinear programming， 1970(1)．。