一种修正的PRP共轭梯度法的全局收敛性

合集下载

一种改进的共轭梯度法及全局收敛性

（２）／）ｔ在水平集。连续可微，ｇ）上且（是Ｌｐｅｉ连续的，ｉｓｈｔｚ即存在常数＞，０使得ｌ（】）一（）Ｉ≤￡ｌ — ＩＶＹ∈Ｌ９ｇｇＹＩｌＹ【，，。（）
定理１１设为任意给定初始点．则对于任意 ≥ｌ都有，
（）２
（）３
性和全局收敛性，时取得了比较好的数值结果．同受到文献［］７的启发本文在Ｄ方法的基础Ｙ
上，给出了一个新的参数的取法，：即
，＝㈣
ｇｋ，
ｋ
，
＝
ｌ
≥ ２
＝
…
＋ｌ卢ｄ—
其中ｇ＝＿）ｄ为搜索方向，般情况下，厂（，一要求ｄ满足ｇ（＜０这样的方向ｄ，ｚ为函数（在）
一ＬＬｇ
）足满
Ｉｌ＝（ｌｌＩ一２ｌＩ ≤ 卢）＿一ｌＩＩｄＮｄｇｄ一Ｉ】Ｔｇ
一
种改进的共轭梯度法及全局收敛性术
朱铁锋刘雪英
００５）１０１００５）２内蒙古师范大学青年政治学院计算机系，１０１（．呼和浩特市
（．１内蒙古工业大学数学系，呼和浩特市
摘要
在ＤＹ共轭梯度法的基础上对解决无约束最优化问题提出一种改进的共轭梯度法．方法在标准该
ｗｌ线搜索下具有充分下降陛，ｏｅｆ且算法全局收敛．数值结果表明了该算法的有效性．最后将算法用于ｓＯ氧化反应动力学模型的非线性参数估计，获得满意效果．关键词共轭梯度法，充分下降性，ｗｌ线搜索，全局收敛ｏｅｆ

prp共轭梯度法matlab

prp共轭梯度法matlabPRP共轭梯度法是一种用于求解无约束优化问题的数值方法。

它是共轭梯度法的一种改进算法，通过引入一种预处理技术来加速收敛速度。

共轭梯度法是一种迭代方法，用于求解线性方程组或者最小化二次型函数。

它的基本思想是利用共轭方向的性质，通过一系列迭代步骤来逼近最优解。

这种方法在大规模问题的求解中非常有效，因为它不需要存储整个系统矩阵，而只需要存储向量和一些中间变量即可。

然而，传统的共轭梯度法在实际应用中存在一些问题。

首先，它对于一些病态问题的收敛速度较慢，需要较多的迭代步骤才能得到满意的结果。

其次，它对于非二次型函数的最小化问题效果不佳，容易陷入局部最优解。

为了克服这些问题，PRP共轭梯度法应运而生。

PRP共轭梯度法采用了一种预处理技术，通过对梯度向量进行修正来提高算法的收敛速度。

具体来说，PRP共轭梯度法在每一步迭代中计算一个修正系数，将修正系数和梯度向量的线性组合用于更新搜索方向。

这种修正技术可以加速算法的收敛速度，特别是在处理病态问题和非二次型函数时效果显著。

PRP共轭梯度法的算法流程如下：1. 初始化变量，包括初始解向量、梯度向量、搜索方向和修正系数。

2. 计算修正系数，根据修正系数和梯度向量的线性组合更新搜索方向。

3. 求解步长，通过线搜索方法确定下一步的迭代点。

4. 更新解向量和梯度向量。

5. 判断收敛条件，如果满足条件则停止迭代，否则返回第2步继续迭代。

PRP共轭梯度法在实际应用中具有广泛的应用价值。

它可以用于求解大规模线性方程组、最小化二次型函数以及其他无约束优化问题。

与传统的共轭梯度法相比，PRP共轭梯度法具有更快的收敛速度和更好的全局搜索能力。

此外，PRP共轭梯度法还可以与其他优化算法结合，形成更加强大的求解器，提高问题求解的效率和精度。

PRP共轭梯度法是一种有效的数值方法，用于求解无约束优化问题。

它通过引入预处理技术来加速收敛速度，具有较好的全局搜索能力。

在实际应用中，可以根据具体问题的特点选择合适的优化算法，以提高问题求解的效率和精度。

一种修正的共轭梯度法及其全局收敛性

≤０．
其为数，：号中参Ｉ
一
１５Ｉ一１
，－：一ｙ１Ｉ
从上面的证明过程可以看出，该算法不仅始终产生充分下降方向，并且该充分下降性不依赖任何线性
搜索．
ｇ且ｓ＝一 ¨ ¨
但是，该谱共轭梯度法无法
保证始终产生下降方向．
关键词：共轭梯度法；精确线性搜索；充分下降性；全局收敛性中图分类号：２４０２文献标识码：Ａ文章编号：０８－６１２１）２一Ｏ７— ３１０４８（０００ＯＯ０
考察无约束优化问题
ｍｎ（）ｉｘ，ｆＥＲ，（）１
一
始终产生充分下降方向．实上，（）知，ｄ事由４可
＝一一
以Ｔ得
＋
小在上式的两侧同时乘
ｇｄ＝一Ｉｔｔ一：ｔＩ５ — Ｉｇ
＝一
ＩｔＩ＋ｌ５Ｊｇｄ一ＩＢＴｇ
（）５
ｌＩＩｇ
度法就是最速下降法．由［］４可知，精确线性搜索在
下ｌｉＩＩＩ＝０是成立的・ｉｎｌａｒｆＩｇ
ｈ
（）当 ≠０时，２假设（）６不成立，即存在常数ｓ＞０使得
第一节，我们将参考［］３中谱共轭梯度法提出
一
进一步，我们可以发现当采取精确线性搜索即
ｇｃ＝０时，＝１表明此时该修正的共轭梯Ｔｌ０．这度法（）是标准的共轭梯度法（）４就３．同时，当＝

一类修正的Perry共轭梯度法及其全局收敛性

一类修正的Perry 共轭梯度法及其全局收敛性摘要本文提出了一种包含了Perry 共轭梯度法的修正形式的新共轭梯度法. 该方法确保了在精确线搜索下的充分下降的独立性. 本文所提方法的一个重要性质就是，通过使用一个新的正割条件，在逼近目标函数的二阶曲率信息时具有高阶准确性. 此外，我们所给的方法对于满足Wolfe 线搜索条件的一般函数具有全局收敛性. 我们的数值实验表明，就效率和鲁棒性而言，所提方法总体上比经典的共轭梯度法更具适用性.关键词：无约束优化；共轭梯度法；充分下降性；混合割线方程；全局收敛性 1 引言考虑一个无约束优化问题),(min x f nRx ∈ (1) 其中f 是R R n →上的一个光滑的线性函数，其梯度记为)()(x f x g ∇=.求解问题（1），共轭梯度法在效率上是一个很好的选择，尤其是共轭梯度法对于大规模问题有低存储和收敛性的特点. 一般而言，一个非线性共轭梯度法从初始点n R x ∈0开始，产生一组点列{}k x ，使用如下的迭代格式k k k k d x x α+=+1 （2）其中n k R x ∈是（1）式解的第k 步逼近；0>k α是由某个特定的非线性搜索得到的步长；k d 是搜索方向，定义如下⎩⎨⎧+-=-=-,,;0,10otherwise d g k if g d k k k k β （3）)(k k x g g =且k β是标量. 在所参阅的文献中已经提出过几类k β，并由此而产生具有相当高计算效率与收敛性质特特点的共轭梯度法.经典的k β公式包括HS ，FR 以及PRP .本文中，我们重点是Perry 法，其参数是,)(1111-----=k T k k k T k P k d y s y g β （4）其中11---=k k k x x s ,11---=k k k g g y .该种共轭梯度法基于的是拟牛顿法的思想，在关于无约束优化问题的文章中，已被公认为是最有效的方法之一.在过去的十几年里，专家学者们都致力于有高计算效能和强收敛性特性的新共轭梯度法的发展. 特别是，诸多研究人员基于割线方程提出新的共轭梯度法，其在逼近二阶曲率信息时具有高度准确性.在合适的条件下，这些方法都是具有全局收敛性的，且有时候数值实验的效果比经典的共轭梯度法还要好. 但是，这些方法并没有满足充分下降条件. 因此，在他们的分析和应用中开始新的研究以得到保证收敛性的新算法. 袁亚湘和戴彧虹等考虑了提出了一不同的方法提高共轭梯度法的数值实验效能. 他们所提出的共轭梯度法在Wolfe 线搜索条件下产生了新的下降方向. 基于这个想法，Zhang 等人考虑去修正按如下方式修正搜索方向：.)1(121--++-=k FR k k kk T k FRkk d g g d g d ββ（5）如此就满足充分下降条件2k k Tkg d g -=.他们的方法所具有的比较吸引人的一个性质就是满足了2k k Tkg d g -=，独立地线搜索和k β的选择.此外，（5）式中的k β由其他已有的共轭梯度法公式所确定，我们就可以得到相关修正的共轭梯度法，参见文献[16,17,19,31,44-46].近来，研究人员特别关注杂合上述两种方法以得到拥有良好数值实验效果和强收敛性的方法. 进一步分析，已提出的新共轭梯度法包含了产生下降方向，避免由此而来的常见的低效重启这些好的特质. 这些方法已经表现出全局收敛性以及理论上比经典方法更具优势，通过新修正的割线方程在逼近最小函数的曲率中展现出了更高精确度. 作者展现了一些数值结果来说明他们所提方法的计算效能与鲁棒性. 沿着这个方向，我们提出一种新的共轭梯度法，该方法保证了充分下降性与线搜索独立精确性. 通过使用一新的混合割线条件，我们所提出的方法在逼近目标函数的二阶曲率信息上表现出更高的精确度. 而且，在Wolfe 线搜索条件下的全局收敛性也得到保证. 我们的实验结果也证明了所提方法的计算效能和鲁棒性.本文以下部分的内容这样安排：第二节，给出我们的目标和所提共轭梯度法. 第三节，给出全局收敛性分析. 第四节，使用文献[18]中性能选项陈列数值实验. 第五节. 给出我们的总结性结论.2 修正的perry 共轭梯度法在本节，我们再次说明，对于拟牛顿法，Hessian 阵)(12-∇k x f 的近似矩阵1-k B 是变化着的，所以一个新的矩阵k B 满足如下割线条件11--=k k k y s B , （6）在现有的迭代中，标准的割线方程（6）只使用了可得到的梯度信息并且忽视了函数值. Zhang 等人以及Xu 扩展了割线方程（6），得到了一个修正的割线条件，即在两个连续点处既包含梯度也包含函数值，具体如下 ,,11111111--------+==k k Tk k k k k k k u us y z z s B θ （7）其中.)()(61111----++-=k T k k k k k s g g g f f θ （8）且n k R ∈-1μ是一个满足)(,01k k Tk x f f u s =≠-的向量参数. 注意到为了让目标函数是二次的，其应当满足01=-k θ. 那么，修正的割线方程（7）降为标准的割线方程（6）. 此外，修正的割线方程（7）的理论优势可以从下面的定理中看出. 定理1 假定函数f 足够光滑且1-k s 充分小，则下面两个无穷小关系是成立的.).())((),())((411121311121--------=-∇=-∇k k k k T k k k k k T k s O z s x f ss O y s x f s很明确，定理1表明了修正的割线方程（7）优于经典的割线方程（6），因为1-k z 比1-k y 更好地逼近了12)(-∇k k s x f .近来，Babaie-Kafaki 等人[7]发现1-k s 的特征值比1大（如11>-k s ），标准的割线方程（6）在预期上比割线方程（7）更精确. 为了解决这个不足，该文作者考虑了割线方程（7）的一种扩展形式，如下：,}0,max{,1111111~1~1---------+==k k Tk k k k k k k k u u s y z z s B θρ （9）其中参数}1,0{1∈-k ρ且通过设定11≤-k s 时，11=-k ρ，其他情况下01=-k ρ，使参数可在（6）与（9）式之间转换.本文中，也提出了几种向量参数1-k u 的选择，该参数可以产生不同计算效率修正形式的割线方程. 首先，Zhang 和Xu[43]以及之后的Yabe 和Takano[39]提出了11--=k k s u 和11--=k k y u 两种参数的选择形式. 此处，为了应用上[39,43]中关于修正割线方程的有趣性质，我们考虑向量参数1-k u 作为向量11,--k k y s 的凸集组合而提出一种混合这些方程的形式，如：[]1,0,)1(111∈+-=---k k k k k k s y u λλλ. （10）注意到，在[7]中之前方程中的1=k λ将（9）变为了修正的割线方程. 因此，我们提出的混合割线方程可以考虑为[7]中所示修正的割线方程的一种拓展形式. 接着，受到文献[4,10]中观点的启发，我们提出一种适应性公式来计算k λ,k λ是基于Li 和Fukushima [27]所提出的修正形式的割线方程.为了提高我们的混合割线方程的精度，k λ是通过使用两个之前步骤信息而计算出来的. 更特别的是，k λ可根据割线方程（9）来计算，在第)1(-k 迭代时，如下形式的修正割线方程应当满足：22---=k k k z s B （11）其中⎪⎪⎩⎪⎪⎨⎧⎪⎭⎪⎬⎫⎪⎩⎪⎨⎧-+=+=------------,0,max ,22222222222rk k k T k k k r k k k k g s y s C h s g h y z其中，0>r ,C 是一个正常数. 将（11）式与1-k s 做内积并利用修正的割线方程（9），在经过几步简单的代数运算之后，我们就可以得到,)(11111------=k k T k k Tk k s y y ωωλ（12）其中1121-----=k k k k s s γω，而{}.0,max 1112211---------=k k k Tk k T k k y s z sθργ （13）注意到（13）中的分母通常是不为0的，否则（9）式就表示使用了经典的割线方程（6）. 此外，为了在（10）中得到一个凸组合，我们把k λ的特征值限定于[0，1]之间，也就是说如若0<k λ我们就令0=k λ；若1>k λ,就令1=k λ.接下来，考虑修正的割线方程（9）的理论优势和[29，30，40，41]中的Perry 共轭梯度法计算效率做比较. 我们提出的Perry 公式的一种修正形式如下：,)(11~11~-----=k T k k k TkMP k d z s z g β（14）这里，1~-k z 由（8）式和（9）式定义. 进一步地，为了保证我们所提方法会产生下降方向，我们使用[47]中德修正FR 共轭梯度法的想法. 更特别的是，搜索方向由下定义.)1(11--++-=k MP k k kk T k MP kk d g g d g d ββ（15）很容易就能看出，使用任何线搜索都能满足.2k k Tkg d g -= （16）若目标函数是一个严格凸二次函数，且步长由精确线搜索确定，那么我们就有,01=-k θ01~=-k z 且01=-k T k s g .因此我们的公式（14）降为含线性共轭梯度法框架的Hestenes-Stiefel 公式. 而且，为了对一般函数也具有全局收敛性，我们用类似于[22]中Gilbert 和Nocedal 的方法，通过令}.0,)(max{11~11~----+-=k Tk k k T kMP k d z s z g β （17）限制MP k β公式的最小值.下面，我们给出所提修正Perry 共轭梯度法（MP-CG ）的算法. 算法21（MP-CG ）Step 1：初始点n R x ∈0,[]1,01∈λ且1021<<<σσ；令0=k . Step 2：如果0=k g ，则停止；否则，转Step3. Step 3：用方程（15）计算下降方向k d . Step 4：使用Wolfe 线搜索,)()(1k Tk k k k k k d g x f d x f ασα≤-+（18）.)(2k Tk k T k k k d g d d x g σα≥+（19）确定一个步长k α. Step 5: 令k k k k d x x α+=+1. Step 6: 令1+=k k ，转Step 2.注1 在算法21中，因为（15）中的变更的参数k β是由方程（17）计算出来的，我们称之为算法CG MP -+.此外，因为线搜索满足（18）和（19）的Wolfe 线搜索条件，这就可以知道对任意的k ，01111~>≥----k Tk k Tk d y d z ,这表明公式（14）与（17）的定义是可行的.3 全局收敛性在本节，我们基于以下对目标函数f 的假设，给出所提算法的全局收敛性分析.假设1 水平集{})()(0x f x f R x n ≤∈=ϕ是有界的，即，存在一个正常数B ，使得 .,ϕ∈∀≤x B x （20）假设2 在ϕ的某个领域u 内，f 是可微的，其梯度g 满足李普希茨连续，即存在一个正常数L ，使得()()y x L y g x g -≤-,u y x ∈∀, （21）因为{}k f 是一个下降数列，那么由算法MP-CG 产生的点列{}k x 包含于ϕ之中，且存在一个常数*f 使得.)(lim *f x f k k =∞→且，其满足假设1和2，存在正常数0>M 使得ϕ∈∀≤x M x g ,)(. （22）为了更好的说明收敛性分析，先阐释如下的引理.引理1[7]. 如果假设1和2 对方程（9）定义的1~-k z 成立,我们就有.411~--≤k k s L z （23）下面一个引理是满足Wolfe 线搜索条件（18）和（19）的共轭梯度法的一个通用结论.引理2 如果假设1和2成立. 考虑形式（2）的任何方法，其中k d 是一个下降方向，使得0<k Tk g d 且k α满足Wolfe 线搜索条件（18）和（19），那么 +∞<∑≥022)(k kk Tk d d g .显然，从引理2和（16）就可以得到+∞<∑≥024k kk d g , （23）该式对全局收敛性的分析相当有益.接着，我们对统一形式的凸函数形成算法MP-CG 的全局收敛性.定理2 假定假设1和2 都成立，且f 是一致凸的，也就是说存在一个常数0>γ,使得.,,)())()((2ϕγ∈∀-≥--y x y x y x y g x g T （24）如果点列{}k x 是由算法MP-CG 所产生，那么可知，对于某个k 要么0=k g 成立，要么.0lim =∞→k k g成立.证明：假设对任意的k ，0≠k g 恒成立. 那么证明就可分为三步：Step 1.首先，我们给11~--k Tk d z 估计一个较小的边界. 从假设（24）的凸性以及方程（9），我们有.2111111~------>≥k k k Tk k Tk d d y d z γα（25）Step 2.对于MP k β，我们得到一边界. 结合引理1与关系式（20），（25），我们得到.5)()(111~11~11~11~---------≤+≤-=k kk Tk k k k k Tk k k TkMP k d g L d z s z g d z s z g γβ （26）Step 3.我们给出k d 的一个上界. 利用（15）和（16），我们可知.)51()(112k k MP k k k kT kk MPkk k g Ld g d g g g I g d γββ+≤+≤-+-=--在方程（23）中插入k d 的上界，则∞<∑≥02k kg ，证毕.接下来，我们展示算法CG MP -+对一般非线性函数的全局收敛性. 首先，我们给出一个引理即，渐近地，搜索方向缓慢改变.引理3 如果假设1和2成立，令{}k x 和{}k d 是由算法CG MP -+产生的点列，如果存在一个常数0>μ，使得.0,≥∀≥k g k μ （27）则0≠k d 且,211∞<-∑≥-k k k ωω其中.kkk d d =ω 证明首先，记0≠k d ，否则（16）就会导出0=k g .因此，k ω就有了定义. 现定义,:,:1kk MP k k kkk d d d r -+==βδυ （28）其中，.)1(21k kk T k MP kk g g d g -++-=βυ接着，通过方程（15），我们有.1-+=k k k k r ωδω （29）使用该关系式，其中明确了11==-k k ωω,且有.11k k k k k k k r ωδωωδω-=-=--此外，使用该式需先明确0≥k δ,我们可以得到.21-1-1k k k k k k k k k k γωδωωδωωδω=-+-≤-- （30）紧接着，我们给k υ估测一个上界.注意到 .11~1111111---------≤≤+=k Tk k Tk k T k k T k k Tkd z d y d gd y d g （31）根据Wolfe 条件（19），我们可以得到.-1211~21121------+≥≥k Tk k Tk k T k k Tk d g d z d g d g σσσ通过重排之前的不等式，我们可得到,)1-(11~221----≥k Tk k Tkd z d g σσ同（31）式一起，我们有.1,1max 2211~1⎭⎬⎫⎩⎨⎧-≤---σσk Tk k T k d z d g （32）另外，其在方程（29）、引理1和关系式（20），（22），（23）遵循k υ的定义，即存在一个常数0>D ，使得.1,1max 5)())(1()1(2211~111~2111~11~21D LB d z d g s z g g g d g d z s z g g g d g k Tk k T k k k k kkk Tk k Tk k k T kkkk T k MP kk ∆-----------+=⎭⎬⎫⎩⎨⎧-+≤++≤-+≤+=σσγβυ因此，我们就可建立k υ的一个上界. 通过关系式（23），（28），（33）以及（35），我们能得到.444124421212121+∞<≤≤=-∑∑∑∑≥≥≥≥-k kk k kkk kk k kd g D d r μυωω至此，证明完成.接下来，我们给出一个引理，该引理可以表明当步长1-k s 很小，这也就表明算法MP-CG 不会出现无效率的干扰现象[36]时，MP k β也会很小. 这个性质与性质（*）相似但有一点不同，即它源于Gilbert 和Nocedal [22].引理4 如果假设1和2成立. 令{}k x 和{}k d 是由算法CG MP -+产生的点列，如果存在一个常数0>μ，使得方程（35）成立. 那么就存在常数0>b 且0>λ使得对所有的1≥kb MP k ≤β （34）而且.11bs MP k k ≤⇒≤-βλ （35）证明. 使用关系式（9），（16）和（19），我们可以得到.)1()1(2121121111~--------≥-≥≥k k Tk k T k k Tk g d g d y d z σσ 用上述不等式以及（9），（22）和（35），我们可以得到.)1(5)()(112211~11~11~11~-∆---------=-≤+≤-=k k k Tk k k k k Tk k k T kMP ks c s L d z s z g d z s z g μσγβ（36）因此，通过设定}2,2max{:CB b =以及Cb1:=λ，我们就能有关系式（34）和（35）成立，至此也就完成了证明.从方程（17）中+MP k β的定义可以看出，对任意的0>k ，MP k MP k ββ≤+成立. 所以，对于算法CG MP -+，我们就能得到引理4中的相同结果.接着，使用引理3和4，我们建立算法CG MP -+的全局收敛性定理，其证明过程与文献[24]中的定理 3.2相似，我们在此再展示一遍以表示文章的完整性.定理3 若假设1和2成立. {}k x 是算法CG MP -+得到的点列，那么我们就能有 0inf lim =∞→k k g （37）证明我们使用放缩的方法来处理. 假定结论（37）不正确，也就是说，存在一个常数0>μ使得对所有的k 均有μ≥k g 成立. 证明过程分为一下几个步骤. Step1.步长是有界的. 观察到，对任意的k l ≥，都有.)()(11111∑∑∑∑-=-=-=-=+-+==-=-l kj k j j l kj k j l kj j j l kj j j k l w w s w s w s x x x x根据假设1以及三角不等式，我们有).(111k j l kj j l kj k j k l l kj j w w s B w w x x s -+≤-+-≤∑∑∑-=-=-= （38）记∆是一个正整数，且足够大使得BC 4≥∆, （39）其中B 和C 分别由（20）和（34）定义. 根据引理3，我们可以选择0k 足够大使得.4121∆≤-∑≥+k i ii w w （40）对任意的0k k j ≥>且∆≤-k j ，使用（40）式以及可喜施瓦茨不等式可以得到.21)41()(21211111=∆∆≤--≤-≤-∑∑-=+-=+j ki i i j ki i i k j w w k j w w w w将上式与（38）一起使用，可得B s l kj j 21<∑-=, （41）其中0k k l >>且∆≥-k l .Step2.搜索方向l d 有界. 我们记（15）式为 .)(12-+-+-=l ll T l MP kl k d g g g I g d β（42）因为l g 与12)(--l ll T l d g g g I 正交的，且2ll T l g g g I -是一个工程矩阵，我们从（22）、（34）及（42）可得.2222)(2121222122212---+-++≤+≤+≤l l l MP k ll MP k l ld s C M d g d g d ββ定义222i i s C S =，我们就由，对0k l >， .)(21211220∏∑∏-=+=-=+≤l k j jk l k i l ij jlS d S M d（43）以上，无论指数范围是否为空，乘积都定义为1. 接着，考虑如下∆和连续的j S 的乘积，其中0k k ≥. 将式（39）和（41）与柯西施瓦茨不等式一同使用，就有.21)22()2(222112210∆∆∆-∆+=-∆+=-∆+=≤∆≤∆≤=∑∏∏BC s C s C S k kj jk k j jk k j j 因为∆和连续的j S 的乘积是小于∆21. 这就符合式（43），对某一确定的常数01>c 且独立于l ，就有212c l cd l+≤. 所以，我们就有.021224+∞=+≥∑∑≥≥k k kk c k c d g μ这就和（23）式矛盾了. 证毕.。

无约束优化中的一种修正的PRP共轭梯度法的全局收敛性分析

黎勇
（百色学院数学与计算机信息工程系，西百色５３０）广３００
摘要：文章提出修改的ＰＰ共轭梯度法在ＭＳＲＷＰ线搜索下的算法，适当条件下，明算在证
法全局收敛。
关键词：无约束优化，共轭梯度法，非精确线搜索，全局收敛性
种：，，。这些公式所对应的共轭梯度方法在不同线搜索下的全局收敛性已经被广泛讨论。讨论共轭梯度法的全局收敛性，长因子ｔ通常要满足一些线搜索条件。目前较常用的线搜索条件有：步
Ａｒｊｍｉｏ型线搜索，ｍｉＡｒｊＧｏｄｔｉｏ— ｌｓｅｎ型线搜索，ｗｏ一Ｐｗｅ型线搜索以及强ｗｏ一Ｐｗｅ型线搜索弱ｏｌｌｏｌｌ等引。近来，韦增欣等在文献［３中提出了一种修改的强ｗｏ９脆一Ｐｗｅｌｏｌ型线搜索（ＷＰ：ＭＳ）
点。它的迭代公式如下：
抖ｌ — Ｉ＋ｌ（）１
其中是步长，由某种线搜索确定，搜索方向，ｄ是由以下公式确定：
｛＿ｇ
其中Ｖｆｘ）记为ｇ，（简ｔ而是一个参数。不同的参数表达式对应着不同的共轭梯度法，较著名的有以下几
假设Ａ：水平集Ｑ一｛ｘ∈ Ｒ“ｆｘ ≤ ｆｘ）有界，中ｘ是初始点。：（）（）其。假设Ｂ：度函数ｇｘ在Ｑ内Ｌｐｃｉ梯（）ｉｓｈｔｚ连续。即存在一个常数Ｌ＞０使得对任意ｘｙ∈ Ｑ，，，有

一个新的PRP共轭梯度法的全局收敛性

Ｄａｉ在文献［８］中提出了一个修正的ＰＲＰ方法（记作ＤＰＲＰ方法），参数定义如下：

并且证明了ＤＰＲＰ方法不依赖线搜索具有充分下降性，且对Ａｒｍｉｊｏ线搜索和Ｗｏｌｆｅ线搜索具有全局收敛性．Ｈｕａｎｇ在文献［９］中也提出了一种修正的共轭梯度法（记作ｎｅｗ方法），参数定义如下：（ｇＴ＾一１）。ｌｊｌＩ２：＝ ——
其中，是迭代步长且Ｏｔｋ＞０，ｄ是搜索方向，是当前迭代点．搜索方向ｄ由公式（３）确定：
ｄ：』一ｇ。，ｏ
【一ｇ＋ｄ一１，ｋ≥ １
（３）
其中，是一个标量，ｇ表示ｇ（ｘ）．根据的选取方式不同，将其分为不同的共轭梯度法．这里有一些比较著名的公式，比如
２０１５年１１月
Ｎ０ｖ．２０ｌ５
ｄｏｉ：１０．１６０５５／ｊ．ｉｓｓｎ．１６７２ — ０５８Ｘ．２０１５．００１１．００７
一
个新的ＰＲＰ共轭梯度法的全局收敛性
周雪琴
搜索步长可以通过两种不同的线搜索来计算，即精确线搜索和非精确线搜索．但由于精确线搜索的计算量过大，所以在实际计算过程中通常采取非精确线搜索来求．步长的选取满足一定的充分下降条件

一类修正WYL共轭梯度法的全局收敛性

Ａｂｔａｔ：ＢａｅｎｔｅｍｏｉｅｓｒｃｓｄｏｈｄｆｄＰＲＰｍｅｈｄｐｏｏｅｙＹｕ，ａｍｏｆｅＹＬｍｅｈｄ，ｗｈｃｌｉｔｏｒｐｓｄｂｄｉｄＷｉｔｏｉｈａ－ｗａｓｈｓｓｆｉｉｎｔｅｃｎｉｅｔｏｔｕｔｉｉｇａｌｎｅｒｈ．ｉｏｏｅｎｔｉａｅ．Ｍｏｅｙａｕｆｃｅｌｄｓｅｔｄｒｃｉｎｗｉｙｈｏｔｕｉｚｎｉｅｓａｃｌｓｐｒｐｓｄｉｈｓｐｐｒｒ－
，－］这些公式所对应的共轭梯度法在不同线搜索下的全局收敛性卢４，
在文献［］，５中韦等提出一个新的参数公式
ＩｌＩｌｇ
：
、
＝— Ｌ —■ —
ｇ一ｇ１Ｉ一
（㈩４）
此前的相关研究表明，于ＷＹ基Ｌ公式的共轭梯度法不仅有良好的数值试验结果，而且具有良好的收敛性：精确线搜索、ｒｐ —ｕｉｉ搜索和ＷｏｆＰｗｌ线搜索条件下都具有全局收敛性。在强在ＧｉｏＬｃ线ｐｄｌ —ｏｅｌｅ
ｏｅ，ｎｅｏｅｍｌｃｎｉｏｓｔａｏｅｏｕｉｉｐｏｅａｔｅｍｔｏｉｅＡｍｊｎｖｒｕｄｒｍｒｉｏｄｔｎｎｔｓｆ，ｔｓｒｖｄｔｔｈｅｄｗｔｔｒｉｌｅｄｉｈｈＹｈｈｈｈｏｉ
ｓａｃｎｌｅＰｗｅｌｌｅｓａｃｏｓｓｌｂｌｃｎｅｇｎｅｅｒｈａｄＷｏｆ－ｏｌｉｅｒｈｐｓｅｓｇｏａｏｖｒｅｃ．ｎ

一类修正PRP共轭梯度法及其全局收敛性.

（４１）
其中，（，） ∈ ６１． ∈ Ｏ１，（，）因此，在本文中建立了一个新算法并且给出了算法的充分下降性定理，然后证
１下降性与算法的建立
假设对所有的ｋｇ ≠０，有否则就只会出现一个稳定点．首先给出下面定理来表明式（１在任意线１）搜索下具有充分下降性．定理１设序列｛｝由迭代式（）（）２和３产生，＝卢当且 ≥ ＞１对任意的ｋ≥ １有时，，
一
类修正ＰＲＰ共轭梯度法及其全局收敛性
张月芹，郑浩，张传林
（暨南大学数学系，广东广州５０３）１６２
摘
要：出一类改进的ＰＰ共轭梯度法，提Ｒ该算法采用一个新的公式计算参数并且具有下列性质：）１在任何
线搜索下都满足充分下降性；）承了ＰＰ方法的重要性质；）２继Ｒ３在一些假设条件下具有全局收敛性．初步的数值试验表明，该算法是有效可行的．
Ｉ一ｇ
一Ｉ一ｉＩＩ，。ｇ ≥ ，气Ｉｇ＝ｇ。一 …。
≥
（２）
基于上述公式，也建立了一个在强Ｗｏｅｌ线搜索条件下全局收敛性的非线性共轭梯度算法．Ｗｏｅｆ强ｌｆ
Ｉ（＾ｋｄｌＴｘ＋ａｄ）＾≤一，ｇ
，
（）４
（）５
＝
，
：
鲁，
，
（６）
（）７
Ｄ
：
其中，＝ｇ一ｇ，．为欧氏范数．ＹｌＩＩｌ在共轭梯度法的许多理论分析和数值实现中，常常使用Ｗｏｅｌ线搜索．ｆ其要求满足下列Ｗｏｅｌ条件ｆ

一类推广的共轭梯度法及其全局收敛性

步长因子；
ｆｘ）（＾１＋ｇ１ ÷ １“ １（）（＾＝ｆｘ一）Ｌ１一＋ＴＡ一．４－
在式（）础上结合式（）并做适当变化可得公式：３基４，
＝
．
一
参数。
ｃ＞㈣
自１６９４年Ｆｅｃｅ和Ｒｅｖｌｔｈｒｅｅ首先提出非线性共轭梯度法以来，数的取法一直是一个研究热参点［。最近，１］文献［］２构造出一个新的的取法：
摘
要：共轭梯度法是求解非线性优化问题的一种重要方法。通过对共轭梯度法及其全局收敛性的分析，出一个提
新的非线性共轭梯度公式，采用该公式和Ｗｏｆ非精确线搜索的方法是全局收敛的。ｌｅ文末的数值实验验证了算法是
有效的。
关键词：约束优化；共轭梯度法；局收敛性；ｌ准则无全Ｗｏｆｅ中图分类号：２０２４文献标识码：Ａ文章编号：１７ —０Ｘ（０７０ —２１０６３８８２０）４０９ —２
ＶｏＩ２７，．Ｎｏ．４Ａｕｇ．２０７０
２０年８月０７
一
类推广的共轭梯度法及其全局收敛性
黄传勇，董晓亮。，徐健。
（．１桂林电子科技大学数学与计算科学学院，西桂林广５１０；４０４２北方民族大学信息与计算科学学院，夏银川７０２；．宁５０１３安徽财经大学统计与应用数学学院，．安徽蚌埠２３３）３００

一种修正PRP共轭梯度法的全局收敛性

２０１３年３月第３７卷第２期
安ＪｏｕｒｎａｌｏｆＡｎｈｕｉＵｎｉｖｅｒｓｉｔｙ（ＮａｔｕｒａｌＳｃｉｅｎｃｅＥｄｉｔｉｏｎ）
李灿
（红河学院数学学院，云南蒙自６６１１９９）
摘
要：ＰＲＰ共轭梯度法是众多求解无约束优化问题的共轭梯度法中数值效果表现最好的算法之一．提出一
种修正的ＰＲＰ共轭梯度法，该算法始终产生充分下降方向，并且该充分下降性的产生不依赖于任何线搜索．
ｉｎｄｅｐｅｎｄｅｎｔｏｆｔｈｅｌｉｎｅｓｅａｒｃｈｕｓｅｄ．Ｆｕｔｈｒｅｒｍｏｒｅ，ｗｅｐｒｏｖｅｄｔｈｅｇｌｏｂａｌｃｏｎｖｅｒｇｅｎｃｅｏｆｔｈｅｍｅｔｈｏｄ
ｗｉｔｈＡｍｉｒｊｏ — ｔｙｐｅｌｉｎｅｓｅａｒｃｈｏｆｒｓｏｌｖｉｎｇｕｎｃｏｎｓｔｒａｉｎｅｄｏｐｔｉｍｉｚａｔｉｏｎｐｒｏｂｌｅｍ．Ａｔｔｈｅｅｎｄｏｆｔｈｅｐａｐｅｒ，
ｃｏｎｊｕｇａｔｅｇｒａｄｉｅｎｔｍｅｔｈｏｄ．Ｔｈｅｍｅｔｈｏｄｇｅｎｅｒａｔｅｄｔｈｅｄｅｓｃｅｎｔｄｉｒｅｃｔｉｏｎ，ａｎｄｔｈｅｐｒｏｐｅｒｔｙｗａｓ

一种新的修正Liu-Storey共轭梯度法的全局收敛性

Ｇｂａｏｖｒｅｅｏｗｌｌｃｎｅｇｎｃｆａｎｅｏｇａｉｎｅｈｄｔｒｍｏｉｅｒｄｅｔｍｔｏ。）ｆｄｌｏｄｉｆｒｕｌｏｍａ
ＣＡＯｅ，ＷＡＮＧｉｒｎＷｉＫａ—ｏｇ
算法具有充分下降性和全局收敛性．值结果展现了算法的可行性．数
关键词：无约束优化；共轭梯度法；ＳＰＷ线搜索；全局收敛性
０Ｉｔｏｄｕｃｉｎｎｒｔｏ
Ｉｈｓｐａｅ，ｏｉｅｈｎｃｎｔａｎｄｏｔｍｉａｉｎｐｒｂｅｎｔｉｐｒｗｅｃｎｓｄｒｔｅｕｏｓｒｉｅｐｉｚｔｏｏｌｍ
（ｏｅｅｏｔｅｔｓｎｈｓｓＣｏｇｉｇＵｉｒｔ，ｈｎｑｇ４０３，ｈｎ）ＣｌｇＭａｍａｃａｄＰｙｉ，ｈｎｑｎｖｓｙＣｏｇｉ０００Ｃｉａｌｆｈｉｃｎｅｉｎ
Ａｂｔａｔｎｔｉｐｐｒａｍｏｉｅｎｕａｅｇａｉｔｏｍｕａ８ｓｒｃ：Ｉｓａｅ１ｄｆｄｃｊｇｔｒｄｅｒｌｈｉｏｎｆｂｓｄｏｅｆｒｌａｅｎｔｍｕａｈｏ
（重庆大学数理学院，重庆
摘要：在Ｌｕｓｏｅ（ｓ公式的基础上给出了一个修正的共轭梯度公式船．明了该新公ｉ— ｔｒｙＬ）证
式ｗＰｌ索，在ｗＰｌ索，足∈，ＮＮ在＿０Ｉ下至强＿。ｌ下满（）Ｎ，０Ｗ线甚ｏｗ线在。ｌｅ搜ｌｅ搜珏互新１

一种带扰动项的修正PRP共轭梯度法的全局收敛性

第３２卷
第５期
太
原
科
技
大
学
学
报
Ｖ１３Ｎ．ｏ．２ｏ５
Ｏｔ０ｃ．１２１
２１０１１年０月
ＪＵＮＬＯＡＹＡＮＶＲＩＹＯＣＥＣＮＥＨＯＯＹＯＲＡＦＴＩＵＮＵＩＥＳＴＦＳＩＮＥＡＤＴＣＮＬＧ
明采用强ｗｌ搜索时，法是全局收敛的。最后给出了初步的数值试验结果。ｏｅｆ算
关键词：无约束优化；共轭梯度法；ｏｆｗｌｅ线搜索；扰动项；全局收敛性
中图分类号：２０９文献标志码：Ａ
考虑无约束优化问题：ｍｉ｛） ∈Ｒ｝ｎ／ｌ
＋＋ｄ１＝
搜索方向扰动的情况下的收敛性。
１带扰动项的ＰＰ＋共轭梯度算法Ｒ
＋＝＋ｔ５＋）１Ｏ（（）４
其中为步长，为某种线性搜索确定的搜ｄ
索方向，由下列公式确定：
ｋ，回ｓｐ１＋１返ｔ．ｅ
作者简介：冀诚俊（９１，，１８一）男硕士，主要研究方向为最优化方法。
第３卷第５２期
冀诚俊，：等一种带扰动项的修正ＰＰ共轭梯度法的全局收敛性Ｒ
由式（２及条件（）Ｉ：１）ａ－得ｎ－
（）０１ｋ，０＞ｂ０＝（／）０
现最好的共轭梯度法，是目标函数是非凸函数但时，该方法即使采用精确线搜索，可能产生不是仍全局收敛的点列。因此，人对ＰＰ方法进行修有Ｒ正，使之对非凸函数全局收敛Ｊ。

一种改进的共轭梯度法及全局收敛性

３，
（．）１４
（ｌｔｅ＿ｅｖｓ２，９４，Ｆｅｃｒｅｅ［１６）ｈＲ３
＝
昔
：
（ａｉｅｌ［［１）Ｐｋｂ－ａ］］６，０．ｉＰｋ，，４ｌｅ。３４９Ｒｒｙ
（ａ．ｕｎ５，９５，Ｄｉａ［］１９）Ｙ
（）１．５
（．）１６
明了ＰＰ方法在精确和非精确线搜索下的全局收敛性．ａ和Ｙａ文献［］ＲＤｉｕｎ在５中严格证明了
采用Ｗ线搜索的ＤＹ方法在每一步均产生一个下降方向，并且方法全局收敛．
的关于共轭梯度法的收敛性分析，涉及到常用的非精确线搜索有：（）ｌ线搜索：求步长满足１Ｗｏｅｆ要，＋ａｄ）≤ ｆ）＋如（ｋ（ｇｄ，Ｔｇ＋ａｄ）（
步骤５ｋ＝ｋ＋１转步骤２：：，．
ｇＩ￡停止． … Ｉ，
步骤４由公式（．）：２１计算＋由（．），１３式求ｄ．
为了证明方法的下降性和全局收敛性，目标函数．）对厂作如下假设：（
（）ｉ目标函数／）（在水平集Ｌ＝｛Ｉ（－，｝ｆ）厂）上有界，中为初始点；（其（）Ｖ，ｉ设ＣＬ目标函数－）ｉ厂在内连续可微，梯度ｇ）（且（在内满足Ｌｐｃｉ条件，ｉｓｈｚｔ即存在常数Ｍ＞，０使得
ｌ（一ｇＹ｛ｌ）（）Ｉｇ３，中＝）其

prp共轭梯度法

prp共轭梯度法
PRP共轭梯度法（Polak-Ribiére-Polyak conjugate gradient method）是一种用于求解非线性优化问题的迭代算法，也被称为非线性共轭梯度法。

它是在共轭梯度法的基础上，引入了Polak-Ribiére-Polyak条件来加速收敛。

PRP共轭梯度法的基本思想是通过迭代搜索，在每一步中沿着负梯度的方向更新当前解，并且选择一个合适的搜索方向，以加快收敛速度。

具体步骤如下：
1. 初始化：选择初始解x0，设初始搜索方向为d0=−∇f(x0)（负梯度方向）。

2. 计算步长：在当前搜索方向上，通过线搜索方法（如Armijo准则）确定步长αk，以使f(xk+αkd) 的值最小化。

3. 更新解：根据步长αk，在当前搜索方向上更新解，
xk+1=xk+αkd。

4. 计算梯度：计算新解xk+1处的梯度∇f(xk+1)。

5. 更新搜索方向：根据Polak-Ribiére-Polyak条件计算新的搜索方向dk+1=−∇f(xk+1)+βkdk，其中
βk=max{0,⟨∇f(xk+1),∇f(xk+1)−∇f(xk)⟩/⟨∇f(xk),∇f(xk)⟩} 。

6. 判断终止条件：如果满足终止条件（例如梯度的模小于一定阈值），则停止迭代；否则返回步骤2进行下一次迭代。

PRP共轭梯度法的优点是能够在有限次迭代后找到最优解，收敛速度较快。

然而，它也存在一些局限性，比如在某些情况下可能会出现震荡现象，导致迭代结果不收敛。

因此，在实际应用中，需要根据问题的特点选择合适的优化算法。

一种修改的PRP共轭梯度法

广西科学ＧｕａｎｇｘｉＳｃｉｅｎｃｅｓ２０１３，２０（１）：５～８
一
种修改的ＰＲＰ共轭梯度法＊
ＡＭｏｄｉｆｉｃａｔｉｏｎｏｆＰＲＰＣｏｎｊｕｇａｔｅＧｒａｄｉｅｎｔＭｅｔｈｏｄ
黎勇
ＬＩＹｏｎｇ
（百色学院数学与计算机科学系，广西百色５３３０００）
（ＤｅｐａｒｔｍｅｎｔｏｆＭａｔｈｅｍａｔｉｃｓａｎｄＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ，ＢａｉｓｅＵｎｉｖｅｒｓｉｔｙ，Ｂａｉｓｅ，Ｇｕａｎｇｘｉ，５３３０００，Ｃｈｉｎａ）
—
）ｌ，ｌ
ｇ２（ｇｋ —ｇ卜１）
ｇ１ｇ川 ’
Ｑ：胛（）一一ｇ（ｘ＋ｄ＋
对线搜索型的共轭梯度法来说，步长因子ｔ的计算很重要，即从ｚ沿ｄ方向如何寻找一个“ 好” 的
ｇ（ｘ＾＋）Ｑ￡ＲＰ（）≤一ｆｌｌｇ（ｘ＋式口有一ｇ警一ｇ卜ｌ，Ｕ－Ｉ，ｔ３ｋ￣Ｒ－ｇｇＬ－ｒ１ｇｋ一－１，ＲＰ且其中Ｑ｝ＲＰ（）为
摘要：用新的ＰＲＰ参数公式修改一种已知的线搜索，建立此线搜索下的共轭梯度算法，并证明算法能满足充分下降条件，而且在适当条件下全局收敛．关键词：无约束优化

限制PR共轭梯度法及其全局收敛性

２算法及其性质
若假设ｃ）立，则有下列限制Ｐ共轭梯度法Ｈ１成Ｒ初始步：０＜＜１ｚ０∈Ｒ” ｋ＝ｏ，．第一步：若１＝０停！则转第二步；Ｉ否第：步＝
ｇｋ．ｋ一０
＋
，）若，在ｚ（ｋ，（）点二阶连续可
ｌ＝
＋
ｄ
其中。ｋ为某种搜索步长，
为搜索方向：
ｆ＝
其中的不同取法就构成了不同的共轭梯度法，如
，
则称为ＰＲ共轭梯度法，方法由Ｅ．ｏａ该Ｐｌｋ和ＧｄｉｒＰｂｅｅ于１６９９年提出－ｌｌ虽然算法的数值计算Ｊ
， ●● ● ● １， ● ● 、
。ｋ∈ （１Ｊ＝０１）为满足ｉ；
ｆ１＾一ｋ
Ⅱ
Ⅱ
【ｊ９
的最大者．若算法：生无穷点列｛ｚ）我制在很弱的条件下证明了ｃ］８式成立数值试验表明Ｒ算法是很有效的．Ｒ，
维普资讯
第３卷第１ｌ期２０年２０２月
数学
进展
Ｖｏ．１３Ｌ．Ｎｏ１
Ｆｂ．０２ｅ２０
ＡＤＶＡＮＣＥＳＩＭＡＴＨＥＭＡＴＩＮＣＳ
限制ＰＲ共轭梯度法及其全局收敛性
维普资讯
数
学
进
展
３卷ｌ
由（）４式确定，假设Ｈ标函数满足：其中＞户＞０１＞０ｏＣ（１．＞１１１－Ｏ）－＞＞０（ＩＨ１Ｌ０一ｆｚ∈Ｒｆｘ，ｚ）界；：（）（１）有＜）上，连续可微且其梯度函数在Ｂ（１Ｈ２在包含￡０的个开球Ｂ＝｛ｚ∈ＲｚＩｒ：上Ｌｐｃｉｉｓｈｔ续，即对Ｖｚ连ｘＹ∈Ｂ有

新线搜索下修正PRP共轭梯度法的全局收敛性及其数值结果

新线搜索下修正PRP共轭梯度法的全局收敛性及其数值结果WANG Songhua;WU Jiaqi
【期刊名称】《广西科学》
【年(卷),期】2018(25)6
【摘要】针对大规模非线性无约束问题,采用文献[9]提出的新型线搜索和文献[10]修正PRP公式设计一个新的算法.在适当的条件下,证明新算法具有全局收敛性.初步的数值试验结果表明,新算法是有效的,适合求解大规模非线性无约束优化问题.【总页数】6页(P728-733)
【作者】WANG Songhua;WU Jiaqi
【作者单位】
【正文语种】中文
【中图分类】O224
【相关文献】
1.Armijo线搜索下一个修正的PRP共轭梯度法的全局收敛性 [J], 尹江华;
2.Armijo线搜索下一个修正的PRP共轭梯度法的全局收敛性 [J], 尹江华
3.在新线搜索下修正PRP共轭梯度法的收敛性 [J], 王祥玲;左双勇
4.修改的PRP共轭梯度法在ATLS线搜索下的全局收敛性 [J], 黎勇
5.一种新线搜索下DY共轭梯度法的全局收敛性 [J], 陈翠玲;李明;曾雯琪;李略因版权原因，仅展示原文概要，查看原文内容请购买。

重新开始的MPRP共轭梯度法及其n一步二次收敛的开题报告

重新开始的MPRP共轭梯度法及其n一步二次收敛的开题报告一、研究背景及意义随着计算机科学技术的不断发展，求解大型问题的需求不断增加。

其中，在科学计算中，线性系统的求解是一个基础且经典的问题。

共轭梯度法是一种有效、快速解决大型稀疏线性系统的方法，在实际应用中被广泛运用，如计算流体动力学、量子化学、图像处理等领域。

但当前共轭梯度法仍存在局限性，例如，它对于非对称和病态矩阵求解效果不好，容易陷入不稳定区域，收敛速度较慢等问题。

为了解决这些问题，许多研究者引入了预条件子的思想，并在共轭梯度法中应用，形成了预条件共轭梯度法（PCG）。

在基于预条件子的共轭梯度法的研究中，MPRP（Modified Preconditioned Restarted Conjugate Gradient Method）算法成为了研究的热点。

MPRP算法小批量地运用共轭梯度法，同时使用预条件子和重启技术，以提高算法的收敛速度和求解质量。

本研究旨在对MPRP共轭梯度法进行进一步研究和改进，通过引入n 步二次收敛技术，提高算法的精度和稳定性，为共轭梯度法在实际科学计算中的应用提供新的解决方案。

二、研究内容和方法1. MPRP共轭梯度法的原理及实现本研究将对MPRP共轭梯度法的基本原理及实现进行详细介绍。

该算法主要由三个部分组成：预条件子、共轭梯度法和重启技术。

我们将重点介绍算法的预条件子和重启技术的实现方式和相关研究。

2. 基于n步二次收敛的改进算法本研究将引入n步二次收敛技术，探讨其在MPRP共轭梯度法中的实现方式和计算效果。

n步二次收敛技术是指基于前n个解的残差构造二次方程，通过求解该方程来更新下一步的迭代解，从而提高算法的收敛速度和精度。

本研究将探讨在MPRP共轭梯度法中如何将n步二次收敛技术应用到算法中，以及如何优化该算法的实现方式。

3. 数值实验和分析本研究将通过数值实验来验证MPRP共轭梯度法和改进算法的收敛速度、稳定性和求解质量。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

２ｌ
＝一 — — 一
：
㈤（６）
在文献［７］中，作者证明了卢ＰＲ方法在强Ｗｏｌｆｅ线搜索且满足＜ ÷的条件下具有充分下降Ｉ生和全局收
出ＰＲ方法在强Ｗｏｌｆｅ线搜索下的全局收敛性．
１算法
众所周知，共轭梯度法是求解式（１）的一种重要方法，它具有如下的迭代格式
＋１＝＋Ｏ／ｄ，ｋ＝０，１， … （２）
并且
ｄ＝｛一ｇ一十一，三
其中，Ｏ／是利用某种线搜索获得的步长；以为搜索方向；纯量的选取应满足所谓的共轭性，即当格凸二次函数，且采用精确线搜索时，由式（１）（２）产生的搜索方向关于Ｉ厂（Ｘ）Ｈｅｓｓｉａｎ共轭．
文献标识码：Ａ
文章编号：１６７２－０５８Ｘ（２０１５）０４－００２０－０３
０引言
考虑无约束优化问题：
ｍｉｎ－厂（）， ∈Ｒ（１）
其中厂：Ｒ一Ｒ是一个连续可微的函数．
Ａｐｒ．２０１５
ｄｏｉ：１０．１６０５５／ｊ．ｉｓｓｎ．１６７２ — ０５８Ｘ．２０１５．０００４．００６
一
种修正的ＰＲＰ共轭梯度法的全局收敛性木
蔡正兰
（重庆师范大学数学学院，重庆４０１３３１）
ＩＩｇ（）１Ｉ ≤ ，Ｖ ∈
由假设（Ａ）和（Ｂ）可知， ∑（１一）Ｔ＜＋ ∞，￣ｌｌｇ（ｘ）Ｉｌ ≤ ，可得∑ ｌｉｄｌｌ＜＋ ∞，从而有
（５）
其中Ｏ＜６＜ｔｒ＜１，０＜ｏ－＜＋ ∞ ．可以看出只要ｏ－＝ｏｒ，广义Ｗｏｌｆｅ线搜索可以简化为强Ｗｏｌｆｅ线搜索．
收稿日期：２０１４－０８－２４；修回日期：２０１４－０９ — １５．
摘要：针对张丽提出的一种修正的ＰＲＰ方法—— ＮＰＲＰ法，在广义Ｗｏｌｆｅ下证明了ＮＰＲＰ法的全局收
敛性．
关键词：共轭梯度法；修正的ＰＲＰ法；广义ｗｏｌｆｅ线搜索；全局收敛性
中图分类号：０２２１
基金项目：２０１２年度重庆市软科学研究课题（ｅｓｔｃ２０１２ｅｘ — ｒｋｘＡ００３７）．
作者简介：蔡正兰（１９８９．），女，重庆垫江人，硕士研究生，从事最优化方法及其应用研究
第４期
蔡正兰：一种修正的ＰＲＰ共轭梯度法的全局收敛性
度法．它们分别为
肿
Ｃ。
：
Ｄｖ
：
步长的选取应满足一定的下降条件，即ｇＴｄ＜０，此处采用的线搜索为广义Ｗｏｌｆｅ线搜索
＋ｄ）≤ ）＋６０［ｇｄ（４）
ｌｇｄ ≤ ｇ（ｘ＋ａｋｄ）ｄｋ≤一盯２ｇＴｄｋ
ｃ３
）是严
不同的取法会产生不同的共轭梯度法，比较常见的有ＦＲ（Ｆｌｅｔｃｈｅｒ — Ｒｅｖｅｅｓｕ），ＰＲＰ（Ｐｏｌａｋ — Ｒｉｂｉｅｒｅ —
Ｐｏｌｙａｋ），ＨＳ（Ｈｅｓｔｅｎｅｓ．Ｓｔｉｅｆｅｌ㈦），Ｉｓ（Ｌｉｕ — Ｓｔｏｒｅｙ），ＣＤ（ＣｏｎｊｕｇａｔｅＤｅｓｃｅｎｔ）和ＤＹ（Ｄａｉ — Ｙｕａｎ）共轭梯
ＮＰＲＰ算法：
初始步：给定０ ∈Ｒ，ｓ ≥０，令ｄｏ＝一ｇ０，ｋ：＝０；
第１步：若ｌＩｇ０ ≤ ，则停止；
第２步：求出满足广义Ｗｏｌｆｅ搜索式（４）（５）下的步长０［；
第３２卷第４期
Ｖｏ１．３２ＮＯ．４
重庆工商大学学报（自然科学版）
ＪＣｈｏｎｇｑｉｎｇＴｅｃｈｎｏｌＢｕｓｉｎｅｓｓＵｎｉｖ．（ＮａｔＳｃｉＥｄ）
２０１５年４月
第３步：计算＝＋ｏｒｄ，若Ｉｇ川 ≤ ，则停止；
第４步：通过式（６）计算，并通过式（３）计算ｄ，令ｋ：＝｜ｉ｝＋ｌ，转第２步
２算法的收敛性
（Ａ）水平集＝｛ ∈ Ｒｌ）
。）
（８）
（Ｂ）在水平集的一个领域Ｎ内连续可微，且其梯度ｇ满足Ｌｉｐｓｃｈｉｔｚ连续，即存在常数Ｌ＞０，使得
Ｉｇ（）一ｇ（Ｙ）ｌ＿ ≤ＬＩｌ一ｙｌ，Ｖｘ，Ｙ∈Ｎ