一类新的基于信赖域技术的非单调共轭梯度算法
信赖域算法非线性优化问题课件
非ห้องสมุดไป่ตู้性优化问题的求解方法
总结词
非线性优化问题的求解方法主要包括梯度法、牛顿法、 拟牛顿法、共轭梯度法等。此外，还有一些启发式算 法如模拟退火、遗传算法等也被广泛应用于求解非线 性优化问题。
详细描述
梯度法是最早用于求解非线性优化问题的方法之一， 其基本思想是沿着目标函数的负梯度方向搜索。牛顿 法基于泰勒级数展开，构造一个二次模型逼近目标函 数，并在此基础上求解极小值。拟牛顿法是牛顿法的 改进，通过构造一个正定的拟牛顿矩阵来逼近海森矩 阵。共轭梯度法结合了梯度法和牛顿法的思想，在每 一步迭代中沿着当前搜索方向的前一方向共轭的方向 进行搜索。
可解释性与透明度
研究如何提高信赖域算法的可解释性和透明度，使其在关键领域（如 医疗、金融等）得到更广泛的应用。
信赖域算法的挑战和机遇
挑战
非线性、非凸、大规模、多模态等复杂优化问题对信赖域算法提出了更高的要求。同时，算法的稳定性和收敛速 度也是需要克服的难题。
机遇
随着计算能力的提升和算法理论的不断发展，信赖域算法有望在更多领域发挥重要作用。例如，在数据科学、机 器学习、人工智能、控制系统等领域，信赖域算法具有广阔的应用前景。同时，与其他先进技术的结合也为信赖 域算法的发展提供了新的机遇。
信赖域算法的未来发展
深度学习与机器学习集成
探索将信赖域算法与深度学习、机器学习等先进技术相结合，以解决 复杂、高维的非线性优化问题。
智能优化
结合人工智能和优化算法，开发能够自适应学习和进化的智能优化系 统。
强化学习与优化算法结合
利用强化学习中的智能体与环境交互学习的特点，与信赖域算法结合， 实现更高效的优化。
• 可以处理约束优化问题。
信赖域算法的优缺点
Matlab中的最优化问题求解方法
Matlab中的最优化问题求解方法近年来，最优化问题在各个领域中都扮演着重要的角色。
无论是在工程、经济学还是科学研究中，我们都需要找到最优解来满足特定的需求。
而Matlab作为一种强大的数值计算软件，在解决最优化问题方面有着广泛的应用。
本文将介绍一些Matlab中常用的最优化问题求解方法，并探讨其优缺点以及适用范围。
一. 无约束问题求解方法1. 最速下降法最速下降法是最简单且直观的无约束问题求解方法之一。
其基本思想是沿着梯度的反方向迭代求解，直到达到所需的精度要求。
然而，最速下降法的收敛速度通常很慢，特别是在局部极小值点附近。
2. 共轭梯度法共轭梯度法是一种改进的最速下降法。
它利用了无约束问题的二次函数特性，通过选择一组相互共轭的搜索方向来提高收敛速度。
相比于最速下降法，共轭梯度法的收敛速度更快，尤其适用于大规模优化问题。
3. 牛顿法牛顿法是一种基于二阶导数信息的优化方法。
它通过构建并求解特定的二次逼近模型来求解无约束问题。
然而，牛顿法在高维问题中的计算复杂度较高，并且需要矩阵求逆运算，可能导致数值不稳定。
二. 线性规划问题求解方法1. 单纯形法单纯形法是一种经典的线性规划问题求解方法。
它通过在可行域内进行边界移动来寻找最优解。
然而，当问题规模较大时，单纯形法的计算复杂度会大幅增加，导致求解效率低下。
2. 内点法内点法是一种改进的线性规划问题求解方法。
与单纯形法不同，内点法通过将问题转化为一系列等价的非线性问题来求解。
内点法的优势在于其计算复杂度相对较低，尤其适用于大规模线性规划问题。
三. 非线性规划问题求解方法1. 信赖域算法信赖域算法是一种常用的非线性规划问题求解方法。
它通过构建局部模型，并通过逐步调整信赖域半径来寻找最优解。
信赖域算法既考虑了收敛速度，又保持了数值稳定性。
2. 遗传算法遗传算法是一种基于自然进化过程的优化算法。
它模拟遗传操作，并通过选择、交叉和变异等操作来搜索最优解。
遗传算法的优势在于其适用于复杂的非线性规划问题，但可能需要较长的计算时间。
一类改进的非单调的信赖域算法
一 (d 的 犷 (k ) 头( )- =了
B(k+) :二 k， k 1 1 B‘万‘) ， +
否则， △ 1 令 ( ) + k
二 + ‘ ，， (、 ))) 呈m Lz)共 (。、
x(之) := x‘+ d戈 1 k) k)因 此，厂 (砂勺 单调非增. 引 2 若假设(a )成立， f (x妙 收 理31] 则 1)
其中9 =9(x)， [x“， ‘] x。 ‘二 ， ，““
而
: 告八lm川‘ }k i d卜 烤一 “， ) ’ }
防
以， 一 哟 为 计 降 并 合 用 郊口 作 预 下 量 不 适.因 此
本 q* 脚 艺， ) + ] 文一 ( )一 刀 d (1
匆归m) 作为到x(k + 了 的预计下降量。于 ) ) ) k
、 生丁‘ 、 J 刀， 汀 mi q*(d) = 9 ‘ 、 、 、 :， n
得解口 。 劝
夕) 伏
: 二 一
9(x‘ 一 片‘ 〔 x“) a 介 )*， ，
P a 了、 1 又 七 一一 L
‘ 1 、 1 . ，
尹 .
k
、 ， 产
厂 ‘一 气
P 2
+
回“ 们 }
f (二k f (x(k +J (k ) ‘ 〔 ))一 ) ，
接受条件取为 是，
一夏 t扮一， 一、 、、 卜 x‘ *(x‘， ‘ 9， ))+(奋 * ))T
(x了一 xl‘ (‘ 一 丸 ， )) ，
(8)
(二 f ， f二‘- 号谕行二‘ 之 ， (几、 ) k ( ( f ( 二，)一 尹 +d ) _专 “。 专 ， 1 )
自调节步长的非单调新自适应信赖域算法
一
（１ １） ・
１ 一 ． ．
ｍｎ ） ｇｄ ÷ ｉ （ ＝ ＋ ｑ
的解 ， 中ｇ ＝ （ ， 其 ｋ ）
， ｆＩＩＡ － ｄ≤ ， ．ｌ
是信赖域半径．
（２ １） ．
文 章编 号 ：０３２４ （０ ０－７５０ １ｏ ・８３２ １）５０ １－４ １
自调节步长 的非单调新 自适应信赖域算法
邵安，王希 云
（ 太原科技 大学应 用科 学学院，太原 ０ ０ ２ ） ３ ０ ４
摘 要 ：本文提 出了求解 无约束优化 问题 的一种 可调节 步长 的非单调 自 适应信 赖域算法． 信赖域 半径 的调整采用 了一 种新 的 自 适应技 术，算法在 试探 步 不被接受 时， 采用 了一种 自 动调 节的步长寻找下一个迭代点， 高了计 算的效率． 提 并 在合适 的条件 下， 出了算法的收敛性分析． 给 最后， 细的数值试验表 明， 详 算法是有 效的．
《
一
则。一 ．＋ｍ （１ｋ＋ Ｓ ＝ 觜 ＋ ｍ１ｉｋ， ：１ ｔ （＝｛＋）ｋ转ｐ ｋ ｎ） ＝ ，ｅ ）ｍ ２ ．
算法 ２ 双割线折线法求解信赖域子问题算法
Ｓｅ Ｏ ｔｐ ：给定梯度 ， 正定矩阵 ， 信赖域半径 ．
１
Ｓｐ： ＝ＢＩ， ｔｌ取 Ｉ ； ｅ Ｉ ￣ ，
第３ ７卷 第 ５期
西南民族 大学学报 ・ 自然科 学版
Ｊ ｕ ａ ｆＳ ｕ ｈ ｓ ｉ ｅ ｓｔ ｒ ｔｏ ａｉ ｅ ・ ｔ ｒ ｌ ｃ ｅ ｃ ｄ ｔ ｎ ｏ ｒ ｌ ｏ ｔ ｗｅ ｔ ｎ ｏ Ｕｎ ｖ ｒ ｉ ｆ ｉ ｎ ｌ ｉ ｓＮａｕ ａ ｉｎ ｅ Ｅ ｉ ｏ ｙ ｏ Ｎａ ｔ Ｓ ｉ
无约束优化的一类新的非单调信赖域算法
算法 １
步 １ 选初值 ， △ ＞０为信赖域半径上界 ， 取
０∈Ｒ ， △ 令 ｏ∈ （ ， ， ＜叼 ０△］ ０ １＜７ ７ ２＜１ ０ ＜ｒ ， ｌ
如 ｌＩｎ ） （ ｌ ｛， ｇｍ Ａ ｉ ５ ）
＿ ≥丽 Ｌ ㈤ ｏ
＜１＜ｒ， ≥０ ｋ＝０ Ｔ ２ ， ， 为非负整数 ， 满足。 步 ２ 检验终止条件 ， 计算 ｇ ， ｌ １≤ 若 Ｉ ｌ ， ｇ 则 ＝ ， 算法终止。
Ａｒ ｄｌ ） Ｐｒ ｄ ｅ ｋ ／ ｅ ≥ （
１，
０－ ≥ ｉ ）ｍ ｌＩｎ １ｇ ｌＩ ａ ｒ
）
（） ４
就接受 ＋ ＝ ＋ 算法步骤 １ ｓ。
如下 。
引理２ 假定存在 ｛ ，， 的无穷子列 Ⅳ ， １２ …｝ ０使 得对任意 后ＥⅣ ， ７ 则对所有的 ｋ量Ｎ 有 ０Ｐ ≥， ， ｌ ｏ
＠
２ １ ＳｉＴ ｃ． ｎｒ． ０ ２ ｃ ｅｈ Ｅ ｇｇ ．
数 学
无约束优化 的一类新 的非单调信赖域算法
王 剑 平 吕毅 斌 张 晓 鹏
（ 昆明理工大学理学 院， 昆明 ６ ００ ） ５ ５０
摘
要 当选取 的初始搜 索点处于峡谷 附近 时， 利用 现有 的信 赖域算 法将 搜 索到 的最优解 可能是局部 最优解。针对 此 问题
ｆ （ ＝ ５ 厶 』ｎｋ） Ｔ ｍｓ ｍ ｉ ＋
Ｉ
～ （ １ ） ，
＋ ｓ）
ｔ ｓ
．
ｔ ．
ｌ Ａ ｌ≤
次收敛性 。文献［ ］ ７ 在信赖域算法 中引入了非单调
线 搜索技术 。当试探 步不 成 功 时 ， 不 重 新 求解 子 并 问题 ， 而采 用非 甲调 线 搜 索 ， 得 到下 个 迭代 点 ， 这
常见的优化算法
常见的优化算法摘要：一、引言二、常见优化算法概述1.梯度下降2.随机梯度下降3.小批量梯度下降4.牛顿法5.拟牛顿法6.共轭梯度法7.信赖域反射算法8.岭回归与LASSO三、优化算法的应用场景四、总结正文：一、引言在机器学习和数据挖掘领域，优化算法是解决最优化问题的常用方法。
本文将对一些常见的优化算法进行概述和分析，以便读者了解和选择合适的优化算法。
二、常见优化算法概述1.梯度下降梯度下降是最基本的优化算法，通过计算目标函数的梯度，并乘以一个正数加到梯度相反号上，不断更新参数。
2.随机梯度下降随机梯度下降是梯度下降的一个变种，每次更新时随机选择一部分样本计算梯度，减少了计算复杂度。
3.小批量梯度下降小批量梯度下降是随机梯度下降的改进，每次更新时选择一小部分样本计算梯度，平衡了计算复杂度和收敛速度。
4.牛顿法牛顿法是一种二阶优化算法，通过计算目标函数的二阶导数（Hessian 矩阵）来更新参数，具有更快的收敛速度。
5.拟牛顿法拟牛顿法是牛顿法的近似方法，通过正则化Hessian 矩阵来避免牛顿法的计算复杂度问题。
6.共轭梯度法共轭梯度法是一种高效的优化算法，通过计算目标函数在参数空间中的共轭梯度来更新参数，具有较好的数值稳定性和收敛速度。
7.信赖域反射算法信赖域反射算法是一种基于信赖域的优化算法，通过不断缩小区间来更新参数，具有较好的收敛速度和鲁棒性。
8.岭回归与LASSO岭回归和LASSO 是一种正则化方法，通过加入正则项来优化目标函数，具有较好的过拟合抑制效果。
三、优化算法的应用场景不同的优化算法具有不同的特点和适用场景，如梯度下降适用于简单的问题，牛顿法和拟牛顿法适用于非凸问题，共轭梯度法适用于高维问题等。
在实际应用中，需要根据问题的特点选择合适的优化算法。
四、总结本文对常见的优化算法进行了概述和分析，包括梯度下降、随机梯度下降、小批量梯度下降、牛顿法、拟牛顿法、共轭梯度法、信赖域反射算法、岭回归和LASSO 等。
线性约束优化问题的一类非单调信赖域算法
ｓ． Ｉ ： ｉ ＿ ａｄ ０ ｅＥ ｔ Ｔ
，
（） ２
ｆ ｌ △ Ｉｆ ｄ ≤
ｓｔ ａ ｘ ｂ ， ． ． ／ ＝ ∈Ｅ
其 中 △ 为 信 赖 域 半 径 ，ｋ ～ 为 问 题 Ｂ ∈Ｒ
（） １ 的
Ｌ ｇａ ｇ ａｒｎ ｅ函数 的一 个 近似 Ｈ ｓ ｅｓ 阵， 问题 （ ） ｅ矩 设 ２ 的
其 中 （ ） ・ 是 到 可行 域 Ｘ 上 的正交 投 影算 子 ， 定
义 子 问题 ：
收 稿 日期 ： ０ ７ ２ ０ ２ ０ —１ — ７
步０ ：取 ‰ ∈ Ｘ，对称 阵 Ｂ ∈ ｏ Ｒ… △ Ｏ Ｏ， Ｏ， ＞ ＞
，
作 者 简 介 ： 晶 （９ １ ）女 ， 朱 １ ８ 一 ， 湖北 监 利 人 ， 江 大学 ２０ 长 ０ ６级 在 读 硕 士 研究 生 ， 究 方 向 ： 优 化 理 论 与 算法 。 研 最
（） ３
当 ÷ 时极 限为 ０矛盾 ， 定理 １ 证 。 ＿∞ ， 故 得
（ ） １ ≤一口 ） ｉ｛ ａｘ ）ｌ ｌ ｂ （ ｍｎ Ａ ，（ ／ｌ １ （ ） ） ４
ｉｒ １
） Ｔ ２
） ＞ ｉＴ
，
步 １计算 ａ ｘ） 若 满 足终 止 条 件 ， 终 止 ， ： （ ， 则 否则
转 步２ ：
其中 《
， ａｌ 由 ＜ 及式（ ） ４ 得
（一） （ ）ｉ｛ ｋａ ｌ ｌ≤（ １ １ａｒ ｘ ｍｎ Ａ ，（ ） ｉ １ ａ ） ａ ｘ ／Ｂ ） － 反
维普资讯
第 １ Ｏ卷 第 ４期
重庆 科技 学 院学报 （ 自然科 学 版 ）
２０ ０ ８年 ８月
线性约束优化 问题 的一类非 单调信赖域算法
翻译正文
一类新的超记忆梯度法摘要：在本文中，我们提出了一类新的超记忆梯度法无约束优化问题.信赖域方法被用于新的算法，以保证全局收敛.在每一次迭代中,新的算法自动产生一个合适的信赖域半径,通过求解一个简单的子问题获得下一个迭代.这些算法由于使用更多的迭代信息使得算法稳定的收敛,当迭代点接近最优解时,此方法接近于拟牛顿法. 数值结果表明,这种新的超记忆梯度法在实际计算中是有效的.2006年爱思唯尔公司保留所有权利.关键词：无约束最优化; 超记忆梯度法; 全局收敛1. 引言考虑无约束最优化问题)(min x f ,nRx ∈, (1)这里n R 是n 维欧氏空间并且1:R R f n →是一个连续可微函数.对于求解无约束问题有许多的迭代方法, 如线性搜索方法和信赖域法.线性搜索方法的形式,2,1,0,1 =+=+k d x x k k k k α(2)其中0>k α是通过某种线性搜索得到的步长，()k k x f g ∇=，k d 是搜索方向，k β是一参数，不同的参数对应不同的共轭梯度法.在许多线性搜索方法的每一次迭代中只用当前迭代信息去生成一个新的迭代，而前一步的迭代信息就会被忽略.这是算法设计中的一种信息浪费. 共轭梯度法使用前一步的迭代信息，在每一次迭代中以产生一个新的迭代.形式(2)具有如下的迭代格式⎩⎨⎧≥+-=-=-,1,01k d g k g d k k k kk β (3)对于参数k β可定义为 212-=k k FR kg g β211)(---=k k k Tk P R P kg g g g β)()(111-----=k k T k k k Tk HS kg g dg g g β.其对应的算法分别称为FR, PRP, HS 共轭梯度法,参见[15,32,33].Fletcher [14] 提出了共轭下降法(简称CD 法)由k β定义为 112---=k T k k CD k g dg β.他的证明得出k d 的下降特性. Dai 和Yuan[10]证明了共轭梯度方法有关的强Wolfe 线性搜索的全局收敛.Dai. 和Yuan[7]由(3)还取了一个新的k β,如下:)(112---=k k T k kDYkg g dg β.他们证明了在强Wolfe 线性搜索下相应的共轭梯度法的全局收敛.Miele and Cantrell [23]还研究了记忆梯度法来解决无约束优化问题.设0x 是初始点,且00g -=δ,其算法如下,1k k k x x δ+=+1-+-=k k k g βδαδ,其中在函数()x f 中,标量α和β保证在每一次迭代中产生最速下降. Cantrell[4]证明了记忆梯度法和Fletcher –Reeves 算法[13]在二次函数的特定情况下是相同的.Cragg and Levy[5] 提出了一个超记忆梯度方法如下,1k k k x x δ+=+∑=-+-=ki i i k k g 11δβαδ,其中i i i x x -=+1δ,设0x 是初始点,且00g -=δ.Wolfe and Viazminsky[40]研究了超记忆下降方法,其主要的迭代形式如下,min1,,,1)(1⎪⎭⎫⎝⎛+-=⎪⎭⎫ ⎝⎛+-∑∑=-=-mi i k i k k mi ik k ik k k p x f p x f mδβαββαββα其中,1k k k x x δ+=+ ∑=-+-=mi i k k i k k k p 1)(δβαδ, 且0≠k T k g p .记忆梯度和超记忆梯度方法是共轭梯度法[8,9,16,20,30]的推广,它们不仅使用当前的迭代信息，而且还使用之前的迭代信息，在每一次迭代时,以产生新的迭代.此外,有限的拟牛顿记忆法也是一个解决大规模问题的有效方法 [2,3,11,12,18,25,26,31,39]. 它是在每一次迭代中用有限个记忆梯度来找到一个新的迭代.因此，有限的拟牛顿记忆法也就是超记忆梯度法[19,22,27-29] .事实上，当采用一些传统的非精确搜索时,有些减少极小化非二次目标函数的共轭梯度法不具有全局收敛.在某些情况下,许多超记忆梯度法也没有全局收敛.为了保证超记忆梯度法解的全局收敛和简化计算，一些新的非精确线搜索和曲线搜索规则在实际计算中被提出[ 1,34-36 ].但是，在分析采用非精确线性搜索的超记忆梯度法时,也要克服一些困难.例如，在一般情况下,全局收敛和收敛速率是有趣的和有意义的问题.如何使用信赖域法，以保证全局收敛是在算法设计中另一个挑战.事实上，我们希望构造这样一个超记忆梯度法，具有如下三个性质：稳定的收敛，便求解病态问题；简单的计算；自动调整参数的适应性.在本文中，我们提出了一类新求解无约束优化的问题的超记忆梯度法.在信赖域法中使用新的算法,以保证全局收敛.在每一次迭代中,新的算法自动产生一个合适的信赖域半径,通过求解一个简单的子问题获得下一个迭代.这些算法由于使用更多的迭代信息使得算法稳定的收敛,当迭代点接近最优解时,此方法接近于拟牛顿法. 数值结果表明,这种新的超记忆梯度法在实际计算中是有效的.本文其余部分安排如下,在第2节中我们描述的算法并分析了一些简单的性质.在第3和第4节中我们分别证明它的全局收敛性和收敛速度.数值结果在第5节中表述.在第6节中总结了一些得到的结论.2 .超记忆梯度法假设(H1)目标函数()x f 是连续可微，并在n R 上有下界.(H2)梯度函数)()(x f x g ∇=在包含水平集{},)()()(00x f x f R x x L n ≤∈=的开凸集B 上Lipschitz 连续，即存在常0>L 使y x L y g x g -≤-)()( .,B y x ∈∀ (4) 引理2.1 若(H1)和(H2)成立, 则对于B p x x ∈+,,.21)()()(2pL p x g x f p x f T+≤-+证明 由中值定理得,⎰⎰-++=+=-+1010)]()([)()()()(dtp x g tp x g p x g dt p tp x g x f p x f TTT.21)()()()()(210102p L p x g dtt p l P x g dt p x g tp x g p x g TTT+=+≤⋅-++≤⎰⎰得证.算法(A)Step0. 取()1,0∈ρ，()1,0∈μ，n R x ∈0，2≥m 和对称正定矩阵0B ，令1:=k ； Step1. 若()0=k x g ，则停止迭代；否则，转Step2； Step2. 定义k m 满足{}m k m k ,min 0≤≤.Step3. ),(1k k k k p x x α+=+其中k α是使在{},...,,,12ρρ中满足如下式子的最大α即,))(()0())((μαα≥-+-k k k k k k y q q p x f f (5)其中 )()(ααk k k y V p =和()αk y 是如下问题的解kkk Tkk Tk k k k Tk T k Tk k k dd B d d g y V t s yV B V y y V g f y q α-≤++=..21)(m i n (6))1(11),,,(,+⨯--+∈=∈k k k m n m k k k k m Rg g d V Ry 和n k R d ∈满足τ≥⋅-kk k Tk d g d g其中]1,0(∈τ.Step4. 令)(k k k p αδ=和;1k k k g g -=+γ若0>k T k γδ,定义k B 和1+k B 使用BFGS 或DFP 拟牛顿法修正k B 得到1+k B ，否则令.:1k k B B =+ Step5. 令1:+=k k ,转Step1.为方便起见,本文有时会记)(k k p α为k p .由算法,我们可以得到一些简单的性质.引理2.2 若)(αk y 是(6)式的解,则.)(2))(()0(2kk T kk T k k k k d B d d g y q q ⋅≥-αα证明 由算法(A),可以得到{}k B 是一个对称正定矩阵序列.因此.0>k k T k d B d若11_)0,,0,(+∈=km Tkk R y y 和)(k k T k k T k T k d B d d g y α-=,k y 是(6)式的可行解.注意到10≤≤α, 有k k Tk k T k k k T k k T k k k T k kk Tk kTk kk T k k T kk k k k k k d B d d g d B d d g d B d d B d d g d B d d g y q q y q q 2222)(21)(21)()()0())(()0(ααααα-≥⎪⎪⎭⎫ ⎝⎛-=-≥- kk Tk k T k d B d d g 2)(2⋅=α.得证.3.全局收敛为了分析全局收敛性,进一步假设 (H3)由算法(A)产生的矩阵序列{}k B 满足2120pp B p pk Tββ≤≤ . 0≥∀k n R p ∈∀.定理 3.1 假设(H1), (H2)和(H3)，算法(A)产生一个无穷序列{}k x .则0lim =+∞→k k g .证明 用反证法, 存在一个无限子集{},...,2,1,0∈K 和0>ε有ε≥k g .K k ∈∀ (7) 由引理2.2 (H3)和(7)式,有22212)()(2)(2))](()0([))((kk k k T k kkk Tk k t k kk k k k k k k k g g d d g d B d d g y q q p x f f ⋅-≥⋅≥-≥+-βμααμαμα,22122212k kkg αβεμτβαμτ≥≥ .K k ∈从而,2))((122k k k k k p x f f αβεμτα≥+- .K k ∈ (8)由(H1)和上述不等式得0l i m ,=+∞→∈k k K k α. (9)由算法(A)和(9)式, 存在k '使得,))(()0())((μραρα<-+-k k k k k k k k y q q p x f f .K k ∈ .k k '≥ (10)由中值定理,(H2),(H3),Cauchy-Schwartz 不等式,引理2.1和2.2和 (9),令ρααk =,得))(()0()()()()0())(()0())((1))(()0())((2121221ααβααααααk k k k k k k k k k k k k k k k k k k y q q p p L q q y q q p x f f y q q p x f f -+≤-+-+-=--+-kk Tk kkk Tk k Tk k k T k kk T k kk Tk k T kk d B d d L d B d d g d B d d d g L d B d d g p L 21222222121222121)()()()()()()()(αβαβαβαα+≤+≤+≤001→+≤αββL ),(∞→∈k K k显然,设10)1(βμβα+-≤L则,1))(()0())((01μαββαα≥+-≥-+-L y q q p x f f k k k k k k .K k ∈此与(10)式矛盾.因此,不存在这样一个子集{},...,2,1,0∈K 和0>ε有(7)式成立. 得证.。
一类新的带线搜索的自适应非单调信赖域算法
其 中 ： ＝Ｂ ｎＳＢ ： ｛ 力 ， ｄ∈Ｒ Ｉ ｌ ｌ ｌ ｌ≤△ ｝ ｄ ， Ｓ＝｛ ｄ∈Ｒ ｌ １—６ｄＪ ０ ，０ —个 ０ — Ｊ ≥ ｝ 为 — １ 的正数 ， （ ）＝ （ ＋ｄ 厂 ）一 ）ｇ ， ＝ｇ ）为 （ ）在 处 的梯度 ， ｂ 和 分别是 ｎ 向量 和 ｎ× 维
（ ”
｛ ｝． １ … ， ｒ（） ＝ ， ｊ ｝＝ ， ｍ， ｋ ｅ
ｍａ ｛ ｋ一１ ｘ ｍ（ ）＋１２ Ｍｋ ， Ｍ 为非 负整 数 ， ，Ｍ， ｝Ｍ， 都
作者简介 ： 赵绚 （９ ３一） 女 ， １８ ， 硕士 ， 主要研究方 向为最优化理论及应 用。
第 ３ 卷第 １ ｌ 朝
第３ １卷
第 ｌ 期
太
原
科
技
大
学
学
报
Ｖ １３ Ｎ ． ｏ． １ ｏ １Ｆ ｂ Fra bibliotek １ ｅ ．０ ０
２１ ０ ０年 ２月
Ｊ Ｕ Ｎ Ｌ Ｏ Ａ Ｙ Ａ Ｎ Ｖ Ｒ ＩＹ Ｏ ＣＥ Ｃ Ｎ Ｅ Ｈ Ｏ Ｏ Ｙ Ｏ Ｒ Ａ Ｆ Ｔ Ｉ Ｕ Ｎ Ｕ Ｉ Ｅ ＳＴ Ｆ Ｓ Ｉ Ｎ Ｅ Ａ Ｄ Ｔ Ｃ Ｎ Ｌ Ｇ
＜ 时 ， 问题转换 为 ： 。 子
Ｓｔ １ ．． １ Ｉ Ａ Ｉ≤ 且 ６ｄ≤ １～ ｄ ０
（ ） △ Ｉ ｌ １＋氏 时 ， 问题 转换为 ： ３ 当 ｝ Ｉ≥ ｂ 子
ｍｉｑ （ ） ｎ￣ ｄ
ｒＪ ｌ Ｉ Ｊ≤△ ｄ ≥ １＋８ 或 ６ ≤ １— ｏ ０ 若 试 验 步 不 成 功 时 ， 解 子 问 题 的代 价 会 很 重
赵 绚， 一类新的带线搜索的自 等： 适应非单调信赖域算法
３ 算 法 的收 敛 性
引理 ｌ
一类新的自适应信赖域算法
—
１ ９ ，８５ ： ８ —１ ０ ． ９ ７１ （） ７ ８ ８ ３ １
Ｉ 解 子 问题 （ ．） 到 试 探 步 ｄ 求 Ｉ 得 ２ ｋ
【】 Ｚ ａ ｇ ＳＣｈｎＺＷ ａｄ ｉ ．． Ａ ｓｌ ａａｔ ｅ ｔ ｔ ｅｉｎ ３ ｈｎ ． ， ｅ ． Ｘ． ｎ Ｌａ Ｌｚ． ｅｆ ｄｐ ｖ ｍｓ ｏ － ｉ ｒｇｏ ｍｅ ｏ ｆｒ ｎ ｏ ｓ ａ ｅ ｏ ｔ ｚ ｔ ｎ ［． ｅ． ｓ ｒｎ，２ ０ ，５（） ｔ ｄ ｏ ｕ ｃ ｎ ｔ ｉ ｄ ｐｉ ａｉ ｈ ｒｎ ｍｉ ｏ Ｊ Ｏｐ ｒ ａ ｓ ０ １ １ Ｒｅ Ｔ ２：
［ ５ ］李树君 ， 张红 霞． 无约束优化 问题 的非单调 自 应信赖域 算法［＿ 适 １长 】 沙交通 学院学报 ，０ ８ ２ （ ： ３８ ８ ２ ０ ， １ ８ — ４ ４ ）４
３ 捣 固车发展 趋 势
上 图 （ ） 国外 最 新 车 型 ０ — ｘ捣 固车 ， 是 世 界 上 第 一 右 是 ９４ 也 辆四枕连续捣 固车 ， 并设置有转换开关 ， 分别可 以实现单枕 和双
５ ６ ３－ ２
赢 厂 ¨ ｆｋ Ａ （ ） （＋ ｒ ｅ 一 ｘ ）
。
ｌ】 ｈ ｎ ． Ｓ ｈ ｎ Ｊ Ｌ ａ ｄ Ｌａ ． Ａ ｄ ｐ ｖ ｒ ｓ ｒｇｏ ｔｏ ４ Ｚ ａ ｇ Ｘ．，Ｚ ａ ｇ ｎ ｉ Ｚ ｏ ｎ ａ ａ ｔ ｅ ｔ ｔ ｅ ｉｎ ｍｅｈ ｄ ｉ ｕ ａ ｄｉ ｏ ｖ ｒｅ ｃ￣ Ｓ ｉ ｃ ｎ Ｃｈｎ Ｓ ｒ ｓＡ ， ０ ，４ （） ２ — ３ ． ｎ ｔ ｃ ｎｅｇｎ ｅ ］ ｃｅ ｅｉ ｉａ（ｅｉ ） ０ ２ ５４： ０ ６ １ ｓ ｎ ｅ ２ ６
参 考 文献 ： ｌ】袁亚湘 ， １ 孙文瑜 最优化理论与方法ｆ ． Ｍ】 北京： 学出版社 ，９７ 科 １９ ．
非线性规划问题的求解方法研究
非线性规划问题的求解方法研究随着科技的不断发展，各行各业也在不断发展变化。
非线性规划问题的求解方法也成为了当下热门的话题之一。
非线性规划是指优化问题中目标函数或约束条件是非线性的情况，这类问题在实际应用中很常见。
解决非线性规划问题的数学方法又被称为非线性规划算法。
非线性规划算法主要分为两类：确定性算法和随机算法。
确定性算法是通过一系列有规律的计算来达到问题的最优解。
而随机算法则是简单而暴力的方法，通过一些随机序列来优化思路，最终达到问题的最优解。
下面将介绍几类典型的非线性规划算法。
一、传统算法1. 信赖域算法信赖域算法是一种可应用于大规模非线性规划问题的优化方法。
它考虑了简单的限制条件，以期得到最优解。
它是迭代求解算法，通过寻找限制条件来达到最优解。
2. 罚函数算法罚函数算法的思想是将限制条件进行“惩罚”，使其变得更加强烈。
它可以转化为一个无限制最优化问题来求解原问题。
3. 共轭梯度法共轭梯度法是一种求解大规模非线性规划问题的高效算法。
它是迭代法，通过寻找相互垂直的方向来达到最优解。
二、元启发式算法元启发式搜索（也称为群智能）是一种通过模拟自然界的行为以解决优化问题的算法，包括蚁群算法、粒子群算法、遗传算法等。
1. 蚁群算法蚁群算法是一种基于蚂蚁行为的元启发式算法。
它通过模拟蚂蚁寻找食物的方式来优化问题，即将蚂蚁的行为规则应用于优化问题中。
2. 粒子群算法粒子群算法是一种仿照群体行为的元启发式算法。
它通过模拟鸟群、鱼群等集体行为来寻找最优解。
3. 遗传算法遗传算法是一种模拟自然选择和遗传机制的元启发式算法。
它通过模仿生物进化的过程来寻找最优解。
遗传算法适用于搜索空间大、目标函数复杂的优化问题。
三、其他算法除了传统算法和元启发式算法，还有一些其他的算法也被应用于非线性规划问题中，包括模拟退火算法、蒙特卡罗方法等。
1. 模拟退火算法模拟退火算法是一种随机退火过程，通过在优化问题的解空间中随机地搜索来寻找最优解。
基于信赖域技术的非单调非线性共轭梯度算法
性 ．新算法具有算法稳定 、计算简单 的特 点，可用 于求解病态和 大规模 问题 ．数值 实验表 明算法
是有效的 ．
关键 词 ： 轭 梯 度 法 ；非 单调 步 长 规 则 ； 收敛 性 ；线 性 收敛 速 度 共
分类号： ＡＭ Ｓ ２０１ ０ ３ （００ ９Ｃ ０
中图分类号： ２１ Ｏ ２． ２
Ａ 易见 ，当 Ａｋ＝０ ，（） 时 ５ 即为拟牛顿方程 ．
借助拟牛顿算法 的对 Ｈｋ＝ Ｂ 的修正技巧和对角稀疏拟 牛顿 算法 的思想 ，给 出Ｂｋ 的新的
修正形式 ．设 Ｂ 为对角稀 疏正定矩 阵，令 ｋ
Ｂｋ ＋ｌ＝ Ｂ ｋ＋ Ａ Ｂｋ，
，
（ ） ・
（ ７ ）
（） ８
其中Ａ ｋ Ｂ 为对角矩阵，为保证Ｂ ＋ 的正定性，限制Ｂ ＋ ｋｌ ｋｌ＝ｄ ｇ ￣１ ２１ ， ＋） ｉ （ ＋， ＋， ６ １ ａ ｂ ６ … ｎ 取
值 ，即
０ ＜ ｍｉ ６ ＋１ ｎ Ｌｍａ ｉ＝ １ ２ … ， ，， ， 佗．
（０ １）
Ｂ ＋ 近似满足修正拟牛顿方程 １
算 法 ， 并 分 析 了 算 法 的 全局 收 敛 性 ．
收稿 日期： ０ ０Ｏ 一８ 作者 简介：孙清滢 （９ ６ 月生） ２ １ 一ｌ １ ． １ ６ 年２ ，男，博士 ，教授 ． 究方向：非线性 规划 研
基金项 目： 国家 自然科学基金 （０７ １８ ；中央高校基本科研业务费专项资金 （０ Ｘ ４４ Ａ） １９ １１ ） １Ｃ ０ ０ ４ ．
Ｘ ＋ ＝ｚ ｋ ｌ ＋ａ ｄ ， ｋｋ ＝ ０ １２ ・ ， ， ，，一 （） ２
其中 为步长 可通过某种策 略确 定，ｄ 为搜索方 向，其公式 为
一类新的基于信赖域技术的非单调共轭梯度算法
一类新的基于信赖域技术的非单调共轭梯度算法高苗苗;宫恩龙;孙清滢;王真真;杜小雨【摘要】为有效求解大规模无约束优化问题,本文基于信赖域技术和修正拟牛顿方程,同时结合Zhang H.C.策略和Gu N.Z.策略,设计了一种新的非单调共轭梯度算法,应用信赖域技术保证了算法的稳健性和收敛性,并给出了算法的全局收敛性分析.在适当条件下,证明了该算法具有线性收敛性.数值实验表明新算法能够有效求解病态和大规模问题.与单独结合其中一种非单调策略的算法相比,新算法需要较少的迭代次数和运行时间,利用其得到的函数值与最优值更接近.【期刊名称】《工程数学学报》【年(卷),期】2018(035)005【总页数】13页(P502-514)【关键词】共轭梯度算法;非单调策略;全局收敛;收敛速度【作者】高苗苗;宫恩龙;孙清滢;王真真;杜小雨【作者单位】中国石油大学(华东)理学院,青岛 266580;青岛酒店管理职业技术学院,青岛 266100;中国石油大学(华东)理学院,青岛 266580;中国石油大学(华东)理学院,青岛 266580;中国石油大学(华东)理学院,青岛 266580【正文语种】中文【中图分类】O221.21 引言考虑无约束优化问题其中f(x):Rn→R1为非线性的连续可微函数．共轭梯度法是求解问题(P)的一类非常有效的算法[1,2]，其迭代公式为其中dk为搜索方向，gk为f(x)在xk点的梯度，βk∈R为共轭梯度参数，αk为步长，可通过某种策略确定．步长αk的选取是保证算法全局收敛性的一个重要因素，由于非单调线搜索技术有利于算法的快速收敛，许多最优化学者对其进行了研究．传统的非单调策略由Grippo等[3]提出，随后，Zhang和Hager[4]对传统非单调策略中的参考值进行改进，提出了新的非单调线搜索技术，为方便将其简记为Zhang H.C.策略其中这里ηk−1 ∈ [ηmin,ηmax]为一参数，ηmin ∈ (0,ηmax)和ηmax ∈ (0,1)是两个常数，σ ∈(0,1)为常数．Gu和Mo[5]在上述策略的基础上提出了另外一种非单调线搜索技术，简记为Gu N.Z.策略其中这里δ∈(0,1),η∈(0,1)是两个常数．在该线搜索技术中，当前非单调项是前一非单调项和当前目标函数值的凸组合，而不是Zhang H.C.策略中的前k项目标函数值的凸组合．信赖域技术的引入能保证算法的稳健性和收敛性．信赖域方法最早由Powell[6]提出，试探步的求解是信赖域方法的关键组成部分之一．试探步一般是一子问题的解，通常的信赖域子问题模型如下其中Bk为目标函数的Hesse矩阵或其近似，△k≥0为信赖域半径，∥·∥一般指2-范数．子问题(6)求解的困难之处在于Bk是一个一般的实对称矩阵，结合对角稀疏拟牛顿技巧[7]和修正拟牛顿方程[8]其中孙清滢等[9]给出了Bk的一种近似：设是实对角正定矩阵，令Bk+1=Bk+△Bk，其中是实对角矩阵，从而Bk+1是对角矩阵且要求近似满足如下方程其中为常数，解之得：当时，若则若若近年来，伴随着大规模优化问题的出现，人们对共轭梯度法的研究逐渐活跃，如Yuan和Stoer[10]将搜索方向dk在二维子空间span{gk,dk−1}上确定，即其中γk,βk为参数，得到一种新的非线性共轭梯度算法．受其启发，张祖华和时贞军[11]基于信赖域技术提出了一种单调下降的共轭梯度算法，证明了算法的收效性，并对算法进行了数值实验．之后，孙清滢等[9,12]提出了基于信赖域技术的非单调共轭梯度算法，分析了算法的收敛性和收敛速度．由于算法在第k步迭代中有时采用Zhang H.C.策略产生的步长αk大，有时采用Gu N.Z.策略产生的步长αk大，因此采用两者之中的最大者能增大步长，从而加快算法的收敛速度．本文将基于信赖域技术和修正拟牛顿方程，同时结合Zhang H.C.策略和Gu N.Z.策略，改进文献[9,12]中的算法，设计一种新的求解问题(P)的非单调共轭梯度算法，分析算法的收敛性和收敛速度，用数值实验验证算法的有效性．2 算法新非单调共轭梯度算法(ZGTRCG):步骤1 选取步骤2 若∥gk∥<ε，则停止迭代；否则，转步骤3；步骤3 xk+1=xk+dk(αk)，这里αk为{1,ρ,ρ2,···}中满足下式的最大者其中Ck由式(2),(3)确定，Dk由式(5)确定，而(γ,β)T∈R2是下列问题的解转步骤4；步骤4 利用式(8)修正Bk，得到Bk+1，选取ηk∈ [ηmin,ηmax]，令k:=k+1，转步骤2．3 全局收敛性首先对目标函数f(x)做如下假设：(H1): 目标函数f(x)在Rn上有下界；(H2):目标函数的梯度g(x)=∇f(x)在包含水平集L(x0)={x∈Rn|f(x)≤f(x0)}的开凸集B上Lipschitz连续，即存在L>0满足引理1[12] 假设(H2)成立，xk,xk+dk∈B，则引理2[12] 若dk(α)为问题(10)的解，则引理3 设{xk}是由算法ZGTRCG产生的序列，则(i) f(xk+1)≤max{Ck,Dk},∀k;(ii) f(xk)≤max{Ck,Dk},∀k;(iii) max{Ck,Dk}是单调不增序列．证明由式(9)和引理2知即因此若f(xk+1)≤max{Ck,Dk}=Dk，由式(5)知即再由C0=D0=f(x0)知由式(2),(3),(5)和式(11)知故max{Ck,Dk}是单调不增序列．定理1 假设(H1)和(H2)成立，{xk}是由算法ZGTRCG产生的无穷序列，则证明假设结论不成立，则存在无穷子集K ⊂{1,2,···}及ε0>0满足由式(2),(3)和式(11)知由ηmax<1知由式(13),(14)知由式(5),(11)知即由式(12),(15)和式(16)知其中=max{ηmax,η}．由f(x)有下界，f(xk)≤max{Ck,Dk}和式(17)知，max{Ck,Dk}单调下降且有下界，因此由式(9)知再由式(10),(18)，引理1和引理2，令α=αk/ρ得故当时，由引理3知由此得到与式(19)矛盾，定理得证．4 线性收敛速度(H3): 目标函数f(x)是强凸函数，即存在常数r>0满足定理2 假设(H1)–(H3)成立，{xk,αk,gk,dk}是由算法ZGTRCG产生的序列，则存在θ∈(0,1)满足即{f(xk)}R-线性收敛于f(x∗)，其中x∗是问题(p)的惟一最优解．证明由f(x)是强凸函数知故有设x∗是f(x)的唯一最优解，将y=x∗带入上式得由f(x)是凸函数知，f(x(t))关于t是凸函数，其中x(t)=x∗+t(x−x∗),t∈ [0,1]且f′(x(t))在[0,1]上单增，f′(x(0))=0，再由式(20)知由引理3知，是单调不增序列，因此故{xk}⊂L(x0)．由定理1的证明知故若则有再由引理3及式(22)得即故而．由引理3，式(17),(23)知其中由算法步骤3和(H2)知因此其中下证对任意的k，有其中事实上，若则由式(2),(3),(14)和式(24)知若则由式(21),(25)知再由式(2),(3)知由知因此综上显然0<θ1=1−βb1(1−ηmax)<1．同理可证其中0< θ2=1− βb1(1− η)<1．即其中0< θ=max{θ1,θ2}<1．再由引理3知定理得证．5 数值实验本节从网站www.ici.ro/camo/neculai/SCALCG/testuo.pdf上，选择了3个算例，利用Matlab7.0编制程序在配置2GB内存，主频1.5GHz，操作系统为Microsoft Windows 2000 Professional的PIII.933机器上进行数值实验，并与文献[9,12]中的算法进行比较．取文献[9,12]中的算法分别记为ZTRCG、GTRCG．表1至表3每个单元格从左到右依次给出了对应算法在不同精度要求ε=10−2,10−3,10−4下的运行结果．例1 扩展Rosenbrock函数初始点x0=(−1.2,1,−1.2,1,···,−1.2,1)T，最优值f(xopt)=0,n=5000，运行结果见表1．表1 : 例1的计算结果算法迭代次数CPU时间(s)函数值ZGTRCG 26/49/731.519/2.881/5.434 2.7612e−6/9.4631e−7/8.2258e−9 ZTRCG 41/54/932.618/3.066/5.091 3.1204e−5/1.1720e−6/9.6776e−9 GTRCG 60/87/1303.657/5.005/7.146 9.0271e−6/1.1779e−6/9.2147e−9例2 扩展Dixon功能初始点x0=(−2,−2,···,−2)T，最优值f(xopt)=0,n=10000，运行结果见表2．表2 : 例2的计算结果算法迭代次数CPU时间(s)函数值ZGTRCG 44/51/564.621/6.049/7.379 1.3091e−5/1.6763e−8/5.9697e−10 ZTRCG 47/62/615.447/5.912/7.695 3.2044e−5/2.2723e−7/1.0997e−9 GTRCG 54/69/754.895/6.299/8.196 2.1463e−5/3.9303e−8/1.1047e−9例3 Broyden三角函数初始点x0=(−3,−3,···,−3)T，最优值f(xopt)=0,n=20000，运行结果见表3．表3 : 例3的计算结果算法迭代次数CPU时间(s)函数值ZGTRCG 50/62/704.805/7.363/9.164 6.3098e−5/1.4072e−7/5.7016e−9 ZTRCG 59/80/1005.260/8.661/11.7476.4299e−5/1.8841e−7/1.1874e−8 GTRCG 64/81/946.068/7.831/10.1708.5048e−5/1.9119e−7/1.2564e−8注1 从表1至表3可以看出，对于同一问题，当初始点x0和精度要求ε一定时，新算法比单独结合其中一种非单调策略的算法具有明显优势：在迭代次数上，新算法所用次数少；在运行时间上，新算法所用时间少；在最优解的精度上，新算法精度高；适合求解病态和大规模问题，增加了算法的实用性和可行性．但新算法也存在一定的不足，由于在每步迭代中需要分别计算出由Zhang H.C.策略和Gu N.Z.策略产生的两种步长，再进行比较，这在某种程度上增加了算法的计算量．注2 当Ak取时，同样可验证算法的有效性．6 结论本文基于信赖域技术和修正拟牛顿方程，同时利用Zhang H.C.策略和Gu N.Z.策略，建立了一种新的非单调非线性共轭梯度算法，对算法的收敛性和收敛速度进行了分析．新算法可用于求解病态和大规模问题，数值结果表明，新算法需要较少的迭代次数和运行时间，利用其得到的函数值与最优值更接近，新算法比单独结合其中一种非单调策略的算法有效．参考文献：【相关文献】[1]袁亚湘，孙文瑜.最优化理论与方法[M].北京：科学出版社，1997 Yuan Y X,Sun W Y.Theory and Method of Optimization[M].Beijing:Science Press,1997[2]戴彧虹，袁亚湘.非线性共轭梯度法[M].上海：上海科学技术出版社，2000 Dai Y H,Yuan Y X.Nonlinear Conjugate Gradient Method[M].Shanghai:Shanghai Science and Technology Press,2000[3]Grippo L,Lampariello F,Lucidi S.A nonmonotone line search technique for Newton’s method[J].SIAM Journal on Numerical Analysis,1986,23(4):707-716[4]Zhang H C,Hager W W.A nonmonotone line search technique and its application to unconstrained optimization[J].SIAM Journal on Optimization,2004,14(4):1043-1056 [5]Gu N Z,Mo J T.Incorporating nonmonotone strategies into the trust region method forunconstrained optimization[J].Computers and Mathematics withApplications,2008,55(9):2158-2172[6]Powell M J D.A new algorithm for unconstrained optimization[M]//Rosen JB,Mangasarian O L,Ritter K.Nonlinear Programming.New York:Academic Press,1970:31-65 [7]时贞军，孙国.无约束优化问题的对角稀疏拟牛顿法[J].系统科学与数学，2006,26(1):101-112 Shi Z J,Sun G.A diagonal-sparse quasi-Newton method for unconstrained optimization problem[J].Journal of System Science and Mathematical Science,2006,26(1):101-112 [8]Wei Z X,Li G Y,Qi L Q.New quasi-Newton methods for unconstrained optimization problems[J].Applied Mathematics and Computation,2006,175(2):1156-1188[9]孙清滢，徐敏才，刘丽敏.基于信赖域技术的非单调非线性共轭梯度算法[J].工程数学学报，2011,28(5):686-692 Sun Q Y,Xu M C,Liu L M.Non-monotone nonlinear conjugate gradient method based on the trust region technique[J].Chinese Journal of Engineering Mathematics,2011,28(5):686-692[10]Yuan Y X,Stoer J.A subspace study on conjugate gradient algorithms[J].Journal of Applied Mathematics and Mechanics Zeitschrift Für Angewandte Mathematik Und Mechanik,1995,75(1):69-77[11]张祖华，时贞军.解无约束优化的一种新的共轭梯度法[J].数学进展，2009,38(3):340-344 Zhang Z H,Shi Z J.A new conjugate gradient method for unconstrainedoptimization[J].Advances in Mathematics,2009,38(3):340-344[12]孙清滢，王宣战，宫恩龙，等.基于信赖域技术和修正拟牛顿方程的非单调共轭梯度算法[J].高等学校计算数学学报，2012,35(1):49-62 Sun Q Y,Wang X Z,Gong E L,et al.Non-monotone conjugate gradient method based on trust region technique and modified quasi-Newton equation[J].Journal of Computing Mathematics in Colleges and Universities,2012,35(1):49-62。
一种改进的带非单调线搜索锥模型信赖域算法
一种改进的带非单调线搜索锥模型信赖域算法XING Zhi-ye【摘要】针对非单调锥模型信赖域算法求解子问题的接受条件中所存在的一些不合理因素,提出了一种新的改进的无约束优化算法 .该算法在每一步都采用非单调Wolfe线搜索,求得下一个迭代点,并改变预计下降量,使其与实际下降量对应起来,这样做不仅不需要重解子问题,而且提高了梯度精度,一定的条件下证明了该算法的全局收敛性和 Q－二次收敛性 .【期刊名称】《辽宁师专学报（自然科学版）》【年(卷),期】2018(020)003【总页数】5页(P1-4,72)【关键词】无约束优化;信赖域;锥模型;收敛性【作者】XING Zhi-ye【作者单位】【正文语种】中文【中图分类】O2241 算法的提出考虑以下无约束优化问题[1、2]其中：f(x)是二阶连续可微函数.解决上述问题是采用信赖域算法[3、4]，构造子问题模型如下[5～10]：这里sk为所求子问题的解，f k=f(x k)，g k=▽f(x k)，Bk为f(x)在x k处的Hesse矩阵.比较f(x k)-f(x k+sk)和pred k(sk)=φk(0)-φk(sk)的值，若比值满意，接受x k+1=x k+sk，一般情况下我们要求接受条件如下[11]：文[11]所提到的非单调信赖域算法，放宽上述条件，接受条件为：其中，f l(k)={f k-j}，m(k)=min{m(k-1)+1，M}，M是非负整数，m(0)=0.可以看到，r k的分子是目标函数值从x l(k)到x k+sk的实际下降量，而分母是xk到x k+sk的预计下降量.一般情况下l(k)≠k，所以用pred k(sk)作为预计下降量是不完全合理的，因此本文将接受条件改为：2 改进的非单调线搜索信赖域算法步骤算法1Step0：给出x 0∈Rn，B 0∈Rn×n是一对称正定矩阵.Δ0=1，ε＞0，0＜μ＜1，0＜c 1＜c 2＜1，r 1＜r 2＜1＜r 3，M≥0，k：=0.Step1：计算g k，如果‖g k‖≤ε停止，否则转Step2.Step2：解锥模型子问题(1)得sk，使其满足：Step3：计算，求步长λk，使其满足非单调Wolf线搜索Step4：若r k≥μ，则取Δk+1=max[Δk，r 3λk‖Sk‖，r 2‖Sk‖]，否则取Δk+1=max[λk‖Sk‖，r 1λk‖Sk‖].Step5：m(k)=min{m(k-1)+1，M}，令k=k+1，转Step1;利用新的 BFGS校正公式更新.3 新算法的收敛性分析为了分析算法的收敛性，我们作如下假设：(A1) 水平集S={x∈Rn：f(x)≤f(x 0)}有界，其中x 0为初始点.(A2) ▽f(x)是lipschitz连续函数，即存在常数L＞0，使得：(A3) f(x)在水平集S上二次连续可微，且存在M≥0，使得‖Bk‖≤M，‖bk‖≤M，‖B-1 k‖≤M，∀k.引理1[6] 若假设(A1)、(A3)成立，x k是算法产生的点列，则数列{f l(k)}非增且收敛.引理2 令sk是算法1产生的解，则有证明：由f l(k)的定义及(1)式可知由算法1得出引理3 若假设(A3)成立，且存在常数ε＞0，使得‖g k‖＞ε，则∀k，必有=0.证明：由算法1及引理2知，∀k记上式中μτε=N，由上式可知，存在正整数n，使得由引理1及函数f l(k)的定义知则有下式再有{f l(k)}非增且收敛知∀k≥k 0，下式成立：=ε只对有限个k成立，故存在一个k 0，使得所以＜+∞ 成立，则由n任意性以及Δj＞0，i=0，1，2，…，得定理1 若假设(A1)、(A2)、(A3)成立，则‖g k‖=0.证明：假设结论不成立，则存在正常数ε，使得∀k，‖g k‖≥ε，由引理3知=0，因为‖sk‖＜Δk，故‖sk‖=0.又因为{‖bk‖}，{‖B k‖}有界，由文献[6]知：再由(2)式知：当k→∞时=Δ，k所以：pred k(sk)≥τεΔk.由文献[6]可知：再结合(6)式，则当k→∞时，由0，而由算法1知，此时Δk+1≥Δk，这和(5)式矛盾，故limk→∞inf‖g k‖=0.定理2 若假设(A1)、(A2)、(A3)成立，▽2f(x)是lipschitz连续的，对所有的k，Bk=▽2f(x k)，x k=x*，▽2 f(x*)正定，则Q-二次收敛于x*.证明：因为x k=x*，▽2f(x*)是正定.令}，假设集合H有无穷多个元素，由文献[4]知lim k→∞‖sk‖=0.又因为▽2f(x)是lipschitz连续的，则对任意x，y：其中L为lipschitz常数，对充分大的k，结合(7)式有.其中ζ∈(x k，x k+sk)，由引理2可知又因为→1＞μ，由算法1可知Δk+1≥Δk，和(5)式矛盾，故对充分大的k，有≤Δk成立.于是对充分大的算法采用牛顿下降步，即{x k}Q-二次收敛.4 数值实验运用算法1对下列目标函数的无约束极小化问题进行试算：(ⅰ)Conicfunction(ⅱ)Cubefunction(ⅲ)Bealfunction这里y 1=1.5，y 2=2.25，y 3=2.625.(ⅳ)Rosenbrockfunction本文对上述四个函数进行数值实验，在相同的条件下与传统的锥模型信赖域算法进行比较，在Matlab7.0环境下编制程序，得到了表1的数值结果.参数选择如下：Δ0=1，Δmax=10，u=0.75，M=5，c 1=0.4，c 2=0.8，c 3=2，β=0.5，α=0.1，ε=10-4，b 0=[0，0，…]T，B 0=1.表1 改进的锥模型信赖域算法数值结果Functionname x 0 Usualconicmodelalgorithm Newalgorithm ng/nf ‖g‖ ng/nf ‖g‖Conic(-1，10) 15，19 2.0525e-006 14，18 6.2910e-009(-1.5，3.06) 11，12 6.8976e-011 11，12 5.1933e-008 Cube(-1.0，2.1) 32，40 5.9053e-005 35，422.9053e-006(1.2，1.5) 16，19 2.3782e-005 16，19 2.3782e-007 Beale(1，1) 9，10 2.5555e-006 9，10 5.8312e-006(2，-2) 9，9 2.0307e-006 9，91.7132e-005(-1.2，1) 34，38 6.3032e-006 34，36 5.5580e-008 Rosen-brock (2，-2) 19，212.1662e-005 18，18 1.1979e-006(6.39，-0.221) 26，32 6.3760e-005 22，31 1.7530e-006表1中x 0是随意选取的初始值，ng、nf分别是函数梯度和目标函数的迭代次数，‖g‖是迭代的最终梯度值的范数，数值结果表明，该算法除了Rosen-brock 函数，其他函数在迭代次数上基本没有什么变化，但函数的梯度精度都有所提高，进一步改进了信赖域算法.【相关文献】[1]袁亚湘，孙文瑜.最优化理论与方法[M].北京：科学出版社，1997.[2]孙文瑜，徐贤成，朱德通.最优化方法[M].北京：高等教育出版社，2011.[3]柯小伍，韩继业.无约束优化的一类非单调信赖域算法[J].中国科学(A)，1998，28(6)：488-492.[4]刘培培，陈兰平.一类拟牛顿非单调信赖域算法及收敛性[J].数学进展，2008，(1)：92-100.[5]李正峰，邓乃扬.基于锥模型的一般信赖域算法收敛性分析 [J].系统科学与数学，1998，18(2)：247-252.[6]张建科，刘三阳.一类锥模型非单调信赖域算法及收敛性分析[J].应用数学，2005，(S1)：13-17.[7]陆晓平，倪勤，刘浩.解新锥模型信赖域子问题的折线法 [J].应用数学，2007，30(5)：855-871.[8]诸梅芳，薛毅，张凤圣.锥模型的拟牛顿型信赖域算法及收敛性.高等学校计算数学学报，1995，(17)：36-47.[9]朱帅，朱世昕，王希云.基于新锥模型带固定步长的非单调自适应信赖域算法 [J].西南民族大学学报：自然科学版，2012，38(1)：44-49.[10]王开荣，曾刘拴.基于锥模型的非单调自适应信赖域算法[J].华中师范大学学报，2015，49(2)：171-178.[11]郑跃，刘君娥.一类新的非单调信赖域算法 [J].高等数学研究，2008，11(4)：74-76.[12]党亚峥，景书杰.解无约束最优化问题的一个非单调的新的BFGS信赖域算法 [J].河南理工大学学报：自然科学版，2006，25(5)：429-432.。
一个解非线性方程组新的非单调自适应信赖域法
一个解非线性方程组新的非单调自适应信赖域法刘宁;马昌凤;唐江花;陈金雄【摘要】本文利用函数平均权重的非单调技术以及自适应信赖域方法,提出一个解非线性方程组的非单调自适应信赖域法.并在适当假设条件下,讨论了算法的全局收敛性.数值试验表明了算法是有效的.%In this article, by using the nonmonotonic techniques of weighted average of successive function values and the method of adaptive trust-region, a new nonmonotone automatic determination trust region method for nonlinear equations is presented. Under suitable suppose condition, the global convergence properties of this algorithm are given. Numerical experiments indicate that the algorithm is effective.【期刊名称】《数学杂志》【年(卷),期】2012(032)005【总页数】7页(P844-850)【关键词】非线性方程组;非单调技术;信赖域方法;全局收敛性【作者】刘宁;马昌凤;唐江花;陈金雄【作者单位】桂林电子科技大学数学与计算科学学院,广西桂林541004;桂林电子科技大学数学与计算科学学院,广西桂林541004;福建师范大学数学与计算机科学学院,福建福州350007;桂林电子科技大学数学与计算科学学院,广西桂林541004;武夷学院数学与计算机系,福建武夷山354300【正文语种】中文【中图分类】O224考虑非线性方程组问题其中F:Rm→Rn是连续可微函数.非线性方程组问题广泛的应用于地球科学,水利科学,生命科学等自然科学领域和经济金融等社会科学领域,针对该问题的重要性,目前产生了许多有效的方法,如信赖域方法,Levenberg Marquardt方法,拟牛顿方法,牛顿方法等[1−6].为了求解(1.1),首先将其等价转化为求解以下无约束最小化问题:选取(1.2)式在x处的信赖域子问题:其中Fk=F(xk),Jk=F0(xk),Δk为信赖域半径.目前有相当量关于非线性方程组方法的文献,如文献[4]提出了一个信赖域半径取为Δk=cpkgkkkBk−1k的非单调自适应信赖域算法,其中c∈(0,1),p＞0.该算法在试探步成立时,置p=0,反之,置p=p+1.在适当假设条件下,算法具有全局收敛性和超线性收敛性;文献[5]针对非线性方程组提出了一个自适应的Levenberg Marquardt方法,该方法选取µk=αkkFkkδ作为LM 参数,并证明所提算法具有全局收敛性,以及在不需要非奇异的假设条件,而是采用较弱的局部误差界条件,获得算法在δ∈(0,1)具有局部超线性收敛性,在δ∈[1,2]具有局部二次收敛性;文献[6]针对非线性方程组将文献[5]中关于信赖域半径选择的技巧与文献[7]中关于LM方法的参数更新技巧结合起来获得一个结合信赖域技术的修正Levenberg Marquardt方法,所提算法有全局收敛性,同时在局部误差界条件下获得该算法的局部收敛性.本文结合文献[8]的基于函数平均权重的非单调技术与自适应信赖域方法,提出一个求解非线性方程组新的非单调自适应信赖域算法,试验证明算法的有效性.本节提出一个求解非线性方程组的非单调自适应信赖域算法.算法1(非单调自适应信赖域算法)步 1 给定x1∈Rn,ηmin∈ [0,1),ε＞0,ηmax∈ [ηmin,1),C1= ϕ(x1),Q1=1,µ∈ (0,1),k:=1.步2若kgkk≤ε,停止.步4 xk+1=xk+dk(Δk),其中Δk 是在{sk,skρ,skρ2,...} 中最大Δ 使得其中dk(Δ)是信赖域子问题的一个解其中gk=∇ϕ(xk).步 5 选择ηk∈ [ηmin,ηmax],置k=k+1.以下将证明算法1的全局性,首先给出一个有用的假设.假设H:(1)水平集L1={x∈Rn|ϕ(x)≤ϕ(x1)}有界;(2)序列{x}是有界序列(见文献[4]).由假设H可得到序列Bk是一致有界,即存在M ＞0,使得∀k,有kBkk≤M(见文献[4]).引理1[9]dk(Δ)是信赖域子问题(2.1)的一个解,那么有下面式子成立,引理2若假设H成立,序列{xk}由算法1产生,那么ϕ(xk+1)≤Ck+1≤Ck.由(2.2),(2.3)以及(3.1)式得由(2.2)式有(Ck+1−Ck)ηkQk=ϕ(xk+1)−Ck+1,即有.再结合(2.3),(3.2)有ϕ(xk+1)≤Ck+1.从而∀k,有ϕ(xk+1)≤Ck+1≤Ck.引理3设序列{xk}由算法1产生,且是无穷的,那么{xk}⊂L1.证假定xk∈L1,而由算法有rk≥µ.即由引理2以及C1=ϕ(x1)有ϕ(xk+1)≤ϕ(x1).从而有xk+1∈L1,∀k,有xk∈L1.命题得证.推论1若假设H成立,那么{Ck}收敛的.证由引理2,有ϕ(xk+1)≤Ck+1≤Ck.而由假设H知{ϕ(xk)}有界,再根据引理3所以{Ck}收敛.引理4如果假设条件H成立,则算法是适定的.即算法是有限终止的.证要证算法是适定的,只需证明对于充分小的Δ都有rk≥µ.于是由F(x)连续可微性以及(1.3)式有于是有从而由引理2,(3.3)式有故引理得证.定理1如果假设H成立,算法1有限终止或者产生一个无限序列{xk}满足证 (反证法)假设算法不能有限终止,假定存在一个无穷集K⊂{1,2,...}与常数δ1,使得∀k∈K 有在第k迭代点,假设k,其中mk是非负整数由算法步4得rk≥µ,∀k∈K.从而由式(3.1),(3.5)以及引理1有由引理2和推论1有序列{ϕ(xk)}和{Ck}是收敛的,那么有这就意味着由假设H知kBkk≤M,故由算法步3和(3.5)式可得于是由(3.8),(3.9)式得,存在k0使mk→∞,k∈K,k≥k0.不妨设mk≥1,从而由算法1,若d0k是以下信赖域子问题这与(3.10)式相矛盾,故使(3.5)式成立的无穷集K 不存在.证毕.为了验证该算法的有效性,本节将选取一些测试问题[10]进行实验,并与一般的信赖域方法进行比较.这里的一般信赖域方法为文献[11]的算法2.2.程序的设计采用的是Matlab 7.0进行编译.以下给出一些记号:UTR:算法2.2;NMTR:算法1;NT:算法2.2的迭代次数;FUTR:算法2.2终止时函数的范数值;NIT:算法1的迭代次数;FNMTR:算法1终止时函数的范数值.NMTR的参数选取如下:ρ=0.75,µ=0.01,ηk=0.75,ε=10−5;而UTR的参数选取为η=0.1,c0=0.001,c1=2,c2=c3=0.25,c4=0.5,ε=10−5,Bk采用BFGS拟牛顿进修正,而信赖域半径Δk+1的更新采用例1考虑非线性方程组f(x)=0,其中选取不同的初始点和维数,数值结果如下表例2离散两点边值问题选取不同的初始点和维数,数值结果如下表以上的数值结果表明,在初始点相同的情况下,对于不同的维数,非单调信赖域算法的计算效率比一般的信赖域算法要高.并且从数值实验中我们可以发现新算法也是比较稳定的.【相关文献】[1]马昌凤.求解非线性互补问题的一个非精确信赖域方法[J].数学杂志,2006,26(1):113–116.[2]Brezinski C.A classi fi cation of quasi-Newton methods[J].NumericalAglorithms,2003,33:123–135.[3]Zhang Xiangsun,zhang Juliang,Liao Lizhi.An adaptive trust region method and its convergence[J].Science in China(Series A),2002,45(5):620–631.[4]刘洪伟.基于非单调自适应信赖域法求解非线性方程组[J].应用数学学报,2008,29(4):326–328.[5]Fan Jinyan.Convergence rate of the trust region method for nonlinear equations under local error bound condition[J].Computational Optimization and Applications,2005,34:215–227.[6]张华仁,李国维.一个结合信赖域技术的修正Levenberg-Marquardt方法[J].数值计算与计算机应用,2009,30(3):186–194.[7]Ma Changfeng,Jiang Lihua.Some research on Levenberg-Marquardt method for nonlinear equations[J]putation,2007,184:1032–1040.[8]Zhang H C,Hager W W.A nonmonotone line search technique and its application to unconstrained optimization[J].J.Optimization,2004,14(4):1043–1056.[9]Powell M J D.Convergence properties of a class of minimization algorithms[M].Non-Linear Programming.New York:Academic Press,1975:1–27.[10]余芝云,陈争,马昌凤.求解对称非线性方程组基于信赖域的修正牛顿法[J].福建师范大学学报,2010,26(1):22–27.[11]Yuan Yaxiang.On the convergence of trust region algorithms[J].Math.Numerica Sinica,1996,16:333–346.。
基于信赖域技术的非单调非线性共轭梯度算法
基于信赖域技术的非单调非线性共轭梯度算法孙清滢;徐敏才;刘丽敏【摘要】共轭梯度算法由于其迭代简单和较小的存储在求解大规模无约束优化问题中起着特殊的作用.本文基于信赖域技术和修正拟牛顿方程,结合Zhang非单调策略,设计了一种新的求解无约束最优化问题的基于信赖域技术的非单调非线性共轭梯度算法.该算法每次迭代自动产生信赖域半径,并通过求解一个简单的子问题得到下一个迭代点,信赖域技术的应用保证了算法的全局收敛性.新算法具有算法稳定、计算简单的特点,可用于求解病态和大规模问题.数值实验表明算法是有效的.%The conjugate gradient method has played a special role for solving the large scale unconstrained optimization problems due to the simplicity and the low storage. In this paper, based on the trust region technique and the modified quasi-Newton equation, a new non-monotone nonlinear conjugate gradient method for the unconstrained optimization problem is presented by combining with Zhang's non-monotone strategy. In each iteration, the new algorithm generates a suitable trust region radius automatically and obtain the next iterate by solving a simple subproblem. The trust region approach is used in the new algorithm to guarantee the global convergence. The new method has stable convergence and simple computation, so as to solve the ill-posed and large scale problems. The numerical results show that the new method is effective.【期刊名称】《工程数学学报》【年(卷),期】2011(028)005【总页数】7页(P686-692)【关键词】共轭梯度法;非单调步长规则;收敛性;线性收敛速度【作者】孙清滢;徐敏才;刘丽敏【作者单位】中国石油大学理学院,青岛266555;中国石油大学理学院,青岛266555;中国石油大学理学院,青岛266555【正文语种】中文【中图分类】O221.21 引言考虑无约束最优化问题其中f(x):Rn→R1是一阶连续可微函数．求解问题(1)的非线性共轭梯度算法，结构简单，收敛速度快，存储量小，适于求解大规模问题[1,2]．记gk=∇f(xk)，其迭代公式为其中αk为步长可通过某种策略确定，dk为搜索方向，其公式为这里βk为参数，不同的βk对应不同的共轭梯度法，著名有FR,PRP,HS,CD,DY[3]共轭梯度法．近年来，伴随着大规模优化问题出现，人们对共轭梯度法的研究逐渐活跃，建立收敛性好，数值效果有效且稳定的共轭梯度法是人们追求的目标，由此产生了一些新的共轭梯度算法．如Yuan和Stoer[4]将搜索方向dk在二维子空间span{gk,dk−1}上确定，即其中γk,βk为参数，得到一种新的共轭梯度算法．受其启发，张祖华和时贞军[5]基于信赖域技术提出了一种数值效果比FR,PRP,HS,CD,DY共轭梯度算法有效的新的单调下降的共轭梯度算法，并分析了算法的全局收敛性．基于拟牛顿条件，1988年，Barzilai和Borwein[6]提出了数值效果好且适于求解大规模问题(1)的两点步长梯度法(BB算法)．近年来，基于修正拟牛顿方程的非拟牛顿算法的研究亦吸引了不少国内外学者．Yuan[7]提出了一种修正的BFGS方法，赵云彬[8]等提出了一种伪Newton-δ族，陈兰平，焦宝聪[9,10]提出了一些新的非拟牛顿算法．最近，Wei[11]利用目标函数f(x)的Taylor展开式给出如下非拟牛顿方程易见，当Ak=0时，(5)即为拟牛顿方程．借助拟牛顿算法的对Hk=Bk− 1的修正技巧和对角稀疏拟牛顿算法的思想，给出Bk的新的修正形式．设Bk为对角稀疏正定矩阵，令其中△Bk为对角矩阵，为保证Bk+1的正定性，限制Bk+1=diag(b1k+1,b2k+1,···,bnk+1)取值，即Bk+1近似满足修正拟牛顿方程非单调线搜索技术由于其有利于获得全局最优解和算法的快速收敛而受到许多最优化爱好者的青睐[12-17]．最近，Zhang和Hager[18]改进了传统非单调技术中的参考值的选取，提出了一种新的非单调线搜索技术其中这里ηk−1∈ [ηmin,ηmax], ηmin ∈ [0,1)和ηmax ∈ [ηmin,1]是两个参数，β ∈ (0,1)为常数．本文将基于信赖域技术，结合Zhang的非单调策略，改进文献[5]的算法，设计一种新的求解问题(1)的非单调共轭梯度算法，分析算法的全局收敛性和线性收敛速度，用数值实验验证算法的有效性．2 算法基于信赖域技术的Zhang[18]非单调共轭梯度算法TRCG，有：步0 选取µ∈(0,1),ρ∈(0,1)，对任意的x0∈Rn,ηmin∈[0,1),ηmax∈[ηmin,1],0lt;Lminlt;Lmax,B0=In，令k:=0；步1 若∥gk∥=0，则停止迭代；否则，转步2；步2 令xk+1=xk+dk(αk)，这里αk 为{1,ρ,ρ2,···}中满足下式的最大者其中Ck由式(13)和式(14)确定．又而(γ,β)T∈R2为下列问题之解令k:=k+1，转步3；步3 利用式(11)修正Bk得Bk+1，选取ηk∈ [ηmin,ηmax]，令k:=k+1，转步1．3 全局收敛性首先对目标函数f(x)做如下假设：(H1) 目标函数f(x)在Rn上有下界；(H2) 目标函数的梯度g(x)=∇f(x)在包含水平集L(x0)={x∈Rn|f(x)≤f(x0)}的开凸集B上Lipschitz连续，即存在Lgt;0满足在以上假设条件下，可以证明如下结论．引理1 假设(H2)成立，xk,xk+dk∈B，则引理2 设dk(α)是问题(17)之最优解，则引理3 设{xk}是由算法TRCG产生的序列，则有f(xk+1)≤Ck,∀k；f(xk)≤Ck,∀k；{Ck}是单调不增序列．定理1 假设(H1)和(H2)成立，{xk}是由算法TRCG产生的无穷点列，则4 线性收敛速度线性收敛速度分析需要以下假设条件：(H3)f(x)是强凸函数，即存在常数rgt;0满足定理2 假设(H1)-(H3)成立，{xk,αk,gk,dk}是由算法TRCG产生的序列，则存在θ∈(0,1)满足：f(xk)− f(x∗) ≤ θk(f(x0)− f(x∗)), ∀ k，即{f(xk)}R-线性收敛于f(x∗)，其中x∗是问题(1)的惟一最优解．证明仿照文献[18]定理3.1易证．5 数值实验本节从网站：www.ici.ro/camo/neculai/SCALCG/testuo.pdf选择了2个算例，利用Matlab编制程序在Pentium III 933机器上对本文算法进行数值实验，并与参考文献[5]中的算法进行比较．在算法TRCG中，当Ak取式(7)、式(8)和Ak=0时，分别记为TRCG(1)、TRCG(2)、TRCG(0)．当ηk≡0时，算法分别变为其对应的单调算法，分别记为MTRCG(1)、MTRCG(2)、MTRCG(0)．令B=LkIn，其中则本文算法退化为文献[5]中算法的非单调形式，记为NZSCG．当ηk≡0时，算法变为文献[5]的单调算法，记为ZSCG，因此TRCG可看作文献[5]算法ZSCG的推广．取很大，则ηk−1就会很小，算法就趋于单调性算法，从而较好地利用在xk点的信息．算法NZSCG和ZSCG中取L0=6．算法终止准则采用∥gk∥≤ 10−3，表1给出了维数n=5000,10000,20000时，例1和例2的计算结果．表1: 例1和例2的计算结果算例算法迭代次数CPU时间(s)最优值例1TRCG(1)/MTRCG(1)45/66 1.301/2.006 9.5530e-8/1.0671e-6 98/986.111/6.920 1.6933e-7/1.6933e-7 71/66 10.510/10.856 1.1011e-6/7.8716e-7 TRCG(2)/MTRCG(2)41/89 1.261/2.821 8.6364e-9/7.3153e-7 104/1047.625/7.656 2.8414e-7/2.8414e-7 76/93 11.277/13.450 9.8032e-7/1.1669e-6 TRCG(0)/MTRCG(0)51/94 1.466/3.256 1.2011e-10/7.5685e-7 154/154 9.636/10.134 1.0372e-6/1.0372e-6 115/115 15.252/16.963 1.0115e-6/1.0115e-6 NZSCG/ZSCG 146/157 0.987/1.301 1.0384e-6/1.3982e-6153/163 3.825/4.362 8.7102e-7/1.3794e-6 159/169 10.760/11.052 8.1474e-7/1.3608e-6例2 TRCG(1)/MTRCG(1)34/76 1.255/2.889 5.2486e-9/1.4078e0 30/37 2.271/2.921 8.7973e-9/2.1266e-8 37/59 5.546/8.652 2.4420e-9/1.9451e0 TRCG(2)/MTRCG(2)33/65 1.241/2.448 2.2460e-9/3.2273e029/29 2.195/2.323 1.5753e-8/2.2000e-8 29/58 5.078/8.739 1.4906e-8/1.9451e0 TRCG(0)/MTRCG(0)37/57 1.315/2.018 1.7894e-8/1.6722e030/30 2.435/2.495 3.3208e-9/7.5286e-9 41/102 6.048/11.105 4.4957e-9/2.4166e0 NZSCG/ZSCG 62/70 1.178/1.358 2.8442e-8/2.5545e-8 64/722.331/2.615 2.5971e-8/2.5407e-8 66/74 4.065/4.965 2.3726e-8/2.5284e-8本文基于信赖域技术和修正拟牛顿方程，结合Zhang[18]非单调策略，设计了一种新的求解无约束最优化问题的非单调共轭梯度算法，分析了算法的收敛性和线性收敛速度，数值实验表明算法是有效的．新非单调算法需要较少的存储量、计算量、迭代时间和迭代次数，目标函数值更接近于最优值，新非单调算法不比单调算法差，对有些算例优势明显，因此新算法适合于大规模问题的计算．参考文献：【相关文献】[1]袁亚湘，孙文渝.最优化理论与方法[M].北京：科学出版社，1997 Yuan Y X,Sun W Y．Optimization Theory and Methods[M]．Beijing:Science Press,1997[2]戴彧虹，袁亚湘.非线性共轭梯度法[M].上海：上海科学技术出版社，2000 Dai Y H,Yuan Y X．Nonlinear Conjugate Gradient Method[M]．Shanghai:Shanghai Science and Technology Press,2000[3]Dai Y H,Yuan Y X.A nonlinear conjugate gradient method with a strong global convergence property[J].SIAM Journal on Optimization,1999,10(1):177-182[4]Yuan Y X,Stoer J.A subspace study on conjugate gradient algorithms[J].Zeitschrift f¨ur Angewandte Mathematik und Mechanik,1995,75(1):69-77[5]张祖华，时贞军.解无约束优化的一种新的共轭梯度法[J].数学进展，2009,38(3):340-344 Zhang Z H,Shi Z J．A new conjugate gradient method for unconstrainedoptimization[J]．Advances in Mathematics,2009,38(3):340-344[6]Barzilai J,Borwein J M.Two-point step size gradient methods[J].IMA Journal ofNumerical Analysis,1988,8:141-148[7]Yuan Y X.A modif i ed BFGS algorithm for unconstrained optimization[J].IMA Journal of Numerical Analysis,1991,11:325-332[8]赵云彬，易正俊.伪Newton-δ族的导出和全局收敛性[J].数值计算与计算机应用，1995,16:53-62 Zhao Y B,Yi Z J．Derivation and global convergence for pseudo-Newton-δclass[J]．Journal of Numerical Methods and Computer Applications,1995,16:53-62[9]陈兰平，焦宝聪.一类非拟Newton算法及其收敛性[J].应用数学与计算数学学报，1997,2:9-17 Chen L P,Jiao B C．A class of non-quasi-Newton methods and itsconvergence[J]．Communication on Applied Mathematics and Computation,1997,2:9-17 [10]陈兰平，焦宝聪.非拟牛顿非凸族的收敛性[J].计算数学，2000,3:369-378 Chen L P,Jiao B C．Convergence properties of the preconvex part of non-quasi-Newton’sfamily[J].Mathematica Numerica Sinica,2000,3:369-378[11]Wei Z,Li G,Qi L.New quasi-Newton methods for unconstrained optimization problems[J].Applied Mathematics and Computation,2006,175:1156-1188[12]Grippo L,Lampariello F,Lucidi S.A nonmonotone line search technique for N ewton’s method[J].SIAM Journal on Numerical Analysis,1986,23(4):707-716[13]Dai Y H.On the nonmonotone line search[J].Journal of Optimization Theory and Applications,2002,112:315-330[14]Dai Y H.A nonmonotone conjugate gradient algorithm for unconstrained optimization[J].Journal of Systems Science and Complexity,2002,15:139-145[15]Sun Q Y.Global convergence results of a three term gradient method with a non-monotone line search technique[J].ACTA Mathematica Scientia,2005,25B(1):170-178 [16]孙清滢，崔彬，王长钰.新非单调线搜索规则的Lampariello修正对角稀疏拟牛顿算法[J].计算数学，2008,30(3):255-268 Sun Q Y,Cui B,Wang C Y．Global convergence results of Lampariello modif i ed diagonal-spare quasi-Newton method with new non-monotone step size rule[J]．Mathematica Numerica Sinica,2008,30(3):255-268[17]孙清滢，郑艳梅.大步长非单调线搜索规则的Lampariello修正对角稀疏拟牛顿算法的全局收敛性[J].数学进展，2008,37(3):311-320 Sun Q Y,Zheng Y M．Global convergence results of Lampariello modif i ed diagonal-spare quasi-Newton method with large non-monotone-step size rule[J]．Advances in Mathematics,2008,37(3):311-320[18]Zhang H C,Hager W W.A nonmonotone line search technique and its application to unconstrained optimization[J].SIAM Journal on Optimization,2004,14(4):1043-1056。
一类新的带记忆模型的非单调信赖域算法
一类新的带记忆模型的非单调信赖域算法
易存晓;胡永才
【期刊名称】《计算机工程与科学》
【年(卷),期】2008(030)002
【摘要】本文就无约束优化问题提出了一个带记忆模型的非单调信赖域算法.与传统的非单调信赖域算法不同,文中的信赖域子问题的逼近模型为记忆模型,该模型使我们可以从更全面的角度来求得信赖域试探步,从而避免了传统非单调信赖域方法中试探步的求取完全依赖于当前点的信息而过于局部化的困难.文中提出了一个带记忆模型的非单调信赖城算法,并证明了其全局收敛性.
【总页数】3页(P70-71,150)
【作者】易存晓;胡永才
【作者单位】河南工业职业技术学院数学系,河南,南阳,473009;河南工业职业技术学院数学系,河南,南阳,473009
【正文语种】中文
【中图分类】O221.2
【相关文献】
1.一类新的带非单调线搜索的信赖域算法 [J], 曾宪廷
2.无约束优化问题的一类带线搜索的非单调信赖域算法 [J], 王春梅
3.基于新锥模型的带固定步长的非单调自适应信赖域算法 [J], 朱帅;朱世昕;王希云
4.一类新的带线搜索的自适应非单调信赖域算法 [J], 赵绚;王希云
5.一类新的带线搜索的非单调自适应信赖域算法 [J], 景书杰;苗荣
因版权原因，仅展示原文概要，查看原文内容请购买。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
工程数学学报
CHINESE JOURNAL OF ENGINEERING MATHEMATICS
Vol. 35 No. 5 Oct. 2018
doi: 10.3969/j.issn.1005-3085.2018.05.002
文章编号: 1005-3085(2018)05-0502-13
L，则 △bik
=
L − bik；若
yik sik
>
L，则 △bik
=
L − bik．当 sik
=
0 时，取 △bik
=
0．
近年来，伴随着大规模优化问题的出现，人们对共轭梯度法的研究逐渐活跃，
如 Yuan 和 Stoer[10] 将搜索方向 dk 在二维子空间 span {gk, dk−1} 上确定，即
Bk+1sk = yk,
(7)
其中
yk = yk + Aksk, yk = gk+1 − gk, sk = xk+1 − xk,
Ak
=
vk I, ∥sk ∥2
vk = 2(fk − fk+1) + (gk+1 − gk)T sk,
孙清滢等[9] 给出了 Bk 的一种近似：设 Bk = diag(b1k, b2k, · · · , bnk ) 是实对角正定矩阵， 令 Bk+1 = Bk + △Bk，其中 △Bk = diag(△b1k, △b2k, · · · , △bnk ) 是实对角矩阵，从而 Bk+1 是对角矩阵且要求近似满足如下方程
关键词: 共轭梯度算法；非单调策略；全局收敛；收敛速度
分类号: AMS(2010) 90C30
中图分类号: O221.2
文献标识码: A
1 引言
考虑无约束优化问题
(P) : min f (x), x∈Rn
其中 f (x) : Rn → R1 为非线性的连续可微函数．共轭梯度法是求解问题 (P) 的一类非常有 效的算法[1,2]，其迭代公式为
一类新的基于信赖域技术的非单调共轭梯度算法∗
高苗苗1, 宫恩龙2, 孙清滢1, 王真真1, 杜小雨1
(1- 中国石油大技术学院，青岛 266100)
摘 要: 为有效求解大规模无约束优化问题，本文基于信赖域技术和修正拟牛顿方程，同时结 合 Zhang H. C. 策略和 Gu N. Z. 策略，设计了一种新的非单调共轭梯度算法，应用信 赖域技术保证了算法的稳健性和收敛性，并给出了算法的全局收敛性分析．在适当条 件下，证明了该算法具有线性收敛性．数值实验表明新算法能够有效求解病态和大规 模问题．与单独结合其中一种非单调策略的算法相比，新算法需要较少的迭代次数和 运行时间，利用其得到的函数值与最优值更接近．
min
∑n ((bik + △bik)sik − yik)2,
(8)
L≤bik+△bik≤L,i=1,2,··· ,n i=1
504
工程数学学报
第35卷
其中 0
<
L
<
L 为常数，解之得：当 sik
̸=
0 时，若 L
≤
yik sik
≤
L，则 △bik−1
=
yik sik
− bik；
若
yik sik
<
为 Gu N. Z. 策略
f (xk + αdk) ≤ Dk + δαgkT dk,
(4)
其中
f (xk),
k = 0,
Dk = ηDk−1 + (1 − η)f (xk), k ≥ 1,
(5)
这里 δ ∈ (0, 1), η ∈ (0, 1) 是两个常数．在该线搜索技术中，当前非单调项是前一非单调项 和当前目标函数值的凸组合，而不是 Zhang H. C. 策略中的前 k 项目标函数值的凸组合．
信赖域技术的引入能保证算法的稳健性和收敛性．信赖域方法最早由 Powell[6] 提出，
试探步的求解是信赖域方法的关键组成部分之一．试探步一般是一子问题的解，通常的信
赖域子问题模型如下
min
d∈Rn
mk(d)
=
f (xk)
+
gkT d
+
1 2
dT
Bk
d,
(6)
s.t. ∥d∥ ≤ △k,
其中 Bk 为目标函数的 Hesse 矩阵或其近似，△k ≥ 0 为信赖域半径，∥ · ∥ 一般指 2-范数． 子问题 (6) 求解的困难之处在于 Bk 是一个一般的实对称矩阵，结合对角稀疏拟牛顿技 巧[7] 和修正拟牛顿方程[8]
dk = −γkgk + βkdk−1,
其中 γk, βk 为参数，得到一种新的非线性共轭梯度算法．受其启发，张祖华和时贞 军[11] 基于信赖域技术提出了一种单调下降的共轭梯度算法，证明了算法的收效性，并对 算法进行了数值实验．之后，孙清滢等[9,12] 提出了基于信赖域技术的非单调共轭梯度算 法，分析了算法的收敛性和收敛速度．
其中
f (xk),
k = 0,
Ck = (ηk−1Qk−1Ck−1 + f (xk))/Qk, k ≥ 1,
(2)
1,
k = 0,
Qk = ηk−1Qk−1 + 1, k ≥ 1,
(3)
这里 ηk−1 ∈ [ηmin, ηmax] 为一参数，ηmin ∈ (0, ηmax) 和 ηmax ∈ (0, 1) 是两个常数，σ ∈ (0, 1) 为常数．Gu 和 Mo[5] 在上述策略的基础上提出了另外一种非单调线搜索技术，简记
xk+1 = xk + αkdk, k = 0, 1, 2, · · · ,
−gk,
dk = −gk + βkdk−1,
k = 0, k ≥ 1,
其中 dk 为搜索方向，gk 为 f (x) 在 xk 点的梯度，βk ∈ R 为共轭梯度参数，αk 为步长，可 通过某种策略确定．
步 长 αk 的 选 取 是 保 证 算 法 全 局 收 敛 性 的 一 个 重 要 因 素 ， 由 于 非 单 调 线 搜 索 技 术有利于算法的快速收敛，许多最优化学者对其进行了研究．传统的非单调策略 由 Grippo 等[3] 提出，随后，Zhang 和 Hager[4] 对传统非单调策略中的参考值进行改进， 提出了新的非单调线搜索技术，为方便将其简记为 Zhang H. C. 策略
f (xk + αdk) ≤ Ck + σαgkT dk,
(1)
收稿日期: 2016-04-25. 作者简介: 高苗苗 (1991年3月生)，女，硕士. 研究方向：运筹学与控制论. ∗基金项目: 国家自然科学基金 (61201455).
第5期
高苗苗，等：一类新的基于信赖域技术的非单调共轭梯度算法
503