基于Hooke-Jeeves方法和最速下降法的组合最优化方法研究

Step2.
2 组合最优化方法 将最速下降法和Hooke-Jeeves方法进行组合，即先利用最
速下降法得到一个较接近目标值的解，然后将这个解作为初 始解代入Hooke-Jeeves方法中。在本文提出的组合最优化方法 中，一个关键问题就是利用最速下降法得到的解，怎样才算是 接近目标值的解，应该有一个标准去衡量。本文通过大量实验 知道对于不同的优化问题，这个标准是不一样的，即设置最速 下降法停止迭代的误差是不同的。
两种类型的搜索：坐标搜索和模式搜索。这两种搜索交替地进
行，直到满足终止条件。
Hooke-Jeeves方法的算法基本流程如下：
Step1 初始化： ε (e1, e2 ,L , en ) 为 个坐标方向，令 y = x0 ， k = 0 .
Step2 n 次坐标搜索： z0 = y ， z0 沿着 e1 进行搜索得到 z1 ， z1 沿着 e2 进行搜索得到 z2 ，按照此方式搜索得到 zn ， 令 xk +1 = zn .
3 实例验证
为了验证本文提出的组合最优化方法的优越性，通过下列
优化问题进行数值实验：
min s.t.
f (x) = x∈ R2
(x2 − x12 )2 + (1− x1)2 .
设置初始解x0=[7;7]，表1表示设置不同的误差值时，最速
下降法、Hooke-Jeeves方法、组合最优化方法的迭代次数。针
组合最优化方法
20 21 21 22 22
从表1我们可以看出，最速下降法的迭代次数随着误差值
的减小增加得很快，这也印证了最速下降法有越接近目标值时
下降得越慢的缺点，Hooke-Jeeves方法和本文提出的组合最优
化方法的迭代次数则比较稳定，但组合最优化方法的迭代次数
明显小于最速下降法、Hooke-Jeeves方法的迭代次数，这说明 了本文提出的组合最优化方法有着良好的收敛效率[1-8]。
1 最速下降法和Hooke-Jeeves方法
1.1 最速下降法
最速下降法是以负梯度方向作为下降方向的极小化算法， 所以又称梯度下降法，特别适合于低维空间的无约束最优化求 解问题[9]。
它的算法基本流程如下：
Step1 设置 ε > 0 ， xk = x0 ， k = 0 .
Step2 若 ∇f (xk ) < ε ，则停止迭代，输出最优解、最优值.
TECHNOLOGY AND INFORMATION
IT技术论坛
基于Hooke-Jeeves方法和最速下降法的组合最优化 方法研究
刘亮 叶佳驹 西南科技大学理学院 绵阳 621010
摘 要 在解决优化问题时，最速下降法是常用的最优化方法之一，但其越接近目标值，步长越小，前进越慢， 使迭代次数增多。而对于另外一种Hooke-Jeeves最优化方法而言，初值的选择对它的收敛速度有着很大的影响。因 此，本文将最速下降法与Hooke-Jeeves方法进行组合，先利用最速下降法得到一个较接近目标值的解，然后利用这 个解作为初始解代入Hooke-Jeeves方法中，以此得到规定误差内的最优解，从而达到提高收敛速度的目的。最后， 通过实例验证了本文提出的组合最优化方法的优越性。 关键词 最速下降法；Hooke-Jeeves方法；组合最优化方法
Step3 确定搜索方向： dk
=
−
∇f (xk ) ∇f (xk )
.
Step4 确定搜索步长，由 min s.t.
f (xk + α dk ) α >0
解出αk .
Step5 迭代：令 xk+=1 xk + αk dk , k= k +1 ，转Step2.
1.2 Hooke-Jeeves方法
Hooke-Jeeves模式搜索法[10]是一种直接搜索方法，它包含
4 结束语 本文从最速下降法以及Hooke-Jeeves方法的缺点出发，将
两者进行组合，从而提出一种组合最优化方法。该组合最优化 方法能有效避免最速下降法越接近目标值，前进越慢的缺点， 也能够保证无论最开始选的初始解为多少，最后的收敛速率都 比较稳定。最后，本文通过测试函数，验证了组合最优化方法 相比于最速下降法、Hooke-Jeeves方法有着更好的收敛效率。
科学与信息化2020年7月上 45
IT技术论坛
TECHNOLOGY与会议管理相结合的 优秀产物，具有无可比拟的优势。因此要科学设计智能会议管 理系统，并不断优化系统性能，推广智能会议管理系统在企业 会议中的应用。
参考文献 [1] 陈忠辉,席欣.智能会议管理系统的设计与实现[J].信息系统工
对此优化问题，在组合最优化方法中，设置最速下降法停止迭
代的误差 ε = 0.5 。
表1 三种方法迭代次数比较
误差值
（epsilon） 0.01 0.001 0.0001
0.00001 0.000001
最速下降法
39 55 72 116 118
Hooke-Jeeves方法
47 48 49 49 49
参考文献 [1] 孙文瑜,袁亚湘.最优化理论与方法[M].北京:科学出版社,1997:79. [2] 经红霞.无约束最优化问题的算法研究与实现[D].北京:北京邮电
大学,2013. [3] 梁昔明,赵旭芳.基于最速下降法改进的人工蜂群算法[J].北京建
筑大学学报,2018,34(3):49-56,62. [4] 于海艳,杜晓燕,卫佩佩.粒子群算法结合最速下降法的混合算法 （下转第48页）
Step3终止条件：若 xk+1 − xk < ε 或 f (xk ) − f (xk+1) < ε ，则
停止，输出最优解、最优值.
S t e p 4 模 式 搜 索 ： 搜 索 方 向 = d p xk+1 − xk ，
=y
xk +1 + α pd p ，其中 α p 由 min
s.t.
f (xk+1 + α d p ) 确定<然后转 α ≥0
程,2019(09):65. [2] 孙大伟.智能会议系统在会议管理中的应用[J].住宅与房地产,
2019(25):158. [3] 陈健.智能会议系统在会议管理中的应用[J].电子世界,2017
(18):197. [4] 潮洛蒙. 基于B/S的大型企业智能会议管理系统的设计与实现