组合优化近似搜索算法中的超启发式发展趋势

文章编号:100622475(2004)0620007205

收稿日期:2003206230

作者简介:李菊芳(19782),女,河南林州人,国防科技大学人文与管理学院博士研究生,研究方向:系统管理与综合集成技术,智能优化算法;谭跃进(19582),男,湖南长沙人,教授,博士生导师,研究方向:系统管理与综合集成技术。

组合优化近似搜索算法中的超启发式发展趋势

李菊芳,谭跃进

(国防科技大学人文与管理学院系统工程研究所,湖南长沙　410073)

摘要:对组合优化中近似搜索算法采用的超启发式策略进行了总结和分类,并着重从强化和变化两个概念出发分析了不同超启发式的优缺点,探讨了其发展趋势,目的是为开发博采众长的混合近似搜索算法提供参考和指导。关键词:近似搜索算法;超启发式;强化;变化;混合算法中图分类号:TP301.6 文献标识码:A

U ptrend on Metaheuristics in Approxim ate Search Algorithms for Combinatori al Optimization

LI Ju 2fang ,T AN Y ue 2jin

(Institute of Management Science ,National University of Defense T echnology ,Changsha 410073,China )

Abstract :This paper classifies and summarizes the metaheuristics in approximate search alg orithms for combinatorial optimization ,and em phasizes analyzing s ome strengths and weaknesses of different approaches from tw o concepts as intensification and diversification.The purpose is to find the uptrend and provide s ome references and guidance for developing hybrid alg orithms combining strengths of different mataheuristics.

K ey w ords :approximate search alg orithm ;metaheuristic ;intensification ;diversification ;hybrid alg orithm

0　引　言

组合优化问题的求解算法可以分为两大类:一类

是精确算法,这类算法将对解空间进行完整搜索,可以保证找到小规模问题的最优解;另一类是近似算法,这类算法放弃了对解空间搜索的完整性,因此不能保证最终解的全局最优性。由于组合优化问题中大量存在着NP 2Hard 问题,因此精确搜索算法在问题规模较大时往往无法实现。而近似算法尽管不能证明解的最优性,但很多情况下却能够以合理的计算代价找出较好的近优解,因而逐渐被理论研究和实践应用所广泛关注。

组合优化问题的近似求解技术中,较常用、较有代表性的是邻域搜索(neighborhood search )算法,这类算法从某初始解出发,利用一些规则指导搜索过程反复对当前解的邻域进行搜索并替换当前解,最终逐步实现向最优解移动。基本局部搜索(basic local search )算法或称爬山法(hill climbing )可以看作是最简单的邻域搜索算法,它采用一种迭代式改进的简单

思想,以贪婪的方式在当前解的近邻中进行搜索,每步移动只接受比当前解更好的解。基本局部搜索的最大缺点在于其往往很快就会到达局部极值并终止整个搜索过程,从而放弃对解空间中其它区域的搜索,所找到的局部极值解则往往离全局最优解还有很大距离。针对这个缺点,许多改进的邻域搜索算法在基本局部搜索算法的基础上,采用了一些更好的规则和方法来指导搜索过程摆脱局部极值,实现在整个解空间中对优良解的探索,如模拟退火、禁忌搜索、遗传算法等等,它们所使用的用于指导搜索的规则和方法又被称为超启发式(metaheuristics )。目前对超启发式尚没有统一的标准定义,从字面理解,英文中heuristic (译为启发式)的意思是探索性过程或方法,而前缀meta 是超出、在一个更高层次的意思,算法中采用超启发式的目的是要在一个更高的层次对解空间进行探索。

总的说来,超启发式一般具有如下基本属性[2]:(1)它是一种指导搜索过程的策略;(2)其目标是高效地探索解空间来寻找最优(次优)解;(3)构造超启发

计算机与现代化

　2004年第6期

J IS UAN J I Y U XI ANDAIH UA

总第106期

式的技术从简单局部搜索过程到复杂的学习过程都可以使用;(4)它是近似的、非确定性的;(5)它包含了跳出局部搜索空间的机制;(6)其基本概念允许抽象层次的描述,不面向特定问题,有一定通用性;(7)它可以利用领域特定知识和/或搜索历史(记忆)使搜索有一定偏好。本文将针对几种典型的超启发式策略进行分析和比较研究。

1　对几种典型超启发式的分析比较

1.1　超启发式的分类

目前按照超启发式本身采用的原理可以将其分为两大类。一类可看作是对基本局部搜索算法的智能扩展,其目标是跳出局部极值并继续对解空间进行探索以期能够发现更好的解,例如模拟退火(S A),禁忌搜索(TS),变邻域搜索(Variable Neighborhood Search,VNS),导引式局部搜索(G uided Local Search, G LS)等等。这类超启发式的共同特点是:搜索时工作对象是单个解,搜索过程在搜索空间中描述了一条轨迹,因此又称轨迹法(T rajectory Method)。轨迹法着重于研究应用于解的邻域结构。另一类超启发式则采用了不同原理,它们包含了某种学习和进化的成分,以鉴别搜索空间中可能包含高质量解的区域,例如遗传算法(G A)等。这类超启发式的工作对象一般是多个解或者说是一个种群,搜索过程则描述了搜索空间中一个点集的进化,因此又称为基于种群的方法。

1.2　典型的轨迹法超启发式

采用轨迹法超启发式的搜索过程类似于离散动力学系统随时间的演化,算法从初始状态开始,依赖于所用策略的不同,在状态空间描述了不同的轨迹。简单算法产生的轨迹由两部分组成,一个不稳定阶段后达到一个吸引子,而高级算法生成更复杂的轨迹,不能用两阶段来划分。下面简要分析了几种典型的轨迹法超启发式算法。

1.2.1　模拟退火

模拟退火通常被认为是最老的用于组合优化的超启发式算法,它在基本局部搜索算法的基础上最先加入了明确的避免局部极值的策略,即允许以一定的概率接受次于当前解的解,接受的概率则决定于温度参数和一步移动的距离,温度参数的调节将使得对不好解的接受概率随搜索过程的不断进行逐渐降低。模拟退火的移动过程不依赖于先前的历史信息。

1.2.2　禁忌搜索

禁忌搜索是组合优化近似搜索中最常引用的超启发式算法之一,其明确使用了搜索历史信息,不仅用于避免局部极值,也用于加强搜索过程的探索性。禁忌搜索的基本思想是使用一个短期记忆即禁忌列表来保存关于最近到过的解的信息并禁止当前解返回它们,也就是说当前解的邻域被限制为禁忌列表以外的解,因此搜索过程被迫接受可能次于当前解的解从而移出当前搜索区域。禁忌列表是动态更新的,每一步移动后都将加入最新得到的解的信息并同时删除最老的禁忌成员。

1.2.3　新的更具探索力的算法

模拟退火和禁忌搜索都是广为熟知的超启发式算法,而最近几年以来,国外又出现了不少新颖的轨迹法超启发式策略,这里选择了其中较有代表性的几种算法加以较详细的分析。

1.变邻域搜索。

顾名思义,变邻域搜索[6]中包含了动态变化的邻域结构,算法较通用,自由度大,可针对特殊问题设计多种变型。算法第一步须首先设计若干邻域结构,这些邻域理论上可以随意选择,但通常是按照集合势(即邻域规模大小)的升序定义一个邻域序列并给出标号。然后即生成初始解,初始化邻域标号k=1并开始迭代过程。主循环由三个阶段组成:晃动(shak2 ing)、基本局部搜索和移动。晃动阶段将从当前解s 的第k个邻域中随机选择一个解s′作为基本局部搜索的起始点,基本局部搜索过程可以采用任意某个邻域结构而不限于算法所定义的那些,搜索结束后得到一个新的局部极值解s″,若该解优于s,则替换s,并重新从k=1开始下一次迭代,否则k加1后重新使用新的邻域结构开始晃动阶段。

晃动的目的是把当前解推离其所在的局部极值点的吸引域,为下一次局部搜索过程提供一个好的起点,但由于晃动的范围被限制在当前解的某个邻域内,它不会将当前解推离太远,从而避免成为完全随机的重新开始,也就是说晃动的结果可能在所产生的局部搜索的新起点中保留当前解的一些好的特性。

在解得不到改进的情况下采用动态邻域策略的依据是:搜索空间中由一种邻域定义给出的“好”地方可能恰好是由另一种邻域给出的“不好”的地方,进一步地,按照一种邻域结构得到的局部极值可能对另一种邻域结构来说不是局部最优的。VNS算法及其变型的关键在于对邻域结构的选择,所选择的邻域应能体现并表示搜索空间的不同特性,或者说从不同角度对搜索空间进行抽象。

可以借鉴模拟退火的思想通过改变移动的可接受准则来改进变邻域搜索,因为基本局部搜索中只接受更好解的准则不利于对搜索空间的有效探索。例如,除了总是接受改进解外,如果一个非改进的解与当前解的目标函数值相差不超过某个界限,也可以被接受。

8

　计　算　机　与　现　代　化2004年第6期