计算智能及其前延进展综述

研究生课程论文(2015-2016学年第二学期)高级人工智能研究生：王志强学号201510105289学院计算机科学与工程课程编号B0812002课程名称高级人工智能学位类别博士任课教师文贵华教师评语：成绩评定：分任课教师签名：年月日说明1、课程论文要有题目、作者姓名、摘要、关键词、正文及参考文献。

论文题目由研究生结合课程所学内容选定；摘要500字以下，博士生课程论文要求有英文摘要；关键词3～5个；参考文献不少于10篇，并应有一定的外文文献。

2、论文要求自己动手撰写，如发现论文是从网上下载的，或者是抄袭剽窃别人文章的，按作弊处理，本门课程考核成绩计0分。

3、课程论文用A4纸双面打印。

字体全部用宋体简体，题目要求用小二号字加粗，标题行要求用小四号字加粗，正文内容要求用小四号字；经学院同意，课程论文可以用英文撰写，字体全部用Times New Roman，题目要求用18号字加粗；标题行要求用14号字加粗，正文内容要求用12号字；行距为2倍行距（方便教师批注）；页边距左为3cm、右为2cm、上为2.5cm、下为2.5cm；其它格式请参照学位论文要求。

4、学位类别按博士、硕士、工程硕士、MBA、MPA等填写。

5、篇幅、内容等由任课教师提出具体要求。

计算智能及其前延进展综述王志强摘要：计算智能是受到大自然智慧和人类智慧启发而设计出的一类算法的总称，这些算法通常用于寻找优化问题的近似最优解。

经典的计算智能算法以模拟退火算法、遗传算法、粒子群优化算法和蚁群算法为代表，该文前一部分以概述这些算法的基本思想方法为主。

黑洞优化算法(2013)和化学反应优化算法(2015)是发表于Information Sciences上的近年来有代表性的研究成果，该文的后一部分主要介绍了这两个算法的主要思想方法，评述了算法的优越性和局限性。

关键词：计算智能；黑洞优化算法；化学反应优化算法1.简介本节简要介绍了计算智能的基本概念和应用领域，第一小节试图简明地回答“计算智能是什么?”，第二小节试图简明地回答“计算智能有什么用?”。

1.1 什么是计算智能计算智能（Computation Intelligence）的相对正式的定义[1]最早在1992出版的《Approximate Reasoning》学报上由美国学者J.C.Bezdek提出：计算智能是一类依据研究者所能提供的数值化数据来进行分析计算的方法。

IEEE神经网络委员会于1994年夏在Orlando召开了IEEE首届国际计算智能大会（World Conference on Computational Intelligence），期间首次在技术范畴上统一了“计算智能”，将进化计算、人工神经网络和模糊系统三个领域合并在一起。

而与之相关的更为狭义的“智能计算”的概念[2]是人们受到自然规律的启迪，模仿其结构进行发明创造使之应用于问题的求解，其主要算法有：人工神经网络、模拟退火算法、遗传算法和群集智能技术等。

限于计算智能泛畴宽广，本文以智能计算（演化算法）为主要讨论内容：1953年Metropolis[3]等人提出模拟退火算法的思想，1983年Kirkpatrick等人将其应用于组合优化问题的求解[4]；1968年美国Michigo 大学John Holland教授提出了遗传算法[5]；1991年Dorigo等人提出了蚁群优化算法[6]；1995年Kennedy和Eberhart于1995年提出粒子群优化算法[7]。

其他有代表性的演化算法还包括：宇宙大爆炸算法[8]、智慧水滴算法[9]、蜜蜂社交算法[10]、曲谱算法[11]、引力优化算法[12]、萤火虫算法[13]、多目标蝙蝠算法[14]等。

此外，2013年和2015年Information Sciences杂志上分别发表了黑洞优化算法[15]和化学反应优化算法[16]。

1.2 计算智能的应用模糊技术、神经网络和演化算法是计算智能在工业中广泛应用的三类典型技术[17]：模糊技术主要应用于监测控制系统，注重对知识源和工业规范的研究，设计模糊控制规则；神经网络主要应用于处理复杂系统中的非线性问题；演化算法可应用于函数极值、组合优化、自动控制、图像处理、机器学习等领域。

本文以智能计算（演化算法）为主，通常新提出的智能计算算法会选择解决函数极值、组合优化（例如聚类问题）、图像处理等问题作为与同类算法性能比较的依据，优秀的智能计算算法不仅能用于解决多个问题，还能在某些问题上处理能力上（例如收敛速度、取得局部极值的概率）显著优于同类算法。

2.有代表性的经典计算智能算法模拟退火算法、遗传算法、蚁群优化算法和粒子群优化算法是几个有代表性的经典计算智能算法。

本节主要介绍模拟退火算法和遗传算法的基本思想和实现方法，并简述其优劣。

现有的综述类文献中，对模拟退火算法的介绍普遍没有对遗传算法、蚁群优化算法和粒子群优化算法详尽，本文以通俗的语言较详尽地介绍了模拟退火算法。

2.1 模拟退火算法模拟退火算法的思想早在1953年就由Metropolis等人提出，1983年Kirkpatrick等人在Science上发表论文首次将模拟退火算法应用于组合优化问题。

设计模拟优化算法的初衷是解决NP复杂性问题的同时避免陷入局部极值和对初值的依赖性。

退火是一个物理过程：将金属加热到足够高的温度后其内部的分子运动的无规则性显著增加，分子呈现出更多的随机排列状态，随后逐步将金属降温冷却，金属内的分子将渐渐回复到低能态，最终达到分子排列有序稳定的状态。

首先，本文对物理的退火过程作简要的介绍：(1)加温过程：通过给系统输送能量使系统的内能增加，宏观上态函数T1变大，微观上分子的无规则热运动变得剧烈，削弱系统原先可能存在的非均匀态；(2)等温过程：封闭系统在态函数T不变的情况下与外界交换热量的过程中，系统状态总是朝着态函数F2减少的方向进行，当F达到最小值时，系统达到平衡态；(3)冷却过程：态函数T逐渐减小，粒子无规则热运动减弱且逐渐趋于有序，系统的内能逐渐下降，进而得到低能态的晶体结构。

1态函数T代表温度（temperature），其微观物理意义是系统所有分子的无规则运动所具有的动能的总和。

2态函数F代表亥姆霍兹自由能（free energy），其物理意义是封闭系统在温度不变的情况下会自发通过对外界做功而“排出”的多余的能量。

自由能减少的过程也是封闭系统从非平衡态状态转变为平衡态（稳态/亚稳态）的过程。

Metropolis通过研究退火现象发现：加热后的金属置于低温的环境中会自发地趋于低温状态且在与环境温度相同后稳定，金属退火过程中的低温稳定状态点和优化问题中的最值点存在着某种关联。

能否模拟自然界中的金属退火过程用以解决优化问题?由热力学可知：金属温度越低，其内部分子越趋于稳定有序状态；当温度中够低时，金属液体开始凝固为晶体，晶体态的金属系统能量最低；如果选择对金属缓慢降温（退火，annealing），其将以较大的概率达到最低能量状态；如果降温迅速（淬火，quenching），其可能凝固为能量为局部极小而非全局最小的亚稳态固体。

模拟退火算法的关键在于足够缓慢地降低温度，使系统在每一温度都充分释放自由能，系统内的分子在每一温度下都有足够长的时间达到稳态，直至温度降为最低，系统达到分子间势能最低的最稳定状态。

具体地，在温度为T时，分子停留在状态r的概率满足玻尔兹曼（Boltzmann）分布：P{E̅=E(r)}=1Z(T)exp{−E(r)k B T}其中，E̅表示分子能量的一个随机变量，E(r)表示状态r的能量，k B>0为玻尔兹曼常数。

Z(T)满足配分函数（归一化条件）：Z(T)=∑exp{−E(r) k B T}s∈D当温度为T时，选定两个能态E1<E2，分子停留在低能态的概率比高能态更大，其概率差为：Δ=P{E̅=E1}−P{E̅=E2}=1Z(T)exp{−E1k B T}(1−exp{−E2−E1k B T})由上式可知：(1)在任一相同温度T下，分子以更大的概率停留在能量较低的状态；(2)温度越高，分子停留在低能态和高能态的概率值相差Δ越小；温度足够高时，分子停留在低能态和高能态的概率值的差Δ趋于0，几乎均匀地分布在不同的能态；(3)随着温度T逐渐下降，分子处于低能态的概率越来越大；limT→0Δ=1，即分子以概率1停留在低能态。

可见，模拟退火算法的基本思想是：在一定的温度下，随机地从空间一个状态跳到另一个状态搜索可行解；温度越低可行解停留在极值点附近的概率越大；达到最低温度时，可行解以概率1趋于最优解。

记|D|为状态空间D的模（状态的总个数），D0是具有最低能量的状态集合，我们有：(1)T值足够大时，分子停留在各个状态的概率几乎相等，接近平均值1|D|；(2)|D|>2时，具有最低能态的分布概率总是超出平均值1|D|；(3)limT→0P{D=D0}=1。

依据模拟退火的基本原理可设计出具体的算法：1）初始化T=T0，迭代计数器k=0，随机产生初始状态s=s0；2）Repeat3）Repeat4）产生新状态s j=new(s)；5）3If min{1,exp{−E(s j)−E (s)Tk}}>=randrom[0,1]6）s=s j；3当前判别条件称为Metropolis准则：新能态能量低时直接接受为当前状态；当新能态能量高于当前能态时，以一定的概率接为新能态。

在判别条件的式子中，当E(s j)−E(s)<0时，exp{−E(s j)−E(s)Tk }>1，min{1,exp{−E(s j)−E(s)Tk}}=1>=randrom[0,1]，则直接接受状态s j；当E(s j)−E(s)>0时，以一定概率接收新状态。

7）End if8）Until:抽样稳定准则满足9）降温t k+1=update(t k)；10）迭代器累加k=k+1；11）Until:算法终止准则满足12）输出搜索结果。

模拟退火算法模拟自然界金属物体的物理退火过程来解决优化问题，将分子的状态作为当前的可行解，分子能量最低的状态作为最优解，控制温度参数使目标函数（能量）逐渐下降，进而取得最优解。

2.2 遗传算法遗传算法最早由John Holland等人提出，借鉴物种起源过程中生物从低级向高级、由简单到复杂的进化过程，依据“随机异”“物竞天择”“适者生存”的遗传规律，发明了一种可以在解空间高效搜索的方法。

有学者指出，遗传算法的高效源于其可自行获取和积累有关搜索空间的知识并自适应地控制搜索过程以寻得全局最优点[18]。

遗传算法的基本思想是从初始化的一个种群中选出优秀个体使他们的优势基因遗传更有可能留在后代群体，如此反复迭代至使群体一代优于一代，直至找出最优解。