智能算法学习笔记

智能算法浅介By cooler一个比方在工程实践中，经常会接触到一些比较“新颖的算法”如模拟退火，遗传算法，禁忌搜索，神经网络等。

这些由于有一些共同的特性（比如都是模拟了自然过程），通称为“智能算法”。

它们在解决一些复杂的工程问题时大有用武之地。

这些算法都有什么含义？首先给出个局部搜索，模拟退火，遗传算法，禁忌搜索的形象比喻：为了找出地球上最高的山，一群有志气的兔子们开始想办法。

1．兔子朝着比现在高的地方跳去。

他们找到了不远处的最高山峰。

但是这座山不一定是珠穆朗玛峰。

这就是局部搜索，它不能保证局部最优值就是全局最优值。

（更好的比喻?）2．兔子喝醉了。

他随机地跳了很长时间。

这期间，它可能走向高处，也可能踏入平地。

但是，他渐渐清醒了并朝最高方向跳去。

这就是模拟退火。

3．兔子们吃了失忆药片，并被发射到太空，然后落到了地球上地任意地方。

他们不知道自己的使命是什么。

但是，如果你过几年就杀死一部分海拔底的兔子，多产的兔子们自己就会找到珠穆朗玛峰。

这就是遗传算法。

4.兔子们知道一个兔的力量是渺小的。

他们互相转告着，哪里的山已经找过，并且找过的每一座山他们都留下一只兔子做记号。

他们制定了下一步去哪里寻找的策略。

这就是禁忌搜索。

智能优化算法的概述智能优化算法主要解决最优化问题。

最优化问题主要分为函数优化问题和组合优化问题。

函数优化问题主要是求解一个函数中，使得函数值最小的自变量的取值。

组合优化问题是指在一个解空间里面，寻找最优解，使目标函数值最小。

典型的组合优化问题有：旅行商问题（traveling salesman problem，TSP），加工调度问题（scheduling problem），0－1背包问题（knapsack problem），以及装箱问题（bin packing problem）等。

优化算法有很多，经典的有线性规划，动态规划等，改进型的局部搜索有爬山法，最速下降法等，这里介绍的模拟退火，遗传算法，以及禁忌搜索称作指导性搜索法。

而神经网络，混沌搜索是基于系统动态演化的方法。

(如图1)图1优化思想里面经常提到邻域函数，它的作用是给出怎样由当前解得到一个（组）新的解。

其具体实现方式要根据具体问题分析来定。

一般的，局部搜索就是基于贪婪思想利用邻域函数进行搜索，找到一个比现在好的值就放弃现在的而取之。

但是，它一般只可以得到“局部极小解”，就是说，可能这只兔子登“登泰山而小天下”，但是却没有找到珠穆朗玛峰。

而模拟退火，遗传算法，禁忌搜索，神经网络等从不同的角度和策略实现了改进，取得较好的“全局最小解”。

模拟退火算法（Simulated Annealing，SA）模拟退火算法的依据是固体物质退火过程和组合优化问题之间的相似性。

物质在加热的时候，粒子间的布朗运动增强，到达一定强度后，固体物质转化为液态，这个时候再进行退火，粒子热运动减弱，并逐渐趋于有序，最后达到稳定。

模拟退火的解不再像局部搜索那样最后的结果依赖初始点。

它引入了一个接受概率p。

如果新的点目标函数更好，则p=1，表示选取新点；否则，接受概率p是当前点，新点的目标函数以及另一个控制参数“温度”T的函数。

也就是说，模拟退火没有像局部搜索那样每次都贪婪地寻找比现在好的点，目标函数差一点的点也有可能接受进来。

随着算法的执行，系统温度T逐渐降低，最后终止于不再有可接受变化的低温。

模拟退火的典型特征是除了接受目标函数的改进外，还接受一个衰减极限，当T较大时，接受较大的衰减，当T逐渐减小时，接受较小的衰减，当T为0时，就不再接受衰减。

这一特征意味着模拟退火与局部搜索相反，它能避开局部极小，并且还保持了局部搜索的通用性和简单性。

在物理上，先加热，让分子间互相碰撞，变成无序状态，内能加大，然后降温，最后的分子次序反而会更有序，内能比没有加热前更小。

还是那只兔子，它喝醉后，对比较近的山峰视而不见，迷迷糊糊地跳一大圈子，反而更有可能找到珠峰。

值得注意的是，当T为0时，模拟退火就成为局部搜索的一个特例。

模拟退火的伪码表达：procedure simulated annealingbegint:=0;initialize temperature Tselect a current string vc at random;evaluate vc;repeatrepeatselect a new string vn in the neighborhood of vc; (1)if f(vc)<f(vn)then vc:=vn;else if random [0,1] <exp ((f (vn)-f (vc))/T) (2)then vc:=vn;until (termination-condition) (3)T:=g(T,t); (4)T:=t+1;until (stop-criterion) (5)end;上面的程序中，关键的是(1)新状态产生函数，(2)新状态接受函数，(3)抽样稳定准则，(4)退温函数，(5)退火结束准则 （简称三函数两准则）是直接影响优化结果的主要环节。

虽然理论证明初始值对于最后的结果没有影响，但是初温越高，得到高质量解的概率越大。

所以，应该尽量选取比较高的初温。

上面关键环节的选取策略：（1）状态产生函数：候选解由当前解的邻域函数决定，可以取互换，插入，逆序等操作产生，然后根据概率分布方式选取新的解，概率可以取均匀分布，正态分布，高斯分布，柯西分布等。

（2）状态接受函数：这个环节最关键，但是，实验表明，何种接受函数对于最后结果影响不大，所以，一般选取min [1, exp ((f (vn)-f (vc))/T)]。

（3）抽样稳定准则：一般常用的有：检验目标函数的均值是否稳定；连续若干步的目标值变化较小；规定一定的步数；（4）退温函数：非时齐SA 算法中可以采用)log(/0k k t k +=α，但是温度下降很慢；快速SA 中，一般采用)1/(k t k +=β。

目前，经常用的是1-=k k t t λ，λ是一个不断变化的值。

（5）退火结束准则：一般的有：设置终止温度；设置迭代次数；搜索到的最优值连续多次保持不变；检验系统熵是否稳定。

为了保证有比较优的解，算法往往采取慢降温，多抽样，终止温度设的低等方式，导致算法运行时间比较长，这也是模拟退火的最大缺点。

人喝醉了酒办起事来都不利索，何况兔子？遗传算法（Genetic Algorithm, GA）“物竞天择，适者生存”，这就是进化论。

自然界想做的事，就是遗传算法想做的事。

如果把遗传算法用于优化问题，它完成的还不错，而如果把它看作对自然过程高度理想化的模拟，更能显出它本身的优雅——虽然生存竞争是残酷的。

遗传算法以一种群体中的所有个体为对象，并利用随机化技术指导对一个被编码的参数空间进行高效搜索。

其中，选择、交叉和变异构成了遗传算法的遗传操作；参数编码、初始群体的设定、适应度函数的设计、遗传操作设计、控制参数设定五个要素组成了遗传算法的核心内容。

作为一种新的全局优化搜索算法，遗传算法以其简单通用、健壮性强、适于并行处理以及高效、实用等显著特点，在各个领域得到了广泛应用，取得了良好效果，并逐渐成为重要的智能算法之一。

遗传算法的伪码：procedure genetic algorithmbegininitialize a group and evaluate the fitness value ; （1）while not convergent （2）beginselect; （3）if random[0,1]<pc thencrossover; （4）if random (0,1)<pm thenmutation; （5）end;end上述程序中有五个重要的环节：（1）编码和初始群体的生成：GA在进行搜索之前先将解空间的解数据表示成遗传空间的基因型串结构数据，这些串结构数据的不同组合便构成了不同的点。

然后随机产生N个初始串结构数据，每个串结构数据称为一个个体，N个体构成了一个群体。

GA 以这N个串结构数据作为初始点开始迭代。

比如，旅行商问题中，可以把商人走过的路径进行编码，也可以对整个图矩阵进行编码。

编码方式依赖于问题怎样描述比较好解决。

初始群体也应该选取适当，如果选取的过小则杂交优势不明显，算法性能很差（数量上占了优势的老鼠进化能力比老虎强），群体选取太大则计算量太大。

（2）检查算法收敛准则是否满足，控制算法是否结束。

可以采用判断与最优解的适配度或者定一个迭代次数来达到。

（3）适应性值评估检测和选择：适应性函数表明个体或解的优劣性，在程序的开始也应该评价适应性，以便和以后的做比较。

不同的问题，适应性函数的定义方式也不同。

根据适应性的好坏，进行选择。

选择的目的是为了从当前群体中选出优良的个体，使它们有机会作为父代为下一代繁殖子孙。

遗传算法通过选择过程体现这一思想，进行选择的原则是适应性强的个体为下一代贡献一个或多个后代的概率大。

选择实现了达尔文的适者生存原则。

（4）杂交：按照杂交概率（pc）进行杂交。

杂交操作是遗传算法中最主要的遗传操作。

通过杂交操作可以得到新一代个体，新个体组合了其父辈个体的特性。

杂交体现了信息交换的思想。

可以选定一个点对染色体串进行互换，插入，逆序等杂交，也可以随机选取几个点杂交。

杂交概率如果太大，种群更新快，但是高适应性的个体很容易被淹没，概率小了搜索会停滞。

（5）变异：按照变异概率（pm）进行变异。

变异首先在群体中随机选择一个个体，对于选中的个体以一定的概率随机地改变串结构数据中某个串的值。

同生物界一样，GA中变异发生的概率很低。

变异为新个体的产生提供了机会。

变异可以防止有效基因的缺损造成的进化停滞。

比较低的变异概率就已经可以让基因不断变更，太大了会陷入随机搜索。

想一下，生物界每一代都和上一代差距很大，会是怎样的可怕情形。

就像自然界的变异适和任何物种一样，对变量进行了编码的遗传算法没有考虑函数本身是否可导，是否连续等性质，所以适用性很强；并且，它开始就对一个种群进行操作，隐含了并行性，也容易找到“全局最优解”。

禁忌搜索算法（Tabu Search，TS）为了找到“全局最优解”，就不应该执着于某一个特定的区域。

局部搜索的缺点就是太贪婪地对某一个局部区域以及其邻域搜索，导致一叶障目，不见泰山。

禁忌搜索就是对于找到的一部分局部最优解，有意识地避开它（但不是完全隔绝），从而获得更多的搜索区间。

兔子们找到了泰山，它们之中的一只就会留守在这里，其他的再去别的地方寻找。

就这样，一大圈后，把找到的几个山峰一比较，珠穆朗玛峰脱颖而出。

当兔子们再寻找的时候，一般地会有意识地避开泰山，因为他们知道，这里已经找过，并且有一只兔子在那里看着了。