粒子群算法的收敛性研究综述

粒子群优化算法的收敛性研究综述摘要:给出了粒子群与改进算法的分类及其进展，指出了粒子群算法收敛性理论分类及其进展，最后对各粒子群算法的收敛条件进行了对比。

关键词：粒子群算法粒子群算法分类收敛条件粒子群优化算法(PSO:Particle Swarm Optimization)是一种优化计算技术。

起源于对鸟群和鱼群群体运动行为的研究，是一种基于迭代的优化工具，是一种基于群只能方法的演化计算技术。

PSO算法概念简单容易实现，并且没有许多参数需要调整，短短十几年里，PSO 算法已经取得了很大的发展，目前已广泛应用于函数优化、神经网络的训练、模糊系统的控制、以及其他遗传算法的应用领域。

但是它由于容易陷入局部极小点，搜索精度不高，科研工作者对其作了各种各样的改进。

目前已提出了多种PSO改进算法[1]。

如自适应PSO算法,混合PSO算法，协同PSO算法，离散PSO算法。

一些学者从数学的角度对算法的收敛性进行了初步分析[13] 。

本文以下部分的组织是：第1节介绍粒子群算法的分类及其当前研究进展；第2节介绍粒子群算法收敛性理论分类及其进展；最后对比各粒子群算法的收敛条件。

1 粒子群与改进算法的分类及其进展1.1 自适应PSO(Adaptive Particle Swarm Optimization,APSO)由于较大的惯性因子W值有利于跳出局部极小点，而较小的W值有利于算法收敛，于是科研工作者就提出了自适应调整W的方法，即随着迭代的进行，线性地减小W值。

这种方法的进一步发展就是采用模糊规则动态地修改W的值[4]。

即构造2个输入，一个输出的模糊推理机来动态修改惯性因子W。

模糊推理机的两个输入分别是当前W值，输出为W的增量。

通过自适应调整全局系数，兼顾搜索效率和搜索精度，是一类有效的算法。

但是对许多复杂的非线性优化问题，试图通过自适应调整一个全局系数提高搜索精度的余地是有限的。

1.2 混合PSO(Hybrid Particle Swarm Optimization,HPSO)受到遗传算法的启示，文献[5,6]最早提出了混合PSO算法。

混合PSO算法是将基本PSO 算法和选择机制相结合而得到的，基本的PSO算法的搜索过程很大程度说那上依赖pbest 和gbest,它的搜索区域受到gbest和gbest的限制。

在一般的进化算法中，选择机制用来选择相对较好的区域和淘汰较差的区域。

可以更合理地分配有限的资源。

混合PSO算法的选择机制与遗传算法非常相似。

混合PSO算法计算每个个体基于当前位置的适应值，并将这些适应值排序，然后将群体中一半适应值差的个体的当前位置和速度替换为另一半好的个体的当前位置和速度，但保留每个个体的最好位置pbest。

因此，群体搜集集中到相对较优的空间，但还受到个体自身以前最好位置的影响。

文献[6]中进一步具有繁殖和子群的HPSO算法。

粒子群中的粒子被赋予一个杂交的概率。

这个杂交的概率是用户确定的，与粒子的适应值无关。

在每次迭代中，依据杂交概率选取指定数量的粒子放入一个池中。

池中的粒子随机地两两杂交，产生同样数目的孩子粒子，并用孩子粒子代替父母粒子，以保持种群的粒子数目不变。

孩子粒子的位置由父母粒子的位置的算术加权和计算。

同时，在文献[5-7]的实验结果显示，HPSO算法的收敛速度比较快，搜索精度也相对比较高，对一类非线性优化问题可以得到满意俄结果。

不过引入了较多的待调整参数，对使用者得经验有一定要求。

1.3协同PSO（Cooperative Particle Swarm Optimization,CPSO)文献[8]提出了一种协同PSO算法，这种协同PSO算法在迭代初期，适应值下降缓慢，即收敛速度慢，不过这种协同PSO算法因为实际上采用的是局部学习方法，因此比基本的PSO算法更易跳出局部极小点，达到较高的收敛精度。

1.4 离散PSO(Discrete Particle Swarm Optimization)标准PSO算法实际过程中的连续空间优化问题表现出了优异的性能，但是对于解决离散优化问题，PSO算法就非常有些乏力，因此，又有离散二进制PSO被提出来用来组合优化问题。

文献[9]研究了离散的PSO算法，并且把它应用到旅行商问题的求解。

虽然离散PSO 算法扩展了基本PSO算法的应用领域，尤其是让人们看到了在组合优化问题中的应用前景，但是，正如文献[10]说的那样，PSO算法的优势在于求解一些连续函数的优化问题。

在组合优化这类问题上，目前，PSO算法还没有蚁群算法那样有优势。

2粒子群算法收敛性理论分类及其进展PSO算法的理论分析主要研究算法的收敛性。

关键是算法是否收敛，收敛到那？PSO算法的理论分析一直是PSO研究的热点，目前多数研究者都是通过大规模计算来对算法进行分析和研究。

PSO算法理论分析的难点在于PSO算法具有随机性，使得很多常规数学方法手段都对其无效。

在文献[12]中，潘峰等建立了标准粒子群优化算法的三种典型模型，结果表明在没有新信息引入的情况下，粒子群优化算法的搜索空间非常有限，且容易陷入停滞点。

文献[13-15]都用了随机过程对PSO算法作分析，分析中采用的数学理论是差分方程。

到目前为止，PSO 算法的收敛性还没有得到很严格的证明，但是PSO 算法在解决实际过程中的连续空间优化问题，表现出了优异的性能。

总的来说，求最优解或近似最优解的方法主要有三种：枚举法，、启发式算法和搜索算法。

（1）枚举法。

枚举出可行解空间内的所有可行解，以求出精确最优解。

对于连续问题，该方法要求先对其进行离散化处理，这样就有可能产生离散误差而永远达不到最优解。

另外，当枚举空间比较大时，该方法的求解效率比较低。

（2）启发式算法。

寻求一种能产生可行解的启发式规则，以找到一个最优解或近似最优解。

该方法的求解效率虽然比较高，但对每一个需要求解的问题都必须找出其特有的启发式规则，这种启发式规则无通用性，不适用于其他问题。

（3）搜索算法。

寻找一种搜索算法，该算法在可行解空间的一个子空间内进行搜索操作，以找到问题的最优解或近似解。

该方法虽然保证不了一定能够得到问题的最优解，但若适当地利用一些启发知识，就可近似地使解质量和求解效率达到一种较好的平衡。

2.1 PSO 算法早期收敛现象在粒子群优化算法运行过程中，如果某粒子发现一个当前最优位置，其它粒子将迅速向其靠拢。

如果该最优位置为一局部最优点，粒子群就无法在解空间内重新搜索，于是算法陷入局部最优，出现了所谓的早熟收敛现象。

PSO 算法是一种随机优化算法，证明其收敛或不能收敛都有着一定困难，PSO 算法的收敛性分为局部收敛和全局收敛。

3粒子群算法收敛条件对比算法全局收敛：假设f 是可测度的，可行解空间A 是n R 上可测度的子集，算法D 满足条件（H1）、（H2），{}0k k x ∞=是算法D 产生数列，则有：,[]1lim k e m k p x R →+∞∈=，其中,[]k e M P x R ∈是算法第k 步的结果在,e M R 中的概率密度。

对于优化问题<A,F>,有随机优化算法D ，第k 次迭代的结果k x ,下一次迭代的结果为1(,)k k x D x ζ+=，其中ζ是D 算法这次迭代中曾经搜索过的解。

条件H1： ((,)()f D x f x ζ<=，且若A ζ∈，则有((,))()f D x f ζζ<=条件H2：定义[]v x 表示在集合X 上的Lebesgue 测度。

,..[]0,B A s t v B ∀∈>有：0(1[])0k k uB ∞=-=∏，其中[]k u B 为算法D 第k 次迭代的结果在集合B 上的概率测度。

许多算法的优化实例中，算法陷入局部最优解是非常常见的。

条件H3：对g B e s t 00,{|()()}x A L x A f x f x ∀∈=∈<=为紧集，0γ∃>且0,1η∃∈（），0..s t k x L ∀∀∈和，有： ,,([((,),)(,)]k e M e M u dist D x R dist x R ζγ<- ,[(,)])e M D x R ζη∈≥ (3.1) 其中。

dist(x,B)表示x 到集合B 的距离, (,)((,))inf b B dist x B dist x b ∈=;k 为自然数；,e M R 为0L 内的最优区域。

算法局部收敛条件：假设f 是可测度的，可行解空间A 是n R 上可测度的子集，算法D 满足条件（H1）、（H3），{}0k k x ∞=是算法D 产生数列，则有：,lim []1k e M k P x R →+∞∈=。

由于PSO 算法中保存了群体的历史最佳位置gBest ，能保证算法每步得到的优化结果不递增，所以O 算法满足条件（H1）。

由文献[11]知道，如果把PSO 群体中所有粒子的位置看做一个状态X ，那么状态S 随时间变化的过程X(t)是一个随机过程，PSO 算法若满足条件（H2）,则t →∞时至少经历全局最佳1次，也就是()X t 应具有遍历性，因此对PSO 全局收敛性的判断就取决于()X t 是否具有遍历性。

参考文献：[1]高尚，汤可宗，蒋新姿等.粒子群优化算法收敛性分析[J].科学技术与工程，2006,6（12）：1625-1637.[2] Li Bin-Bin, Wang Ling. A hybrid quantum-inspired genetic algorithm for multiobjective flow shop scheduling. IEEE Transactions on Systems, Man, and Cybernetics, Part B: Cybernetics, v 37, n 3, p 576-591, June 2007.[3]张丽平.粒子群优化算法的理论及实践[D].杭州：浙江大学，2005[4] Shi,Y . and Eberhart,RC. Fuzzy adaptive particle swarm optimization. Proceedings of the IEEE Congress on Evolutionary Computation (CEC 2001),Seoul,Korea.2001[5]AngeLine,P .Using Selection to Improve Particle Swarm Optimization.In.Proc.of IEEE Intl.Co nf.on Evoiutionary Computation(ICEC’98).Anchorage.May 1998.[6]AngeLine,P.Evolutionary optimization versus particle swarm Philosophy and Performance Differences [C]. In:Evolutionary Programming VII,1998:601-610[7]Lovbjerg,M.Rasmussen,T,K.Krink,T.Hybird Particle Swarm Optimization with Breeding and Subpopulations[C].In:Proc of the third Genetic and Evolutionary Computation Conference,2001. [8]K.E.ParSopoulos and M.N.V rahatis.Particle Swarm Optimization Method in Multiobjective Problems.In Proceedings of the 2002 Congress on Evolutionary Computation,pages 46-53,Piscataway,NJ,2000.IEEE,Service Center.[9]Shi,Y. and Eberhart,RC. Fuzzy adaptive particle swarm optimization.Proceedings of the IEEE Congress on Evolutionary Computation (CEC 2001),Seoul,Korea.2001.[10]Kennedy J,Eberhart,A.P. Effects of Swarm Size on Cooperative Particle Swarm Optimisers. In:Proceedings of the Genetic and Evolutionary Computation Conference (GECCO),San Francisco,USA,2001[11]申鼎煊.随机过程.武汉：华中理工大学出版社,1990[12]潘峰，陈杰，甘明刚等.粒子群优化算法模型分析[J].自动化学报，2006,32（3）：368—375[13]李宁.粒子群优化算法的理论分析与应用研究[D].武汉：华中科技大学，2007:24-67[14]李宁，孙德宝，周彤等.基于差分方程的PSO算法粒子运动轨迹分析[J].计算机学报，2006，（11）：2052_2061[15]金欣磊，马龙华，吴铁军等.基于随机过程的PSO收敛性分析[J]自动化学报，2007,33（12）：1263_1268综述思路来自。