粒子群聚类算法综述

收稿日期：２００９唱０４唱０２；修回日期：２００９唱０６唱１３ 作者简介：李峻金（１９８５唱），男，安徽阜阳人，硕士研究生，主要研究方向为人工智能与聚类分析（ｔｓｐａｃｅ１９８５＠ｇｍａｉｌ．ｃｏｍ）；向阳（１９６８唱），女，湖南长沙人，副教授，硕士，主要研究方向为计算机与数据库安全；芦英明（１９８５唱），男，陕西西安人，助理工程师，主要研究方向为装备系统工程；吴朔桐（１９８５唱），女，内蒙古通辽人，助理工程师，主要研究方向为通信工程．粒子群聚类算法综述李峻金１，向　阳１，芦英明２，吴朔桐３（１．西安通信学院，西安７１０１０６；２．中国特种车辆研究所，北京１０００７２；３．中国人民解放军６１５１６部队，北京１０００９４）摘　要：聚类分析是数据挖掘的重要技术之一，它能够通过无监督的学习过程发现隐藏的模式，具有独立发现知识的能力。

对现有文献中基于粒子群优化算法的聚类分析技术作了全面的介绍，对几种主要的粒子群聚类算法的基本原理及其特点进行了总结，并分析比较了它们的优点和不足，概述了粒子群聚类算法的常见应用领域；最后探讨了粒子群聚类算法进一步的研究方向。

关键词：聚类分析；群智能；粒子群优化算法中图分类号：ＴＰ３０１ 文献标志码：Ａ 文章编号：１００１唱３６９５（２００９）１２唱４４２３唱０５ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１唱３６９５．２００９．１２．００６ＳｕｒｖｅｙｏｆｐａｒｔｉｃｌｅｓｗａｒｍｃｌｕｓｔｅｒｉｎｇａｌｇｏｒｉｔｈｍｓＬＩＪｕｎ唱ｊｉｎ１，ＸＩＡＮＧＹａｎｇ１，ＬＵＹｉｎｇ唱ｍｉｎｇ２，ＷＵＳｈｕｏ唱ｔｏｎｇ３（１．Ｘｉ’ａｎＣｏｍｍｕｎｉｃａｔｉｏｎｓＩｎｓｔｉｔｕｔｅ，Ｘｉ’ａｎ７１０１０６，Ｃｈｉｎａ；２．Ｃｈｉｎａ’ｓＳｐｅｃｉａｌＶｅｈｉｃｌｅＲｅｓｅａｒｃｈＩｎｓｔｉｔｕｔｅ，Ｂｅｉｊｉｎｇ１０００７２，Ｃｈｉｎａ；３．ＰＬＡ６１５１６Ｕｎｉｔ，Ｂｅｉｊｉｎｇ１０００９４，Ｃｈｉｎａ）Ａｂｓｔｒａｃｔ：Ｃｌｕｓｔｅｒｉｎｇａｎａｌｙｓｉｓｉｓｏｎｅｏｆｔｈｅｉｍｐｏｒｔａｎｔｄａｔａｍｉｎｉｎｇｔｅｃｈｎｉｑｕｅｓｔｈａｔｃａｎｄｉｓｃｏｖｅｒｈｉｄｄｅｎｍｏｄｅｓｂｙｕｎｓｕｐｅｒｖｉｓｅｄｌｅａｒｎｉｎｇａｎｄｈａｓｔｈｅａｂｉｌｉｔｙｏｆａｃｑｕｉｒｉｎｇｋｎｏｗｌｅｄｇｅｉｎｄｅｐｅｎｄｅｎｔｌｙ．Ｔｈｉｓｐａｐｅｒｐｒｅｓｅｎｔｅｄａｎａｌｌ唱ａｒｏｕｎｄｉｎｔｒｏｄｕｃｔｉｏｎｏｆＰＳＯ唱ｂａｓｅｄｃｌｕｓｔｅｒｉｎｇｍｅｔｈｏｄｓｉｎｅｘｉｓｔｉｎｇｌｉｔｅｒａｔｕｒｅｓ，ｄｅｓｃｒｉｂｅｄｔｈｅｂａｓｉｃｐｒｉｎｃｉｐｌｅｓａｎｄｔｈｅｃｈａｒａｃｔｅｒｉｓｔｉｃｓｏｆｔｈｅｅｘｉｓｔｉｎｇｐｏｐｕｌａｒｐａｒｔｉｃｌｅｓｗａｒｍｃｌｕｓｔｅｒｉｎｇａｌｇｏｒｉｔｈｍｓ，ａｎｄｍａｄｅｔｈｅｃｏｍｐａｒｉｓｏｎａｂｏｕｔｔｈｅｉｒｍｅｒｉｔｓａｎｄｄｅｍｅｒｉｔｓ．Ｔｈｅｎｓｕｍｍａｒｉｚｅｄｔｈｅａｐｐｌｉｃａ唱ｔｉｏｎｓｏｆｐａｒｔｉｃｌｅｓｗａｒｍｃｌｕｓｔｅｒｉｎｇａｌｇｏｒｉｔｈｍｓ．Ｆｉｎａｌｌｙ，ｐｏｉｎｔｅｄｏｕｔｔｈｅｆｕｔｕｒｅｒｅｓｅａｒｃｈｄｉｒｅｃｔｉｏｎｓｏｆｐａｒｔｉｃｌｅｓｗａｒｍｃｌｕｓｔｅｒｉｎｇａｌ唱ｇｏｒｉｔｈｍｓ．Ｋｅｙｗｏｒｄｓ：ｃｌｕｓｔｅｒｉｎｇａｎａｌｙｓｉｓ；ｓｗａｒｍｉｎｔｅｌｌｉｇｅｎｃｅ；ｐａｒｔｉｃｌｅｓｗａｒｍｏｐｔｉｍｉｚａｔｉｏｎ（ＰＳＯ）０　引言聚类（ｃｌｕｓｔｅｒｉｎｇ）是将一批现实或抽象的数据对象分组成为多个类或簇的过程［１］。

聚类分析源于数据挖掘、统计学、机器学习、模式识别等许多领域，是人们认识和探索事物之间内在联系的有效手段。

通过聚类，人们能够识别密集的和稀疏的区域，发现全局的分布模式以及数据属性之间有趣的相互关系。

此外，聚类分析也可以作为其他分析算法（如关联规则、分类等）的预处理步骤［２］。

在过去的几十年中，聚类分析在工程学、计算机科学、地球科学以及社会科学和经济学等许多领域起着越来越重要的作用。

随着计算机技术、网络技术和信息技术的迅速发展，一些规模巨大且结构复杂的数据在科学和工程应用领域不断出现。

如何处理这些数据并从中得到有益的信息，越来越引起人们的普遍关注。

大规模复杂数据集的出现对聚类分析技术提出了特殊的挑战，它要求聚类算法具有可伸缩性、处理不同类型数据、发现任意形状的簇、处理高维数据的能力等，并要求聚类结果对用户来说应该是可判断的、能理解的和可用的［２，３］。

面对这些问题与要求，传统的聚类分析方法已经显得无能为力。

为解决上述问题，研究者们开始尝试各种智能聚类方法。

群智能算法中的粒子群优化算法（ＰＳＯ）逐渐引起人们的注意，并在聚类分析中取得了比传统方法更好的效果［４］。

ＰＳＯ算法主要是在群体的集群行为和自组织原则指导下的随机搜索和优化技术，它强调分布式、相对简单主体之间直接或间接的交互作用，具有很强的适应性和鲁棒性。

ＰＳＯ算法潜在的并行性和分布式特点使其能够处理以数据库形式存在的大量数据；另一方面，聚类可以被看成一个复杂的全局优化问题，因此ＰＳＯ算法可以用于聚类分析。

１　传统聚类分析技术传统的聚类方法可以大致分为层次方法和划分方法两类，每一类又包含大量不同的算法。

层次方法是对给定的数据对象的集合进行层次的分界。

在层次聚类中，用一个“树”表示聚类的过程序列，根据层次分界的表示方式，层次方法又可以分为凝聚的和分裂的两种。

层次方法具有两个基本优点［５］：簇的数目不需要事先确定，它与第２６卷第１２期２００９年１２月　计算机应用研究ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓＶｏｌ．２６Ｎｏ．１２Ｄｅｃ．２００９初始条件是相互独立的。

层次方法是一种静态的聚类方法，已做的合并或分裂操作不能返回，簇之间也不能交换数据对象，在某步没有选择好合并或分裂点的情况下，可能会导致低质量的聚类结果。

由于进行合并或分裂操作需要搜索和估算大量的对象或簇，使得层次方法的可伸缩性较差，同时由于缺乏关于全局状态或簇的规模等信息，该方法可能对有重叠的簇的划分失效［６］。

划分方法则通过评价函数某种簇的原型将数据集直接分解成若干个无关联的簇的集合。

它努力优化某种标准目标误差函数，该函数可能强调数据的全局或者局部结构。

划分方法主要有Ｋ唱均值（Ｋ唱ｍｅａｎｓ）和Ｋ唱中心点（Ｋ唱ｍｅｄｏｉｄｓ）两种类型。

Ｋ唱均值算法对处理大数据集是相对可伸缩的和高效的，Ｋ唱中心点算法能在一定程度上消除Ｋ唱均值算法对孤立点的敏感性。

划分方法一般要求事先给定簇的个数，并且对初始值和噪声数据敏感。

由于划分方法基于对象间的距离和对某种标准的优化进行聚类，这种方法只能发现球状簇而不能发现任意形状的簇，同时算法极易陷入局部最优。

通过以上分析可以看出，层次方法和划分方法的优缺点交错对应，还没有一种方法能同时具有它们的优点。

２　基本粒子群聚类算法为了突破传统聚类方法的瓶颈，一些研究者尝试将粒子群智能算法用于聚类分析，通过将聚类视为一种优化问题，利用ＰＳＯ算法的全局寻优能力来得到一个对数据集的近似最优划分。

２００２年Ｏｍｒａｎ等人［７］提出了一种基于粒子群优化的无指导图像分类算法。

这是最早提出的基于ＰＳＯ的聚类算法，以后的粒子群聚类算法大都遵循其基本思想。

在他们的算法中，簇的个数由用户预先给定，粒子群中的每个粒子包含一个表示簇中心的数据向量，代表一种候选的划分，整个粒子群则代表了对数据集的多种划分。

算法首先将一组随机的簇中心赋值给各个粒子，对于每个粒子，按照最小距离原则对图像像素进行划分操作，随后根据给定的粒子适应度函数，按照ＰＳＯ算法的步骤找到一个最优粒子，根据最优粒子的位置从而得到一个对数据集的近似最优划分。

他们将该算法应用在对合成图像、人脑的核磁共振图像以及Ｔａｈｏｅ湖的（美国）地球资源（探测）卫星图像的聚类分析中。

结果显示，基于ＰＳＯ的方法能得到较小的簇内距离和较大的簇间距离。

应用在由两种画笔生成的合成图像中，结果表明基于ＰＳＯ的方法不会陷入局部最优。

在Ｏｍｒａｎ等人工作的基础上，Ｍｅｒｗｅ等人［８］提出了基本ＰＳＯ聚类算法，用于对一般数据集进行聚类操作。

基本ＰＳＯ聚类算法中粒子的适应性函数为Ｊｅ。

Ｊｅ＝∑Ｎｃｊ＝１［∑橙ｚｐ∈Ｃｊｄ（ｚｐ，ｍｊ）］／｜Ｃｊ｜Ｎｃ（１）ｍｊ＝１ｎｊ∑橙ｚｐ∈Ｃｊｚｐ（２）ｄ（ｚｐ，ｍｊ）＝∑Ｎｂｋ＝１（ｚｐｋ－ｍｊｋ）２（３）其中：Ｎｂ为数据的维数；Ｎｃ为聚簇的个数；ｚｐ表示样本的数据向量；ｎｊ表示簇Ｃｊ中样本的个数；ｍｊ表示簇Ｃｊ中样本的均值（中心）。

基本ＰＳＯ聚类算法的流程如下：算法１　基本ＰＳＯ聚类算法ｂｅｇｉｎａ）随机选择簇的中心并赋值给各个粒子，随机产生粒子的速度；ｒｅｐｅａｔｂ）对每个粒子按照最小距离原则对数据进行划分，按照式（１）计算各个粒子的适应值，更新个体极值；ｃ）根据各个粒子的个体极值，找出全局极值和全局极值位置；ｄ）按粒子群优化算法的速度公式更新粒子的速度，并把它限制在ｖｍａｘ内；ｅ）按粒子群优化算法的位置公式更新粒子的位置；ｕｎｔｉｌ满足终止条件ｆ）输出最优粒子的位置即最优的Ｎｃ个聚类中心ｅｎｄ算法的终止条件可以是达到一定的循环次数、簇的中心变化很小或簇的成员不再改变。

基本ＰＳＯ聚类算法提供了一条新的解决传统聚类问题的有效途径，从此各种基于粒子群思想的聚类算法被陆续提出并被应用在图像分割与识别、文本聚类、入侵检测等领域。

３　粒子群聚类研究现状已有的粒子群聚类算法大都是与传统聚类方法结合，将聚类视为一种优化问题，应用粒子群优化算法的全局寻优能力和分布式随机搜索特性解决传统聚类算法易陷入局部最优和对初值敏感问题。

一些混合算法通过改变ＰＳＯ算法与传统聚类方法的结合方式以及应用改进的ＰＳＯ算法有效提高了算法的收敛速度和全局寻优能力。

目前应用粒子群算法解决自动聚类问题的研究还较少。

３畅１　粒子群优化算法与Ｋ唱均值算法相结合继Ｏｍｒａｎ等人［７］提出基本的ＰＳＯ聚类算法并取得初步成功后，研究者借鉴其基本思路，开始将ＰＳＯ算法与Ｋ唱ｍｅａｎｓ算法结合用于聚类分析，目的是采用ＰＳＯ算法的连续优化形式，即利用ＰＳＯ算法的全局搜索能力降低Ｋ唱ｍｅａｎｓ算法陷入局部最优的概率。

２００３年Ｍｅｒｗｅ等人［８］最早提出了一般形式下ＰＳＯ与Ｋ唱ｍｅａｎｓ相结合的混合聚类方法。

该算法的基本思路是先用Ｋ唱ｍｅａｎｓ方法得到一组簇的中心，然后在粒子群初始化时将其赋值给某个粒子，其余粒子随机初始化，最后用基本ＰＳＯ聚类算法即算法１完成聚类。

该算法采用Ｋ唱ｍｅａｎｓ＋ＰＳＯ的组合方式有效提高了收敛速度，并在一定程度上提高了聚类的有效性。

文献［９］对Ｏｍｒａｎ于２００２年提出的基于粒子群优化的图像聚类算法进行了更细致的研究，对适应度函数作了改进以达到同时最小化平均误差函数和簇内距离，以及最大化簇间距离的目标，同时讨论了ＰＳＯ控制参数对算法性能的影响。