五种常用系统聚类分析方法及其比较

五种常用系统聚类分析方法及其比较胡雷芳一、系统聚类分析概述聚类分析是研究如何将对象按照多个方面的特征进行综合分类的一种统计方法［１］。

然而在以往的分类学中，人们主要靠经验和专业知识作定性分类处理，许多分类不可避免地带有主观性和任意性，不能揭示客观事物内在的本质差别和联系；或者人们只根据事物单方面的特征进行分类，这些分类虽然可以反映事物某些方面的区别，但却往往难以反映各类事物之间的综合差异。

聚类分析方法有效地解决了科学研究中多因素、多指标的分类问题［２］。

在目前的实际应用中，系统聚类法和Ｋ均值聚类法是聚类分析中最常用的两种方法。

其中，Ｋ均值聚类法虽计算速度快，但需要事先根据样本空间分布指定分类的数目，而当样本的变量数超过３个时，该方法的可行性就较差。

而系统聚类法（Ｈｉｅｒａｒｃｈｉｃａｌｃｌｕｓｔｅｒｉｎｇｍｅｔｈｏｄｓ，也称层次聚类法）由于类与类之间的距离计算方法灵活多样，使其适应不同的要求。

该方法是目前实践中使用最多的。

这该方法的基本思想是：先将ｎ个样本各自看成一类，并规定样本与样本之间的距离和类与类之间的距离。

开始时，因每个样本自成一类，类与类之间的距离与样本之间的距离是相同的。

然后，在所有的类中，选择距离最小的两个类合并成一个新类，并计算出所得新类和其它各类的距离；接着再将距离最近的两类合并，这样每次合并两类，直至将所有的样本都合并成一类为止。

这样一种连续并类的过程可用一种类似于树状结构的图形即聚类谱系图（俗称树状图）来表示，由聚类谱系图可清楚地看出全部样本的聚集过程，从而可做出对全部样本的分类［３］。

二、五种常用系统聚类分析方法系统聚类法在进行聚类的过程中，需要计算类与类之间的距离。

根据类与类之间的距离计算方法的不同，我们可以将系统聚类法分为单连接法、完全连接法、平均连接法、组平均连接法与离差平方和法等。

１．单连接法（Ｓｉｎｇｌｅｌｉｎｋａｇｅ）单连接法又称最短距离法。

该方法首先将距离最近的样本归入一类，即合并的前两个样本是它们之间有最小距离和最大相似性；然后计算新类和单个样本间的距离作为单个样本和类中的样本间的最小距离，尚未合并的样本间的距离并未改变。

在每一步，两类之间的距离是它们两个最近点间的距离。

用ｄｉｊ表示样本ｉ和样本ｊ的距离，Ｇ１、Ｇ２、…表示类，在单连接法定义类Ｇｐ与类Ｇｑ之间的距离为两类最近样本间的距离，用Ｄｐｑ表示Ｇｐ与Ｇｑ的距离，则有式（１）：（１）由于单连接法每次并类后都是将该类与其它类中距离最近的两个样本之间的距离作为该类与其它类的距离，所以此聚类方法的逐次并类距离之间的差距一般来说可能会越来越小。

因此，该方法具有距离收缩的性质。

但是单连接方法认为，只要单个样本之间的相异度小，就认为两个组就是紧密靠拢的，而不管组间其他样本的相异度如何。

这倾向于合并由一系列本身位置（原始数据集中样本的排列）靠近的样本。

这种现象称为“链条”（ｃｈａｉｎｎｉｎｇ）［４］，常常被认为●经济研究１１是该方法的不足之处。

故单连接方法产生的聚类可能破坏类的“紧凑性”。

２．完全连接法（Ｃｏｍｐｌｅｔｅｌｉｎｋａｇｅ）完全连接法又称最长距离法。

该方法对距离的定义刚好与最短距离法相反，它是按两个最远样本间的距离进行类的归并，即两类之间的距离被计算作为它们的两个最远点间的距离。

该方法与单连接法在的并类步骤完全一样，也是将各样本先看作自成一类，然后将距离最小的两类合并，设某一步将类Ｇｐ与Ｇｑ合并为Ｇｒ，则类Ｇｒ与其它任意一类Ｇｋ的距离为：；然后再找距离最小的两类合并，直至将所有的样本合并为一类。

完全连接法由于每次并类后都是将该类与其它类中距离最远的两个样本之间的距离作为该类与其它类的距离，所以此聚类方法的逐次并类距离之间的差距一般来说可能会越来越大。

因此该方法具有并类距离扩张的性质。

对于完全连接方法，只有当两个组的并集中所有的样本都相对近似时才被认为是靠近的。

这将倾向于产生具有小直径的紧凑类。

然而，它可能产生违背“闭合性”（ｃｌｏｓｅｎｅｓｓ）的类［５］。

也就是说，分配到某个类的样本距其他类成员的距离可能比距离本类中的某些成员的距离更短。

３．平均连接法（Ａｖｅｒａｇｅｌｉｎｋａｇｅ）平均连接法是苟沃（Ｇｏｗｅｒ，１９６６）提出的方法。

此聚类方法在定义类与类之间的距离时，既不采用两类之间的最近距离，也不采用最远距离，而是采用介于两者之间的中间距离，故该方法也称为中间距离法。

它避免了最远距离与最短距离计算上的弊端。

设某步将Ｇｐ与Ｇｑ合并为Ｇｒ，Ｇｒ与任意一类Ｇｋ的距离可以通过图１所示：以Ｄｋｐ，Ｄｋｑ，Ｄｐｑ为边做三角形，若按最短距离法，则。

若按最长距离法，则。

而中间距离法则是取其中线，将此中线作为两类之间的距离Ｄｋｒ，由初等几何知识可知（２）４．组平均连接法（Ａｖｅｒａｇｅｇｒｏｕｐｌｉｎｋａｇｅ）组平均连接法采用的距离定义为两类之间的平均平方距离如公式（３）所示：（３）递推公式为：（４）５．离差平方和法（Ｗａｒｄ’ｓｍｅｔｈｏｄ）离差平方和的思想来自于方差分析，是由Ｗａｒｄ于１９３６年提出，１９６７年经Ｏｒｌｏｃｉ等人发展建立起来的一种系统聚类方法。

该方法认为，如果分类正确，同类样本的离差平方和应当较小，类与类的离差平方和应当较大。

具体做法是先将ｎ个样本看成一类，然后每次缩小一类。

每缩小一类，离差平方和就要增大，选择使Ｓ增加最小的两类合并，直到所有的样本归为一类。

对每一类计算所有变量的均值，然后对每一样本计算到类均值的距离平方，再对所有样本求这些距离之和。

在每一步，合并的两类是使类内距离总平方和增加最小的类。

假定已经将ｎ个样本分成了ｋ类Ｇ１，Ｇ２，…，Ｇｋ，用Ｘｉｔ表示Ｇｔ中的第ｉ个样本的变量指标值向量，ｎｔ表示类Ｇｔ中样本的个数，ｘｔ表示Ｇｔ的重心，则Ｇｔ中样本的离差平方和公式如（５）所示：（５）全部类内离差平方和公式为（６）所示：（６）当ｎ很大时，要给出全部样本的所有可能的分类，并从中选择出使Ｓ达到极小的分类，一般是不可能的。

于是人们只好放弃寻找最优的分类。

为此，Ｗａｒｄ提出了这种聚类方法。

此方法类似于前面描述的几种聚类方法，都是先将ｎ个样本自成一类，此时Ｓ＝０，然后将其中两类合并成一类，即每次缩小一类。

每缩小一类离差平方和Ｓ就要增大，每次都是选择使Ｓ增加最小的两类合并，直至所有的样本归为一类为止。

采用离差平方和法，样本间的距离必须采用欧氏距离。

在实际应用中，离差平方和分类效果较好，应用也比较广泛［４］［５］。

三、系统聚类分析方法的比较与选择对于同一份样本，分别运用上述五种不同的系统聚类方法进行聚类，所得结果一般来说并不完全相同。

于是就产生了一个问题：我们应当选择哪一个结果为好？为了解决这个问题，需要研究系统聚类法的性质，根据这些性质对各种聚类方法进行比较。

１．单调性令Ｄｋ是系统聚类法中第ｋ次并类时的距离，如果有Ｄ１≦●经济研究图１单连接法、完全连接法与平均连接法的几何距离示意图１２Ｄ２Ｄ３…Ｄｎ－１，则称并类距离具有单调性。

由五种系统聚类方法的并类计算公式递推，可以证明单连接法、完全连接法、组平均连接法、离差平方和法都具有单调性，而平均连接法不具有单调性。

２．扭曲性设样本ｒ和ｓ在第ｋ次并类时第一次属于同一类，记样本ｒ和ｓ第一次属于同一类时的并类距离为δ（ｒ，ｓ），则有δ（ｒ，ｓ）＝Ｄｋ。

对函数δ（ｒ，ｓ），有δ（ｒ，ｓ）≤ｍａｘ｛δ（ｒ，ｓ），δ（ｓ，ｔ）｝，对一切ｒ、ｓ、ｔ成立。

由于当样本ｒ和ｔ不与其它样本合并就直接合并为一类时，必然两者之间的距离最小，有δ（ｒ，ｓ）＜ｍａｘ｛δ（ｒ，ｓ），δ（ｓ，ｔ）｝；而当样本ｒ和ｔ分别先与别的样本合并再合并为一类时，则有δ（ｒ，ｓ）＝ｍａｘ｛δ（ｒ，ｓ），δ（ｓ，ｔ）｝。

这表明δ（ｒ，ｓ）是一个极端距离。

所以由样本的初始矩阵Ｄ（０）＝（ｄｉｊ，经过系统聚类后可定义一个新的距离矩阵为：Ｄ＊＝（ｄ＊ｉｊ）。

其中，ｄ＊ｉｊ＝δ（ｉ，ｊ），ｄｉｊ是样本ｉ与ｊ之间的真实距离，ｄ＊ｉｊ是将样本ｉ与ｊ并类的距离。

考虑两者之间的关系，许多人定义了各种各样的畸变度。

如可以将畸变度定义为样本间真实距离ｄｉｊ与并类距离ｄ＊ｉｊ之间的相似系数，如公式（７）所示：（７）显然，样本间的并类距离与其真实距离越接近，并类距离的扭曲程度就越小。

因此，用样本间真实距离和其并类距离之间的相似系数定义的畸变度ｒ越接近于１越好。

当样本个数很少时，聚类步骤也不多，一般来说，所进行的并类距离对样本的真实距离的扭曲程度也不会很大；但是当样本个数很大时，聚类步骤也很多，并类距离对样本的真实距离的扭曲程度也会加大，同一组样本数据用不同的聚类方法计算出的畸变度也就有可能相差较大。

３．空间收缩与扩张性假设有Ａ和Ｂ两个系统聚类法，进行了第ｋ步并类后，所形成的各类之间的距离矩阵为和，ｋ＝０，１，２，…，ｎ－１，若有，ｋ＝１，２，…，ｎ－１，则称方法Ａ比Ｂ扩张或方法Ｂ比Ａ收缩。

记作（Ａ）≧（Ｂ）或（Ｂ）≦（Ａ）。

对于前述常用的五种系统聚类法，通过比较可以得到如下的结论：（单连接法）≦（组平均连接法）≦（完全连接法）（组平均连接法）≦（离差平方和法）一般来说，太收缩的方法不够灵敏，而太扩张的方法在样本量大的情况下容易失真。

组平均连接法比较适中。

它与其它方法相比，显得不太收缩也不太扩张，具有并类空间守恒的性质。

４．最优性设有ｎ个样本，欲分成ｋ类，记Ｐ（ｎ，ｋ）＝｛Ｑ１，Ｑ２，…，Ｑｋ｝是任意一种分类，Ｌ［Ｐ（ｎ，ｋ）］为分类的损失函数，若有一个分类Ｐ＊（ｎ，ｋ），使该损失函数的值达到了最小，即有下式成立：Ｌ［Ｐ＊（ｎ，ｋ）］＝ｍｉｎＬ［Ｐ（ｎ，ｋ）］，则称这个分类［Ｐ＊（ｎ，ｋ）］为最优分类。

损失函数的定义可以有许多方法，由于每个类内的离差平方和给出了该类内各样本间的差异程度，其值的大小反映了所给类的划分是否适当，所以分类的损失函数常用所给定分类的全部类内离差平方和来定义。

设类Ｑｔ中有ｍｔ个样本，ｘ（１），ｘ（２），…，ｘ（ｍｔ），其重心为，则该类的类内离差平均和为公式（８）：（８）因此，对于某个分类Ｐ（ｎ，ｋ）＝｛Ｑ１，Ｑ２，…，Ｑｋ｝，全部ｎ个样本共分成了ｋ类，就可定义此分类的损失函数为（９）：（９）由系统聚类法中的离差平方和法可知，当样本个数ｎ较大时，全部可能的分类相当多，要求得出全部所有可能的分类，并从中找出使上述损失函数的取值达到最小即最优的分类，一般是不可能的。

所以，用最优性来衡量各种系统聚类法的优劣还仅仅是理论上可行，而在实际应用中缺少必要的可操作性。

四、总结通过对上述五种常用系统聚类分析法的比较，我们发现单连接法、完全连接法、组平均连接法、离差平方和法都具有单调性，而平均连接法不具有单调性；扭曲性是要把各种方法放到同一批样本的聚类结果中去比较后而得出的；在空间收缩性上，组平均连接法表现较好；最优性仅仅是理论上可行，在实际应用中缺少可操作性。