SAS讲义_第三十九课聚类分析

第三十九课 聚类分析聚类分析是多元统计分析中研究“物以类聚”的一种方法，用于对事物的类别面貌尚不清楚，甚至在事前连总共有几类都不能确定的情况下进行分类的场合。

聚类分析主要目的是研究事物的分类，而不同于判别分析。

在判别分析中必须事先知道各种判别的类型和数目，并且要有一批来自各判别类型的样本，才能建立判别函数来对未知属性的样本进行判别和归类。

若对一批样品划分的类型和分类的数目事先并不知道，这时对数据的分类就需借助聚类分析方法来解决。

聚类分析把分类对象按一定规则分成组或类，这些组或类不是事先给定的而是根据数据特征而定的。

在一个给定的类里的这些对象在某种意义上倾向于彼此相似，而在不同类里的这些对象倾向于不相似。

关于聚类分析的任何通则必定是含糊的、不明确的，因为在众多的各种不同领域里聚类方法已经发展了，类和对象间的相似性具有不同定义。

各种聚类分析方法通过用于聚类分析的各种各样的领域反映出来。

因此尽管聚类方法有很多种，但不管哪一种都不能说得到的分类是准确的。

下面我们介绍聚类分析中常用的一些方法。

一、 距离和相似系数什么是“类”呢？粗略地说，相似物体的集合称作类；聚类分析的目的就是把相似的东西归类。

其次“相似”是什么含意？怎样度量“相似”？我们必须给出度量“相似”的统计指标。

聚类根据实际的需要有两个方向，一是对样品的聚类，一是对变量的聚类。

相应的聚类统计量有两类：一种统计指标是类与类之间距离，它是把每一个样品看成高维空间中的一个点，类与类之间用某种原则规定它们的距离，将距离近的点聚合成一类，距离远的点聚合成另一类。

距离一般用于对样品分类。

另一种是相似系数，根据这个统计指标将比较相似的变量归为一类，而把不怎么相似的变量归为另一类，用它可以把变量的亲疏关系直观地表示出来。

1. 距离设有n 组样品，每组样品有p 个变量，n 组样品数据如表39.1所示：表39.1 p 个变量的n 组样品数据样品号 变量1 2 … n 1X 2Xp X11x 21x … 1n x 12x 22x … 2n xp x 1 p x 2 … np x第i 个与第j 个样品之间距离用ij d 表示，ij d 一般应满足下面的条件： 0 ij d 当第i 个样品与第j 个样品相等；● 0≥ij d 对一切i ，j ； ● ji ij d d =对一切i ，j ；● kj ik ij d d d +≤ 对一切对一切i ，j ，k 。

最常用的距离有欧几里德距离、闵可夫斯基和马氏距离： 1) 欧几里德（Euclid ）距离：()2112⎪⎪⎭⎫ ⎝⎛-=∑=pk jkik ijx x d (39.1)2) 闵可夫斯基（Minkowski ）距离：gpk gjkik ijx x d 11⎪⎪⎭⎫ ⎝⎛-=∑=(39.2)g 一般为1或2，如果g =1时也称之为绝对值距离，g =2时即为欧几里德距离。

3) 马氏（Mathalanobis ）距离：)()(1j i j i ij x x Sx x d -'-=-(39.3)其中i x 为第i 个样品的p 个元素组成的向量，j x 为第j 个样品的p 个元素组成的向量，1-S 为n 个样品的p p ⨯的协方差矩阵的逆矩阵。

2. 相似系数聚类分析有时也需要对变量进行聚类。

在对变量进行聚类时，也可以定义变量间的距离，通常使用变量间的相似系数。

常用的相似系数有： 1) 夹角余弦夹角余弦作为变量间的相似关系，它忽视各变量的绝对长度，着重从形状方面反映它们之间的关系。

记变量i x 与j x 的夹角余弦为ij c ，其中p j i ,2,1,=，则有2112121⎪⎭⎫ ⎝⎛=∑∑∑===nk jk nk ik nk jkikij x x x xc(39.4)2) 相关系数变量i x 与j x 的相关系数为2111221)()())((⎥⎦⎤⎢⎣⎡----=∑∑∑===nk nk j jk i ik nk j jk i ikij x x x x x x x xr(39.5)i x 表示第i 个指标的平均值。

借助于相似系数，可以定义变量之间的距离。

例如，采用非相似测度距离为21ij ij c d -=，或 21ij ij r d -=。

另外，还有其他一些定义相似系数的方法。

二、 类的特征和类与类之间距离及统计量我们的目的是聚类，那么什么叫类呢？由于客观事物的千差万别，在不同的问题中类的含义是不尽相同的。

如图39-1中表现是五种不同类型的类。

图39-1 各种形式的类企图给类一个严格的定义，绝非一件简单的事。

下面给出类的几个定义，不同的定义适用于不同的场合。

用G 表示类，假设G 中有k 个元素，用i 、j 表示G 中第i 、j 个因素。

定义1 T 为一给定的阈值，如果对任意的G j i ∈,，有T d ij ≤(ij d 为i 和j 的距离)，则称G 为一个类。

定义2 T 为一给定的阈值，如果对每个G i ∈，有∑∈11Gj ijT dk ≤-，则称G 为一个类。

定义3 T 为一给定的阈值，如果对任意一个G i ∈，一定存在,G j ∈使得,T d ij ≤则称G 为一个类。

易见，定义1的要求是最高的，凡符合它的类，一定也是后两种定义的类。

此外，凡符合定义2的类，也一定是定义3的类。

1. 类的特征现在类G 的元素用m x x ,,1 表示，m 为G 内的样品数，可以从不同的角度来刻画G 的特征。

常用的特征有如下三种： 1) 均值G x （或称为G 的重心）：∑==mi iG xmx 11 (39.6)2) 样品协方差阵：()()GG mi GiG iG A m S x x x xA 111-='--=∑=(39.7)3) G 的直径。

它有多种定义，例如：()()()G mi G iGiG A tr x x x x D =-'-=∑=1(39.8)ij Gj i G d D ∈=,max(39.9)2. 类的距离在聚类分析中，不仅要考虑各个类的特征，而且还要计算类与类之间的距离。

由于类的形状是多种多样的，所以类与类之间的距离也有多种计算方法。

令p G 和q G 中分别有p 和q 个样品，它们的重心分别记为p x 和q x 。

下面给出一些常用的类与类之间距离定义，用()q p D ,表示：1) 最短距离：(){}q p jkG k G j dq p D ∈∈=,min ,(39.10)类与类之间距离定义为p G 和q G 中最邻近的两个样品的距离。

最短距离法有许多理想的理论性质，但在蒙特卡洛（Monto Carlo ）模拟研究中（例：Milligan 1980）进行得很不顺利。

它不对类的形状加以限制，保证了对拉长和不规则类的检测，例如，如图39-1中的（b ）、（c ）、（e ）（d ）形式的类。

但它却牺牲了恢复压缩类的性能，另外它也趋向于在分开主要类之前去掉分布的尾部（Hartigan 1981）。

2) 最长距离：(){}q p jkG k G j dq p D ∈∈=,max ,(39.11)类与类之间距离定义为p G 和q G 中最远的两个样品的距离。

最长距离法严重地倾向于产生直径粗略相等的类，而且可能被异常值严重地扭曲。

例如，如图39-1中的（a ）形式的类。

最长距离法由Sorensen （1948）提出。

3) 重心法距离：()()()q p q p x x x x q p D -'-=,(39.12)类与类之间距离定义为两个重心或均值p x 和q x 之间欧氏距离的平方。

重心法在处理异常值上比其他谱系方法更稳健，但是在其他方便不如Ward 或类平均距离法的效果好（Milligan 1980）。

重心法由Sokal 和Michener （1958）提出。

4) 类平均距离：()∑∑∈∈=p qG i G j ijdpqq p D 1,(39.13)类与类之间距离定义为p G 和q G 中所有两个样品对之间距离的平均。

类平均距离法趋向于合并具有较小偏差的类，而且稍微有点倾向与产生相同方差的类。

例如，如图39-1中的（a ）形式的类。

类平均距离法首先由Sokal 和Michener （1958）提出。

5) Ward 最小方差法或Ward 离差平方和距离：若采用直径（式39.8）的定义方法，用p D 、q D 分别表示p G 和q G 的直径，用q p D +表示大类q p D D ⋃的直径，则()()∑∈-'-=pG i p i p ip x x x xD ，()()∑∈-'-=qG i q j q jq x x x xD(39.14)()()∑∈+-'-=qp G G i i iq p x x x xD(39.15)其中∑∈+=qp G G i ixqp x 1。

用离差平方和法定义p G 和q G 之间的距离为两个类对所有变量的ANOV A 平方和，即q p q p w D D D q p D --=+),((39.16)可以证明这种定义是有意义的，并且()()q p q pq p q p x x x xqp pq D D D -'-+++=+(39.17)那么()()()q p q pw x x x xqp pq q p D -'-+=,(39.18)如果样品间的距离采用欧氏距离，上式可表为()()q p D qp pq q p D w ,,+=(39.19)这表明，()q p D w ,与重心法的距离（式39.12）()q p D ,只差一个常数)/(q p pq +倍，这个倍数显然与这两类的样品数p 和q 有关。

Ward 离差平方和距离法在每次合并p G 类和q G 类为q p G +类时，总是选择这样两个p G 类和q G 类，使它们合并成q p G +类后的()q p D w ,值最小，故也称为Ward 最小方差法。

合并后增加的最小方差()q p D w ,除以合并后总的离差平方和TSS 的比值（即半偏2R ）的统计意义是容易解释的。

Ward 最小方差法一般是在多元正态混合型、等球形协方差、等抽样概率假设下合并类。

所以，Ward 方法趋向于合并具有少量观察的类，并倾向于形成具有大约相同数目观察的类。

例如，如图7-4中的（a ）形式的类。

Ward 方法对异常值也很敏感（Milligan 1980）。

最小方差法或离差平方和由Ward （1963）提出。

6) 密度估计法：密度估计法是一类使用非参数概率密度的聚类方法。

例如，如图39-1中的（b ）形式的类。

包括两个步骤：①使用一种基于密度估计的新的非相似测度*d 来计算样品i x 和j x 的近邻关系；②然后根据基于*d 方法计算的距离，采用最小距离法进行聚类。