聚类分析及MATLAB应用

聚类分析人类认识世界往往首先将被认识的对象进行分类，聚类分析是研究分类问题的多元数据分析方法，是数值分类学中的一支。

多元数据形成数据矩阵，见下表1。

在数据矩阵中，共有n个样品x1，x2，…，xn（列向），p个指标（行向）。

聚类分析有两种类型：按样品聚类或按变量（指标）聚类。

表1 数据矩阵聚类分析的基本思想是在样品之间定义距离，在变量之间定义相似系数，距离或相似系数代表样品或变量之间的相似程度。

按相似程度的大小，将样品（或变量）逐一归类，关系密切的类聚到一个小的分类单位，然后逐步扩大，使得关系疏远的聚合到一个大的分类单位，直到所有的样品（或变量）都聚集完毕，形成一个表示亲疏关系的谱系图，依次按照某些要求对样品（或变量）进行分类。

一、分类统计量----距离与相似系数1．样品间的相似性度量----距离用样品点之间的距离来衡量各样品之间的相似性程度（或靠近程度）。

设(,)i j d x x 是样品 ,i j x x 之间的距离，一般要求它满足下列条件：1)(,)0,(,)0;2)(,)(,);3)(,)(,)(,).i j i j i j i j j i i j i k k j d x x d x x x x d x x d x x d x x d x x d x x ≥=⇔==≤+且在聚类分析中，有些距离不满足3），我们在广义的角度上仍称它为距离。

1.1 欧氏距离1221(,)()pi j ik jk k d x x x x =⎡⎤=-⎢⎥⎣⎦∑1.2 绝对距离1(,)||pi j ik jk k d x x x x ==-∑1.3 Minkowski 距离11(,)()pmm i j ik jk k d x x x x =⎡⎤=-⎢⎥⎣⎦∑1.4 Chebyshev 距离1(,)max ||i j ik jk k pd x x x x ≤≤=-1.5 方差加权距离12221()(,)pik jk i j k k x x d x x s =⎡⎤-=⎢⎥⎢⎥⎣⎦∑ 其中 221111,().1n n ik k ik k i i x x s x x n n ====--∑∑ 1.6 马氏距离112(,)()()Ti j i j i j d x x x x S x x -⎡⎤=--⎣⎦其中 S 是由样品12,,...,,...,j n x x x x 算得的协方差矩阵：1111,()()1n n T i i i i i x x S x x x x n n ====---∑∑ 样品聚类通常称为Q 型聚类，其出发点是距离矩阵。

2．变量间的相似性度量----相似系数当对p 个指标变量进行聚类时，用相似系数来衡量变量之间的相似程度（或关联程度）。

一般地，若 c αβ表示变量,αβx x 之间的相似系数，应满足：1)||11;2)1(0);3).c c c x cx c c c αβαααβαβαββα≤==±⇔=≠=且 c αβ的绝对值越接近于1，说明变量 ,αβx x 的关联越大。

相似系数中最常用的是相关系数与夹角余弦。

2.1 相关系数变量,αβx x 之间的相关系数定义为：()(),niix x x x s r ααββαβ--==∑事实上，r αβ是变量,αβx x 的观测值1212(,,...,)(,,...,)T T n n x x x x x x αααβββ与之间的相关系数。

2.2 夹角余弦变量,αβx x 的观测值 1212(,,...,)(,,...,)T T n n x x x x x x αααβββ与，其夹角余弦定义为：niix x c αβαβ=∑变量聚类通常称为 R 型聚类。

在 R 型聚类中，相似系数矩阵 C 是出发点，相似系数矩阵可以是相关矩阵，也可以是夹角余弦矩阵。

二、谱系聚类法这里所介绍的是样品的谱系聚类法。

1．类间距离定义为简单起见，以i ，j 分别表示样品,i j x x ，以d ij 简记i ，j 之间的距离(,)i j d x x 。

G p ，G q 分别表示两个类，设它们分别含有n p ，n q 个样品。

若类G p 中有样品12,,...,pn x x x ，则其均值11pn p ii px xn ==∑称为类 G p 的重心。

类G p 与G q 之间的距离记为 D pq ，有多种多样定义方式。

1.1 最短距离,min p qpq ij i G j G D d ∈∈=1.2 最长距离,max p qpq ij i G j G D d ∈∈=1.3 类平均距离1p qpq iji G j G p qD dn n ∈∈=∑∑1.4 重心距离(,)pq p q D d x x =1.5 离差平方和距离2()()p q T pqp q p q p qn n D x x x x n n =--+2．类间距离的递推公式按照谱系聚类法的思想，先将样品聚合成小类，在逐步扩大为大类。

设类 G r 由类G p 、G q 合并所得，则G r 包含n r =n p +n q 个样品。

问题：由G p ，G q 与其它类G k (k ≠p,q)的距离计算G r 与G k （k ≠p,q ）的距离，即建立类间距离的递推公式。

2.1 最短距离min{,}rk pk qk D D D =2.2 最长距离max{,}rk pk qk D D D =2.3 类平均距离p q rk pk qk rrn n D D D n n =+2.4 重心距离2222p qp q rkpkqkpq r r r rn n n n D D D D n n n n =+-⋅2.5 离差平方和距离2222p k q k krkpkqk pqr kr kr k n n n n n D D D D n n n n n n ++=+-+++ 3．谱系聚类法的步骤谱系聚类法的步骤如下：Step1 n 个样品开始时作为 n 个类，计算两两之间的距离，构成一个对称距离矩阵：121212(0)120...0......0n n n n d d d d D d d ⎡⎤⎢⎥⎢⎥=⎢⎥⎢⎥⎣⎦此时，D pq =d pq ；Step2 选择 D (0)中的非对角线上的最小元素，设这个最小元素是 D pq 。

此时，G p ={x p }，G q ={x q }。

将G p ，G q 合并成一个新类 G r ={G p ，G q }。

在 D (0)中消去G p 和G q 所对应的行与列，并加入有新类G r 与剩下的其它未聚合的类间的距离所组成的一行和一列，得到一个新的距离矩阵D (1)，它是n-1阶方阵；Step3 从 D (1)出发重复 Step2 的作法得 D (2)，再由D (2)出发重复上述步骤，直到n 个样品聚为1个大类为止；注意： 在合并过程中要记下合并样品的编号及两类合并时的水平（即距离）并绘制聚类谱系图。

4．谱系聚类法的统计量用谱系聚类法聚类时，聚多少类合适，这是一个实际的问题。

一个较好的聚类应该在类内阁样品尽可能相似的前提下，使得类的个数尽可能少。

这里需要考虑谱系距离用到的统计量，利用它们，可以在一定程度上判别聚多少类为合适。

4.1 R 2统计量设谱系得第 G 层共有G 个类，定义11()(),n GTi i G k i k T x x x x P S ===--=∑∑其中 11()(),,knTk i k i k i k i G i S x x x x x x x n ∈==--=∑∑为G k 的重心，S k 越小，说明G k 中各样品越相似。

定义 R 2 统计量如下：21/G R P T =-R 2总是随着分类数目的减少而减小，可以从R 2值的变化看n 个样品分成几类最合适。

比如，分为5类以前各类的R 2减小较缓慢；假定分为5类时，R 2=0.85，而下一次合并，即分为4类时R 2减小较快，如R 2=0.35，则认为分为5类较合适。

4.2 半偏相关统计量这一统计量与离差平方和距离有关。

设类 G p ，G q 的离差平方和分别是()(),()(),pqT T p ip i p q iq i q i G i G S xx x x S xx x x ∈∈=--=--∑∑将 G p ，G q 合并成G r 后的离差平方和为()(),rT r i r i r i G S x x x x ∈=--∑合并后的离差平方和增量为2()()p qp qT pq r p q p q p q p q rrn n n n W S S S x x x x x x n n ++=--=--=-定义半偏相关统计量为：/pq SPRSQ W T =SPRSQ 是上一步R 2值与该步R 2值的差值，当SPRSQ 值越大时，说明上一次合并效果越好。

4.3 伪F 统计量伪F 统计量 PSF 是()/(1)/()G G T P G PSF P n G --=-PSF 值越大表示这些观测可显著地分为 G 个类。

4.4 伪 t 2 统计量设S p ，S q ，W pq 的含义如前所述，定义伪 t 2 统计量为2()/(2)pqp q p q W PST S S n n =++-PST2大，说明合并G p ，G q 为G r 后，使得离差平方和的增量W pq 相对于原G p ，G q 的类内离差平方和大。

这表明合并的两个类G p ，G q 是很分开的，也就是上一次聚类效果较好。

三、快速聚类法参见：范金城，梅长林. 数据分析（P228-241）.北京：科学出版社。

聚类分析课堂例题为了研究世界各国森林、草原资源的分布规律，共抽取了21个国家的数据，每个国家4项指标，原始数据见下表1。

使用该原始数据对国别进行聚类分析。

表1 抽样数据表Matlab 解答Matlab提供了两种方法进行聚类分析。

一种是利用clusterdata函数对样本数据进行一次聚类，其缺点为可供用户选择的面较窄，不能更改距离的计算方法；另一种是分步聚类：（1）找到数据集合中变量两两之间的相似性和非相似性，用pdist函数计算变量之间的距离；（2）用linkage函数定义变量之间的连接；（3）用cophenetic函数评价聚类信息；（4）用cluster函数创建聚类。

1．Matlab中相关函数介绍1.1 pdist函数调用格式：Y=pdist(X,’metric’)说明：用‘metric’指定的方法计算X 数据矩阵中对象之间的距离。

’X：一个m×n的矩阵，它是由m个对象组成的数据集，每个对象的大小为n。

metric’取值如下：‘euclidean’：欧氏距离（默认）；‘seuclidean’：标准化欧氏距离；‘mahalanobis’：马氏距离；‘cityblock’：布洛克距离；‘minkowski’：明可夫斯基距离；‘cosine’：‘correlation’：‘hamming’：‘jaccard’：‘chebychev’：Chebychev距离。