聚类分析

C
E
A
F B
重心距离
D
4.中间距离法（Median clustering ）
如果类与类之间的距离既不采用两类之间最近的距离,也 不采用两类之间最远的距离,而是采用两者之间的距离, 则称为中间距离法.当两类 G p 和 Gq 合并成新类 Gr Gp Gq 时, Gr 与任一类 Gk 的距离如何决定呢? Gkq 、 G pq 为边作三角形，可设 Gkq Gkp ，按最短 以Gkp、 距离法核算类间距离；若 Gkq Gkp ，按最远距离法核 算类间距离；若 Gkq Gkp 取其中线，由初等几何知这 个中线的平方等于任一类 Gk 与 Gr 间的距离。计算公式 如下： 1 2 1 2 1 2 2 Gkr Gkp Gkq G pq 2 2 4

得到新矩阵
G6 G1 G 2 G 5 G 6 0 D1 G1 13.12 0 G 2 24.06 11.67 0 G 5 2.21 12.80 23.54 0
合并类6和类5，得到新类7

类7与剩余的1、2之间的距离分别为：
d(5,6)1=min(d51,d61)=min(12.80,13.12)=12.80 d(5,6)2=min(d52,d62)=min(23.54,24.06)=23.54
0 2.20 3.51
因此将3.4合并为一类，为类6，替代了3、4两类 类6与剩余的1、2、5之间的距离分别为：
d(3,4)1=min(d31,d41)=min(13.80,13.12)=13.12 d(3,4)2=min(d32,d42)=min(24.63,24.06)=24.06 d(3,4)5=min(d35,d45)=min(3.51,2.21)=2.21
1.最短距离法(Nearest neighbor )
2.最长距离法(Furthest neighbor )
C
E
最短距离
A
F
最长距离
B
D
例
为了研究辽宁等5省1991年城镇居民生活消费情况 的分布规律，根据调查资料做类型分类，类内距 离用欧氏距离，用最短距离做类间分类。数据如 下： x1 x2 x3 x4 x5 x6 x7 x8
2
squared
euclidean distance 平方欧式距离 distance 切比雪夫距离 distance 明考斯基距离 （明氏距离）
d Max
t
d xit x jt
p t 1
2
chebychev minkowski
x x
it
jt
1
d
p q xit x jt t 1
得到矩阵
G 7 G 8 D3 G 7 0 G8 12.80 0
最后合并为一个大类。这就是按最短距离定义类间距离的 系统聚类方法。最长距离法类似！
3.重心法(Centroid Cl给出重心法。 两类间的距离为两类重心的距离。 一般重心选定为该类样品的均值。 合并后重新计算新类的重心。
第二节
聚类分析
聚类分析（Cluster Analysis） 是研究“物以类聚”的一种多元 统计方法。国内有人称它为群分 析、点群分析、簇群分析等。
如：市场营销中的客户细分 （性别、年龄、学历、职业、 收入、喜好、消费习惯） 关系密切的同学
一、聚类分析的基本概念及基本数学原理
研究对样品或指标进行分类的一种多元统 计方法,是依据研究对象的个体的特征进行 分类的方法。 聚类分析把分类对象按一定规则分成若干 类，这些类非事先给定的，而是根据数据 特征确定的。在同一类中这些对象在某种 意义上趋向于彼此相似，而在不同类中趋 向于不相似。 职能是建立一种能按照样品或变量的相似 程度进行分类的方法。
p

Mahalanobis 马氏距离
指标协方差 阵的逆矩阵
1 dij (M ) ( X (i ) X ( j ) ) S ( X (i ) X ( j ) )

以上都是样本间距离的定义。




明氏距离的缺点：（1）与各指标量纲有关； （2）没有考虑指标间的相关性；（3）没有考 虑各指标可能具有不同的方差。 兰氏距离消除了量纲影响，但没考虑指标间的 相关性。 马氏距离客服了量纲的影响，其的优点有： （1）不受各指标量纲的影响；（2）排除了各 指标间相关性的干扰；（3）将数据做线性变 换后马氏距离不变。 马氏距离例子计算


从一组复杂数据产生一个相当简单的类结构， 必然要求进行“相关性”或“相似性”的度量。 在相似性度量的选择中，常常包含许多主观上 的考虑，但最重要的考虑是指标的性质或观测 的尺度（名义、次序、间隔）以及相关知识。 课堂上主要讨论的指标测量为间隔尺度的情况。
⒈距离


每个样本有p个指标，因此每个样本可以看成p维 空间中的一个点，n个样本就组成p维空间中的n个 点，这时很自然想到用距离来度量n个样本间的接 近程度。 用dij 表示第i个样本与第j个样本之间的距离。一切 距离应满足以下条件：

聚类分析的基本思想是认为我们所研究的样本或变量 之间存在着程度不同的相似性（亲疏关系）。于是根据 一批样本的多个观测指标，具体找出一些彼此之间相似 程度较大的样本（或变量）聚合为一类，把另外一些彼 此之间相似程度较大的样本（或变量）又聚合为另一类， 关系密切的聚合到一个小的分类单位，关系疏远的聚合 到一个大的分类单位，直到把所有样本（或变量）都聚 合完毕，把不同的类型一一划分出来，形成一个由小到 大的分类系统。最后把整个分类系统画成一张谱系图， 用它把所有样本（或变量）间的亲疏关系表示出来。这 种方法是最常用的、最基本的一种，称为系统聚类分析 （层次聚类）。
x x y s
i i

x 100 % y x
i

i
0
2.归一化法
4.阈值法
y x x
i i n j 1
j
y
ij

x
ij
min xij
max xij min xij
（二）距离和相似系数——类内距离
在进行聚类分析时，样本间的相似系数和距 离有多种不同的定义，通常按特性来划分。变量 特征的测度尺度有三种类型： 间隔尺度（由连续的实值变量表示）定距 有序尺度（没有明确的数量表示，只有次序 关系，如产品等级、学历层次）定序 名义尺度（具有某种特性，如性别）定类
青海5 10.06 28.64 10.52 10.05 16.18 8.39

将每一个省区视为一个样本，先计算5个省区之间 的欧式距离，用D0表示距离矩阵（对称阵，故给 出下三角阵）类间距离使用最短距离法.
辽宁 浙江 D0 河南 甘肃 青海 1 1 0 2 11.67 3 13.80 4 13.12 5 12.80 2 0 24.63 24.06 23.54 3 5 0 2.21 0 4
6.离差平方和法(WARD)


除此以外，还有动态聚类法、图论聚类法、模 糊聚类法、有序聚类法、k-Means聚类、两步 聚类法等。 根据聚类分析使用数据的角度可以将它分为R 型聚类（对变量进行聚类）和Q型聚类（对样 本进行聚类），既能用于探测性研究，也能用 于证实性研究。
R型聚类分析的主要作用：
⒈不但可以了解个别变量之间的亲疏程度，而且可以了解 各个变量组合之间的亲疏程度。 ⒉根据变量的分类结果以及它们之间的关系，可以选择主 要变量进行Q型聚类分析或回归分析。（R2为选择标准）
中间距离
5.类平均法(AVErage method)



1.Between-groups linkage 类间平均法 两类距离为两类元素两两之间平均平方距离 2.Within-groups linkage 类内平均法 两类距离为合并后类中可能元素两两之间平均 平方距离 举例：A、 B与 C、 D
q
当q=1,2时，为绝对值、欧式距离； 若趋近无穷时，则为切比雪夫距离
计算举例
明氏距离在实际的运用很多，但有一些缺点。 例如观测值的单位问题；指标间的相关问题， 因此改进得到以下两种距离：

Lanberra 兰氏距离
1 | xit x jt | dij ( L) p t 1 ( xit x jt )
⒉相似系数 ① 夹角余弦
两变量的夹角余弦定义为：

② 相关系数
两变量的相关系数定义为：
（三）常用的聚类法——类间距离



系统聚类法的聚类原则决定于样品间的距离 以及类间距离的定义，类间距离的不同定义 就产生了不同的系统聚类分析方法。 以下用dij表示样品X(i)和X(j)之间的距离，当样 品间的亲疏关系采用相似系数Cij时， 2 2 令 dij ； 1 Cij 以下用D(p,q)表示类Gp和Gq之间的距离。
Q型聚类分析的主要作用：
⒈可以综合利用多个变量的信息对样本进行分析。 ⒉分类结果直观，聚类谱系图清楚地表现数值分类结果。 ⒊聚类分析所得到的结果比传统分类方法更细致、全面、 合理。 在课堂上主要讨论Q型聚类分析, Q型聚类常用的统计量是距 离.

那么系统聚类法则基本数学原理： 建立一种方法,将一批样本(Q型)或变量(R型)按 照它们在性质上的紧密程度进行分类.一般有两种方 法,一种是把样本看成m维空间的点，在m维坐标中, 定义点与点之间的某种距离;另一种是用某种相似系 数来描述样本点之间的紧密程度. 当确定了样本或变量的距离和相似系数后,就要 对样本或变量进行分类.首先,将m个样本开始时自成 看成一类，然后规定各类(点)之间的距离，将距离最 小的一对并成一类，然后考虑合并后的类与其他类之 间的距离,再进行合并,逐次重复后,直到所有单位全部 合并为止。