实用统计方法——第三讲 聚类分析

x21• x22•
x11• x12•
重心法（Centroid clustering):均值点的距离
•
( x1 , y1 )
•
( x2 , y2 )
离差平方和法连接
(2 − 3) 2 + (4 − 3) 2 = 2
2，4
(6 − 5.5) 2 + (5 − 5.5) 2 = 0.5
6，5
1，5
(1 − 3) 2 + (5 − 3) 2 = 8
两个距离概念
在计算时， 在计算时 ， 各种点间距离和 类间距离的选择是通过统计 软件的选项实现的。 软件的选项实现的 。 不同的 选择它的结果会不同， 选择它的结果会不同 ， 但一 般不会差太多。 般不会差太多。
向量x=(x1,…, xp)与y=(y1,…, yp)之间的距离或相似系数 之间的距离或相似系数: 向量 与 之间的距离或相似系数 欧氏距离: 欧氏距离 平方欧氏距离: 平方欧氏距离 ( xi − yi ) 2 ( xi − yi ) 2 ∑ Euclidean ∑ i Squared Euclidean i Chebychev: Maxi|xi-yi|
两个距离概念
由一个点组成的类是最基本的类； 由一个点组成的类是最基本的类 ； 如 果每一类都由一个点组成， 果每一类都由一个点组成 ， 那么点间 的距离就是类间距离。 的距离就是类间距离 。 但是如果某一 类包含不止一个点， 类包含不止一个点 ， 那么就要确定类 间距离， 间距离， 类间距离是基于点间距离定义的 是基于点间距离定义的： 类间距离 是基于点间距离定义的 ： 比 两类之间最近点之间的距离可以作 如 两类之间最近点之间的距离 可以作 为这两类之间的距离， 也可以用两类 为这两类之间的距离 ， 也可以用 两类 中最远点之间的距离或各类的中心之 中最远点之间的距离 或各类的中心之 间的距离来作为类间距离。 间的距离来作为类间距离。
d13
x22•
x21•
最长距离（Furthest Neighbor ）
• x11• •
x21•
d12
• • •
•
组间平均连接（Between-group Linkage)
• • •
• • •
d1 + L + d 9 9
组内平均连接法（Within-group Linkage)
d1 + d 2 + d3 + d 4 + d5 + d 6 6
Minkowski: ∑ ( xi − yi )q i
1 q
Block(绝对距离 Σi|xi-yi| 绝对距离): 绝对距离 Lance距离 距离
i i
| xi − yi | 1 ∑ x +y p i i i
i
Pearson correlation
(相似系数 相似系数2): 相似系数
0 11.67 0 D0 = 13.80 24.63 0 0 13.12 24.06 2.20 12.80 23.54 3.51 2.21 0
Lance和Williams给出 对欧氏距离 统一递推公式 和 给出(对欧氏距离 统一递推公式: 给出 对欧氏距离)统一递推公式
事先不用确定分多少类： 事先不用确定分多少类：分层聚类 分 层 聚 类 或 系 统 聚 类 （ hierarchical cluster） 。 开始时 ， 有多少点就是多 ） 开始时， 少类。 少类。 它第一步先把最近的两类（ 它第一步先把最近的两类 （ 点 ） 合并 成一类， 成一类 ， 然后再把剩下的最近的两类 合并成一类； 合并成一类； 这样下去， 每次都少一类， 这样下去 ， 每次都少一类 ， 直到最后 只有一大类为止。 越是后来合并的类， 只有一大类为止 。 越是后来合并的类 ， 距离就越远。 距离就越远。
1 xi ∈G p
∑
i
p
i
p
2
x j ∈Gq
∑
j
q
j
q
D1+ 2 =
xk ∈G p ∪Gq
∑
( xk − x ) '( xk − x ) ⇒ D pq = D1+ 2 − D1 − D2
在用欧氏距离时, 在用欧氏距离时 有统一的递推公式
最短距离（Nearest Neighbor)
x11• x12•
饮料数据（drink.txt ） 饮料数据（
16种饮料的热量、咖啡因、钠及价格四种变量 种饮料的热量、咖啡因、 种饮料的热量
如何度量距离远近？ 如何度量距离远近？
如果想要对100个学生进行分类 ， 个学生进行分类， 如果想要对 个学生进行分类 而仅知道他们的数学成绩， 而仅知道他们的数学成绩，则只好 按照数学成绩分类； 按照数学成绩分类；这些成绩在直 线上形成100个点 。 这样就可以把 个点。 线上形成 个点 接近的点放到一类。 接近的点放到一类。 如果还知道他们的物理成绩， 如果还知道他们的物理成绩，这样 数学和物理成绩就形成二维平面上 个点， 的 100个点 ， 也可以按照距离远近 个点 来分类。 来分类。
为研究辽宁、浙江、河南、甘肃、青海5省份 省份1991年城 例: 为研究辽宁、浙江、河南、甘肃、青海 省份 年城 镇居民生活消费的分布规律，需要利用调查资料对这5个省 镇居民生活消费的分布规律，需要利用调查资料对这 个省 分类。变量名称及原始数据如下表： 分类。变量名称及原始数据如下表：
变量 省份 辽宁 浙江 河南 甘肃 青海 X1 7.90 7.68 9.42 9.16 X2 39.77 50.37 27.93 27.98 X3 8.49 11.35 8.20 9.01 10.52 X4 12.94 13.30 8.24 9.32 10.05 X5 19.27 19.25 16.17 15.99 16.18 X6 11.05 14.59 9.42 9.10 8.39 X7 2.04 2.75 1.55 1.82 1.96 X8 13.29 14.87 9.76 11.35 10.81
Cxy (2) = rxy =
∑ ( x − x )( y − y )
( xi − x ) 2 ∑ ( yi − y ) 2 ∑
i i i i
相似系数1) 夹角余弦(相似系数 : 相似系数 cosine
Cxy (1) = cos θ xy =
∑x y
i i i
xi 2 ∑ yi 2 ∑
与类G 之间的距离D 类Gp与类 q之间的距离 pq (d(xi,xj)表示点 i∈ Gp和xj ∈ Gq之间的距离 表示点x 之间的距离) 表示点 最短距离法: 最长距离法: 最短距离法 最长距离法 D pq = min d ( xi , x j ) D pq = max d ( xi , x j ) 重心法: 重心法 类平均法: 类平均法 1 D pq = min d ( x p , xq ) D pq = ∑ x∑ d ( xi , x j ) n1n2 xi ∈G p j ∈Gq 离差平方和: 离差平方和 (Wald) D = ( x − x ) '( x − x ), D = ( x − x ) '( x − x ),
10.06 28.64
其中， ：人均粮食支出， ：人均副食支出， ：人均烟酒茶支出， 其中，X1：人均粮食支出，X2：人均副食支出，X3：人均烟酒茶支出，等。
计算两组间的欧式距离， 计算两组间的欧式距离，如：D12=D21=[(7.907.68)2+(39.77-50.37)2+‥‥ +(13.29-14.87)2] ‥‥+ ‥‥
K均值法和系统聚类法一样，都是以距离的远 近亲疏为标准进行聚类的，但是两者的不同 之处也是明显的：系统聚类对不同的类数产 生一系列的聚类结果，而K—均值法只能产生 指定类数的聚类结果。具体类数的确定，离 不开实践经验的积累；有时也可以借助系统 聚类法以一部分样品为对象进行聚类，其结 果作为K—均值法确定类数的参考。 下面通过一个具体问题说明K均值法的计算过 程。
聚类分析
Cluster Analysis
引言 距离的度量 k-均值聚类及 均值聚类及SPSS实现 均值聚类及 实现 分层聚类及SPSS实现 实现 分层聚类及 附录（聚类的相关 命令） 附录（聚类的相关Matlab命令） 命令
引言
物以类聚、人以群分； 物以类聚、人以群分； 但根据什么分类呢？ 但根据什么分类呢？ 如要想把中国的县分类， 如要想把中国的县分类，就有多种方法 可以按照自然条件来分，比如考虑降水、 可以按照自然条件来分，比如考虑降水、 土地、日照、湿度等， 土地、日照、湿度等， 也可考虑收入、教育水准、医疗条件、 也可考虑收入、教育水准、医疗条件、基 础设施等指标； 础设施等指标； 既可以用某一项来分类， 既可以用某一项来分类，也可以同时考虑 多项指标来分类。 多项指标来分类。
D2(k,r)=αpD2(k,p)+αqD2(k,q)+βD2(p,q) α α β +γ|D2(k,p)-D2(k,q)| γ 前面方法的递推公式可选择参数而得: 前面方法的递推公式可选择参数而得
方法 αi (i=p,q) ½ 最短距离 ½ 最长距离 ni/nr 重心 ni/nr 类平均 离差平方和(n 离差平方和 i+nk)/ (nr+nk) 1/2 中间距离 可变法 (1-β)/2 β 可变平均 β γ 0 0 -αpαq α 0 -nk/ (nr+nk) -1/4 β(<1) β(<1) -1/2 1/2 0 0 0 0 0 0
返回
(1- β) ni/nr
事先要确定分多少类： 均值聚类 事先要确定分多少类：k-均值聚类
系统聚类法需要计算出不同样品或变量的距离，还要在聚类 的每一步都要计算“类间距离”，相应的计算量自然比较大 ；特别是当样本的容量很大时，需要占据非常大的计算机内 存空间，这给应用带来一定的困难。而K—均值法是一种快 速聚类法，采用该方法得到的结果比较简单易懂，对计算机 的性能要求不高，因此应用也比较广泛。 K均值法是麦奎因（MacQueen，1967）提出的，这种算法 的基本思想是将每一个样品分配给最近中心（均值）的类中 ，具体的算法至少包括以下三个步骤： 1．将所有的样品分成K个初始类； 2．通过欧氏距离将某个样品划入离中心最近的类中， 并对获得样品与失去样品的类，重新计算中心坐标； 3．重复步骤2，直到所有的样品都不能再分配时为止。