第12章 聚类分析

∑
马氏距离：
dij2 (M) = (x(i) x( j))T Σ1(x(i) x( j))
这距离不但消除了量纲的影响，也对相关性做了 考虑。
9
【例12.1】
已知一个二维正态总体G的分布为
0 1 N2 0 0.9 0.9 1
T
求点 的距离 解：由假设可得
A = (1, 1)T
24
五、重心法
类与类之间的距离定义为它们的重心(均值)之间 的欧氏距离。 六、离差平方和法(Ward) 离差平方和法是由沃德(Ward)提出来的，许多文 献称作Ward法。他的思想来自方差分析，如果类分 得正确，同类样品的离差平方和应当较小，类与类 之间的离差平方和应当较大。 七、系统聚类法的统一 Lance和Williams于1967年将上述8种方法的类间 距离递推公式统一起来，即是 2 2 2 2 2 2 DMJ = αK DKJ +αL DIJ + β DKL + γ DKJ DIJ
6
距离的定义
用 d ij 表示样品i和样品j之间的距离。按一般要求， 距离 dij 应满足以下4条公理： dij ≥0 对一切 1.
2. 3. 4.
dij = 0 i样品与 j 样品横等。
d ij = d ji , 对 一 切 i , j
一 i d ij ≤ dik +dkj , 对 切 , j , k
13
最常用的相似系数有如下两种：
1. 夹角余弦 变量的 x i 与
xj
夹角余弦定义为
c ij (1) =
∑1 xki xkj k=
2 2 ( ∑ xki )( ∑ xkj ) k =1 x k =1
n n
j
n
1/ 2
2. 相关系数 变量 x i与 x j的相关系数为 ∑(x x )(x x )
两者相等，而按马氏距离两者差19倍之多。 我们知道本例的分布密度是
f ( y1, y2 ) = 1 2π 0.19 exp{ 1 2 2 [ y1 1.8y1 y2 + y2 ]} 0.38
A和B两点的密度分别是
f (1 1) =0.2157 ,
f (1 1 =0.00001658 , )
11
【例12.2】
m1 + m 2
二、相似系数
聚类分析方法不仅用来对样品进行分类，而且可 用来对变量进行分类，在对变量进行分类时，常常 采用相似系数来度量变量之间的相似性。 变量 xi与 x j 的相似系数用 cij 来表示，它一般应 满足下三个条件： ≠ (1) cij = ±1 当且仅当 xi = ax j + b a( 0 )和b是常数 (2) c ≤1 对一切i, j; ij (3) c i j = c j i 对一切i, j。
n
cij (2) =
k =1
ki
i
kj
j
n n 2 (xki xi ) ∑(xkj xj )2 ∑ k =1 k =1
1/ 2
14
§12.2 系统聚类法
系统聚类法(hierarchical clustering method)是使用 最多的一种聚类方法。 它的基本思想是：先将每个样品(或变量)作为一 类，然后选定样品(或变量)间的一种距离和类与类 之间的距离，然后将距离最近的两类合并成一个新 类，计算新类与其他类之间的距离，再重复上述并 类过程，直到最后全都并成一类为止。
25
§12.3 动态聚类法
当样品的个数n很大(如n≥100)时，系统聚类法的 计算量是非常大的，将占据大量的计算机内存空间 和较多的计算时间，甚至会因计算机内存或计算时 间的限制而无法进行。为了改进这些缺点，一个自 然的想法去先粗略地分一下类，然后按某种最优原 则进行修正，直到将类分得比较合理时为止。基于 这种思想就产生了动态聚类法，也称逐步聚类法。
G 3
0
G 4
G 5
(表 续) G 6
G 4 G 5 6 9
G 3
2 5
G 4
0 3
G 5
0
19
D D D =2 ，合并 和 成 G ，G 与其他 类间的距离列于表12.4。
34
3
(3) 中的最小元素是 D(1)
4
7
7
G 6
G 6 G 7 G 5 0 4 9
G 7
0 3
G 5
0
20
中的最小元素是 D = 3 ，将 G5和 的距离矩阵列于表12.5。
= (0, 0)T 和 B = (1, 1) 至均值
1 1 0.9 Σ = 0.9 0.9 1
1
从而
2 dA (M) = (1, 1)Σ1(1, 1)T = 0.2/0.19
2 dB (M) = (1, 1)Σ1(1, 1)T = 3.8/0.19
10
如果用欧氏距离，则有
2 2 d A (2) = 2, d B (2) = 2
26
§12.3 动态聚类法
动态聚类法有许多种方法，我们主要介绍一种比较流行 的动态聚类法—— K均值法。麦克奎因 (Macqueen)于1967 年提出了所谓K均值法。这种聚类方法的思想是把每个样品 聚集到其最近形心(均值)类中去。其基本步骤为： (1) 选择k个样品作为初始凝聚点，或者将所有样品分成 k个初始类，然后将这k个类的重心作为初始凝聚点。 (2) 对除凝聚点之外的所有样品逐个归类，将每个样品 归入到凝聚点离它最近的那个类(通常采用欧氏距离)，该类 的凝聚点更新为这一类目前的均值，直至所有样品都归了类。 (3) 重复步骤(2), 直至所有的样品都不能再分配为止。
某高校举办一个培训班，从学员的资料中得到这 样6个变量：性别，取值男和女；外语语种，取值 为英、日和俄；专业，取值为统计、会计和金融； 职业，取值为教师和非教师；居住，取值为校内和 校外；学历，取值为本科和本科以下。 现有两名学员： x1 = (男，英，统计，非教师，校外，本科)T x2 = (女，英，金融，教师，校外，本科生)T 这两个学员的第二个变量都取值“英”，称为配 合的，第一个变量一个取值为“男”，另一个取值 为“女”，称为不配合的。一般地，若记配合的变 量数为 m1 不配合的变量数为 m2 ，则它们之间的距离 m1 可定义为 d 12 = 12
p q 1/ q
4.切比雪夫距离 :
dij (∞) = max x ik x jk
1≤k ≤ p
8
消除量纲的影响办法有： (1)当各指标的量纲相差悬殊时，先对数据标准 化，然后用标准化的数据计算距离。 (2)兰氏距离 ： 1 p xik x jk
dij ( LW ) = p k =1 xik + x jk
2
概述
聚类分析的职能是建立一种分类方法，它是将一 批样品或变量，按照它们在性质上的亲疏程度进行 分类。 根据分类对象的不同，聚类分析可分为Q型聚类 分析和R型聚类分析两大类。 Q型是综合利用多个变量对样本进行分类处理， R型是对变量进行分类处理。
3
§12.1 距离和相似性度量
● 间隔尺度变量：即连续变化的实值变量，如长 度、重量、压力等。 ● 有序尺度变量：这种变量没有明确的数量表示， 但其所取的各种状态间有次序关系。如评价卷烟可 分为甲、乙、丙三级。 ● 名义尺度变量：这种变量没有数量表示，其状 态间也没有次序关系。如性别可为男和女，医疗诊 断中的阴性和阳性，天气的阴和晴，眼睛的颜色等。 当我们对事物进行分类时，总是要选定一种度量 用以衡量两个事物间的接近程度，以便把相互接近 的放在一起形成一类，而把疏远的分别放在不同的 类别之中。一般可选用的度量分为两大类，即距离 和相似性度量。
K
L
记为 GM
，即 GM = {GK , GL }
16
(3)计算新类 G M 与任一类GJ 之间距离的递推公 式为
i∈ M , j∈ J G G
K
D J = m dij =m m dij , m dij}=m D , D } in in{ in in in{ KL IJ M
i∈ K , j∈ J G G i∈ L , j∈ j G G
K
Lபைடு நூலகம்
M M
J
23
三、中间距离法
类与类之间的距离即不取两类最近样品的距离， 也不取两类最远样品的距离，而是取介于两者中间 的距离，称为中间距离法(median method)。 四、类平均法 类平均法(Average Linkage Method)有两种定义， 一种定义方法是把类与类之间的距离定义为所有样 品对之间的平均距离。 另一种定义方法是定义类与类之间的平方距离为 样品之间平方距离的平均值
D(0)
G 1
G 1 G 2 G 3 G 4 G 5 0 1 5 7 1 0
G 2
0 4 6 9
G 3
G 4
G 5
0 2 5
0 3
0
18
(2) D(0)中最小的元素是 D12 = 1 ，于是将 G1 和 G 2 合并
成
G 6，并利用(12.2.1)式计算与其他类的距离，
G 6
G 6 G 3 0 4
如果所定义的距离只满足准则(1)，(2)，(3)， 而不满足(4)，则称此距离为广义距离。
7
最常用的距离是 1.绝对距离： 2.欧式距离：
d ij (1) = ∑ xik x jk
k =1
p
p
d ij (2) =
∑ (x
k =1
ik
x jk ) 2
3.明考夫斯基距离：
dij (q) = ∑ x ik x jk k =1
15
以下我们用 dij 表示第i个样品与第j个样品的 距离， G1 , G2 , 表示类, DKL 表示 G 与 G 的距离。 一、最短距离法 定义类与类之间的距离为两类最近样品间的距离， 即