聚类

相似性度量
Xi ｛xi1,…,xid ｝和Xj ｛xj1,…,xjd ｝是两个具有 d个属性的两个样本。距离度量标准d（Xi，Xj）表示 第i个样本与第j个样本间的距离。 在聚类分析中，最常用的距离定义如下： 最著名的距离度量标准是d维空间中的欧几里德距离： d（Xi，Xj）＝（ ( x ik x jk ) 2）1/2
0 d ( X , X ) 0 2 1 d ( X 3 , X1 ) d ( X 3 , X 2 ) 0 . . . d ( X n , X 1 ) d ( X n , X 2 ) . . 0
d(Xi，Xj)是样本Xi和样本Xj间相异性的量化表示。 最明显的相似性度量是样本之间的距离。
L2（X1，X2）＝（1+1+16+1）1/2＝4.36
L3（X1，X2）＝（1+1+64+1）1/3＝4.06。
Lk（Xi，Xj）＝（
k 1
| xik x jk | k）1/k
d
聚类算法
聚类算法:即是先定义一个合适的度量，然后计
算任意两个样本之间的距离。当两个样本之间的欧几
里德距离小于某个阈值d0时，这两个样本就属于同一
-1.5
-1
-0.5
0
0.5
1
1.5
2
-1.5
-1
-0.5
0
0.5
1
1.5
2
x
x
x
Iteration 4
3 3 2.5 2.5
Iteration 5
3 2.5
Iteration 6
2
2
2
1.5
1.5
1.5
y
y
1
1
y
1 0.5 0.5 0 0 -2 -1.5 -1 -0.5 0 0.5 1 1.5 2 -2

如何计算两个二元变量之间的相似度？
Object j
1
Object i
0 b d
sum a b cd p
1 0
a c
sum a c b d
二元变量

对称的 和 不对称的 二元变量


对称的二元变量指变量的两个状态具有同等价值，相 同权重；例 性别 基于对称的二元变量的相似度称为恒定的相似度，可 以使用简单匹配系数评估它们的相异度：
第1步：由样本的随机分布形成两个簇： C1＝｛X1,X2,X4｝和C2＝｛X3,X5｝。 这两个簇的质心M1和M2是： M1＝｛(0+0+5)/3,(2+0+0)/3｝＝｛1.66，0.66｝； M2＝｛（1.5+5）/2，（0+2）/2｝＝｛3.25，1.00｝；
基于质心的 k－means聚类算法


计算混合型变量描述的对象之间的相异度

在每种聚类分析导出相似结果的情况下可行

所有变量一起处理，进行一次聚类分析，可以将不同类 型的变量组合在单个相异度矩阵中，把所有有意义的变 量转换到共同的值域区间[0,1]之内
簇间的距离度量标准
用于簇Ci和簇Cj之间的距离度量标准是：
1)最小距离：
Dmin (Ci , C j ) min | X i X j |

聚类是一种无指导的学习：没有预定义的类编号
有指导的学习 VS. 无指导的学习

有指导的学习（用于分类）

模型的学习在被告知每个训练样本属于哪个类的“指导”
下进行 新数据使用训练数据集中得到的规则进行分类


无指导的学习（用于聚类）

每个训练样本的类编号是未知的，要学习的类集合或数 量也可能是事先未知的 通过一系列的度量、观察来建立数据中的类编号或进行 聚类
i 1 X Ci
基于质心的 k－means聚类算法
第2步：取距离其中一个质心（M1或M2）最小的距离分配所有 样本，簇内样本的重新分布如下： d(M1,X1)=(1.662+1.342)1/2=2.14 d(M2,X1)=3.40 ==>X1∈C1；
d(M1,X2)=1.79 和 d(M2,X2)=3.40 ==>X2∈C1
相应数据样本的集合，相似样本在同一簇中， 相异样本在不同簇中。 簇Ci（i=1,2,…,k）中样本的数量ni。簇记为 Ci＝｛Xj1i,Xj2i,…,Xjnii｝， Ci（i＝1,…,k）是X的子集，如下所示： C1∪C2∪…∪Ck＝X 且 Ci∪Cj＝ф ，i≠j
符号说明
用下面的特征来描述簇：
①簇的质心（centroid）：（样本的平均值）是簇的“中间
其中Xi∈Ci和Xj∈Cj 2)最大距离：
Dmax (Ci , C j ) max | X i X j |
其中Xi∈Ci和Xj∈Cj
簇间的距离度量标准
3)中间距离：
Dmean (Ci , C j ) | mi m j |
其中mi和mj是Ci和Cj的质心 4)平均距离：
1 Davg (C i , C j ) ni n j
d(M1,X3)=0.83 和 d(M2,X3)=2.01 ==>X3∈C1 d(M1,X4)=3.41 和 d(M2,X4)=2.01 ==>X4∈C2 d(M1,X5)=3.60 和 d(M2,X5)=2.01 ==>X5∈C2 新簇C1＝｛X1,X2,X3｝和C2＝｛X4,X5｝
k 1 d
相似性度量
更广义的d维空间中的度量为明考斯基距离度量
Lk（Xi，Xj）＝（
k 1
| x ik x jk | k）1/k
d
通常也被称为Lk 范数，欧几里德距离即L2 范数。 而L1范数则常被称为曼哈坦距离或城区距离
相似性度量
例：对于一个4维向量 X1＝｛1,0,1,0｝和 X2＝｛2,1,-3,-1｝， 这些距离的度量标准 L1（X1，X2）＝1+1+4+1＝7，

x11 x i1 . x n1
...... . ...... . ......
x1 f . x if . x nf
...... . ...... . ...
x1d . x id . x nd
符号说明
3.簇Ci ：数据样本集X分成k个簇，每个簇是
Ci∪Cj＝ф ，i≠j
相似样本在同一簇中，相异样本在不同簇中。 关于同一簇中的样本比来自不同簇的样本更为相 似的判断问题主要涉及以下两个独立的子问题：
a.怎样度量样本之间的相似性；
b.怎样衡量对样本集的一种划分的好坏。
相似性度量
相异度矩阵（dissimilarity matrix）用来存储n个 样本两两之间的相似性，表现形式是一个n×n维的矩阵：

符号说明
1.数据样本X，由d个属性值组成：X＝(x1,x2,…,xd）, 其中xi表示样本中的各属性，d是样本或样本空间的维 数（或属性个数）。 2.数据样本集记为X｛X1,X2,…,Xn｝，第i个样本记 为Xi＝｛xi1,…,xid｝，许多情况下聚类的样本本集 看成是一个n×d(n个样本×d个属性)的数据矩阵：
划分方法（partitioning method）
划分方法的基本思想是，给定一个n个样本的 数据库，划分方法将数据划分为k个划分（k<=n）， 每个划分表示一个簇，同时满足： a.每个簇至少包含一个样本； b.每个样本必须属于且仅属于一个簇。
基于质心的 k－means聚类算法
1.选择一个含有随机选择样本的k个簇的初始划分，计 算这些簇的质心。 2.根据欧氏距离把剩余的每个样本分配到距离它最近 的簇质心的一个划分。 3.计算被分配到每个簇的样本的均值向量，作为新的 簇的质心。
d (i, j)

bc a bc d

不对称的二元变量中，变量的两个状态的重要性是不 同的；例 HIV阳性 VS HIV阴性 基于不对称的二元变量的相似度称为非恒定的相似度， 可以使用Jaccard系数评估它们的相异度
d (i, j)
bc a bc
标称变量

标称变量是二元变量的推广，它可以具有多于两个的状态 值。比如：红、绿、蓝、黄。对于标称型变量。 计算标称变量所描述的对象（一个对象可以包含多个标称 变量）i和j之间的相异度
样本初始随机分布之后，方差是： e12=[(0-1.66)2+(2-0.66)2]+[(0-1.66)2+(0-0.66)2]+[(51.66)2+(0-0.66)2]=19.36； e22=8.12； 总体平方误差是：E2＝e12+e22＝19.36+8.12＝27.48
（公式）
Je

k
| X mi |2

| Xi X j |
其中Xi∈Ci 和Xj∈Cj ，且ni 和nj 是类Ci 和Cj 间的样本数。
聚类的准则函数
误差平方和准则：
Je

k
| X mi |2
i 1 X Ci
其中X∈Ci，mi是Ci的质心
Je即所有样本的平




划分的方法 层次的方法 基于密度的方法 基于网格的方法 基于模型的方法
rif 1 zif M f 1
3. 采用区间标度变量的相异度计算方法计算f的相异度
混合类型的变量

在真实的数据库中，数据对象不是被一种类型的度 量所描述，而是被多种类型（即混合类型）的度量 所描述，包括：

区间标度度量、对称二元变量，不对称二元变量，标称 变量，序数型变量合比例标度变量
将变量按类型分组，对每种类型的变量进行单独的聚类 分析
聚