第八章 聚类分析

d d (i, j )
p (f) (f) f 1 ij ij p (f) f 1 ij
如果 xif或 xjf 缺失（即对象 i 或对象 j 没有变量 f 的度量值），或者 xif (f) =xjf=0，且变量 f 是不对称的二元变量，则指示项（ ij ）=0；否则， (f) ij 指示项（ ） =1。
第八章 聚类分析
8.1 什么是聚类分析
将物理或抽象对象的集合分组成为由类似的对象组成的多 个类的过程被称为聚类。由聚类所生成的簇是一组数据对 象的集合，这些对象与同一个簇中的对象彼此相似，与其 他簇中的对象相异。
数据挖掘对聚类的典型要求如下：
可伸缩性：一个大规模数据库可能包含几百万个对象，在这样的大数 据集合样本上进行聚类可能会导致有偏的结果。我们需要具有高度可 伸缩性的聚类算法。 处理不同类型属性的能力 发现任意形状的聚类 用于决定输入参数的领域知识最小化 处理噪声数据的能力 对于输入记录的顺序不敏感 高维度 基于约束的聚类 可解释性和可用性
d(jack,jim) = (1+1)/ (1+1+1) = 0.67 d(jim,mary)=(1+2)/(1+1+2) = 0.75 上面的值显示 Jim 和 Mary 不可能有相似的疾病，因为他们有着最高的相异度。 在这三个病人中，Jack 和 Mary 最可能有类似的疾病。
标称变量
区间标度变量
区间标度变量是一个线性标度的连续度量。典型的例子包括重量和高 度，经度和纬度坐标，以及大气温度。选用的度量单位将直接影响聚 类分析的结果。 为了实现度量值的标准化，一种方法是将原来的度量值转换为无单位 的值。
计算平均的绝对偏差Sf：
Sf = (|x1f-mf|+|x2f-mf|+…+|xnf-mf|)/n 这里的 x1f,…,xnf 是 f 的 n 个度量值，mf 是 f 的平均值，即 mf =(|x1f +x2f+…+xnf)/n 计算标准化的度量值： zif = (xif – mf) / sf
例：二元变量之间的相异度：假设一个病人记录表包含属性 name, gender,
fever, cough, test-1, test-2, test-3, 和 test-4，这里的 name 是对象标识， gender是对称的二元变量，其余的属性都是非对称的二元变量。 大部分为二元属性的关系表

( f ) =0；否则 d ( f ) =1。 如果 f 是二元或标称变量：如果 xif =xjf， ij d ij
if jf (f) 如果 f 是区间标度变量： ，这里的 h 遍取变量f d ij maxh xhf minh xhf 的所有非空缺对象。
x x
如果 f 是序数型或者比例标度型变量：计算秩rif和 zif ，将 M f 1 zif作为区间标度变量值对待 。
大型数据库中的划分方法：从k-中心点到CLSRANS
基于选择的方法CLARA：不考虑整个数据集合，选择实际数据的一 小部分作为数据的样本。然后用k-中心点划分方法从样本中选择中心 点。如果样本是以非常随机的方式选取的，它应当足以代表原来的数 据集合。从中选出的代表对象很可能与从整个数据集合中选出的非常 近似。CLARA 抽取数据集合的多个样本，对每个样本应用k-中心点 算法，返回最好的聚类结果作为输出。 CLARANS将采样技术和k-中心点划分方法结合起来。但是，与 CLARA 不同，CLARANS 没有在任一给定的时间局限于任一样本。 CLARA 在搜索的每个阶段有一个固定的样本，而 CLARANS 在搜索 的每一步带一定随机性地抽取一个样本。
曼哈坦距离：
d（i，j）= |xi1-xj1|+|xi2-xj2|+…+|xip-xjp|
欧几里得距离和曼哈坦距离都满足对距离函数的如下数学要求：
d（i，j）≥0：距离是一个非负的数值。
d（i，i）=0：一个对象与自身的距离是 0。 d（i，j）= d（j，i）：距离函数具有对称性。
x11 ... xi1 ... xn1
... x1 f ... ...
... x1 p ... ...
... xif ... xip ... ... ... ... ... xnf ... xnp
相异度矩阵（或称为对象-对象结构）：存储 n 个对象两两之间的近 似性，表现形式是一个 n*n 维的矩阵。
层次的方法：层次的方法对给定数据集合进行层次的分解。层次的方 法可以被分为凝聚的或分裂的。
凝聚的方法，一开始将每个对象作为单独的一个组，然后继续地合并相近的 对象或组，直到所有的组合并为一个（层次的最上层），或者达到一个终止 条件。 分裂的方法，一开始将所有的对象臵于一个簇中。在迭代的每一步中，一个 簇被分裂为更小的簇，直到最终每个对象在单独的一个簇中，或者达到一个 终止条件。
对象间的相异度（或相似度）是基于对象间的距离来计算 的。
最常用的距离度量方法是欧几里得距离：
d (i, j )
xi1 x j1 xi 2 x j 2 ... xip x jp
2
2
2
这里的 i=（xi1，xi2，…,xip）和 j=(xj1,xj2,…xjp)是两个 p 维的数据对象。
8.4 划分方法
基于质心的技术：k-平均方法
处理流程：随机地选择 k 个对象，每个对象初始地代表了一个簇中心。 对剩余的每个对象，根据其与各个簇中心的距离，将它赋给最近的簇。 然后重新计算每个簇的平均值。这个过程不断重复，直到准则函数收 敛。
通常，采用平方误差准则： E

k i 1
0 d (2,1) 0 d (3,1) d (3,2) 0 ... ... ... d (n,1) d (n,2) ... ... 0
在这里 d(i,j)是对象 i 和对象 j 之间相异性的量化表示，通常它是一个 非负的数值，当对象 i 和j 越相似，其值越接近 0；两个对象越不同， 其值越大。
如果两个状态的输出不是同样重要，那么该二元变量是不对称的。 给定两个不对称的二元变量，两个都取值 1 的情况（正匹配）被认为 比两个都取值 0 的情况（负匹配）更有意义。 对非恒定的相似度，对象i与对象j之间的相异度最著名的评价系数是 Jaccard 系数： d(i,j) = (r+s) / (q+r+s)
name gender fever cough test-1 test2 test-3 test-4
Jack
Mary Jim
M
F M
1
1 1
0
0 1
1
1 0
0
0 0
0
1 0
0
0 0
假设对象之间的距离只基于非对称变量来计算。根据Jaccard系数公式：
d(jack,mary) = (0+1)/(2+0+1) = 0.33
8.2 聚类分析中的数据类型
许多基于内存的聚类算法选择如下两种有代表性的数据结 构：
数据矩阵（或称为对象与变量结构）：它用 p 个变量（也称为度量或 属性）来表现 n 个对象，例如用年龄，身高，性别，种族等属性来表 现对象“人”。这种数据结构是关系表的形式，或者看为 n*p （n 个 对象*p 个属性）的矩阵。
如果它的两个状态有相同的权重,那么该二元变量是对称的，也就是 两个取值 0 或 1 没有优先权。例，属性“性别”，它有两个值：“女 性”和“男性”。 基于对称二元变量的相似度称为恒定的相似度，即当一些或者全部二 元变量编码改变时，计算结果不会发生变化。 恒定的相似度，评价两个对象 i和 j 之间相异度的最著名的系数是简 单匹配系数： d(i,j) = (r+s) / (q+r+s+t)
采用 zif 作为第 i 个对象的f 值。
比例标度型变量
比例标度型变量在非线性的刻度取正的度量值，例如指数，近似地遵 循如下的公式：
Ae Bt 或Ae Bt
这里的 A 和 B 是正的常数。例，细菌数目的增长，或者放射性元素 的衰变。
假设数据集包含 p 个不同类型的变量，对象 i 和 j 之间的相异度 d(i,j) 定义为：
8.5 层次方法
凝聚的层次聚类：这种自底向上的策略首先将每个对象作为一个簇， 然后合并这些原子簇为越来越大的簇，直到所有的对象都在一个簇中， 或者某个终结条件被满足。 分裂的层次聚类：这种自顶向下的策略与凝聚的层次聚类不同，它首 先将所有对象臵于一个簇中，然后逐渐细分为越来越小的簇，直到每 个对象自成一簇，或者达到了某个终结条件。
二元变量
一个二元变量只有两个状态：0 或 1，0 表示该变量为空，1 表示该 变量存在。
二元变量的可能性表 对象j 1 0 求和
1
对象i 0 求和
q
s q+s
r
t r+t
q+r
s+t p
q 是对对象 i 和 j 值都为 1 的变量的数目，r 是在对象 i 中值为 1，在 对象 j 中值为 0 的变量的数目，s 是在对象 i 中值为 0，在对象 j 中 值为 1 的变量的数目，t 是在对象 i 和 j 中值都为 0 的变量的数目。 变量的总数是 p，p=q+r+s+t。
pCi p mi
2
这里的 E 是数据库中所有对象的平方误差的总和，p是空间中的点， 表示给定的数据对象，mi是簇Ci的平均值（p 和 mi都是多维的）。
基于有代表性的对象的技术：k-中心点方法
基础：不采用簇中对象的平均值作为参照点，可以选用簇中位臵最中 心的对象，即中心点。这样划分方法仍然是基于最小化所有对象与其 参照点之间的相异度之和的原则来执行的。 基本策略：首先为每个簇随意选择选择一个代表对象；剩余的对象根 据其与代表对象的距离分配给最近的一个簇。然后反复地用非代表对 象来替代代表对象，以改进聚类的质量。