数据挖掘导论完整版中文PPT

聚类分析：附加的问题与算法
第 9章
聚类分析：附加的问题与算法

在各种领域，针对不同的应用类型，已经开发了大 量聚类算法。在这些算法中没有一种算法能够适应 所有的数据类型、簇和应用。 事实上，对于更加有效或者更适合特定数据类型、 簇和应用的新的聚类算法，看来总是有进一步的开 发空间。 我们只能说我们已经有了一些技术，对于某些情况 运行良好。其原因是，在许多情况下，对于什么是 一个好的簇集，仍然凭主观解释。此外，当使用客 观度量精确地定义簇时，发现最优聚类问题常常是 计算不可行的。

参数选择
– 大部分聚类算法需要用户设置一个或多个参数。选择合 适的参数值可能是困难的；因此，通常的态度是“参数 越少越好”。

将聚类作为最优化问题处理
– 聚类常常被看作优化问题。将点划分成簇，根据用户指 定的目标函数度量，最大化结果簇集合的优良度。如k 均值试图发现簇的集合，使得每个点到最近的簇质心距 离的平方和最小。
– 对于某些算法，所产生的簇的质量和个数可能因数据处 理的次序不同而显著地变化。如SOM

非确定性
– 有些算法不是次序依赖的，但是它们每次运行都产生不 同的结果，因为它们依赖于需要随机选择的初始化步骤 。

变换聚类问题到其他领域
– 将聚类问题映射到一个不同的领域。如，基于图的聚类

可伸缩性
– 包含数以百万计对象的数据集并不罕见，而用于这种数 据集的聚类算法应当具有线性或接近线性的时间或空间 复杂度。 – 对于大型数据集，即使具有O(m2)复杂度也是不切实际 的。 – 此外，数据集聚类技术不能总是假定数据放在内存，或 者数据元素可以随机的访问。这样的算法对于大型数据 集是不可行的。

不同大小
– 许多聚类算法，如k均值，当簇具有不同的大小时不能 很好的处理

不同密度
– 具有很不相同的密度的簇可能对诸如DBSCAN和k均值 等算法造成影响 – 基于SNN密度的聚类技术可以处理这个问题

无明显分离的簇
– 当簇接触或重叠时，有些聚类技术将应当分开的簇合并 。甚至有些发现不同簇的技术随意地将点指派到一个或 另一个簇。 – 模糊聚类可以处理这一问题

噪声和离群点
– 非常见点可能严重地降低聚类算法的性能，特别是k均 值这样的基于原型的算法 – 另一方面，噪声也可能导致单链等技术合并两个不应当 合并的簇。

属性和数据集类型
– 属性可能是分类的（标称的或序数的）或定量的（区间 的或比率的），二元的、离散的或连续的。 – 不同的近邻性和密度度量适合于不同类型的数据。
p j 1 i 1
k
m
– 其中cj是第j个簇的质心，而p是确定权值影响的指数， 在1和∞之间取值

初始化
– 通常使用随机初始化。特殊地，权值随机的选取，同时 限制与任何对象相关联的权值之和等于1。

计算质心
– 公式：
cj
wij xi
p i 1 m
m
wij
i 1
p
– 模糊质心的定义类似于传统的质心定义，不同之处在于 所有点都考虑，并且每个点对质心的贡献要根据它的隶 属度加权。

数据特性

高维性
– 随着维度的增加，体积迅速增加，除非点的个数也随着 维度指数增加，否则密度将趋向于0. – 处理该问题的方法是使用维归约技术

规模
– 许多聚类算法对于小规模和中等规模的数据集运行良好 ，但是不能处理大型数据集

稀疏性
– 稀疏数据通常由非对称的属性组成，其中零值没有非零 值重要。.

簇之间的联系
– 在大部分聚类技术中，都不考虑簇之间的联系，如簇的 相对位置 – 自组织映射（SOM）是一种在聚类期间直接考虑簇之 间联系的聚类技术。

子空间簇
– 簇可能只在维（属性）的一个子集中存在，并且使用一 个维集合确定的簇可能也使用另一个维确定的簇很不相 同。
聚类算法的一般特征

次序依赖性

基于网格的聚类

网格是一种组织数据集的有效方法，至少在低维空 间中如此。

其基本思想是，将每个属性的可能值分割成许多相 邻的区间，创建网格单元的集合。每个对象落入一 个网格单元，网格单元对应的属性区间包含该对象 的值。
存在许多利用网格进行聚类的方法，大部分方法是 基于密度的。

例子
基于网格的算法
基于原型的聚类

模糊聚类 使用混合模型的聚类 自组织映射
模糊聚类
模糊集合 1965年，Lotfi Zadeh引进模糊集合论（fuzzy set theory）和模糊逻辑（fuzzy logic）作为一种处理 不精确和不确定性的方法。 简要的说，模糊集合论允许对象以0和1之间的某 个隶属度属于一个集合，而模糊逻辑允许一个陈述 以0和1之间的确定度为真。

K均值只能用于具有明确定义的质心（如均值或中 位数）的数据。DBSCAN要求密度定义（基于传 统的欧几里得密度概念）对于数据是有意义的。 K均值可以用于稀疏的高维数据，如文档数据， DBSCAN通常在这类数据上性能很差，因为对于 高维数据，传统的欧几里得密度定义不能很好处理 。 K均值和DBSCAN的最初版本都是针对欧几里得数 据设计的，但是它们都被扩展，以便处理其他类型 的数据。

算法

估计数据分布：
– 确定分布：一般假设数据取自高斯混合分布。然后，对 分布的参数进行估计：利用EM算法进行最大似然估计 – 利用直方图估计分布

对分布进行划分、分离。每个分布对应于一个簇。
优点和缺点

混合模型比k均值或模糊c均值更一般，因为它可以 使用各种类型的分布。
利用简单的估计分布的方法（如直方图）可能会错 误估计数据的原始分布，导致结果不好。 利用复杂的方法（如EM算法），计算复杂性会大 大增加。

SOM算法
初始化质心。 Repeat 选择下一个对象 确定到该对象最近的质心 更新该质心和附近的质心，即在一个特定邻域 内的质心 Until 质心改变不多或超过某个域值 指派每个对象到最近的质心，并返回质心和簇

基于密度的聚类

基于网格的聚类

子空间聚类 DENCLUE

DBSCAN多次运行产生相同的结果，而k均值通常 使用随机初始化质心，不会产生相同的结果。 DBSCAN自动地确定簇个数；对于k均值，簇个数 需要作为参数指定。然而，DBSCAN必须指定另 外两个参数：Eps和Minpts K均值聚类可以看作优化问题，即最小化每个点到 最近的质心的误差的平方和，并且可以看作一种统 计聚类的特例。DBSCAN不基于任何形式化模型 。

尺度
– 不同的属性，如高度和重量，可能用不同的尺度度量。 这些差别可能严重影响两个对象之间的距离或相似性， 从而影响聚类分析的结果。
簇特性

数据分布
– 某些聚类技术假定数据具有特定的分布。更具体的说， 它们常常假定可以用混合分布对数据建模，其中每个簇 对应于一个分布。

形状
– 有些簇具有规则的形状，如矩形和球形。但是，更一般 地，簇可以具有任意形状。 – 如DBSCAN和单链等技术可以处理任意形状。基于原 型的方法和一些层次聚类技术不能进行这样的处理。 – Chameleon和cure是专门用来处理这一问题的技术
在聚类文献中，那些不采用簇质心增量更新方法的 k均值版本有时称为c均值。模糊c均值算法有时称 为FCM 算法9.1 基本模糊c均值算法

– 选择一个初始模糊伪划分，即对所有的wij赋值 – Repeat – 使用模糊伪划分，计算每个簇的质心 – 重新计算模糊伪划分，即wij – Until 质心不发生变化

DBSCAN不对数据的分布做任何假定。基本k均值 算法等价于一种统计聚类方法（混合模型），假定 所有的簇都来自球形高斯分布，具有不同的均值， 但具有相同的斜方差矩阵。 DBSCAN和k均值都寻找使用所有属性的簇，即它 们都不寻找可能只涉及某个属性子集的簇。 K均值可以发现不是明显分离的簇，即便簇有重叠 也可以发现，但是DBSCAN会合并有重叠的簇。 K均值算法的时间复杂度是O（m），而DBSCAN 的时间复杂度是O（m2）.

传统的集合论和逻辑是对应的模糊集合论和模糊逻 辑的特殊情况，它们限制集合的隶属度或确定度或 者为0，或者为1.

考虑如下模糊逻辑的例子 陈述“天空多云”为真的程度可以定义为天空被云 覆盖的百分比。例如，天空的50%被云覆盖，则“ 天空多云”为真的程度是0.5。
如果我们有两个集合“多云天”和“非多云天”， 则我们可以类似地赋予每一天隶属于这两个集合的 程度。 这样，如果一天25%多云，则它在“多云天”集合 中具有0.25的隶属度，而在“非多云天”集合中具 有0.75的隶属度。
FCM的结构类似于K均值。 K均值可以看作FCM的 特例。 K均值在初始化之后，交替地更新质心和指派每个 对象到最近的质心。具体地说，计算模糊伪划分等 价于指派步骤。 与k均值一样，FCM可以解释为试图最小化误差的 平方和（SSE），尽管FCM基于SSE的模糊版本 。


计算SSE
– 公式： SSE(C1 , C2 ,...,Ck ) wij dist( xi , c j ) 2

更新模糊伪划分
(1 / dist( xi , c j ) 2 )
k q 1 1 p 1 1 p 1
– 公式:
wij
2 ( 1 / dist ( x , c ) ) i q
– 如果p>2，则该指数降低赋予离点最近的簇的权值。事 实上，随着p趋向于无穷大，该指数趋向于0，而权值 趋向于1/k。 – 另一方面，随着p趋向于1，该指数加大赋予离点最近 的簇的权值。随着p趋向于1，关于最近簇的隶属权值 趋向于1，而关于其他簇的隶属权值趋向于0。这时对 应于k均值。