数据挖掘导论完整版中文PPT

K均值只能用于具有明确定义的质心（如均值或中 位数）的数据。DBSCAN要求密度定义（基于传 统的欧几里得密度概念）对于数据是有意义的。 K均值可以用于稀疏的高维数据，如文档数据， DBSCAN通常在这类数据上性能很差，因为对于 高维数据，传统的欧几里得密度定义不能很好处理 。 K均值和DBSCAN的最初版本都是针对欧几里得数 据设计的，但是它们都被扩展，以便处理其他类型 的数据。

基于原型的聚类

模糊聚类 使用混合模型的聚类 自组织映射
自组织映射
Kohonen自组织特征映射（SOFM或SOM）是一 种基于神经网络观点的聚类和数据可视化技术。 尽管SOM源于神经网络，但是它可以表示成一种 基于原形的聚类的变形。 与其他基于质心的聚类技术一样，SOM的目标是 发现质心的集合，并将数据集中的每个对象指派到 提供该对象最佳近似的质心。用神经网络的术语， 每个质心都与一个神经元相关联。
聚类分析：附加的问题与算法
第 9章
聚类分析：附加的问题与算法

在各种领域，针对不同的应用类型，已经开发了大 量聚类算法。在这些算法中没有一种算法能够适应 所有的数据类型、簇和应用。 事实上，对于更加有效或者更适合特定数据类型、 簇和应用的新的聚类算法，看来总是有进一步的开 发空间。 我们只能说我们已经有了一些技术，对于某些情况 运行良好。其原因是，在许多情况下，对于什么是 一个好的簇集，仍然凭主观解释。此外，当使用客 观度量精确地定义簇时，发现最优聚类问题常常是 计算不可行的。
– 对于某些算法，所产生的簇的质量和个数可能因数据处 理的次序不同而显著地变化。如SOM

非确定性
– 有些算法不是次序依赖的，但是它们每次运行都产生不 同的结果，因为它们依赖于需要随机选择的初始化步骤 。

变换聚类问题到其他领域
– 将聚类问题映射到一个不同的领域。如，基于图的聚类

可伸缩性
– 包含数以百万计对象的数据集并不罕见，而用于这种数 据集的聚类算法应当具有线性或接近线性的时间或空间 复杂度。 – 对于大型数据集，即使具有O(m2)复杂度也是不切实际 的。 – 此外，数据集聚类技术不能总是假定数据放在内存，或 者数据元素可以随机的访问。这样的算法对于大型数据 集是不可行的。
FCM的结构类似于K均值。 K均值可以看作FCM的 特例。 K均值在初始化之后，交替地更新质心和指派每个 对象到最近的质心。具体地说，计算模糊伪划分等 价于指派步骤。 与k均值一样，FCM可以解释为试图最小化误差的 平方和（SSE），尽管FCM基于SSE的模糊版本 。


计算SSE
– 公式： SSE(C1 , C2 ,...,Ck ) wij dist( xi , c j ) 2

SOM算法
初始化质心。 Repeat 选择下一个对象 确定到该对象最近的质心 更新该质心和附近的质心，即在一个特定邻域 内的质心 Until 质心改变不多或超过某个域值 指派每个对象到最近的质心，并返回质心和簇

基于密度的聚类

基于网格的聚类

子空间聚类 DENCLUE

传统的集合论和逻辑是对应的模糊集合论和模糊逻 辑的特殊情况，它们限制集合的隶属度或确定度或 者为0，或者为1.

考虑如下模糊逻辑的例子 陈述“天空多云”为真的程度可以定义为天空被云 覆盖的百分比。例如，天空的50%被云覆盖，则“ 天空多云”为真的程度是0.5。
如果我们有两个集合“多云天”和“非多云天”， 则我们可以类似地赋予每一天隶属于这两个集合的 程度。 这样，如果一天25%多云，则它在“多云天”集合 中具有0.25的隶属度，而在“非多云天”集合中具 有0.75的隶属度。

算法

估计数据分布：
– 确定分布：一般假设数据取自高斯混合分布。然后，对 分布的参数进行估计：利用EM算法进行最大似然估计 – 利用直方图估计分布

对分布进行划分、分离。每个分布对应于一个簇。
优点和缺点

混合模型比k均值或模糊c均值更一般，因为它可以 使用各种类型的分布。
利用简单的估计分布的方法（如直方图）可能会错 误估计数据的原始分布，导致结果不好。 利用复杂的方法（如EM算法），计算复杂性会大 大增加。

簇之间的联系
– 在大部分聚类技术中，都不考虑簇之间的联系，如簇的 相对位置 – 自组织映射（SOM）是一种在聚类期间直接考虑簇之 间联系的聚类技术。

子空间簇
– 簇可能只在维（属性）的一个子集中存在，并且使用一 个维集合确定的簇可能也使用另一个维确定的簇很不相 同。
聚类算法的一般特征

次序依赖性

DBSCAN不对数据的分布做任何假定。基本k均值 算法等价于一种统计聚类方法（混合模型），假定 所有的簇都来自球形高斯分布，具有不同的均值， 但具有相同的斜方差矩阵。 DBSCAN和k均值都寻找使用所有属性的簇，即它 们都不寻找可能只涉及某个属性子集的簇。 K均值可以发现不是明显分离的簇，即便簇有重叠 也可以发现，但是DBSCAN会合并有重叠的簇。 K均值算法的时间复杂度是O（m），而DBSCAN 的时间复杂度是O（m2）.

参数选择
– 大部分聚类算法需要用户设置一个或多个参数。选择合 适的参数值可能是困难的；因此，通常的态度是“参数 越少越好”。

将聚类作为最优化问题处理
– 聚类常常被看作优化问题。将点划分成簇，根据用户指 定的目标函数度量，最大化结果簇集合的优良度。如k 均值试图发现簇的集合，使得每个点到最近的簇质心距 离的平方和最小。

基于网格的聚类

网格是一种组织数据集的有效方法，至少在低维空 间中如此。

其基本思想是，将每个属性的可能值分割成许多相 邻的区间，创建网格单元的集合。每个对象落入一 个网格单元，网格单元对应的属性区间包含该对象 的值。
存在许多利用网格进行聚类的方法，大部分方法是 基于密度的。

例子
基于网格的算法
p j 1 i 1
k
m
– 其中cj是第j个簇的质心，而p是确定权值影响的指数， 在1和∞之间取值

初始化
– 通常使用随机初始化。特殊地，权值随机的选取，同时 限制与任何对象相关联的权值之和等于1。

计算质心
– 公式：
cj
wij xi
p i 1 m
m
wij
i 1
p
– 模糊质心的定义类似于传统的质心定义，不同之处在于 所有点都考虑，并且每个点对质心的贡献要根据它的隶 属度加权。

模糊簇 假定我们有一个数据点的集合X={x1,x2,…,xm}， 其中每个点xi是一个n维点，即xi=（xi1,xi2,…,xin) 。模糊簇集C1,C2,…,Ck是X的所有可能模糊子集 的一个子集。 这简单地意味着对于每个点xi和每个簇Cj，隶属权 值（度）wij已经赋予0和1之间的值。


比较k均值和DBSCAN
DBSCAN和k均值都是将每个对象指派到单个簇的 划分聚类算法，但是K均值一般聚类所有对象，而 DBSCAN丢弃被它识别为噪声的对象。 K均值使用簇的基于原形的概念，而DBSCAN使用 基于密度的概念。 DBSCAN可以处理不同大小和不同形状的簇，并 且不太受噪声和离群点的影响。K均值很难处理非 球状的簇和不同大小的簇。当簇具有很不同的密度 时，两种算法的性能都很差。
例子：三个圆形簇上的模糊c均值
优点与局限性
FCM产生指示任意点属于任意簇的程度的聚类。 它比K均值算法计算复杂性高。 除此之外，它与k均值算法具有相同的优点和缺点 。

基于原型的聚类

模糊聚类 使用混合模型的聚类 自组织映射
使用混合模型的聚类
基于统计模型的聚类。通常，假定数据是由一个统 计过程产生的，并且通过找出最佳拟合数据的统计 模型来描述数据，其中统计模型用分布和该分布的 一组参数描述。 混合模型（mixture models）：它使用若干统计分 布对数据建模。每个分布对应于一个簇，而每个分 布的参数提供对应于簇的描述，通常用中心和发散 描述。

数据特性

Fra Baidu bibliotek
高维性
– 随着维度的增加，体积迅速增加，除非点的个数也随着 维度指数增加，否则密度将趋向于0. – 处理该问题的方法是使用维归约技术

规模
– 许多聚类算法对于小规模和中等规模的数据集运行良好 ，但是不能处理大型数据集

稀疏性
– 稀疏数据通常由非对称的属性组成，其中零值没有非零 值重要。.

噪声和离群点
– 非常见点可能严重地降低聚类算法的性能，特别是k均 值这样的基于原型的算法 – 另一方面，噪声也可能导致单链等技术合并两个不应当 合并的簇。

属性和数据集类型
– 属性可能是分类的（标称的或序数的）或定量的（区间 的或比率的），二元的、离散的或连续的。 – 不同的近邻性和密度度量适合于不同类型的数据。

DBSCAN多次运行产生相同的结果，而k均值通常 使用随机初始化质心，不会产生相同的结果。 DBSCAN自动地确定簇个数；对于k均值，簇个数 需要作为参数指定。然而，DBSCAN必须指定另 外两个参数：Eps和Minpts K均值聚类可以看作优化问题，即最小化每个点到 最近的质心的误差的平方和，并且可以看作一种统 计聚类的特例。DBSCAN不基于任何形式化模型 。
基于原型的聚类

模糊聚类 使用混合模型的聚类 自组织映射
模糊聚类
模糊集合 1965年，Lotfi Zadeh引进模糊集合论（fuzzy set theory）和模糊逻辑（fuzzy logic）作为一种处理 不精确和不确定性的方法。 简要的说，模糊集合论允许对象以0和1之间的某 个隶属度属于一个集合，而模糊逻辑允许一个陈述 以0和1之间的确定度为真。

更新模糊伪划分
(1 / dist( xi , c j ) 2 )
k q 1 1 p 1 1 p 1
– 公式:
wij
2 ( 1 / dist ( x , c ) ) i q
– 如果p>2，则该指数降低赋予离点最近的簇的权值。事 实上，随着p趋向于无穷大，该指数趋向于0，而权值 趋向于1/k。 – 另一方面，随着p趋向于1，该指数加大赋予离点最近 的簇的权值。随着p趋向于1，关于最近簇的隶属权值 趋向于1，而关于其他簇的隶属权值趋向于0。这时对 应于k均值。

尺度
– 不同的属性，如高度和重量，可能用不同的尺度度量。 这些差别可能严重影响两个对象之间的距离或相似性， 从而影响聚类分析的结果。
簇特性

数据分布
– 某些聚类技术假定数据具有特定的分布。更具体的说， 它们常常假定可以用混合分布对数据建模，其中每个簇 对应于一个分布。

形状
– 有些簇具有规则的形状，如矩形和球形。但是，更一般 地，簇可以具有任意形状。 – 如DBSCAN和单链等技术可以处理任意形状。基于原 型的方法和一些层次聚类技术不能进行这样的处理。 – Chameleon和cure是专门用来处理这一问题的技术
定义一个网格单元集 将对象指派到合适的单元，并计算每个单元的密度 删除密度低于指定的阈值的单元 由邻近的稠密单元组形成簇

然而，我们还想将以下合理的条件施加在簇上，以 确定簇形成模糊伪划分（fuzzy psuedo-partition） 。

给定点xi的所有权值之和为1：


k
wij 1 j 1
每个簇Cj以非零权值至少包含一个点，但不以权值1包含所 有的点
0 i 1 wij m
m

尽管存在多种模糊聚类，我们只考虑k均值的模糊 版本，称作模糊c均值。

不同大小
– 许多聚类算法，如k均值，当簇具有不同的大小时不能 很好的处理

不同密度
– 具有很不相同的密度的簇可能对诸如DBSCAN和k均值 等算法造成影响 – 基于SNN密度的聚类技术可以处理这个问题

无明显分离的簇
– 当簇接触或重叠时，有些聚类技术将应当分开的簇合并 。甚至有些发现不同簇的技术随意地将点指派到一个或 另一个簇。 – 模糊聚类可以处理这一问题
在聚类文献中，那些不采用簇质心增量更新方法的 k均值版本有时称为c均值。模糊c均值算法有时称 为FCM 算法9.1 基本模糊c均值算法

– 选择一个初始模糊伪划分，即对所有的wij赋值 – Repeat – 使用模糊伪划分，计算每个簇的质心 – 重新计算模糊伪划分，即wij – Until 质心不发生变化