聚类分析：基本概念与算法

25
选择了较差的初始质心的结果演示
Iteration 5
3
3
26
Iteration 4 1 2 3
2.5
2.5
2
2
1.5
1.5
y
y
1
1
0.5
0.5
0
0
-2 -1.5 -1 -0.5 0 0.5 1 1.5 2
-2
-1.5
-1
-0.5
0
x 0.5
1
1.5
2
x
选择了较差的初始质心的结果分解演示
Iteration 1
选择初始的质心
• 随机选择 • 从层次聚类中提取K个簇，并用这些簇的质心作 为初始质心 • 随机选择第一个点，或取所有点的质心作为第一 个点。然后，对于每个后继初始质心，选择离已 经选取过的初始质心最远的点 • 局限：需多次运行，每次使用不同的随机初始质 心，然后选取具有最小SSE（误差的平方和）的 簇集。方法简单，但是效果不佳，取决于数据集 和寻找簇的个数。
1
聚类分析：基本概念和算法
蔡赛凤 141030008 王希鹃 141030014 王书一 142030045
目录
1. 概述 2. K均值 3. 凝聚层次聚类
2
4. DBSCAN
5. 簇评估
3
思考：如何对移动公司客户进行管理？
什么是聚类分析?
1. 含义
4
“物以类聚，人以群分”，在自然科学和社会科学 中，存在着大量的分类问题。 所谓类，通俗地说，就是指相似元素的集合。 聚类是根据“物以类聚”的原理，将本身没有类
部分聚类（partial clustering）
– 部分聚类中数据集某些对象可能不属于明确定义的组。如： 一些对象可能是离群点、噪声。
完全聚类（complete clustering）
– 完全聚类将每个对象指派到一个簇。
不同的簇类型 明显分离的（Well-Separated） 基于原型的 基于图的 基于密度的 概念簇
33
凝聚 的 层 次 聚 类
第3 步
分 裂 的 层 次 聚 类
第0 步
a
第4 步
凝聚的（AGENS）
基本凝聚层次聚类方法
• 凝聚层次聚类算法：
1. 2. 3. 4. 5. 6. 计算临近度矩阵 让每个点作为一个簇 重复第一步和第二步 合并最近的两个簇 更新临近度矩阵，以反映新的簇与原来的簇之间的临近性 直到仅剩下一个簇为止
C1 C3 C4 C2 C3 C4 C5 C1
37
邻近度矩阵
C5
C2
...
p1 p2 p3 p4 p9 p10 p11 p12
基本凝聚层次聚类方法
• 合并簇
C1 C2 U C1 C5 C3
38
C4
C2 UC5
C3 C4 C3 C4
邻近度矩阵
C1
C2 U C5
...
p1 p2 p3 p4 p9 p10 p11 p12
0.5
0
-2
-1.5
-1
-0.5
0
0.5
1
1.5
2
-1.5
-1
-0.5
0
0.5
1
1.5
2
x
x
x
Iteration 4
3 2.5
Iteration 5
3 3 2.5 2.5
Iteration 6
2
2
2
1.5
1.5
1.5
y
y
1
1
y
1 0.5 0.5 0 0 -2 -1.5 -1 -0.5 0 0.5 1 1.5 2 -2
p1 p3 p2 p4
p2
p3 p4
Traditional Dendrogram
p1 p2
p3 p4
Non-traditional Hierarchical Clustering
Non-traditional Dendrogram
11
互斥聚类（exclusive clustering）
— 每个对象都指派到单个簇。
定义簇之间的邻近性
p1 p2 相似性? p1 p3 p4 p5
...
39
p2
p3 p4
p5

单链 全链 组平均 质心间的距离 Ward方法
. . .
邻近度矩阵
特殊技术—样本数据
40
定义簇间的邻近性
41

单链 全链 组平均 质心间的距离 Ward方法
• 两个簇的邻近度定义为 基于这两个簇中最大相似度 （最短距离） • 由一对最近邻点决定
30
优点与缺点
优点： • 算法简单 • 适用于球形簇 • 二分k均值等变种算法运行良好，不受初始化问 题的影响。 缺点： • 不能处理非球形簇、不同尺寸和不同密度的簇 • 对离群点、噪声敏感
31
层次聚类的定义及其分类
• 层次聚类按数据分层建立簇，形成一棵以簇为节点的树，即聚类图。
32
• 按自底向上层次分解，则称为凝聚的层次聚类。
1.5
1
1
0.5
0.5
0.5
0
0
0
-2
-1.5
-1
-0.5
0
0.5
1
1.5
2
-2
-1.5
-1
-0.5
0
0.5
1
1.5
2
-2
-1.5
-1
-0.5
0
0.5
1
1.5
2
x
x
x
二分k均值
• 二分k均值算法是基本k均值算法的直接扩充。它 将所有点的集合分裂成两个簇，从这些簇中选取 一个继续分裂，如此下去，直到产生k个簇。
④计算均值可得m1=2.5 和 m2=16。
⑤重新对类中的成员进行分配，不断重复上述过程， 直至均值不再变化。
23
• 具体过程如表：
m1 2 2.5 3 m2 4 16 18 {2,3} {2,3,4} {2,3,4,10} K1 K2 {4,10,12,20,30,11,2 5} {10,12,20,30,11,25} {12,20,30,11,25}
• 经过部分融合之后 ，我们得到一些簇
p1 p2
p1 p2 C3 C4
36
p3
p4 p5
...
p3
p4 p5
.
C1
.
邻近度矩阵
C2
C5
.
...
p1 p2 p3 p4 p9 p10 p11 p12
基本凝聚层次聚类方法
• 我们希望合并两个最邻近的簇 (C2 和 C5) 并更新临近度 矩阵 C1 C2 C3 C4 C5
特殊技术—单链
min(0.15,0.25,0.28,0.39) 0.15
5 1 3 5
0.2
42
dist({3,6}, {2,5}) min(dist(3,2), dist(6,2), dist(3,5), dist(6,5))
2 2
4 4
单链聚类
1 3 6
0.15
0.1
0.05
0
3
6
1.5
y
y
1
1
0.5
0.5
0
0
-2
-1.5
-1
-0.5
0
0.5
1
1.5
2
x
-2 -1.5 -1 -0.5 0 0.5 1 1.5 2
x
算法分解演示
Iteration 1
3 3 2.5 2.5
21
Iteration 2
3 2.5
Iteration 3
2
2
2
1.5
1.5
1.5
y
y
1
1
y
1 0.5 0.5 0 0 -2 -1.5 -1 -0.5 0 0.5 1 1.5 2 -2
别的样本聚集成不同的组，这样的一组数据对象的
集合叫做簇，并且对每一个这样的簇进行描述的过
程。
5
聚类分析将数据划分成有意义或有用的组（簇）。
聚类分析仅根据在数据中发现的描述对象及其关系
的信息，将数据对象分组。
其目标是，组内的对象相互之间是相似的，而不同
组中的对象是不同的。
聚类分析的典型应用
2
5
4
1
单链树状图
34
•
关键的操作是两组簇的邻近度计算 – 不同的邻近度的定义区分了各种不同的凝聚层次技术
基本凝聚层次聚类方法
• 起始于单独的点及邻近度矩阵
p1 p2 p1 p2 p3 p4 p3 p4 p5
...
35
p5
. . .
p1 p2 p3 p4
邻近度矩阵
...
p9 p10 p11 p12
基本凝聚层次聚类方法
非互斥（重叠）聚类（non-exclusive）
— 聚类用来反映一个对象，同时属于多个组（类）这一事 实。 例如：在大学里，一个人可能既是学生，又是雇员 例如：在蛋白质网络里，一个蛋白质，可能具有多个不同 功能，分别属于多个功能模块
12
模糊聚类（Fuzzy clustering）
– 每个对象以一个0（绝对不属于）和1（绝对属于）之间的隶 属权值属于每个簇。簇被视为模糊集。
8
划分聚类（Partitional Clustering）
划分成不重叠的子集，使得每个数据对象恰在一个子集。
9
原来的点
划分聚类
层次聚类（Hierarchical Clustering）