数据挖掘第六章聚类分析

© Tan,Steinbach, Kumar
Introduction to Data Mining
4/18/2004
‹#›
6.1聚类分析的目的
理解
– 在一起的文档便于浏览； 1
–
一条肽链上的脱氧核糖核酸 有相似的官能团；
2
–
在一起的股票开盘价位基本 相同
3Fra Baidu bibliotek
4
Discovered Clusters
Applied-Matl-DOWN,Bay-Network-Down,3-COM-DOWN, Cabletron-Sys-DOWN,CISCO-DOWN,HP-DOWN,
Baker-Hughes-UP,Dresser-Inds-UP,Halliburton-HLD-UP, Louisiana-Land-UP,Phillips-Petro-UP,Unocal-UP, Schlumberger-UP
Industry Group
Technology1-DOWN
Technology2-DOWN Financial-DOWN Oil-UP
图表分割
© Tan,Steinbach, Kumar
Introduction to Data Mining
4/18/2004
‹#›
聚类：数据对象的集合(a collection of data objects) – 在同一个聚类簇中相互之间比较相似
(Similar to one another within the same cluster) – 在不同的聚类簇中对象差异较大
WWW
– 文本分类(Document classification) – 聚类Web日志数据来发现组与组之间的相似访问模式
© Tan,Steinbach, Kumar
Introduction to Data Mining
4/189/2004
‹#›
6.2 图像边缘检测，分割
© Tan,Steinbach, Kumar
共有属性或概念聚类
– 寻找这样的类：拥有某些共同的属性或表示一部分的 概念。
.
© Tan,Steinbach, Kumar
2 重叠的圆环
Introduction to Data Mining
4/18/2004
‹#›
6.3 聚类的类型: 目标函数
用目标函数定义的类或簇 – 找出最小化或最大化功能函数的类. – 列举所有可能的划分点到类中的方式，然后计算出怎样 应用给定的功能函数最优化地划分类的。 – 有全局或局部的目标函数.
(Dissimilar to the objects in other clusters) 聚类分析
– 将数据对象集合分组成聚类簇 聚类是一种非监督型分类(unsupervised classification)：
– 无预定义的类 典型应用
– 作为一个独立的工具来获得数据分布 – 作为其它算法的预处理步骤
© Tan,Steinbach, Kumar
Introduction to Data Mining
4/18/2004
‹#›
6.1 聚类与分类—评价指标
分类：
– 准确率，召回率，精度，查全率
聚类：
– 无监督的指标 – 监督的指标
© Tan,Steinbach, Kumar
Introduction to Data Mining
搜索引擎查询聚类以进行流量推荐
– 在搜索引擎中， 很多网民的查询意图的比较类似的。 对查询进行聚类：一方面可使用类内部的词进行关键词 推荐；另一方面， 如果聚类过程实现自动化，则也有 助于新话题的发现等。
网站关键词来源聚类整和
– 利用文本分类的特征提取算法进行词语的领域聚类，通 过控制词语频率的影响，分别获取领域通用词和领域专 类词
– n = number of points, K = number of clusters, I = number of iterations, d = number of attributes
© Tan,Steinbach, Kumar
4/18/2004
‹#›
6.2 聚类的一般应用
模式识别（ Pattern Recognition ） 空间数据分析 (Spatial Data Analysis)
– 在地理信息系统上通过聚类特征空间创建主题映射图 – 探查空间聚类簇并用空间数据挖掘加以解释
图像处理(Image Processing) 经济科学 (尤其是市场研究) (Economic Science)
标识出一个不同领域的聚类问题，解决那个领域的 相关问题。
– 邻接矩阵定义了曲线表，那些结点就是聚集起来的点， 边则代表了点与点之间的关系。
– 聚类等同于将图表分成相互之间联系的各个组成成分， 每一个代表一个类。
– 可以最小化类之间的边的权重，最大化类内边的权重。
© Tan,Steinbach, Kumar
6.5评估指标
– 非监督指标 – 监督指标
© Tan,Steinbach, Kumar
Introduction to Data Mining
4/18/2004
‹#›
6.1
基于用户位置信息的商业选址
– 百度与万达进行合作，通过定位用户的位置，结合万达 的商户信息，向用户推送位置营销服务，提升商户效益
‹#›
6.3 簇的概念是不确定的
到底有多少簇?
6簇
2簇
4簇
© Tan,Steinbach, Kumar
Introduction to Data Mining
4/18/2004
‹#›
6.3聚类的类型
类的分层和分割概念的区别是非常重要的 类的分割
– 将一个数据对象分割成不相重叠的几个子集，而且每 个数据对象有且仅有一个子集
Introduction to Data Mining
4/18/2004
‹#›
6.4 聚类算法
K均值算法和它的改进 分层聚类 基于密度的聚类
© Tan,Steinbach, Kumar
Introduction to Data Mining
4/18/2004
‹#›
6.4.1 K均值聚类算法
聚类分割算法 每一个类中有一个质心(中心点) 每一个点被放进类中，该点与质心的距离最近 类的数目，也就是K，必须说明 基本算法很简单
部分的和完全的
– 在某些情况下，我们只需要聚类一部分数据
异类的和同类的
– 不同规模，不同形状，不同密度的聚类
© Tan,Steinbach, Kumar
Introduction to Data Mining
4/18/2004
‹#›
6.3 聚类的类型
分割良好的聚类
基于中心的聚类
相近的
基于密度的方法
性质和概念
层次聚类算法有局部的目标函数 划分算法有全局目标函数
– 全局目标函数的多样性适合于不同的参数模型数据.
模型参数是由数据决定的. 混合模型假定数据是混合的.
© Tan,Steinbach, Kumar
Introduction to Data Mining
4/18/2004
‹#›
6.3 聚类的类型: 功能函数
– 一个类的中心往往是一个质心，相对于类中的其它所 有点，是最能代表类的特征的点
© Tan,Steinbach, Kumar
4 center-based clusters
Introduction to Data Mining
4/18/2004
‹#›
6.3 聚类的类型:相近的
相近的类：（距离最小的）
用一个目标函数来描述
© Tan,Steinbach, Kumar
Introduction to Data Mining
4/18/2004
‹#›
6.3 聚类的类型:分割良好的聚类
分割良好的聚类:
– 一个类是一些点的集合，这些点满足这样的特点：任 何一个点与其他所有该类中的点的相似性都大于与其 它类中点的相似性。
摘要
– 减小大数据集的规模
© Tan,Steinbach, Kumar
澳大利亚的降雨分布图
Introduction to Data Mining
4/18/2004
‹#›
6.1什么是非聚类分析?
监督分类
– 有分类标志信息
简单分割
– 把学生的姓按照字母顺序分成若干不同的报到组
查询结果
– 一个外部说明的结果
© Tan,Steinbach, Kumar
3 well-separated clusters
Introduction to Data Mining
4/18/2004
‹#›
6.3 聚类的类型: 基于中心的聚类
基于中心的聚类
– 一个类是这样一组对象的集合：类中的一个对象相对 于其他的类更相似或更接近某个类的中心。
类的分层
– 一个嵌套的类可以表示成层次树的形式
© Tan,Steinbach, Kumar
Introduction to Data Mining
4/18/2004
‹#›
6.3聚类的其他区别
排他的和不排他的
– 在不排他的类里面, 点可能属于多个类. – 可能代表多个类或边界点
模糊的和不模糊的
– 在模糊的聚类里面，一个点属于每一个权重在0到1之间的类 – 权重总计为1 – 可能的聚类里面有相似的特征
数据挖掘 聚类分析: 基本概念和算法
第六章 聚类分析
© Tan,Steinbach, Kumar
Introduction to Data Mining
4/18/2004
1
目录
6.1聚类的定义 6.2 聚类的应用范例 6.3聚类的分类（类型） 6.4算法
– K-Means（选） – 分层聚类 – 基于密度的聚类
– 一个类是一个高密度点的区域，高密度区域与低密度区域区别 显著。
– 当类或簇不规则或无规律可循时或存在噪音时经常使用。
© Tan,Steinbach, Kumar
6 density-based clusters
Introduction to Data Mining
4/18/2004
‹#›
6.3 聚类的类型: 概念聚类
Compaq-DOWN, EMC-Corp-DOWN, Gen-Inst-DOWN, Motorola-DOWN,Microsoft-DOWN,Scientific-Atl-DOWN
Fannie-Mae-DOWN,Fed-Home-Loan-DOWN, MBNA-Corp-DOWN,Morgan-Stanley-DOWN
– 一个类是这样一组点的集合：类中的某点比不在类中 的点更接近或更相似于其他的所有在类中的点.
© Tan,Steinbach, Kumar
8 contiguous clusters
Introduction to Data Mining
4/18/2004
‹#›
6.3 聚类的类型: 基于密度的
基于密度的
DSC-Comm-DOWN,INTEL-DOWN,LSI-Logic-DOWN, Micron-Tech-DOWN,Texas-Inst-Down,Tellabs-Inc-Down,
Natl-Semiconduct-DOWN,Oracl-DOWN,SGI-DOWN, Sun-DOWN
Apple-Comp-DOWN,Autodesk-DOWN,DEC-DOWN, ADV-Micro-Device-DOWN,Andrew-Corp-DOWN, Computer-Assoc-DOWN,Circuit-City-DOWN,
© Tan,Steinbach, Kumar
Introduction to Data Mining
4/18/2004
‹#›
6.1什么是聚类分析?
找出这样的对象组：该组对象与另一组中的对象相 似或相关，但是与其他组中的对象不相同或不相关
类内(intra-class)数据 或对象的相似性最强
类间(inter-class)数据 或对象的相似性最弱
Introduction to Data Mining
4/18/2004
‹#›
6.2 其他应用
对客户进行聚类
– 手机用户，购物用户等
异常点检测-离群点
– 信用卡的盗用 – 噪音 – 虚假评论
© Tan,Steinbach, Kumar
Introduction to Data Mining
4/18/2004
© Tan,Steinbach, Kumar
Introduction to Data Mining
4/18/2004
‹#›
6.4.1 K均值聚类算法 – 细节
最初的质心常常是随机选择的. 质心通常是类内各个点间的平均距离。 对欧式空间中的点使用欧几里得距离，对文档用余弦相似性 。 K均值一般使用上述的相似度标准。 大部分的收敛发生在最初的循环中。 循环终止的条件是所有簇中的点没有相关性 复杂度是 O( n * K * I * d )