无监督学习PPT课件

• do{ for each data point x in D { compute the distance from x to each centroid assign x to the closest centeroid } re-compute the cluster centeroid
}while(The stop criterion is not met)
• 聚类树：用于层次聚类
a
2
如何表示聚类？
• (1)聚类中心 高维球体、椭球体形状 半径、标准差->伸展度
• (2)分类模型 把每个聚类当作一个类别
• (3)聚类中最为常见的值：范畴属性
任意形状的聚类： K均值算法不能发现任意形状 的聚类，对于不
规则形状的聚类定义聚类中心没有意义 表示法：一般分别输出每个聚类中的数据点
（来自不同聚类）之间的距离的均值
·聚类中心方法：两个聚类之间的距离 = 两个聚类中心的距离
·ward方法：两个聚类之间的距离 = SSE（A+B）-(SSE(A)+SSE(B)) =
A、B表示两个聚类，A+B表示合并后的聚类
a
13
优势和劣势
• 1、适用于任何形式的距离或相似度函数 • 2、相对于k均值算法的给出k个聚类的特征，可以提供对于聚类
mj = Sj / nj ;(j=1,2,3·····,k)
}while(the stop criterion is not met)
数据需要扫描t次，t是在终止条件满足之前的循环次数。
a
10
k-均值算法的优势与劣势
a
11
层次聚类
• 方法：聚类树（树状图） 合并聚类：从下而上，合并最相似的聚类 分裂聚类：从上而下，从包含全部数据点的根节点开始分裂 合并算法：
Dist(xi,xj) =
（加权）
a
6
如何计算相似度—距离函数
• 对于具有多个状态或值的名词性属性
简单匹配距离：设数据属性数目为r 属性值匹配数目为q Dist(xi,xj) =
• 对于文本文档：向量夹角余弦相似度
a
7
K-均值算法
• D={x1,x2······xn}
• Xi={xi1,xi2······xik} • 选取m(要获得的聚类个数)个数据点作为“种子”聚类中心
无监督学习
a
1
基本概念
• 聚类：组织数据的技术—>形成的相似组也叫聚类
• 聚类中心：聚类中所有数据点的均值，用来表示这个聚类
• 聚类的类型：划分聚类、层次聚类(一个聚类包含子聚类)
• 相似组：处于相同聚类的数据彼此相似
• 数据的维度：在一定前提下描述一个数学对象所需的参数个数，完整 表述应为“对象X基于前提A是n维”。—>即数据的属性个数
a
3
如何计算相似度—距离函数
• 针对数字属性的距离函数：（r维空间中的两个数据点xi、xj） 1、闵可夫斯基距离： Dist(xi,xj) =
2、欧几里德距离 取h = 2； Dist(xi,xj) =
加权欧几里德距离： Dist(xi,xj) =
平方欧几里德距离 ： Dist(xi,xj) =
a
•
Hale Waihona Puke 顺序（顺序范畴）属性：类似于名词性属性，但有顺序，常被当作 区间度量属性
a
17
的任何粒度的浏览 • 3、可以发现一些任意形状的聚类（例如采用单连接方法） • 4、时空复杂度：相对于k均值算法是低效的
a
14
选择聚类算法—聚类的评估
a
15
选择聚类算法—聚类的评估 • 查准率与查全率： 查准率=（检索出的相关信息量/检索出的信息总量）x100% 查全率=（检索出的相关信息量/系统中的相关信息总量）x100% • 间接评估：
4
如何计算相似度—距离函数
a
5
如何计算相似度—距离函数
• 针对无序范畴属性（布尔属性和名词性属性）的距离函数
混合矩阵：
数据点xi
数
据 点
1
xj 0
10 ab cd
简单匹配距离：
1)对称属性：两个状态同等重要
Dist(xi,xj) =
加权： Dist(xi,xj) =
2)非对称属性：一个状态比另一个状态更重要Jaccard距离
a
16
数据标准化
• 区间度量属性：数字/连续属性、符合线性标量的实数 范围标准化：
z – score标准化： ：均值 ：标准差
·比例度量属性：非线性
1）按照区间度量属性处理—>度量刻度上的扭曲 2）对属性值进行转换 ：取对数 • 名词性（无序范畴）属性：属性的取值为状态集合中的某一个
特例：布尔属性
a
8
K-均值算法
• 收敛条件(stop criterion ) (1)没有(或最小数目)数据点被重新分配给不同的聚类 (2)没有(或最小数目)聚类中心发生变化 (3)SSE局部最小
SSE=
Cj ：the jth cluster mj ：the cluster centroid of Cj
a
9
K-均值算法的硬盘版本
a
12
• 单连结方法：两个聚类之间的距离 = 两个聚类中距离最近的两个
点（来自不同聚类）之间的距离
合并具有“最短最近”距离的两个聚类
（对于数据噪音?很敏感 ）
• 全点（连来结自方不同法聚:类两）个之聚间类的之距间离的距离 = 两个聚类中距离最远的两个
合并具有“最短最远”距离的两个聚类
·平均连结方法:两个聚类之间的距离 = 两个聚类中多对数据点
for each data point x in set D make x a cluster;
do{ find 2 clusters that are nearest to each other ; merge the two cluster C; find the distance from C to other clusters; (单连结和全连结、平均连结) }while(the number of cluster > 1)
• 选取k(要获得的聚类个数)个数据点作为“种子”聚类中心,记作mj（j=1，2，3······，k） • 向量Sj:第j个聚类的加和 • nj：第j个聚类中数据点的个数
• do{
for(j=0;j<k;j++){
; nj=0 ;}
for each data point x D { j = argmin dist (x,mj);//j=0,1,2,······k x -> cluster j; x; nj+=1 ; }