模式识别-1-非监督学习方法：聚类分析 (边肇祺 第二版)

相似性与距离聚类
相似性： 相似性：模式之间具有一定的相似性，这既 表现在实物的显著特征上，也表现在经过抽 象以后特征空间内的特征向量的分布状态上。 聚类分析定义： 聚类分析定义：对一批没有标出类别的模式 样本集，按照样本之间的相似程度分类，相 似的归为一类，不相似的归为另一类，这种 分类称为聚类分析，也称为无监督分类。
xi ∈ p x j ∈ω q
∑d ω
2 ij
d ij 为 ω p 类点 i 与 ω q 类点 j 之间的距离
6. 离差平方和： – 设N个样本原分q类，则定义第i类的离差平 方和为：
Si = ∑ ( xij − xi ) ( xij − xi )
T j =1
( q)
Ni
其中xi为样本xij的均值, Ni为第i类的样本数.
特征的表示
数值表示： 数值表示：对于实际问题，为了便于计算机 分析和计算，特征必须进行量化。对不同的 分析对象，量化方法是不一样的。
连续量的量化：用连续量来度量的特征，只需取 其量化值，如长度、重量等。 分级量的量化：度量分析对象等级的量，用有序 的离散数字进行量化，比如学生成绩的优，良， 中，差可用1，2，3，4等量化表示。 定性量的量化：定性指标，没有数量关系，也没 有次序要求。比如，性别特征：男和女，可用0和 1来进行表示。
j =1,L, c x∈s j
∑ ∑ x−m
c
2 j
J代表了分属于c个聚类类别的全部模式样本 与其对应类别模式均值之间的误差平方和； 对于不同的聚类形式， J值是不同的，聚类 的目的是：使J值达到极小； J 由此可见：聚类分析转化为寻找准则函数极 值的最优化问题； 此种聚类方法通常称为最小方差划分 最小方差划分，适用 最小方差划分 于各类样本密集且数目相差不多，而不同类 各类样本密集且数目相差不多， 各类样本密集且数目相差不多 间的样本又明显分开的情况（图例解释） 间的样本又明显分开的情况（图例解释）— 把握类内距离与类间距离的问题； 把握类内距离与类间距离的问题； 聚类准则函数有许多其他形式。 聚类准则函数有许多其他形式。
D = x−z
模式X和Z间的距离愈小，则愈相似 注意：X和Z的量纲必须一致 注意 消除量纲不一致对聚类的影响：特征数据的正则化 （也称标准化、归一化），使特征变量与量纲无关。
马氏距离： 马氏距离 ： 表征模式向量X与其均值向量m之 间的距离平方，C是模式总体的协方差矩阵，
D = (x − m) C
§1.3 基于试探的聚类搜索算法
一、按最邻近规则的简单试探法
给N个待分类的模式样本 {x1 , x 2 ,L , x N } ，要 求按距离阈值T分类到聚类中心 {z1 , z 2 ,L} 算法过程： 算法过程： StБайду номын сангаасp 1：取任意的样本xi作为一聚类中的初始 ： x 值，如令z1=x1，计算 z 若D21＞T，确定一新的聚类中心z2=x2 z 否则x2∈以z1为中心的聚类； x z
说明：距离矩阵中选择距离最小的，如果有相 同的可以任选其中一个，要忽略对角线上的元 素；也可以把相同的全部聚合。 Step3：根据第n次聚合结果，计算合并后的 新类别之间的距离矩阵D(n+1) 说明：合并类的距离计算应该符合距离的运算 规则。若距离反映的是两类的重心距离，那么 合并后，应该仍然反映的重心的距离。 Step4：收敛性判决（距离阈值D的设定） 说明：算法的收敛条件判断准则的确定。
第一个聚类中心的位置（初始化问题 初始化问题） 初始化问题 待分类模式样本排列次序（聚类样本的选择问题 聚类样本的选择问题） 聚类样本的选择问题 距离阈值T的大小（判决准则问题 判决准则问题） 判决准则问题 样本分布的几何性质（样本的固有特性问题 样本的固有特性问题） 样本的固有特性问题
二、最大最小距离算法
– 离差平方和增量：设样本已分成ωp,ωq两类， 若把ωp,ωq合为ωr类，则定义离差平方增量：
2 D pq = S r − ( S p + S q )
其中 S p , S q 分别为 ω p 类于 ω q 类的离差平方和 , S r 为 ω r 类的离差平方和 增量愈小，合并愈合理 。
算法过程描述： 算法过程描述： Step1：初始距离矩阵的计算D(0) 说明：（1）距离矩阵元素的值是类与类之间的距离， 距离的定义有多种。（2）距离矩阵，是对称矩阵。 对角上线的元值表示同类之间的距离，即为0。 Step2：对于第n次迭代的距离矩阵D(n)进行聚合
D1 = (xi , x j ) = ∑ xik − x jk
k
角度相似性函数：表征了模式向量x和z之间夹角 角度相似性函数 的余弦，反映了几何上的相似性，
xz S ( x, z ) = x • z
当坐标系旋转或者尺度变换，夹角余弦测度均 保持不变（对位移和线性变换不成立） 如果 x 和 z 的分量用二值来表示，0表示不具有 某种特征，1表示具有某种特征，则夹角余弦 测度表示x和z具有共有特征数目的相似性测度。
一般化的明氏距离
m Dm (xi , x j ) = ∑ ( xik − x jk ) m k x , x 为模式样本向量 i j
1
其中 x ik , x jk分别是样本向量的第k个分量；当 m＝2时，明氏距离就是欧氏距离；当m＝1时， 就是街坊（city block)距离：
2 t
−1
(x − m)
引入协方差矩阵，排除了样本之间的相关性。 欧式距离中，如果特征向量中某一分量的值非常大， 那么就会掩盖值小的项所起到的作用，这是欧式距 离的不足；当采用马氏距离，就可以屏蔽这一点。 因为相关性强的一个分量，对应于协方差矩阵C中 对角线上的那一项的值就会大一些。再将这一项取 倒数，减小该影响。 当协方差为对角矩阵时，各特征分量相互独立；当 协方差为单位矩阵时，马氏距离和欧氏距离相同。
D pq = min d ij
xi ∈ω p x j ∈ω q
2. 最长距离 ：两类中相距最远的两个样本间的
距离。
D
pq
= max d ij
xi∈ω
p q
x j∈ω
3. 中间距离：最短距离和最长距离都有片面性， 因此有时用中间距离。设ω1类和ω23类间的最短距 离为d12，最长距离为d13，ω 23类的长度为d23，则 中间距离为： 3 2 d 23 1 2 1 1 2 2 d 0 = d 12 + d 13 − d 23 2 2 4 d12 d 0 上式推广为一般情况：
聚类分析的有效性： 聚类分析的有效性：聚类分析方法是否有效， 与模式特征向量的分布形式有很大关系。 若向量点的分布是一群一群的，同一群 样本密集（距离很近），不同群样本距离 很远，则很容易聚类； 若样本集的向量分布聚成一团，不同群 的样本混在一起，则很难分类； 对具体对象做聚类分析的关键是选取合 适的特征。特征选取得好，向量分布容易 区分，选取得不好，向量分布很难分开。
分类依据： 分类依据：一个样本的特征向量相当于特征 空间中的一点，整个模式样本集合的特征向 量可以看成特征空间的一些点，点之间的距 离函数可以作为模式相似性的度量，并以此 作为模式的分类依据。 聚类分析是按不同对象之间的差异，根据距 距 离函数的规律进行模式分类的。 离函数的规律 距离函数的定义 特征向量的特性
t
二、聚类准则的确定 试探法
凭直观和经验，针对实际问题选择相似性测度 并确定此相似性测度的阈值，然后选择一定的 训练样本来检验测度和阈值的可靠程度，最后 按最近邻规则指定某些模式样本属于某一个聚 类类别。 举例： 举例：对于欧氏距离，它反映了样本间的近 邻性，但将一个样本分到不同类别时，还必 须规定一距离测度的阈值准则作为聚类的判 别准则
D21 = x2 − z1
Step 2：假如已有聚类中心z1和z2，计算 z z
D31 = x3 − z1 D32 = x3 − z 2
若D31＞T和D32＞T ，则确定一新的聚类中心 z3=x3； Step i： ………
讨论 这种方法的优点：计算简单，若模式样本的集 合分布的先验知识已知，则可获得较好的聚类 结果。 在实际中，对于高维模式样本很难获得准确的 先验知识，因此只能选用不同的阈值和起始点 来试探，并对结果进行验证。 这种方法在很大程度上依赖于以下因素：
基本思想：根据实际问题选择距离函数，以试 基本思想 探类间距离为最大作为预选出聚类中心的条件。 核心就是：最大类间距离，最小类内距离。 核心 算法过程描述：先按照距离最大最小的方法预 算法过程描述 选出聚类中心，在按照按最邻近规则将模式分类 到聚类中心。对于N个待分类的模式样 本 {x1 , x 2 ,L , x N } ，要求按最大最小距离法分类 到聚类中心 {z1 , z 2 ,L} 。 1：选任意一模式样本xi作为第一聚类 Step 1 x 中心z1 z
{
Step 2：选离z1最远距离的样本xj作为第二聚 z x 类中心z2 z Step 3：逐个计算各模式样本 xk , k = 1, 2,L, N , 且k ≠ i, j 与{z1 , z 2 } 之间的 距离，并选出其中的最小距离。 Step 4：在所有模式样本的最小值中选出最大 距离，若该最大值达到 z1 , z 2 的一定分数比 值以上，则将相应的样本取为第三聚类中心。 Step i： ………
非监督学习方法： 第一章 非监督学习方法：聚 类分析
• • • • • • 基本概念 相似性测度与聚类准则 基于试探的聚类搜索算法 系统聚类 分解聚类 动态聚类
§1.1 基本概念
分类与聚类的区别
分类：用已知类别的样本训练集来设计分类 分类 器（监督学习） 聚类（集群）：用事先不知样本的类别，而 聚类 利用样本的先验知识来构造分类器（无监督 学习） 举例：小孩区分桔子和苹果 小孩区分桔子和苹果
d13
1
1 2 1 2 d = d12 + d13 + β d 23 2 2 1 其中β 为参数，－ ≤ β ≤ 0 4
2 0
4. 重心距离：均值间的距离 5. 类平均距离：两类中各个元素两两之间的距离 平方相加后取平均值
D pq
其中 : N
p
2
1 = N pNq
: ω p 样本数 , N q : ω q 样本数
两类模式分类的实例 区分一摊黑白围棋子
选颜色 颜色作为特征进行分类，用“1”代表白， 颜色 “0”代表黑，则很容易分类； 选大小 大小作为特征进行分类，则白子和黑子的 大小 特征相同，不能分类。
§1.2 相似性测度和聚类准则
一、相似性的测度
欧氏距离: 欧氏距离: 表征两个模式样本在特征空间中的 Euclid距离，
例1：如下图所示（简单的一维情况） ：
G3 G1
G2
G5
G4 G6
x
1、设全部样本分为6类， 2、计算距离矩阵D(0)
1
2
3
4
5
6
1
0 9 1 49 25 64 0 16 16 4 25 0 64 36 81 0 4 1 0 9 0
特征空间维数
特征信息的冗余性：在对象分析和特征提取 特征信息的冗余性 中，往往会提取一些多余的特征，以期增加 对象识别的信息量。 高维特征空间分析的复杂性： 高维特征空间分析的复杂性：特征空间维数 越高，聚类分析的复杂性就越高 高维特征空间降维 降维方法：
相关分析：特征向量的相关矩阵R，分析相 关性 主成分分析：以正交变换为理论基础 独立成分分析：以独立性为基础
聚类准则函数法 聚类就是将样本进行组合分类以使类别可分性为 最大，因此聚类准则应是反映类别间相似性（或可 分性）的函数；同时，类别又由一个个样本组成， 因此类别的可分性与样本间的差异性直接相关。基 于此，聚类准则函数J，应是模式样本集{x}和模 J
式类别{Sj, j=1,2,…,c}的函数，即
J=
}
算法性能分析：算法复杂度增加，在选聚类中 算法性能分析 心过程中消耗较大的资源。
§1.4 系统聚类
系统聚类： 系统聚类：先把每个样本作为一类，然后根据它们 间的相似性或相邻性聚合，类别由多到少，直到获 得合适的分类要求为止；相似性、相邻性用距离表 示。聚合的关键就是每次迭代中形成的聚类之间以 及它们和样本之间距离的计算，不同的距离函数会 得到不同结果。 两类间距离计算准则：(注意理解 注意理解） 两类间距离计算准则 注意理解 1. 最短距离 最短距离：两类中相距最近的两样本间的距 离