第5章 动态聚类法(三)

39 4.875 8 Z 2 (2) xi ( x 2 x 4 L x10 ) 37 4.625 N 2 xi S 2 (1) 8 8 1 1
(4) 判断，因为
Z j (2) Z j (1), j 1, 2. 返回第(2)步。
(7) 判断，因为
Z j (3) Z j (2), j 1, 2. 返回第(2)步， Z 1 (3) ，Z 2 (3) 为 以
中心聚类。
(8) 以新的聚类中心分类
x1 : D1 || x1 Z 1 (3) || 1.131 D1 D 2 x1 S1 (3) D 2 || x1 Z 2 (3) || 9.759
与上一次的结果相同，因此
S1 (3) { x1 , x 2 , x3 , x 4 , x5 } , N 1 5 ,
S 2 (3) { x 6 , x 7 , x8 , x9 , x10 } , N 2 5 .
(9) 计算新的聚类中心向量，聚类中心与上一次相同
Z 1 (4) Z 1 (3) 0.8, 0.8 Z 2 (4) Z 2 (3) 7, 6.8
(6) 计算新得聚类中心
0.8 Z 1 (3) xi 5 ( x1 x2 x3 x4 x5 ) 0.8 N 1 x i S1 ( 2 ) 1 1
7 Z 2 (3) xi 5 ( x6 x7 x8 x9 x10 ) 6.8 N 2 xi S 2 ( 2 ) 1 1
1 Nj
xi S j ( k )

xi ,
j 1, 2, L , K . 即均值向量作为新的聚类中心.这一步要分别
计算 K 个聚类中的样本均值向量,故该算法称为 K -均值算 法. (4) 如果 Z j ( k 1) Z j ( k ) , j 1, 2, L
, K , 则回到步骤(2),将样本
每个 ji 反应的是样本的特征空间的第 i 维上与 聚类中心的位置偏差,整体上就反映了样本在 各个方向上距离聚类中心的分散程度,或者说 体现的是聚类域内样本分布的形状.

此外还可以用其它距离度量之分析模式样本的 聚类性质.例如: 在一个聚类域内,距离聚类中心 最远与最近的样本位置等.
例: 已知 10 个模式样本如下,试用 K-均值算法分类.
算法收敛，得聚类中心



Z 1 (0.8, 0.8) ， Z 2 (7, 6.8)
考试重点



模式识别的基本概念 模式识别系统 最小错误率贝叶斯分类器 最小风险贝叶斯分类器 线性判别分类器的设计步骤 广义线性分类器(非线性→线性) 感知器准则函数及迭代解 最小均方误差准则与伪拟解 Fisher判别分类的思想、原则及准则函数 特征提取、特征选择的概念 欧氏距离、马氏距离
逐个重新分配,并重复迭代计算；如果 Z j ( k 1) Z j ( k ) ,
j 1, 2, L , K , 算法收敛,计算完毕.
算法讨论


K-均值算法受以下几个因素的影响 (1)指定聚类中心的个数是否符合模式的实际 分布; (2)所选聚类中心的初始位置; (3)样本分布的几何性质; (4)样本的读入次序.
min{|| x Z i ( k ) ||, i 1, 2, L , K } || x Z j ( k ) || D j ( k )
则 x S j ( k ) . 其中 k 为迭代运算的次序号,若第一次迭代则
k 1 , K 代表了聚类中心的个数.
(3)
计算各个中心的新向量值 Z j ( k 1), Z j ( k 1)
Zj 1 Nj
X
i 1
N
j
i
, Xi Sj
上式表明， S j 类的聚类中心应选为该类样本的均值。
算法描述
设共有N个模式样本,计算步骤如下:
（1） 任选 K 个初始聚类中心 Z 1 (1), Z 2 (1), L
, Z K (1), K N
。
括号内的序号代表了寻找聚类中心的迭代运算的次序号。一 般可选择样本集中前 K 个样本作为初始聚类中心。 （2） 按最小距离原则将其余样本分配到 K 个聚类中心中 的某一个中心所对应的类别中，即如果
K 2 ，并选 Z 1 (1) x1 [0, 0] ， Z 2 (1) x2 解：(1) 取
[1, 0]

(2) 计算距离，聚类
x1 : D1 D 2 x1 S1 (1) 2 2 D 2 || x1 Z 2 (1) || (0 1) (0 0) 1 D1 || x1 Z 1 (1) || 0
2 2
同理可得
x3 S1 (2), x 4 S1 (2), x5 S 1 (2), x 6 S 2 (2), x 7 S 2 (2), x8 S 2 (2), x9 S 2 (2), x10 S 2 (2).
因此
S1 (2) { x1 , x2 , x3 , x 4 , x5 } , N 1 5 , S 2 (2) { x6 , x7 , x8 , x9 , x10 } , N 2 5 .
于是得
S1 (1) { x1 , x3 } , N 1 2 ,
S 2 (1) { x 2 , x 4 , x5 , x6 , x7 , x8 , x9 , x10 } , N 2 8 .
(3) 计算新的聚类中心
0 Z 1 (2) xi 2 ( x1 x3 ) 1 N 1 xi S1 (1) 2 1 1 0 0.5
(3) 诸聚类域内样本距离的标准差向量 聚类域内样本与聚类中心对应分量差的平方和的平均 值叫方差.方差的算术平方根叫做标准差.
对 S 类样本,距离的标准差
j
j
[ j 1 ,
, , jn ] j2

的各
分量为

ji

1 Nj
X S j

( x ji z ji )
2
,
i 1, , n .
试探
聚类结果的评价

常见的几个评价指标 (1)聚类中心之间的距离 同一类样本相聚比较密集,不同类样本相距较 远.聚类中心之间的距离通常总大于各类样本 的类内平均距离.类间距离太小,说明两类靠得 太紧,有可能合并.
(2)诸聚类域中的样本数目 如果样本的抽取比较合理,通常各类的样本数相 差不大.因此聚类结果中,若某一类的样本数较 其它类的样本数明显多得多,该类有可能是几 类样本的集合. 综合考虑(1)、(2)


基于类内散布矩阵的单类模式特征提取 聚类的概念与理解 监督分类、无监督分类 聚类与分类 基于距离阈值、函数准则的聚类 近邻聚类法 最大最小距离算法 层次聚类法 动态聚类法：K-均值聚类算法
考试题型


第一题 概念题 （2个小题）10分 第二题 简答题 （3个小题）30分 第三题 计算题 （4个小题）50分 第四题 综合应用题 10分
动态聚类法
思想:首先选择若干个样本作为聚类中心,再按照
事先确定的聚类准则进行聚类.在聚类过程中,根
据聚类准则对聚类中心反复修改,直到分类合理 为止.
K-均值聚类

又称为C-均值聚类,是根据函数准则进行分 类的聚类算法, 使聚类准则函点到该类聚类中心的距离平方和,对于 第 j 个聚类集,准则函数定义为
x1 [0, 0] , x 2 [1, 0] , x3 [0,1] , x 4 [1, 2] , x5 [2,1]

x 6 [6, 6] , x 7 [7, 6] , x8 [7, 7] , x9 [8, 7] , x10 [7,8]
x2 :
D1 || x 2 Z 1 (3) || 0.825 D1 D 2 x 2 S1 (3) D 2 || x 2 Z 2 (3) || 9.069
同理得
x3 S1 (3), x 4 S1 (3), x5 S1 (3), x 6 S 2 (3), x 7 S 2 (3), x8 S 2 (3), x9 S 2 (3), x10 S 2 (3).
x2 :
D1 || x 2 Z 1 (1) || 1 D 2 D1 x 2 S 2 (1) D 2 || x 2 Z 2 (1) || 0
同理可得
x3 S1 (1), x 4 S 2 (1), x5 S 2 (1), x 6 S 2 (1), x 7 S 2 (1), x8 S 2 (1), x9 S 2 (1), x10 S 2 (1).
Jj
N
|| X i Z j || , X i S j
2 i 1
j
其中 S j 表示第 j 个聚类集,聚类中心为 Z j ； N j 为第 j 个聚 类集 S j 中包含的样本数。 对所有 K 个模式类有
J
|| X i Z j || , X i S j
2 j 1 i 1
(5) 由新得聚类中心得
2 x1 : D1 D 2 x1 S1 (2) 2 2 D 2 || x1 Z 2 (2) || (0 4.875) (0 4.625) D1 || x1 Z 1 (2) || 1
x2 : D1 D 2 x 2 S1 (2) 2 2 D 2 || x 2 Z 2 (2) || (1 4.875) (0 4.625) 31.406 D1 || x 2 Z 1 (2) || 1 ( 1 ) 1.118 2