模式识别-聚类准则

JW x
j 1 i 1
c
nj
( j) i
mj
2
(2-4-5)
( j 1,2...,c)
(2-4-6)
15
2· 4 准则函数
1. 类内距离准则
c
JW x
j 1 i 1
nj
( j) i
mj
2
(2-4-5)
J W 表征了各模式到其被指判的类的类心距离平方和
目 标
J W 取最小
定义： J B
c
J B 2 (m1 m2 )T (m1 m2 )
j 1
c
T ( m m ) (m j m) max j j 1
(2-4-7)
19
2· 4 准则函数
3. 基于类内距离类间距离的准则函数
类内距离越小越好，类间距离越大越好
同时反映出类内距离和类间距离的准则函数
ywi zwi
（3） 中值中心
med [d (mm , y )] min{med [d ( z , y )]}
med [d ( z , y )]
ywi
zwi
×
ywi
7
2· 4 准则函数
(b) 超平面模型
一个超平面可以表示为： H： wT z w0 其中：z
0
( z1 , z2 ,...,zn )T w (w1 , w2 ,...,wn )T
d ( x, H ) min d ( x, z )
zH
点x与H平面的距离定义为：
采用欧式距离时有：
| wT x w0 | d ( x, H ) || w ||
8
2· 4 准则函数
(c) 超球面模型
超球面S的方程： c为超球面的中心； r为超球面的半径
( z c)T ( z c) r 2
类内距离小
16
2· 4 准则函数
1. 类内距离准则
显然， J W 是模式
xi 和类心 m j 的函数
在样本集 {xi }和类数给定的条件下 类别的分划 类心的选取
决定
J W 的取值
17
2· 4 准则函数
同类模式比较密集 各类模式分布区域体积差别不大
18
2· 4 准则函数
2. 类间距离准则
J1 Tr[S S ] max
1 J 2 Tr[SW ST ] max
1 W B
(2-4-16) (2-4-17) (2-4-18) (2-4-19)
29
J 3 | S S | max
| SW | J4 min | ST |
1 W T
2· 4 准则函数
1 当 SW 不存在时，也可采用
c
1 ( xi m)( xi m)
N i 1
N
j 1
c
( j) ( j) ( xi m)(xi m)
i 1
nj
nj 1 ST j 1 N n j
nj 1 j 1 N n j
c
( j) ( j) ( xi m)( xi m)

( j ) xi ；j 1,2,, c ; i 1,2,, n j

14
其中， j 表示类别，i 表示类内模式的序号。
2· 4 准则函数
1. 类内距离准则
类内距离准则函数 J W 定义为:
m j 表示 j 类的模式均值矢量：
1 mj nj
( j) x i i 1 nj
×
√
2
2· 4 准则函数
2.4.1 点与集合间的距离
d ( x, wi )
：
待分类模式
x 和各聚类 wi 间的距离
＞
……
＞
Βιβλιοθήκη Baidu
d ( x, wi )
d ( x, w j )
x wi
3
2· 4 准则函数
度量点与集合的距离分为两类
0
先验知识
第一类： 各集合中的所有点都 分别直接参加计算 第二类： 集合用一个“模型”来代表， 点与模型的距离作为点与集合的距离
ywi
d ( x, y)
5
2· 4 准则函数
（a）点模型 （b）超平面模型 （c）超球面模型 1. 第二类：
6
2· 4 准则函数
(a) 点模型
（1） 均矢 （2） 最值中心
1 ma Ni
ywi c
ywi
y
x j wi ywi j
d (m , y) min[ d ( x , y)]
1 J 5 Tr[ST SW ] min 1 J 6 | ST SW | min
(2-4-20) (2-4-21)
30
2· 4 准则函数
4. 总结
上述的准则函数都具有非奇异线性变换不变性， 所以对应的最优分类也具有不变性； 这些准则函数对应的最优分类尽管不同但是相似； 这些准则在特征选取和选择中也有较多的应用。
i 1
nj
nj
( j) ( j) ( xi m j )( xi m j ) (m j m)(m j m) i 1
25
SW S B
2· 4 准则函数
3. 基于类内距离类间距离的准则函数
模式的分布
ST
反映模式散布 从不同方面
31
2.1-2.3(回顾)
2.1、聚类分析的概念 2.2、模式相似性测度
2.3、类间距离
1
2.2 模式相似性测度
2.2.3、匹配测度 (4) Dice系数
a x y (1- 1)匹配个数 m( x , y ) 2a b c x x yy 俩矢量中 1的总数 (1-1)匹配个数 2a 2 x y m( x, y) 2a b c xx yy 俩矢量中 1的总数
一个点X到S的距离定义为：
d ( x, S ) min d ( x, z )
zS
9
2· 4 准则函数
点到超平面和球面的距离示意图
10
2· 4 准则函数
2.4.2 聚类的准则函数
聚类准则函数选择好， 聚类质量就会高 对分类过程或分类结果 的优劣进行指导与评估
准则函数
和类的定义有关的，是 类的定义的某种体现
20
2· 4 准则函数
3. 基于类内距离类间距离的准则函数
21
2· 4 准则函数
(2-4-9)
(2-4-10)
22
2· 4 准则函数
(2-4-11)
(2-4-12)
(2-4-13)
23
2· 4 准则函数
(2-4-14)
(2-4-15)
24
2· 4 准则函数
证明： ST SW SB
1 ST N
1
4
2· 4 准则函数
第一类： 各集合中的所有点都分别直接参加计算
（1） 最小距离 （2） 最大距离
d ( x, wi ) min[ x, y ]
ywi
d ( x, wi ) max [ x, y ]
ywi
中的模式个 数。
Ni 为 wi 类
（3） 平均距离
1 d ( x, wi ) Ni
11
2· 4 准则函数
类内距离小，类间距离大
（一般标准）
12
2· 4 准则函数
2.4.2 聚类的准则函数
1. 类内距离准则 2. 类间距离准则 3. 基于类内距离类间距离的准则函数
13
2· 4 准则函数
1. 类内距离准则
设有待分类的模式集 x1 , x2 ,, x N
在某种相似性测度基础上被划分为 c 类：
结构信息
类的分划
S B SW
构造准则函数
数值特征
26
2· 4 准则函数
可以证明， SW SB 的特征值 1 , 2 ,...,n是非奇异线性变换 下的不变量， 它们反映了模式类间离差与类内离差在特征矢量方向上的 比值
1
27
2· 4 准则函数
28
2· 4 准则函数
利用线形代数有关矩阵的迹和行列式的性质,可以 定义如下4个聚类的准则函数: