模式识别-总结

1 W
3.5
一次准则函数及梯度下降法
如果训练模式已经符号规范化，即xk 2已乘以－1 （包括增广分量1），则
w(k ) w(k 1) w(k ) xk
收敛定理 解多类问题
若w(k ) xk 0 (正确分类) 若w(k ) xk 0 (错误分类)
3· 6 二次准则函数及其算法
2.3 聚类算法
（一）简单聚类 最邻近规则试探法 给定阀值T，聚类到zl （二）层次聚类 初始每个样本点为一类（N类），将类间距离最小 者合并为一类，逐级进行。 类间距离可用：最小、最大、中间、重心、平均距 离等。
（三）动态聚类算法
C-均值算法（适用于团状分布的情况） c 0, zi (1) xi1 , i 1, 2,..., c;
X wb 0
J ( X , w, b ) Xw b
2
(wxi bi )2 min
i 1
N
将上面的不等式组写成矩阵方程形式，并引入N 维余量矢量 b ，于是不等式方程组变为
Xw b 0
式中 X 是 N (n 1) 矩阵。
x1 x2 X N x x11 x21 x N1
xi ( j ) j
是j内样本间的均方距离。
适用于各类模式呈团状分布的情况。
四、聚类准则函数
（二）类间距离准则
J B (m j m) '(m j m) max
j 1 c
1 m 式中， N
1 xi 是总的样本均值矢量，m j nj i 1
N
( j) x i i 1
SW
j 1 c
m1
m
2
3 4
nj N
nj
( j) SW
类间离差矩阵
SB
j 1 c
N
(m j m)(m j m)
1 m N
x
i 1
N
5
i
总的离差矩阵
1 N ST ( xi m)( xi m) N i 1
（三）基于类内类间距离的准则函数
3· 2 线性判别函数
判别规则：
解多类问题的两分法: ⑴ i i 两分法
0 x 1 d ( x ) wx 0 x 2 0 x 或拒判 i
di ( x ) 0
⑵ i j 两分法 if d ( x) 0, j i, then x ij i ⑶ 没有不确定区的 i j 两分法 令 dij ( x) di ( x) d j ( x) (wi wj )x
( x , x , , x ) 1 2 N x12 x1( n 1) x22 x2( n 1) xN 2 xN ( n 1) N ( n 1)
最小方差准则及W-H算法
针对方程组 Xw b
N
,构造方差准则函数
J (w) ( Xw b )( Xw b )
小结
一、影响分类的因数 （1）分类准则；（2）特征量的选择；（3）量纲。 二、模式相似性测度 （一） 距 离 测 度 (1) 欧氏距离 2 1 d ( x , x ) ( x x )' V ( xi x j ) (2) 马氏距离 i j i j
对坐标系平移、旋转、比例不变。
（二） 相 似 测 度 相关系数 （特征矢量的方向）
类内离差矩阵（Scatter Matrix）
( j) SW
1 nj
1 ( j) ( j) ( j) ( xi m j )( xi m j ) , xi j , m j nj i 1
1
nj
( j) x i , ( j 1, 2, i 1
nj
, c)
总的类内离差矩阵
1 z j (k ) Nj
重新聚类
x
i 1
Nj
( j) i
, N N j,
j1
c
x
( j) i
j
ISODATA算法 c（预期类数），Nc（初始类心个数），N（各类最小样本数）， s（类中样本特征分量标准差上限）， jmax， D（聚合中心最小间距），L，I
C-均值算法性能
（1）系数矢量 w0 是超平面 距离；
d ( x) 0
的法矢量；
（2） d ( x ) 的绝对值 d ( x) 正比于 x 到超平面的 （3） d ( x )的正（负）反映 x 在超平面 d ( x ) 0 的 正（负）侧。
3· 4
Fisher线性判别
多维 Fisher变换 利于分类的一维
x wn1 d ( x) w1x1 w2 x2 wn xn wn1 w0 式中 w0 (w1, w2 , , wn ) ,称为权矢量或系数矢量。写成矢量 形式 d ( x) wx
w (w1 , w2 , , wn , wn1 ) ，称为增广 x ( x1 , x2 , , xn ,1) ， 这里， 特征矢量和增广权矢量。增广特征矢量的全体称为 增广特征空间。
1 W B
（3）Fisher判别规则
1 yt x ux y 2 um1 um2 yt u(m1 m2 ) 2 u m 2
1 u ( x m) 0 x 2
d ( x ) ux um
1 m1 m2 (m1 m2 )S ( x ) 0 x 2 2
1.1.3 模式识别系统
学习过程
分类器 训练
模式采集 预处理 特征提取 选择 分类器 判决过程 图1.2 模式识别系统框图
1.1.4 模式识别方法
统计判决
句法结构
模糊判决 逻辑推理 神经网络
第二章 聚类分析
内容： 聚类的基本概念； 相似性测度、类间距离 、聚类准则； 简单聚类、层次聚类 ； 动态聚类。 要求： 重点:相似性测度、K均值聚类和层次聚类算 法。 难点:聚类准则函数。
1 mj nj
( j) x i i 1 nj
( j) i
j , ( j 1, 2,
, c),
n
j 1
c
j
N
( j 1, 2,
, c)
加权类内距离准则
式中， d j2
JWW＝
j 1
2
c
nj N
d j2
2 ( j) ( j) x x i k n j (n j 1) xk ( j ) j
算法简单，收敛。如模式呈现类内团状分布， 效果很好，故应用较多。
能使各模式到其所判属类别中心距离平方之 和为最小。
第三章 类域界面方程法 总结
分类特征空间的分划子空间的界面：判别函数
d ( x ) wx 求解 w (w1 , w2 , , wn , wn1 )
d ( x) 0
模式识别-总结 Pattern Recognition
余莉 电话： 73478（O）,75420（H） E-mail：yuliu@nudt.edu.cn
课程内容
第一章 引论 (2学时) 第二章 聚类分析 (4学时) 第三章 判别域代数界面方程法 (4学时) 第四章 统计判决与估计 (4学时) 第五章 统计学习与估计 (4学时) 第六章 最近邻方法 (2学时) 第七章 特征提取与选择 (2学时) 复习 (2学时) 实验 上机实验 (8学时) 作业 每次课后布置习题 考核 笔试(70%)+实验(20%)+作业(10%)
聚类的基本目标是使 JWB=Tr[SB]max和JWW =Tr[SW]min 因此可定义如下聚类准则函数
J1 Tr S S B
1 W
1 J 3 Tr S W ST
J 2 S SB
1 W
J4 S S
1 W T
Jimax，(i=1,2,3,4) 即，类内越“紧”，类间越“开”，聚类效果越好。
对坐标系平移、旋转、比例不变。
( x x )'( y y ) r ( x, y) [( x x )'( x x )( y y )'( y y )]1/ 2
三、类间距离递推公式
2 2 2 2 2 2 Dkl p Dkp q Dkq D pq Dkp Dkq （其中l =p q ）
概 念 模式识别：确定一个样本的类别属性（模式类）的过 程，即把某一样本归属于多个类型中的某个类型。模 式分类的过程。 样本（Sample)：一个具体的研究（客观）对象。如 患者，某人写的一个汉字，一幅图片等。 模式（Pattern）：对客体（研究对象）特征的描述 （定量的或结构的描述），是取自客观世界的某一样 本的测量值的集合（或综合）。 特征（Features）：能描述模式特性的量（测量值）。 在统计模式识别方法中，通常用一个矢量表示，称之 为特征矢量，记为 x ( x1 , x2 , , xn )' 模式类（Class）：具有某些共同特性的模式的集合。
四、 聚类准则函数
评估分类过程或分类结果优劣的准则函数
（一）类内距离准则（误差平方和准则）
JW xi( j ) m j
j 1 i 1 c nj 2
( xi( j ) m j ) '( xi( j ) m j ) min
j 1 i 1
c
nj
式中，nj是j中的样本个数Leabharlann Baidux
(1- )/2 (nk+np)/(nk+nl)
nq/(np+nq) (1-)nq/(np+nq)
(1- )/2 (nk+nq)/(nk+nl)
0 <1
<1 -nk/(nk+nl)
0 0
0 0
a 2 b2 | a 2 b2 | 1/ 2 a 2 b2 | a 2 b2 | 1/ 2 min[a, b] [ ] , max[a, b] [ ] 2 2 2 2
if then x i 有不确定区域 d j ( x ) 0, j i
if
di ( x ) d j ( x ), j i then x i
or if di ( x ) max[d j ( x )] then x i
j
3· 3
判别函数值的鉴别意义、权空间及解空间
（1）Fisher准则函数
对两类问题
j
SWi ( x (ji ) mi )( x (ji ) mi ), i 1, 2
SW SW1 SW2
SB (m1 m2 )(m1 m2 )
作变换，n维矢量 x 在矢量 u 方向轴上的投影
y(ji ) ux (ji )
最近距离 最远距离 中间距离 重心距离
p 1/2 1/2 1/2 np/(np+nq)
q 1/2 1/2 1/2 nq/(np+nq)
0 0 -1/4 - p q
-1/2 1/2 0 0
平均距离
可变平均 距离 可变距离 离差平方和
np/(np+nq) (1-)np/(np+nq)
Fisher准则函数 2 SB (m1 m2 )2 uS Bu J F (u ) 2 2 max 2 sW1 sW2 uSW u SW
（2）Fisher变换
1 SW SBu u
对于两类问题, S S 它所对应的本征矢量 u称为 Fisher最佳鉴别矢量。 1 u S Fisher变换函数 ： W (m 1 m2 ) 1 y (m1 m2 )SW x
nj
( j 1, 2,
, c)
加权类间距离准则
JWB
j 1 c
nj N
(m j m) '(m j m) max
对于两类问题 ，可以定义
J B 2 (m1 m2 )'(m1 m2 )
JWB n1n2 J B2 2 N
（三）基于类内类间距离的准则函数
构造能同时使Jwmin和JBmax的准则函数
( wxi bi )2 min
i 1
对于 wxi bi
(i 1, 2,
, N ) ,此时的 J min J ( w) 0 ,
而对于wxi bi ,此时的 J ( w) 0 。如果方程组有唯一解,说