模式识别-5--特征选择与提取

1 Cj 1 Iij = ln + tr[Ci (C−1 −Ci−1)] j 2 Ci 2
当Ci和Cj之间越相近则散度越小。
1 −1 −1 Jij = tr[ Ci −Cj )(Cj −Ci )] （ 2
散度的性质 从上面的定义我们可以看出散度Jij具有如下性质： (i) Jij=Jji, (ii) 当ωi和ωj的分布不同时，Jij>0 (iii)当ωi和ωj的分布完全同时，Jij＝0 (iv) 在模式特征的各个分量都相互独立的情况下,有：
Sb2 = (m −m2 )(m −m2 )t 1 1
当三类或者更多的时候就引入先验概率作为加权 :
Sb2 = (m − m2 )(m − m2 )t 表示1和2两类模式的类间散布矩阵； 1 1
Sb1 = ∑P(ω )(m − m )(m − m )t i i 0 i 0
其中 m = E{ x} = ∑P(ωi )m为多类模式（这里共c类）分布 0 i 总体的均值向量 i=1 多类模式集散布矩阵 多类的类内散布矩阵，可用各类类内散布矩阵的先验加权表示：
该式子是散度的一般表达式。 注：当ωi和ωj的分布是一些特殊的表达式子，那么对数似然比 函数和散度可以得到一些很简单形式。 当ωi和ωj服从正态分布， 散度为：
p(x | ωi ) Jij = I ji + Iij = ∫ [ p(x | ωi ) − p(x | ωj )]ln dx x p(x | ωj )
3. 特征选择和提取是构造模式识别系统的一重要课题
在很多实际问题中，往往不容易找到那些最重要的特征，或 受客观条件的限制，不能对它们进行有效的测量； 因此在测量时，由于人们心理上的作用，只要条件许可总希 望把特征取得多一些； 另外，由于客观上的需要，为了突出某些有用信息，抑制无 用信息，有意加上一些比值、指数或对数等组合计算特征 （在数据上作一些处理）； 如果将数目很多的测量值不做分析，全部直接用作分类特征， 不但耗时，而且会影响到分类的效果，产生“特征维数灾难” 问题。 为了设计出效果好的分类器，通常需要对原始的测量值集合 进行分析，经过选择或变换处理，组成有效的识别特征； 在保证一定分类精度的前提下，减少特征维数，即进行“降 维”处理，使分类器实现快速、准确和高效的分类。
St = E{(x − m )(x − m )t } 0 0
二、散度
散度的定义 前面定义过似然函数和似然比，这些都提供了两种模式可分 的度量，也就是在错误概率最小意义下的模式样本的分类 。
p(x | ωi ) µij (x) = ln p(x | ωj ) 求该式的值，需要 p(x | ωi ) 和 p(x | ωj ) 的确切的表达式，这
Jij (x) = Jij (x1, x2,..., xm) = ∑Jij (xk )
k=1
m
(v) 当新加入特征的时候，永远不会使散度减小（单调性）
Jij (x1, x2 ,..., xm ) ≤ Jij (x1, x2 ,..., xm, xm+1)
(vi) 散度与分类错误概率有比较密切的关系：即散度的判据 值取越大，分类错误概率就越小。
巴氏（ 巴氏（Bhattacharyya）距离 ）
在分析分类器的错误概率时候，引入函数
x
ห้องสมุดไป่ตู้
µ(s) =−ln ∫ p(x | ωi )1−s p(x | ωj )s dx, s∈[ 0,1]
用它作为类别可分性的一个判别准则。当概率密度函数都是正 态分布情况，可以得到及其简化的表达式。 −1 1 1 (1− s)Ci + sCj t µ(s) = s(1− s)(mi −mj ) {(1− s)Ci + sCj } (mi −mj ) + ln s 1−s 2 2 Ci Cj (Ci +Cj ) S=1/2 Bhattacharyya 若令S=1/2，则为Bhattacharyya距离 如果Ci=Cj就会得到更加简单的表达式
对于独立特征的选择准则
类别可分性准则应具有这样的特点，即不同类别模式特征 的均值向量之间的距离应最大，而属于同一类的模式特征 ，其方差之和应最小。 假设各原始特征测量值是统计独立的，此时，只需对训练 样本的n个测量值独立地进行分析，从中选出m个最好的 作为分类特征即可。 如果不同类别模式特征的均值向量之间的距离较大，而同属 于一个类的模式特征的方差和较小，那么我们认为模式具有 良好的可分性，直观的表示就是类与类之间的距离较大，每 个类的所有样本的聚合性非常的好，因此我们可以从下面的 角度出发，来考察n测量值中需要去除的部分。 假设各个原始测量值是统计独立的，我们对n个测量值逐一 独立分析，从中选出m个最好的作为分类特征即可。测量方 法和选取原则如下：
C +Cj 1 1 1 t i µ( ) = (mi −mj ) (mi −mj ) + ln 2 8 2 C 2 i
−1
2
1 2
Cj
1 2
1 1 µ = (mi −mj )t C−1(mi −mj ) 2 8
它与马氏距离平方只是差一个系数。前面给大家介绍的各种表 征量，就是在于给出一个参考量，用于对类的可分性的度量。
D2 ({a( j)} ,{a(i)} ) = 2E{ xt x} −2E{ xt } E{ x}
其中R是该类模式分布的相关矩阵，m为均值向量，C为协方 差矩阵。对属于同一类的模式样本，类内散布矩阵 类内散布矩阵表示各样 类内散布矩阵 本点围绕其均值周围的散布情况，这里即为该分布的协方差 矩阵。 类间距离和类间散布矩阵 {a(i)}和 {b(i)}为两类模式样本集合，类间距离表示：
5. 实例分析 自动细胞识别 实例分析—自动细胞识别
通过图像输入得到一批包括正常细胞和异常细胞的图像， 我们的任务是根据这些图像区分哪些细胞是正常的，哪些 细胞是异常的
首先找出一组能代表细胞性质的特征，为此可计算 细胞总面积 总光密度 胞核面积 核浆比 细胞形状 核内纹理 …… 这样产生出来的原始特征可能很多（几十甚至几百个），或 者说原始特征空间维数很高，需要降低（或称压缩）维数以 便分类； 一种方式是从原始特征中挑选出一些最有代表性的特征，称 之为特征选择； 另一种方式是用映射（或称变换）的方法把原始特征变换为 较少的特征，称之为特征提取。
k =1 n
1 K 2 1 K n ( D2 (x,{a(i)}) = ∑D (x, a(i)) = ∑∑(xk −aki) )2 K i=1 K i=1 k=1
均方距离
1 k=1 (i) K分量的 σ 2 = ∑ ak − ak k 无偏方差 k −1
K分量的 均值
2 D ({a( j)}, {a(i)}) = 2∑σ k 2
P(x | ωi ) ~ N(m , Ci )和 (x | ωj ) ~ N(mj ,Cj ) P i
Jij = Iij + I ji 1 1 −1 −1 = tr(Cj −Ci )(Ci −Cj )] + tr[(Ci−1 +C−1) m −mj )(m −mj )t ] （ i j i 2 2
第五章 特征选择与提取
基本概念 模式类别可分性的测度 特征选择 离散K-L变换 离散 变换 采用K-L变换的分类特征提取 采用 变换的分类特征提取
§5.1 基本概念
1.特征形成 1.特征形成
根据被认识的对象产生出一组基本特征，这些基本特征可以 是通过计算得到的，也可以是通过一定的工具测量出来的， 这些特征我们叫做原始特征。通常从物理量到原始特征需要 经过很多的过程，如识别物体，要对物体影像进行数字化， 得到数字图像，再对数字图像进行各种预处理，从而得到物 体的几何的、颜色的特征。
2.特征选择和提取是模式识别的一个关键问题 2.特征选择和提取是模式识别的一个关键问题
讨论分类器设计时，都假定给出特征向量维数确定的样本集， 其中各样本的每一维都是该样本的一个特征； 这些特征的选择是很重要的，它直接影响到分类器的设计及 其性能； 假若对不同的类别，这些特征的差别很大，则比较容易设计 出具有较好性能的分类器。
类内距离
n
(
)
2
1 K (i) ak = ∑ak K i=1
类内散布矩阵 因为xi和xj是同一类中的不同样本，它们应该是相互独立的 模式样本向量，因此样本距离的均方值为：
= 2tr E{ xxt } −m t = 2tr[R−m t ] m m = 2tr[C] = 2∑ k σ2
k= 1 n
(1) 如果Cj＝Ci＝C，那么
tr ( xyt ) = yt x
1 t −1 Iij = （ i −mj ) C (m −mj ) m i 2
Jij = m −mj )t C−1(m −mj ) （i i
这正好是两类模式之间的马氏距离平方。 (2) 如果两类均为正态分布且数学期望值相等 mi＝mj，那么
1 i=
c
c
SW = ∑P(ωi )E{(x − m )(x − m )t | ωi } = ∑P(ωi )Ci i i
c c i=1 i=1
其中Ci第i类的协方差矩阵。另外，也可用总体散布矩阵反映 多类模式的可分性： Sb1、St 、Sw之间满足：St = SW + Sb1 注：以上各类散布矩阵反映了各类模式在模式空间的分布情况， 但它们与分类的错误率没有直接联系。
个要求较高，我们转而求
p(x | ωi ) Iij (x) = Ei[µij (x)] = ∫ p(x | ωi )ln dx x p(x | ωj ) 同理 p(x | ωj ) I ji (x) = Ej [µji (x)] = ∫ p(x | ωj )ln dx x p(x | ωi )
于是，定义散度
§5.2 模式类别可分性的测度
一、距离和散布矩阵
点到点之间的距离