模式识别-5--特征选择与提取

C +Cj 1 1 1 t i µ( ) = (mi −mj ) (mi −mj ) + ln 2 8 2 C 2 i
−1
2
1 2
Cj
1 2
1 1 µ = (mi −mj )t C−1(mi −mj ) 2 8
它与马氏距离平方只是差一个系数。前面给大家介绍的各种表 征量，就是在于给出一个参考量，用于对类的可分性的度量。
第五章 特征选择与提取
基本概念 模式类别可分性的测度 特征选择 离散K-L变换 离散 变换 采用K-L变换的分类特征提取 采用 变换的分类特征提取
§5.1 基本概念
1.特征形成 1.特征形成
根据被认识的对象产生出一组基本特征，这些基本特征可以 是通过计算得到的，也可以是通过一定的工具测量出来的， 这些特征我们叫做原始特征。通常从物理量到原始特征需要 经过很多的过程，如识别物体，要对物体影像进行数字化， 得到数字图像，再对数字图像进行各种预处理，从而得到物 体的几何的、颜色的特征。
Jij (x) = Jij (x1, x2,..., xm) = ∑Jij (xk )
k=1
m
(v) 当新加入特征的时候，永远不会使散度减小（单调性）
Jij (x1, x2 ,..., xm ) ≤ Jij (x1, x2 ,..., xm, xm+1)
(vi) 散度与分类错误概率有比较密切的关系：即散度的判据 值取越大，分类错误概率就越小。
5. 实例分析 自动细胞识别 实例分析—自动细胞识别
通过图像输入得到一批包括正常细胞和异常细胞的图像， 我们的任务是根据这些图像区分哪些细胞是正常的，哪些 细胞是异常的
首先找出一组能代表细胞性质的特征，为此可计算 细胞总面积 总光密度 胞核面积 核浆比 细胞形状 核内纹理 …… 这样产生出来的原始特征可能很多（几十甚至几百个），或 者说原始特征空间维数很高，需要降低（或称压缩）维数以 便分类； 一种方式是从原始特征中挑选出一些最有代表性的特征，称 之为特征选择； 另一种方式是用映射（或称变换）的方法把原始特征变换为 较少的特征，称之为特征提取。
Sb2 = (m −m2 )(m −m2 )t 1 1
当三类或者更多的时候就引入先验概率作为加权 :
Sb2 = (m − m2 )(m − m2 )t 表示1和2两类模式的类间散布矩阵； 1 1
Sb1 = ∑P(ω )(m − m )(m − m )t i i 0 i 0
其中 m = E{ x} = ∑P(ωi )m为多类模式（这里共c类）分布 0 i 总体的均值向量 i=1 多类模式集散布矩阵 多类的类内散布矩阵，可用各类类内散布矩阵的先验加权表示：
为达到上述目的，关键是所提供的识别特征应具有很好的 可分性，使分类器容易判别。为此，需对特征进行选择。 应去掉模棱两可、不易判别的特征； 所提供的特征不要重复，即去掉那些相关性强且没有增 加更多分类信息的特征。 说明 实际上，特征选择和提取这一任务应在设计分类器之前 进行； 但从通常的模式识别学习过程来看，在讨论分类器设计 之后讲述特征选择和提取，更有利于加深对该问题的理 解。 改进分类器(参数)
D2 ({a( j)} ,{a(i)} ) = 2E{ xt x} −2E{ xt } E{ x}
其中R是该类模式分布的相关矩阵，m为均值向量，C为协方 差矩阵。对属于同一类的模式样本，类内散布矩阵 类内散布矩阵表示各样 类内散布矩阵 本点围绕其均值周围的散布情况，这里即为该分布的协方差 矩阵。 类间距离和类间散布矩阵 {a(i)}和 {b(i)}为两类模式样本集合，类间距离表示：
该式子是散度的一般表达式。 注：当ωi和ωj的分布是一些特殊的表达式子，那么对数似然比 函数和散度可以得到一些很简单形式。 当ωi和ωj服从正态分布， 散度为：
p(x | ωi ) Jij = I ji + Iij = ∫ [ p(x | ωi ) − p(x | ωj )]ln dx x p(x | ωj )
§5.2 模式类别可分性的测度
一、距离和散布矩阵
点到点之间的距离
D(a, b) = a −b
D2 (a, b) = (a − b)(a − b)t = ∑(ak − bk )2
点到点集之间的距离(距离平方、均方距离 点到点集之间的距离 距离平方、均方距离) 距离平方
( D2 (x,{a(i)}) = ∑(xk −aki) )2 n k=1
(1) 如果Cj＝Ci＝C，那么
tr ( xyt ) = yt x
1 t −1 Iij = （ i −mj ) C (m −mj ) m i 2
Jij = m −mj )t C−1(m −mj ) （i i
这正好是两类模式之间的马氏距离平方。 (2) 如果两类均为正态分布且数学期望值相等 mi＝mj，那么
k =1 n
1 K 2 1 K n ( D2 (x,{a(i)}) = ∑D (x, a(i)) = ∑∑(xk −aki) )2 K i=1 K i=1 k=1
均方距离
1 k=1 (i) K分量的 σ 2 = ∑ ak − ak k 无偏方差 k −1
K分量的 均值
2 D ({a( j)}, {a(i)}) = 2∑σ k 2
1 i=
c
c
SW = ∑P(ωi )E{(x − m )(x − m )t | ωi } = ∑P(ωi )Ci i i
c c i=1 i=1
其中Ci第i类的协方差矩阵。另外，也可用总体散布矩阵反映 多类模式的可分性： Sb1、St 、Sw之间满足：St = SW + Sb1 注：以上各类散布矩阵反映了各类模式在模式空间的分布情况， 但它们与分类的错误率没有直接联系。
巴氏（ 巴氏（Bhattacharyya）距离 ）
在分析分类器的错误概率时候，引入函数
x
µ(s) =−ln ∫ p(x | ωi )1−s p(x | ωj )s dx, s∈[ 0,1]
用它作为类别可分性的一个判别准则。当概率密度函数都是正 态分布情况，可以得到及其简化的表达式。 −1 1 1 (1− s)Ci + sCj t µ(s) = s(1− s)(mi −mj ) {(1− s)Ci + sCj } (mi −mj ) + ln s 1−s 2 2 Ci Cj (Ci +Cj ) S=1/2 Bhattacharyya 若令S=1/2，则为Bhattacharyya距离 如果Ci=Cj就会得到更加简单的表达式
对于独立特征的选择准则
类别可分性准则应具有这样的特点，即不同类别模式特征 的均值向量之间的距离应最大，而属于同一类的模式特征 ，其方差之和应最小。 假设各原始特征测量值是统计独立的，此时，只需对训练 样本的n个测量值独立地进行分析，从中选出m个最好的 作为分类特征即可。 如果不同类别模式特征的均值向量之间的距离较大，而同属 于一个类的模式特征的方差和较小，那么我们认为模式具有 良好的可分性，直观的表示就是类与类之间的距离较大，每 个类的所有样本的聚合性非常的好，因此我们可以从下面的 角度出发，来考察n测量值中需要去除的部分。 假设各个原始测量值是统计独立的，我们对n个测量值逐一 独立分析，从中选出m个最好的作为分类特征即可。测量方 法和选取原则如下：
1 Cj 1 Iij = ln + tr[Ci (C−1 −Ci−1)] j 2 Ci 2
当Ci和Cj之间越相近则散度越小。
1 −1 −1 Jij = tr[ Ci −Cj )(Cj −Ci )] （ 2
散度的性质 从上面的定义我们可以看出散度Jij具有如下性质： (i) Jij=Jji, (ii) 当ωi和ωj的分布不同时，Jij>0 (iii)当ωi和ωj的分布完全同时，Jij＝0 (iv) 在模式特征的各个分量都相互独立的情况下,有：
§5.3 特征选择
动机与目的：设有n个可用作分类的测量值，为了在不降低 动机与目的： （或尽量不降低）分类精度的前提下，减小特征空间的维 数以减少计算量，需从中直接选出m个作为分类的特征。 问题： 问题：在n个测量值中选出哪一些作为分类特征，使其具有 最小的分类错误？ m 从n个测量值中选出m个特征，一共有Cn中可能的选法。 一种“穷举”办法：对每种选法都用训练样本试分类一 一种“穷举”办法 下，测出其正确分类率，然后做出性能最好的选择，此 n! m 时需要试探的特征子集的种类达到Cn = 种，非 m (n −m)! ! 常耗时。 需寻找一种简便的可分性准则，间接判断每一种子集的 优劣。 对于独立特征的选择准则 一般特征的散布矩阵准则
P(x | ωi ) ~ N(m , Ci )和 (x | ωj ) ~ N(mj ,Cj ) P i
Jij = Iij + I ji 1 1 −1 −1 = tr(Cj −Ci )(Ci −Cj )] + tr[(Ci−1 +C−1) m −mj )(m −mj )t ] （ i j i 2 2
类内距离
n
(
)
2
1 K (i) ak = ∑ak K i=1
类内散布矩阵 因为xi和xj是同一类中的不同样本，它们应该是相互独立的 模式样本向量，因此样本距离的均方值为：
= 2tr E{ xxt } −m t = 2tr[R−m t ] m m = 2tr[C] = 2∑ k σ2
k= 1 n
D
2
2
({a } ,{b }), j =1,2,3,..., K ;i =1,2,3,..., K
( j) (i) a
n k=1
b
通常取一些简单的表达式来定义 ：
D = ∑(m k − m2k )2 1
其中m1和m2是两个类模式样本集合的各自均值向量，m1k和m2k 是m1和m2的第k分量，n为维数。可以写成矩阵相乘的形式
分类器设计 信息获取 预处理 特征选取 模式分类 识别结果输出 错误率检测
4. 特征选择与特征提取
所谓特征选择 特征选择，就是从n个度量值集合{x1, x2,…, xn}中，按 特征选择 某一准则选取出供分类用的子集，作为降维（m维，m<n） 的分类特征； 所谓特征提取 特征提取，就是使(x1, x2,…, xn)通过某种变换，产生m 特征提取 个特征(y1, y2,…, ym) (m<n) ，作为新的分类特征（或称为 二次特征）； 其目的：都是为了在尽可能保留识别信息的前提下，降低 特征空间的维数，已达到有效的分类。
St = E{(x − m )(x − m )t } 0 0
wk.baidu.com、散度
散度的定义 前面定义过似然函数和似然比，这些都提供了两种模式可分 的度量，也就是在错误概率最小意义下的模式样本的分类 。
p(x | ωi ) µij (x) = ln p(x | ωj ) 求该式的值，需要 p(x | ωi ) 和 p(x | ωj ) 的确切的表达式，这
个要求较高，我们转而求
p(x | ωi ) Iij (x) = Ei[µij (x)] = ∫ p(x | ωi )ln dx x p(x | ωj ) 同理 p(x | ωj ) I ji (x) = Ej [µji (x)] = ∫ p(x | ωj )ln dx x p(x | ωi )
于是，定义散度
3. 特征选择和提取是构造模式识别系统的一重要课题
在很多实际问题中，往往不容易找到那些最重要的特征，或 受客观条件的限制，不能对它们进行有效的测量； 因此在测量时，由于人们心理上的作用，只要条件许可总希 望把特征取得多一些； 另外，由于客观上的需要，为了突出某些有用信息，抑制无 用信息，有意加上一些比值、指数或对数等组合计算特征 （在数据上作一些处理）； 如果将数目很多的测量值不做分析，全部直接用作分类特征， 不但耗时，而且会影响到分类的效果，产生“特征维数灾难” 问题。 为了设计出效果好的分类器，通常需要对原始的测量值集合 进行分析，经过选择或变换处理，组成有效的识别特征； 在保证一定分类精度的前提下，减少特征维数，即进行“降 维”处理，使分类器实现快速、准确和高效的分类。
2.特征选择和提取是模式识别的一个关键问题 2.特征选择和提取是模式识别的一个关键问题
讨论分类器设计时，都假定给出特征向量维数确定的样本集， 其中各样本的每一维都是该样本的一个特征； 这些特征的选择是很重要的，它直接影响到分类器的设计及 其性能； 假若对不同的类别，这些特征的差别很大，则比较容易设计 出具有较好性能的分类器。