第2章 模式识别的基本理论(3)

对原特征空间优化，就要对优化结果进行评价 实际的评价方法：对系统性能进行测试，测试指标主要有正 确率、计算速度、 存储容量等。 本节讨论的评价方法：找出对特征空间进行优化的具体算法。 对特征空间进行优化是一种计算过程，它的基本方法仍然是 模式识别的典型方法：找到一种准则(或称判据，通常用一 种式子表示），以及一种优化计算方法，使这种准则达到一 个极值。 理想的情况：判据与计算错误率有关，但直接反映错误率的 是贝叶斯公式，在实际中运用有困难。 采用其他判据：类别可分离性判据
22
U T SW U I
SW (U ) U
T 1
1
或
SW UU
1
T
U T U
UU T U U
因此： 即： 是
（两边同乘U）
1 Sw U U
S
1 w
的本征值矩阵
|| D J（X） i 由： 5 | I | i 1
可见，取使J5达最大的d个本征
按距离度量的特征提取就是：利用基于距离的判据(J1~J5)找出 一种线性变换W，使得判据J达到极值。
13
（1）J2判据下的特征提取算法
设X空间的类内离散度矩阵和类间离散度矩阵分别为 SW ,Sb； 则按J2判据得到的特征提取矩阵W是按如下方式构造的：
若矩阵 SW-1Sb 的本征值λi按大小顺序列为
7
1、用于可分性判据的距离
C类：各类之间的平均距离
c 1 c 1 J d ( x ) Pi Pj 2 i 1 j 1 ni n j (i ) ( j) ( x , x k l ) k 1 l 1 ni nj
式中： (i ) ( j) ( xk , xl ) :ωi任一点xk(i)与ωj中任一点xj( j)的距离，可用不 同距离度量方法，如欧氏距离等。 Pi, Pj：分别表示第ωi类和第ωj类的先验概率
17
例：
给定先验概率相等的两类，其均值向量分别为：
协方差矩阵是：
求用J2判据的最优特征提取。
18
解： 应先求 混合均值 类间离散度矩阵：
，再求此矩阵的本征矩阵。
类内离散度矩阵
19
求 的本征值矩阵。 由于这是一个两类别问题，总均值向量μ值是两个 均值向量μ1和μ2的线性求和，则 中只 有一个是独立的，因此 的秩是一，换句话说 它只有一个非零本征值，W是D×1矩阵，是一个 向量，求该向量需解
4
可分性判据应满足的要求
（1）与错误率有单调关系，这使判据取最大值时 错误率也较小 d （2）当特征独立时 J (x ,x ,...,xd ) J ij (xk ) 有可加性： ij 1 2 k 1 （Jij是第i类与第j类的可分性准则） （3）度量特性： Jij 0,i j; J ij 0,i j; J ij J ji （4）单调性：加入新的特征时，判据不减小
1. 特征选择
已有D维特征向量空间，Y={y1,y2,…,yD} ，从原有的D维特征空间，删 去一些特征描述量，从而得到精简后的特征空间。 在这个特征空间中，样本由d维的特征向量描述：X={x1,x2,…,xd} ，d ＜D。X只是Y的一个子集，每个分量xi必然能在原特征集中找到其对应 的描述量xi＝yj。
1 J 2 ( X ) tr ( S w Sb )
则选择前最大的d个本征值所对应的本征向量组成的变换 矩阵WD*d，可使判据J2(W)在W是D*d维下达到最大值。
1 2 3
D
14
证明： 因为： Y=WTX， 设：X的类内和类间离散度矩阵分别为SW ,Sb 则：Y的类内和类间离散度矩阵分别为SW’, Sb’为 SW’=W SW’WT , Sb’=W Sb’WT
（见第3章中，Fisher准则一节）
在使用J2判据下，将其Y的可分性判据表示成变换W的函数： J2(Y)=tr[(SW’)-1 Sb’]
则： J2(Y)=tr[(WSWWT)-1 (WSbWT)]= J2(W)
可以证明：在不降维条件下 ，即，设W是D*D维的，则J2判据 不变 J2(Y)= J2(X) 。
i 1 c ~
总的类间离散度矩阵） （总的类间离散度矩阵）
~ ~
1 ni ( i ) (i ) S w Pi ( xk mi )( xk mi )T ni k 1 i 1
则可得判据的矩阵形式： J d ( x) tr ( S b S w )
tr：迹
9
~ ~ 上述公式是有限样本集， mi , m, S w , S b 是均值 i , , 及散度 Sw , Sb 的估计。 对于无限样本：
3、特征空间的优化
这个层次的工作发生在已有了特征的描述方法之后，也就是已有 了一个初始的特征空间，如何对它进行改造与优化的问题。 对初始的特征空间进行优化是为了降维。即初始的特征空间维数 较高。能否改成一个维数较低的空间，称为优化，优化后的特征空间 应该更有利于后续的分类计算。
2
特征空间的优化的两种方法
i Ei [ x]
c i 1
E[ x],
T
Sw PE i i [( x i )( x i ) ]
Sb Pi ( i )( i )T
i 1
c
J1( x) tr( Sb Sw )
10
3、类内类间欧氏距离的其它判据
判据Jd(X)是计算特征向量的总平均距离，以下一 些判据则基于使类间离散度尽量大，类内离散度 尽量小的考虑而提出。
0 J 2(W ) tr[U d T SW -1SbU d ] tr 0 0
1
2
0 0
0 0
则：如果矩阵
1 SW Sb 的本征值按大小顺序列为
d 0 0 i 1 i d
1 2 3
D
那么由对应于d个最大的本征值的本征向量所组成的矩阵 W(D×d)，就能使所得到的d维特征满足J2判据最大的要求。 此结论对J4判据也适用
1
如何构造一个特征空间，即对要识别的事 物用什么方法进行描述、分析的问题？
1、物理量的获取与转换(原始测量）
这是指用什么样的传感器获取电信号，如摄取景物则要用摄像机。 可以称之为原始信息(原始测量，得到测量空间)。
2、描述事物方法的选择与设计(特征形成)
在得到了原始信息之后，要对它进一步加工，以获取对分类最有 效的信息。 设计所要信息的形式是十分关键的。
由于 SW 阵U使得：
Sb和 SW 是对称矩阵，因此，存在矩
0 0 0 0 D
则：
1 U T U 0 0
U T SW U I
| Sw Sb | | | | U T U | | | D J（ T i 5 X） | Sw | | Sw | | U S wU | | I | i 1
值对应的本征向量组成的W，可将X降到d维。
23
J5的另一种形式
SW Sb
1
1 1 SW I SW Sb 1
( I S W Sb )U S W U U
12
2.4.2 特征提取
1、按距离度量的特征提取方法 Fisher准则的延伸，这种判据的优化体现出降维后的特征空 间较好地体现类内密集、类间分离的要求。 特征优化过程是通过一个线性变换实现的： 设在原特征空间一个样本向量表示成X(D维)，在优化特 征空间中，样本向量表示成Y(d维)，X与Y之间的关系是： Y=WTX， W：D×d维矩阵（d<D）
所有样本集的总均值： m
则平均距离为：
~ c
Pm
i 1 i
c
i
1 ni ( i ) T (i ) T J d ( x) P [ ( x m ) ( x m ) ( m m ) (mi m)] i k i k i i n i 1 i k 1
c
令： S b Pi ( mi m)(mi m)T
哈尔滨工业大学电信院 宿富林
15
证明：J2(W)=tr[(WSWWT)-1 (WSbWT)] =tr[(WT)-1SW-1W-1 WSbWT)] =tr[(WT)-1SW-1SbWT] = tr[SW-1SbWT(WT)-1] = tr[SW-1Sb]=J2(X) 设：SW-1Sb的本征值为λ1 >λ2 >λ3 >……>λD ，对应的本征向量 矩阵为U=[u1，u2,….,uD] 则 UT SW-1Sb U =Λ,
1. 特征提取
找到一个映射关系：A:Y→X ，使新样本特征描述维数比原维数降低。 其中X的每个分量xi是原特征向量Y各分量的函数，即： xi=fi(y1,y2,…,yD) 这两种降维的基本方法是不同的。在实际应用中可将两者结合起来使用， 比如先进特征提取，然后再进一步选择其中一部分，或反过来。
3
2.4.1特征空间优化结果的评价准则： 类别可分离性判据
§2.4 特征的选择与提取
如何确定合适的特征空间是设计模式识别系统另一 个十分重要，甚至更为关键的问题。
如果所选用的特征空间能使同类物体分布具有紧致 性，即各类样本能分布在该特征空间中彼此分割开 的区域内，这就为分类器设计成功提供良好的基础。 反之，如果不同类别的样本在该特征空间中混杂在 一起，再好的设计方法也无法提高分类器的准确性。 这一节要讨论的问题就是特征空间如何设计的问题
J ij (x1 ,x2 ,...,xd ) J ij (x1 ,x2 ,...,xd , x d 1 )
5
几种常用的可分性判据
以计算样本在特征空间离散程度为基础的准 则，称为基于距离的可分性判据（重点） 基于概率密度分布的可分性判据（不讲） 。 基于熵函数的可分性判据（不讲）