特征提取与选择

(二)Chernoff判据(JC)
JC ln p(xr 1)s p(xr 2 )1s dxr JC (1,2; s)
JC (s; x1, x2 ,L , xn ) JC (s)
d 2 (i ,j )
1 Ni N j
Ni k 1
N j (xrk (i) xrl( j) ) '(xrk (i) xrl( j) )
l 1
(七)各类模式之间的总的均方距离
d 2(xr)
1 2
c i 1
Pi
c
Pj
j 1
1 Ni N j
Ni k 1
N j d 2 (xrk(i) , xrl( j) )
设Ni 个模xrk(式i), k分属1,c2类,L,则, N各i 类的i均 1值, 2矢,L量,分c 别为
所有各类模式的总体均值矢量为 mr c Pi mr (i)
mr (i)
1 Ni
Ni
r (i) xk
k 1
(i 1, 2,L , c)
i 1
式中Pi为相应类的先验概率。
当用统计量代替先验概率时，有
直接选择法 – 分支定界法； – 用回归建模技术确定相关特征等方法。
变换法 在使判据J→max的目标下，对n个原始特征进行变换 降维，即对原n维特征空间进行坐标变换，然后再取子 空间。 主要方法有： – 基于可分性判据的特征选择 – 基于误判概率的特征选择 – 离散K-L变换法(DKLT) – 基于决策界的特征选择等方法。
Pi
1 Ni
Ni
(
r xk
(i)
mr (i
)
)(
r xk
(i)
mr (i) ) '
k 1
总的类间离差矩阵定义为
SB c Pi (mr (i) mr )(mr (i) mr ) '
i 1
总体离差矩阵为 ST
d 2(xr ) Tr SW
1 N
N
l 1
SB
(xrl mr )(xrl
mr
c Pi mr (i)
i 1
c i 1
Ni N
mr (i)
1 N
c i 1
Ni
r (i) xk
k 1
1 N
Nr xl
l 1
(四)类内距离
类内均方欧氏距离为d 2 (i ) 类内均方距离也可定义为
1 Ni
Ni
r (xk
(i)
mr (i)
)'(
r xk
(i)
Байду номын сангаас
mr (i)
)
k 1
dc2 (i )
Jij (x1, x2 ,L
, xd )
d
式中xk，是对象不同种类特
Jij (xk )征的测量值， Jij(●)表示使
k 1
用括号中特征时第i类与第j
类的可分性判据函数。
(3)判据具有“距离”的某些特性：
Jij>0，当i≠j 时 Jij=0，当i=j 时
Jij= Jji (4) Jij 对特征数目单调不减，即加入新的
Tr ST
mr ) '
SW
SB
易导出
Pi
Ni N
mr (i)
1 Ni
Ni
r (i) xk
k 1
mr
1 N
N xrl
l 1
可分性判据
（类内紧，类间开）
J1 Tr SW1SB
J2
SB SW
J3
Tr
Tr
SB SW
J4
|
SW SB | SW |
|
| ST | SW
| |
可以证明J1、J2与J4在任何非奇异线性变换下 是不变的， J3与坐标系有关。
l 1
当取欧氏距离时
d 2(xr) 1 2
c
Pi
i 1
c
Pj
j 1
1 Ni N j
Ni k 1
N j (xrk(i) xrl( j) ) '(xrk(i) xrl( j) )
l 1
(八)多类情况下总的类内、类间及总体离差（散布）矩阵
总的类内离差矩阵定义为
SW
c i1
Pi Si
c i1
p(xr | 1) p(xr | 2 )
p(xr | 2 )
(a)
(b)
(一)Bhattacharyya判据(JB) (受相关定义与应用的启发，构造B-判据)
JB ln
p(
xr
|
1
)
p(
xr
|
2
1/
)
2r dx
在最小误分概率准则下，误分概率
P0 (e) P(1)P(2 ) 1/2 expJB
7.2.2 基于类的概率密度函数的可分性判据
用两类概密函数的重迭程度来度量可分性，构造基于
类概密的可分性判据Jp ，它应满足： (1) Jp 0； (2)当两类密度函数完全不重迭时， Jp =max； (3)当两类密度函数完全重合时， Jp =0； (4)相对两个概密具有“对称性”。
p(xr | 1)
特征后，判据值不减
Jij (x1, x2 ,L , xd ) Jij (x1, x2 ,L , xd , xd 1)
所构造的可分性判据并不一定要求同时具 有上述四个性质。
7.2.1 基于几何距离的可分性判据
可以用距离或离差测度(散度)来构造类别可分性判 据
(一)点与点的距离
rr
在n维特征空间中，点 a与b点之间的欧氏距离为
7 .2 类别可分性判据
(Class Separability Measures)
❖ 准则—类别可分性判据:刻划特征对分类的贡献。 ❖ 构造的可分性判据Jij应满足下列要求： (1)与误分概率P(e)(或误分概率的上界、下界)有单
调关系， Jij最大值时， P(e)最小。 (2)当特征相互独立时，判据有可加性，即
d
(ar
,
r b
)
[(ar
r b
)
'(ar
r b
)]1/
2
[
n
(ak
bk )2 ]1/ 2
(二点)点xr 到到点点集集的i 距ar离k(i), k
1, 2,L
k 1
, Ni之间的均方欧氏距
离为
d 2 (xr,{ark(i)})
1 Ni
Ni d 2 (xr , ark(i) )
k 1
(三)类内及总体的均值矢量
1 Ni (Ni
1)
Ni k 1
Ni l 1
d 2 (ark(i) ,arl(i) )
(五)类内离差（散布）矩阵(Scatter)
类内离差矩阵定义为
Swi
1 Ni
Ni (xrk(i) mr (i) )(xrk(i) mr (i) )'
k 1
i
xrk(i) , k 1, 2,L , Ni
类内离差矩阵SWi的迹等于类内的均方欧氏距离，即
d 2(i ) Tr[Swi ]
类内离差矩阵表示各类模式在类的均值矢量周围的散
布情况。
(六)两类之间的距离
d
2
(i , j )
1 Ni N j
Ni k 1
Nj
d
2
(
r xk
(i)
,
r xl
(
j
)
)
l 1
当式中的距离取欧氏距离时,有
i j
r xk
(i
)
,
k
1, 2,L
, Ni
xrl( j) ,l 1, 2,L , N j