模式识别(7-1)特征的选择与提取

细胞自动识别：
原始测量：（正常与异常）细胞的数字图像
原始特征（特征的形成，找到一组代表细胞性质的 特征）：细胞面积，胞核面积，形状系数，光密度， 核内纹理，和浆比
压缩特征：原始特征的维数仍很高，需压缩以便于 分类
特征选择：挑选最有分类信息的特征 特征提取：数学变换
傅立叶变换或小波变换 用PCA方法作特征压缩
基于距离的可分性判据
计算所有样本平均距离作为判据 Jd (x) tr(Sw Sb )
其中“tr”表示矩阵的迹（对角线元素的和）。
各类特征向量之间的平均距离可写成：
1
Jd (x) 2
c
Pi
i 1
c
Pj
j 1
1 nin j
ni n j
(xk(i) , xl( j) )
k 1 l 1
其中Pi、Pj 分别表示各类的先验概率，ni、nj分别是第i与j
基于距离的可分性判据
如果推广至c类别情况，同时考虑各类的先验概率Pi 不等，则可将上列各式表示成：
c
Sb = Pi(mi m)(mi m)T i 1 c
Sw = PiEi[(mi m)(mi m)T ] i 1
其中， m 为总均值向量，Pi表示各类别的先验
概率，Ei表示i类的期望符号。
基于距离的可分性判据
Fisher准则时曾用过两个描述离散度的矩阵。一个 是类间离散矩阵Sb
Sb = (m1 - m2 )(m1 - m2 )T
另一个是类内离散度矩阵SW
Si = (x - mi )(x - mi )T , xX i
Sw = S1 + S2
i 1, 2
以上式子是针对两类别情况的，如果推广至c 类别情况？
)T (x(ki)
c
Pi mi
i 1
xl(
j) )
Jd
(x)
1 2
c i 1
Pi
c
Pj
j 1
1 nin j
ni k 1
nj
(xk(i) , xl( j) )
l 1
c i 1
Pi
1
ni
( xk(i )
mi )T (xk(i)
mi ) (mi
m)T (mi
m)
右边括弧里的前一项涉及类内各特征向量之间的平方距离，
设矩阵Sw1Sb的本征值为1, 2 , , D ,
按大小排序：
1 2 D
则选前d个本征值对应的本征向量 作为W。即：
W u1, u2 , , ud
d
此时，J2 (W ) i i 1
例题：
给定先验概率相等的两类，其均值向量分别为：
1 1, 3, 1T 2 1, 1,1T ,
协方差矩阵是：
获得原始信息之后，要对其进一步加工，以获取 对分类最有效的信息。关键在于设计所要信息的 形式。
例：对阿拉伯数字的识别可以提出各种不同的想法：
➢分析从框架的左边框到数字之间的距离变化反映了不同数字的 不同形状，这可以用来作为数字分类的依据。 ➢强调分析不同截面的信号，如在框架的若干部位沿不同方向截 取截面分析从背景到字，以及从字到背景转换的情况。如AB截 面切割字符三次，CD截面切割字符一次等。
思考：
设原特征空间表示成
现在在x空间基础上得到一个二维的特征空 间
其中若 化？
，属特征选择还是组合优
若
，属特征选择还是组合优化？
§7.2 类别可分性判据
特征选择与特征提取的任务是求出一组对分类最有效的 特征，所谓有效是指在特征维数减少到同等水平时，其 分类性能最佳。
因此需要有定量分析比较的方法，判断所得到的特征维 数及所使用特征是否对分类最有利，这种用以定量检验 分类性能的准则称为类别可分离性判据。
特征提取 (extraction)：用映射（或变换）的方 法把原始特征变换为较少的新特征
特征选择(selection) ：从原始特征中挑选出一 些最有代表性，分类性能最好的特征
特征的选择与提取与具体问题有很大关系，目 前没有理论能给出对任何问题都有效的特征选 择与提取方法
特征的选择与提取举例
① s阶明考夫斯基距离
| | dij(s)
n
s 1 s Xik Xjk
k 1
② 绝对值距离（城市距离、棋盘距离）
n
dij
| Xik Xjk |
k 1
③ 欧几里德距离
dij
n Xik Xjk 2
k 1
利用判据J2进行特征提取的步骤：
D维原始特征：y y1, y2, yD T x x1, x2, xd T
类的样本个数， 用
来表示第i类的第k个与j类第
l个样本之间的距离度量。在欧氏距离情况下，有：
( xk(i) ,
xl(
j) )
( xk(i)
xl(
j)
)T
(
x(i) k
xl(
j)
)
基于距离的可分性判据
(x(ki) , xl( j) ) (x(ki)
mi
1 ni
ni
x(i) k
k 1
xl( j) m
4 1 0
2 1 0
1 1 4 0 2 1 2 0
0 0 1
0 0 1
求用J
判据的最优特征提取。
5
要对初始的特征空间进行优化是为了降维。即初 始的特征空间维数较高。能否改成一个维数较低 的空间，称为优化，优化后的特征空间应该更有 利于后续的分类计算，这就是本章着重讨论的问 题。
§7.1 基本概念
对特征空间进行优化有两种基本方法：
特征选择：删掉部分特征； 特征的组合优化：要通过一种映射，也就是说新的
§7.1 基本概念
➢ 设计对事物的描述方法是充分发挥设计者智慧的过程， 这个层次的工作往往因事物而易，与设计者本人的知识结 构也有关。 ➢这个层次的工作是最关键的，但因为太缺乏共性，也不 是本章讨论的内容。
§7.1 基本概念
3．特征空间的优化 本层次工作发生在已有了特征的描述方法之后， 也就是已有了一个初始的特征空间，如何对它进 行改造与优化的问题。
x WTy W :Dd
令Sw和Sb为y的离散度矩阵，Sw*和Sb*为x的离散度矩阵:
Sb* W T SbW
Sw* W T SwW
J2
(W
)
tr
(S
S *-1 *
wb
)
tr[(W
T
SwW
)1W
T
SbW
]
上式对W的各分量求偏导数，并令其为零，即可
推出W 值。
使判据J2， J3， J4， J5最大的变换W
J d ( x) tr (Sw Sb )
类内类间距离其它判据
判据Jd(X)是计算特征向量的总平均距离，以下一些判据 则基于使类间离散度尽量大，类内离散度尽量小的考虑 而提出：
J1(x) tr(Sw Sb )
使判据最大？
各种距离度量
已知两个样本
Xi=(Xi1, Xi2 , Xi3,…,Xin)T Xj=(Xj1, Xj2 , Xj3,…,Xjn)T
模式识别
第七章特征的选择与提取(1)
模式识别系统：
§7.1 基本概念
前几章主要讨论模式识别的重要概念，如贝叶 斯分类器、线性分类器等。在讨论这些设计分 类器的方法时，提到有一个样本集，样本集中 的样本用一个已经确定的向量来描述。
例：对苹果与梨分类 尺寸、重量和颜色三 种度量。
即对要分类的样本怎样描述这个问题是已经确 定的。在这种条件下研究分类器设计问题是一 个选择什么准则、使用什么方法，将已确定的 d维特征空间划分成决策域的问题 。
§7.1 基本概念
本章要讨论的问题是对已有的特征空间进行改 造，着重于研究对样本究竟用什么样的度量方 法更好。
对分类器设计来说，使用什么样的特征描述事 物，也就是说使用什么样的特征空间是个很重 要的问题。这个问题称之为描述量的选择问题， 即保留哪些描述量，删除哪些描述量的问题。
由于对特征空间进行改造目的在于提高其某方 面的性能，因此又称特征的优化问题。
后一项则是类间距离项。后一项可写成
c
i 1
Pi (mi
m)T
(mi
m)
1 2
c i 1
Pi
c j 1
Pj (mi
m j )T (mi
mj )
可分性判据
样本类间 离散度矩阵
样本类内 离散度矩阵
c
Sb Pi (mi m)(mi m)T i 1
估
计 Sw
c i1
Pi
1 ni
ni
理想准则：某组特征使分类器错误概率最小。 常见类别可分离性判据：
－ 基于距离的可分性判据：计算样本在特征空间离散程度
－ 基于概率密度分布的判据
基于距离的可分性判据
基于距离度量是人们常用来进行分类的重要依据，因为一 般情况下同类物体在特征空间呈聚类状态，即从总体上说 同类物体内各样本由于具有共性，因此类内样本间距离应 比跨类样本间距离小。
Fisher准则正是以使类间距离尽可能大同时又保持类内 距离较小这一种原理为基础的。
基于距离的可分性判据的实质是Fisher准则的延伸，即综 合考虑不同类样本的类内聚集程度与类间的离散程度这两 个因素。换句话说，这种判据的优化体现出降维后的特征 空间较好地体现类内密集、类间分离的要求。换句话说一 些不能体现类间分隔开的特征很可能被排除掉了。
§7.1 基本概念
Ø 核心：如何构造一个特征空间，即对要识别的事物用 什么方法进行描述、分析的问题。
对一个具体问题来说，有以下几个不同的层次：
1．物理量的获取与转换： 指用什么样的传感器获取电信号，如摄取景物则要用摄
像机，文字与数字识别首先要用扫描仪等设备。这些都 属于物理量的获取，并且已转换成电信号，为计算机分 析打下了基础。 对从传感器中得到的信号，可以称之为原始信息，因为 它要经过加工、处理才能得到对模式分类更加有用的信 号。