第四章 特征提取和选择_第一次课.

第4章


特征提取和选择
这一章要讨论的问题就是特征空间如何设计和优化的问题。
对特征空间的改造和优化，主要的目的是降维，即把维数 高的特征空间改成维数低的特征空间，提高其某方面的性 能，降维主要有两种途径。 –一种是删选掉一些次要的特征，问题在于如何确定特 征的重要性，以及如何删选。 –另一种方法是使用变换的手段，在这里主要限定在线
第4章
特征提取和选择
可分性判据满足以下要求: (1) 与错误概率(或错误概率的上、 下界)有单调关 系, 使判据的极大值对应错误概率的最小值或较小值。 (2) 非负性,
J ij 0 J ij 0 i j i j
其中, Jij表示第i, j两类间的可分性判据。
(3) 对称性, 即
Jij = Jji
第4章
特征提取和选择
三、特征形成、提取和选择
对原有特征空间进行处理与加工，使之较原特
征空间优化。 优化是为了降维，要求既降低特征的维数，又 能提高分类器的性能。优化后的特征空间应该 更有利于后续的分类计算。
第4章
特征提取和选择
特征形成：

在设计一个具体的模式识别系统时,往往是先接触一些训练 样本, 研究模式类所包含的特征信息,并给出相应的表述方 法。 这一阶段的主要目标是获取尽可能多的表述特征。在这些特 征中,有些可能满足类内稳定、类间离散的要求,有的则可能 不满足, 不能作为分类的依据。 根据样例分析得到一组表述观察对象的特征值,而不论特征 是否实用,称这一步为特征形成,得到的特征称为原始特征。
性变换的方法上，通过变换来实现降维。
第4章
特征提取和选择
本章主要内容
4.1 基本概念
4.2 类的可分性判据
4.3 基于可分性判据的特征提取
4.4 主分量分析（PCA）
4.5 特征选择方法
第4章
特征提取和选择
学习目的
1. 了解特征空间的选择在设计模式识别系统、解决模式识别 具体问题中是至关重要的。 2. 掌握对特征空间进行优化的两种基本方法，一是对原特征 空间进行删选，即特征选择；另一种是通过变换改造原特 征空间，即特征提取。 3. 重点掌握运用线性变换对原特征空间优化的的基本方法， 进一步深入理解模式识别处理问题的基本方法 ——确定准 则函数，并通过计算进行优化。
第4章
特征提取和选择
4.2 类的可分性判据
第4章
特征提取和选择
特征选择与特征提取的任务是降低特征空间的维 数，求出一组对分类最有效的特征（所谓最有效 是指在特征维数减少到同等水平时，其分类性能 最佳）。
高维特征变为低维特征的方法很多，究竟哪种方 法最有效，需要通过某种标准来衡量，在数学上 就要构造某种准则(或判据)，这种用以定量检验分 类性能的准则称为类别可分离性判据。 类别可分离性判据，用来检验不同的特征组合对 分类性能好坏的影响，并用来导出特征选择与特 征提取的方法。
i i i {xii , x2 , , xN }
i
j j {x1j , x2j , , xN }
j
两类间的距离 Di j :
Di j
1 i j D ( x , x r s) Ni N j r 1 s 1
Ni N j
其中, D(xir, xjs)为向量xir、xjs间的距离。类间距离也具 有对称性。
1 m Ni i P(i )i xl N i 1 l 1 i 1
m
(5-15)
(5-16)
(5-17)
则式(5-14)可化为
m 1 m 1 J ( x) P(i ) P( j ) 2 i 1 Ni N j j 1
第4章

特征提取和选择
4.2.1 基于距离的可分性判据
基于距离度量是人们常用来进行分类的重要依据，一般情况下 同类物体内各样本由于具有共性，因此类内样本间距离应比跨 类样本间距离小。因此, 利用类间距离构造类别的可分性判据
是可行的。

为了有利于分类, 总是希望不同类之间的距离大一些, 而同类的 样本较集中, 这样类别的可分性才越好。
(6) 切比雪夫(Chebyshev)距离:
D( x, y ) max xi yi
1i d
第4章
特征提取和选择
2.
设N个样本分别属于m类, ωi={xik, k=1, 2, …, Ni}, i=1, 2, …, m,
m 1 m 1 J ( x) P(i ) P( j ) 2 i 1 Ni N j j 1 i j D ( x , x r s ) r 1 s 1 Ni Nj
T
间的基础上得到一个二维的特征空间 y ( y1 , y2 )T ，
（1）若 y1 x2 , y2 x1 ,试问这属于特征选择还是特征提取的方 法？ （2）若 y1 x1 x3 ， y 2 x3 x2 ,试问这属于特征选择还是特征 提取的方法？
第4章
特征提取和选择
四、特征提取和选择的作用
特征提取和特征选择的主要目的是在不降低或很
少降低分类结果性能的情况下, 降低特征空间的维数,
其主要作用在于: (1) 简化计算。特征空间的维数越高, 需占用的计算机资 源越多, 设计和计算也就越复杂。 (2) 简化特征空间结构。 由于特征提取和选择是去除类间 差别小的特征, 保留类间差别大的特征 , 因此, 在特征空间中, 每类所占据的子空间结构可分离性更强, 从而也简化了类间分 界面形状的复杂度。
第4章
特征提取和选择
第4章 特征提取和选择
第4章
特征提取和选择
学习指南



在第二、三章所讨论的分类方法与分类器设计中，都是在d 维特征空间已经确定的前提下进行的。因此讨论的分类器设 计问题是一个选择什么准则、使用什么方法，将已确定的d 维特征空间划分成决策域的问题。 对分类器设计方法的研究固然重要，但如何确定合适的特征 空间是设计模式识别系统另一个十分重要、甚至更为关键的 问题。 如果所选用的特征空间能使同类物体分布具有紧致性，即各 类样本能分布在该特征空间中彼此分割开的区域内，这就为 成功设计分类器提供良好的基础；如果不同类别的样本在该 特征空间中混杂在一起，再好的设计方法也无法提高分类器 的准确性。
第4章
特征提取和选择
(4) 当特征独立时, 判据应具有可加性,
J ij ( x1 , x2 , , xd ) J ij ( xk )
k 1 d
(5)
对于特征向量而言, 加入新的特征分量不会减少
判据值, 即
Jij ( x1, x2 , , xd ) Jij ( x1, x2 , , xd , xd 1)

需要注意, 特征提取一定要进行数学变换, 但数学变换未必
就是特征提取。

所谓特征提取在广义上就是指一种变换，若X是测量空间，
Y是特征空间，则称变换 A：X → Y 为特征提取器。
第4章
特征提取和选择
特征选择：
从一组特征中挑选出对分类最有利的特征，达到降低特征
空间维数的目的。
第4章


特征提取和选择
用。 如为了描述指定班级中的某个学生, 可以用以下 物理特征 : 性别、身高、胖瘦、肤色等外在特征。 物理特征虽然容易感知 , 却未必能非常有效地表征 分类对象。
第4章
特征提取和选择
2. 比物理特征要抽象一些 , 但仍比较容易感知， 如人的指纹特征、人脸的五官结构信息等 , 是认定
人的身份的重要参数。
d
1 2
第4章
特征提取和选择
Βιβλιοθήκη Baidu
(3) 汉明(Hamming)距离:
D( x, y ) | xi yi |
i 1
d
(4) 马氏(Mahalanobis)距离:
D2 ( x, y) ( x y)T M 1 ( x y) wij ( xi yi )( x j y j )
第4章
特征提取和选择
4.1 基 本 概 念
第4章
特征提取和选择
一、 特征的特点
特征是用于描述模式性质的一种量，在模式
识别过程中, 特征应该满足以下条件:
(1) 特征是可获取的。
(2) 类内稳定。
(3) 类间差异大于类内差异。
第4章
特征提取和选择
二、特征的类别
1. 物理特征
直接、容易感知，设计模式识别系统时易被选
空间？
第4章
特征提取和选择
3．如果两类物体在一个二维特征空间如下图分布,能否用删除
其中任一维来优化特征空间？有没有什么方法能得到一个对 分类很有利的一维特征空间？
第4章
特征提取和选择
4. 上题的答案可用下图Y1与Y2组成的空间表示？你认为哪个 分量可以删掉？
5. 你有没有办法将原在X1、X2空间表示的数改成用Y1、Y2空 间表示？
(5-14)
其中, P(i )是先验概率P(ωi)的估计, 即
P(i ) Ni / N
i 1, 2,
m
,m
N为样本总数,
N Ni
i 1
第4章
特征提取和选择
若点间距离取欧氏距离的平方, 以 i 表示第i类的向
量平均值, 以 表示 i 的统计平均值,
D( x, y) ( x y)T ( x y) 1 Ni i i xl Ni l 1
第4章
特征提取和选择
常用的点间距离有以下几种:
(1) 欧几里德(Euclidean)距离:
d 2 D( x, y ) ( xi - yi ) i 1
其中, d为向量的维数。 (2) 加权欧几里德距离:
1 2
2 D( x, y) [ wi ( xi yi )] i 1
i 1 j 1
d
d
其中, M为一正定阵, wij为矩阵M-1的元素。
第4章
特征提取和选择
(5) 明可夫斯基(Minkowsky)距离:
d q D( x, y) | xi yi | i 1
1 q
其中: 当q=1时, D(x, y)为汉氏距离; 当q=2时,
D(x, y)为欧氏距离。
先将观察对象分割成若干个基本构成要素 , 再
确定基本要素间的相互连接关系，以此表达复杂的
图像图形信息。 结构信息对对象的尺寸往往不太敏感 , 如汉字 识别时, 识别系统对汉字大小不敏感, 只对笔划结构 信息敏感。
第4章
特征提取和选择
3. 为了表征观察对象而设立的特征, 如给每个学 生设立一个学号, 作为标志每个学生的特征。由于 学号是人为设定的, 可以保证唯一性, 但这种特征 是抽象的, 不容易被人感知。



对原始特征集进行处理, 去除对分类作用不大的特征, 从而可 以在保证性能的条件下, 通过降低特征空间的维数来减少分 类方法的复杂度。
第4章
特征提取和选择
特征提取：

通过映射(或变换)的方法获取最有效的特征, 实现特征空间
的维数从高维到低维的变换。经过映射后的特征称为二次特 征, 它们是原始特征的某种组合, 最常用的是线性组合。

Fisher准则的基本原理是使类间距离尽可能大同时又保持类内
距离较小。基于距离的可分性判据的实质是Fisher准则的延伸， 即综合考虑不同类样本的类内聚集程度与类间的离散程度这两 个因素。同样在特征选择与特征提取中也使用类似的原理，称 为基于距离的可分性判据。
第4章
特征提取和选择
1. 设两类为ωi、 ωj, 分别有Ni、 Nj个样本, 即

, yd }, d n
yi x j
A: x y
yi yi ( x1, x2 , , xn )
特征提取是找到一个映射关系，使新样 本特征描述维数比原维数降低。

其中每个分量yi是原特征向量的函数。
第4章
特征提取和选择
思考题
设原特征空间为 x x1 , x2 , x3 ， 即一个三维空间。 现在在 x 空
第4章
特征提取和选择
课前思考题
1．什么叫特征空间？如果我们用颜色、尺寸、重量来衡量水
果，构造的特征空间是几维空间？ 2．如果用颜色、尺寸与重量组成的特征空间来区分红苹果 与梨，你认为这三种度量中的哪种最有效？为什么？能否
想像这两种水果在这个三维空间的分布？如果用这个特征
空间来区分红苹果与樱桃，你想像一下这两类水果在特征 空间如何分布？能否对这两种情况设计更经济有效的特征
x {x1 , x2 , , xn}
假设已有n 维特征向量空间
特征选择是指删去原来n维特征空间中 的一些特征描述量, 得到精简后的特征空 间。在这个特征空间中，样本由d维的特征 向量描述。 y {y1, y2 , 由于y是x的一个子集，因此每个分量yi 必然能在原特征集中找到其对应的特征分 量。