模式特征的提取与选择优秀课件
合集下载
模式识别—特征选择与提取课件
2、特征的类别
• 形式上分三类： • 1、物理特征 • 物理特征是比较直接、人们容易感知的特 征，很容易被选出，如为了描述某个学生， 可以用：性别、身高、胖瘦、肤色等外在 特征。物理特征虽然容易感知，却未必能 非常有效地表征分类对象。 • 2、结构特征 • 结构特征的表达能力一般要高于物理特征，
• 如汉字识别的成功、指纹的识别就实现离 不开结构特征的选择。结构特征的表达是 先将观察对象分割成若干个基本构成要素， 再确定基本要素间的相互连接关系。 • 结构信息对对象的尺寸往往不太敏感，如 汉字识别时，识别系统对汉字大小不敏感， 只对笔划结构信息敏感。 • 3、数字特征 • 一般来说，数字特征是为了表征观察对象 而设立的特征，如给每个学生设立一个学 号，作为标志每个学生的特征。
第8章 特征选择与特征提取
8.1 基本概念 8.2 类别可分性测度
8.3 基于可分性测度的特征提取方法
8.1 基本概念
• 1、特征的特点 • 模式识别的主要功能在于利用计算机实现 人的类识别能力，在模式识别过程中，特 征的确定比较复杂，研究领域不同，选择 的特征也不同，但不论采用什Байду номын сангаас样的特征， 都应该满足以下条件： • （1）特征是可获取的 • （2）类内稳定 • （3）类间差异
x2
x2B 2
' x2
x1'
BB A
x2 A2
[法2]：① 特征抽取：测量
物体向两个坐标轴的投影 值，则A、B各有2个值域区
x1
x 2 B1 x 2 A1
x1 B1
x1 A1
间。可以看出，两个物体的 投影有重叠，直接使用投影 值无法将两者区分开。
x1B 2 x1 A 2
遥感技术应用课件：特征提取与选择
知识点
• 在多光谱图像中，邻近波段之间往往具有 高度的相关性，存在着大量冗余和重复的 信息，需从这些数据中提取那些无冗余的 有效信息来识别目标地物。
知识点
知识点
• 西北部为植被稀少区 • 东部为植被密集区
知识点
• 空间特征属于局部统计变量，反映 图像局部的灰度变化、像元组合及 其与周边的关系。
知识点
用于遥感图像分类的属性特征可能非常多，如果不加选择地 将所有属性都作为分类特征，那么分析特征、训练模型所需的时 间就会很长，模型也会变得复杂，其推广能力（泛化能力）就会 下降；此外，特征变量过多会引起“维数灾难”，使得识别精度 不增反降。
知识点
知识点
知识点
• 光谱特征提取的基本思想就是对多 种属性进行某种线性或非线性组合 得到综合指标。
知识点
先验知识往往受限于所识 别的地物类别及其所处的环境。
知识点
知识点
知识点
知识点
知识点
知识点
课程小结
特征的概念 特征提取 特征选择 特征组合
谢谢观看
知识点
知识点
• 根据影像信息的不同合 理选择空间特征提取的 算法，以达最优的特征 显示效果与提取效果。
知识点
知识点
知识点
原始 属性集
子集 产生
属性 子集
否
子集 评价
终止 条件
是研究区地物及其属性比较熟 悉，已经知道某些属性可以很好地区分待分 类的地物，可以根据这些先验知识直接选择 这些可以区分特定地物的属性。
特征提取与选择
课程导入
特征的概念 特征提取 特征选择 特征组合
知识点
• 在两个或多个目标物之间具有差异的属性就是 物体的特征，可以被用来区分目标物的属性。
模式识别(7-1)特征的选择与提取
细胞自动识别：
原始测量：（正常与异常）细胞的数字图像
原始特征（特征的形成，找到一组代表细胞性质的 特征）：细胞面积，胞核面积，形状系数，光密度， 核内纹理，和浆比
压缩特征：原始特征的维数仍很高，需压缩以便于 分类
特征选择：挑选最有分类信息的特征 特征提取：数学变换
傅立叶变换或小波变换 用PCA方法作特征压缩
基于距离的可分性判据
计算所有样本平均距离作为判据 Jd (x) tr(Sw Sb )
其中“tr”表示矩阵的迹（对角线元素的和）。
各类特征向量之间的平均距离可写成：
1
Jd (x) 2
c
Pi
i 1
c
Pj
j 1
1 nin j
ni n j
(xk(i) , xl( j) )
k 1 l 1
其中Pi、Pj 分别表示各类的先验概率，ni、nj分别是第i与j
基于距离的可分性判据
如果推广至c类别情况，同时考虑各类的先验概率Pi 不等，则可将上列各式表示成：
c
Sb = Pi(mi m)(mi m)T i 1 c
Sw = PiEi[(mi m)(mi m)T ] i 1
其中， m 为总均值向量，Pi表示各类别的先验
概率，Ei表示i类的期望符号。
基于距离的可分性判据
Fisher准则时曾用过两个描述离散度的矩阵。一个 是类间离散矩阵Sb
Sb = (m1 - m2 )(m1 - m2 )T
另一个是类内离散度矩阵SW
Si = (x - mi )(x - mi )T , xX i
Sw = S1 + S2
i 1, 2
以上式子是针对两类别情况的，如果推广至c 类别情况？
)T (x(ki)
原始测量：（正常与异常）细胞的数字图像
原始特征（特征的形成，找到一组代表细胞性质的 特征）：细胞面积，胞核面积，形状系数，光密度， 核内纹理，和浆比
压缩特征：原始特征的维数仍很高，需压缩以便于 分类
特征选择：挑选最有分类信息的特征 特征提取：数学变换
傅立叶变换或小波变换 用PCA方法作特征压缩
基于距离的可分性判据
计算所有样本平均距离作为判据 Jd (x) tr(Sw Sb )
其中“tr”表示矩阵的迹（对角线元素的和）。
各类特征向量之间的平均距离可写成：
1
Jd (x) 2
c
Pi
i 1
c
Pj
j 1
1 nin j
ni n j
(xk(i) , xl( j) )
k 1 l 1
其中Pi、Pj 分别表示各类的先验概率，ni、nj分别是第i与j
基于距离的可分性判据
如果推广至c类别情况，同时考虑各类的先验概率Pi 不等，则可将上列各式表示成：
c
Sb = Pi(mi m)(mi m)T i 1 c
Sw = PiEi[(mi m)(mi m)T ] i 1
其中， m 为总均值向量，Pi表示各类别的先验
概率，Ei表示i类的期望符号。
基于距离的可分性判据
Fisher准则时曾用过两个描述离散度的矩阵。一个 是类间离散矩阵Sb
Sb = (m1 - m2 )(m1 - m2 )T
另一个是类内离散度矩阵SW
Si = (x - mi )(x - mi )T , xX i
Sw = S1 + S2
i 1, 2
以上式子是针对两类别情况的，如果推广至c 类别情况？
)T (x(ki)
清华大学模式识别课件-08_第8章特征提取和特征选择教材
8.1.1. 一些基本概念
在一些书籍和文献中，使用“特征提取” ， “特征选择”等术语时的含义不完全相同。 例如， “特征提取”在有的文献中专指特征的形成过程，有的则指从形成、经选择或变换直 到得出有效特征这一全过程。在实际应用中，通过对对象进行测量，可以得到对象的一种描 述，即用测量空间中的一个点来代表这个对象。例如，通过摄像机可以把一个物体转换为一 个二维灰度阵列，即一幅图像。在一些识别任务中，不直接在测量空间中进行分类器设计。 这一方面是因为测量空间的维数很高(一个 256×256 灰度图像相当于 256×256 维测量空间 中的一个点)，不适宜于分类器的设计。更重要的是这样一种描述并不能直接反映对象的本 质，并且它随摄像机位置、光照等因素的变化而变化。因此为了进行分类器设计，需要把图 像从测量空间变换到维数大大减少的特征空间， 被研究的图像或现象在这个特征空间中就由 一个特征向量来表示。 实际上这样一种变换常常分成几个步骤进行，因此在一些文献中还采用特征提取和特 征选择这样的术语。为了方便起见，我们对几个常用的有关名词作些说明。 特征形成：根据被识别的对象产生出一组基本特征，它可以是计算出来的(当识别对象 是波形或数字图像时)，也可以是用仪表或传感器测量出来的(当识别对象是实物或某种过程 时)，这样产生出来的特征叫做原始特征，有些书中用原始测量(或一次测量，或观察)这一名 词，我们认为在很多情况下有些原始测量就可以作为原始特征，而有些情况则不然，例如识 别对象是数字图像时，原始测量就是各点灰度值，但有时候我们不用各点灰度作为特征，而 是需要经过计算产生一组原始特征。 特征提取：原始特征的数量可能很大，或者说样本是处于一个高维空间中，通过映射 (或变换)的方法可以用低维空间来表示样本，这个过程叫特征提取。映射后的特征叫二次特 征， 它们是原始特征的某种组合(通常是线性组合)。 所谓特征提取在广义上就是指一种变换。 若 Y 是测量空间，X 是特征空间，则变换 A：Y→X 就叫做特征提取器。 特征选择：从一组特征中挑选出一些最有效的特征以达到降低特征空间维数的目的， 这个过程叫特征选择。 以细胞自动识别为例，通过图像输入得到一批包括正常及异常细胞的数字图像，我们 的任务是根据这些图像区分哪些细胞是正常的， 哪些是异常的。 首先要找出一组能代表细胞 性质的特征。为此可以计算细胞总面积、总光密度、胞核面积、核浆比、细胞形状、核内纹 理等，这样可得到很多原始特征，这一过程就是特征的形成。这样产生出来的原始特征可能 很多(例如几十甚至几百个)，或者说原始特征空间维数很高，需要压缩维数以便分类。一种 方式是用变换的方法把原始特征变换为较少的新特征， 这就是特征提取。 另一种方式就是从 原始特征中去挑选出一些最有代表性的特征来， 这就是特征选择。 最简单的特征选择方法是
第七章-特征提取与选择课件
第七章 特征提取与选择
1
2
7 .2 类别可分性判据
(Class Separability Measures)
n 准则—类别可分性判据:刻划特征对分类的贡献。 n 构造的可分性判据Jij应满足下列要求： (1)与误分概率P(e)(或误分概率的上界、下界)有
单调关系， Jij最大值时， P(e)最小。
由于每一级只舍弃一个特征，因此整个搜索树除 根节点0级外，还需要n-d级，即全树有n-d级。 例如， 6个特征中选2个，整个搜索树有4级。 第n-d级是叶节点，共有Cnd个叶节点。
23
7.7.2 最优搜索法
BAB算法
表示特征数目为l 的特征集合。
表示舍弃s 个特征后余下的特征集合。 表示第s 级当前节点上用来作为下一级可舍
10
7.2.2 基于类的概率密度函数的可分性判据
用两类概密函数的重迭程度来度量可分性，构造基于 类概密的可分性判据Jp ，它应满足：
(1) Jp >0； (2)当两类密度函数完全不重迭时， Jp =max； (3)当两类密度函数完全重合时， Jp =0； (4)相对两个概密具有“对称性”。
(a)
(b)
这种方法才能选出一组最优特征。
18
7.7.1 次优搜索法
(二)增添特征法
Sequential Forward Sele法
(三)剔减特征法
设已剔除了k个特征，剩下的特征组记为 ，将
中的各特征xj (j=1,2,…,n-k)分别逐个剔除，并同时
计算
值，若：
则在这轮中x1应该剔除:
7.7.1 次优搜索法 7.7.2 最优搜索法
17
7.7.1 次优搜索法 (一)单独最优的特征选择
1
2
7 .2 类别可分性判据
(Class Separability Measures)
n 准则—类别可分性判据:刻划特征对分类的贡献。 n 构造的可分性判据Jij应满足下列要求： (1)与误分概率P(e)(或误分概率的上界、下界)有
单调关系， Jij最大值时， P(e)最小。
由于每一级只舍弃一个特征，因此整个搜索树除 根节点0级外，还需要n-d级，即全树有n-d级。 例如， 6个特征中选2个，整个搜索树有4级。 第n-d级是叶节点，共有Cnd个叶节点。
23
7.7.2 最优搜索法
BAB算法
表示特征数目为l 的特征集合。
表示舍弃s 个特征后余下的特征集合。 表示第s 级当前节点上用来作为下一级可舍
10
7.2.2 基于类的概率密度函数的可分性判据
用两类概密函数的重迭程度来度量可分性，构造基于 类概密的可分性判据Jp ，它应满足：
(1) Jp >0； (2)当两类密度函数完全不重迭时， Jp =max； (3)当两类密度函数完全重合时， Jp =0； (4)相对两个概密具有“对称性”。
(a)
(b)
这种方法才能选出一组最优特征。
18
7.7.1 次优搜索法
(二)增添特征法
Sequential Forward Sele法
(三)剔减特征法
设已剔除了k个特征，剩下的特征组记为 ，将
中的各特征xj (j=1,2,…,n-k)分别逐个剔除，并同时
计算
值，若：
则在这轮中x1应该剔除:
7.7.1 次优搜索法 7.7.2 最优搜索法
17
7.7.1 次优搜索法 (一)单独最优的特征选择
模式特征的提讲义取与选择
1 概述
模式特征的提取与选择
(1)用一定数量的样本估计出来的参数 设计Bayes分类器时,随着维数的增加 要求样本数急剧增加,这样才能保证一 定的错误率.
1 概述
模式特征的提取与选择
(2)在用线性判别函数来划分模式空间 时,一般要用一组样本来决定划分区域 的超平面.当增加维数时,样本数应有更 多的增加才能保持原有的超平面容度.
2 类别可分性判据
模式特征的提取与选择
基于类概率密度函数的可分性判据
I12(x)=E1{ln[p(x|w1)/p(x|w2)]} I21(x)=E2{ln[p(x|w2)/p(x|w1)]}
2 类别可分性判据
模式特征的提取与选择
基于后验概率的可分性判据
原理：选择使后验熵最小的那些特征 用于分类识别。
以分类器的错误概率做为标准有难度.
2 类别可分性判据
模式特征的提取与选择
类别可分性判据应满足的几个要求:
与错误概率(或其界限)有单调关系, 使判据取最值时,错误概率也较小.
当特征相互独立时,判据具有可加性. 判据须有度量特性(非负性,对称性). 自身有单调性(加入新特征时,判据不 减小).
2 类别可分性判据
2 类别可分性判据
模式特征的提取与选择
基于类概率密度函数的可分性判据
判据举例
Bhattacharyya判据
JB=-lnS[p(x|w1)p(x|w2)]1/2dx Chernoff判据
JC=-lnSp(x|w1)sp(x|w2)1-sdx 散度(总的平均可分性信息)
JD=I12(x)+I21(x)
Sw*=WTSwW SB*=WTSBW
模式特征的提取与选择
3 基于可分性判据进行变换的特征提取
模式识别特征的选择和提取
上面推导出的特征还有其它意义上的 最优性质。
一个分布的熵定义为 H = -E[㏑p(y)] 粗略地说，当分布很平、延伸很广时，熵最 大。如果x是零均值的高斯分布，那么可以 证明所选择的特征向量具有最大熵。
这些特征向量沿最大方差方向，这样
的方向是最随机的，最不确定的，这些方向 应保留下来作为特征。对最不确定的事，若 有信息（测量），最有用。
u jT Rku j
，k=1，2，…，c
j m 1
由于Ri是半正定的，且λ max≤1，
∴ εk的大小为下式限定：
0≤ εk≤n-m， k =1，2，…,c
这样，使（**）式最大等价于使下式
最小（k≠i）
n
(n－m)－εk =
ujTuj ujTRkuj
jm1
n
= ujT(I Rk)uj jm1
要选两个特征，应选e1 、e2方向，均方 误差是λ3 = 2.
表示模式的特征和用于分类的特征的不同
（1） 均值大小的影响 若均值较大，均值就会起大作用，特征在
均值方向。 当两类问题的均值相差较大时，可以分类；
但若均值差不多，则不会有好的效果。
m
∵ R=Σ+mmT
（2）也可以使用协方差矩阵，以均值 为参考点，相对于均值。
2．从两类的特征值中，不管哪一类，选 最大的m个特征值所对应的特征向量。
一般地说，这两种方法谁好谁坏和具体
问题有关。
一旦特征向量选好后，则特征变换由
下式确定：
y = Tx =
← ej1T → ← ej2T →
：
STx，
← ej1T →
其中S是满足STQS = I的矩阵。
* 2. C类时的情况
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
因此,只需求出[Sw-1SB]的所有特征值, 选其较大的d个,以其特征向量为列向 量构造W即可使J1最大.
2 类别可分性判据
模式特征的提取与选择
基于几何距离的可分性判据
l点与点的距离 l点到点集的距离 l类内距离(类内均方欧氏距离d2) l类内离差矩阵Sw(d2=Tr[Sw]) l两类之间的距离 l各类间的总均方距离 l总的类内类间及总体离差矩阵
ST=Sw+ ST
2 类别可分性判据
模式特征的提取与选择
以分类器的错误概率做为标准有难度.
2 类别可分性判据
模式特征的提取与选择
类别可分性判据应满足的几个要求:
l与错误概率(或其界限)有单调关系,使 判据取最值时,错误概率也较小.
l当特征相互独立时,判据具有可加性. l判据须有度量特性(非负性,对称性). l自身有单调性(加入新特征时,判据不 减小).
基于几何距离的可分性判据
lJ1=Tr[Sw-1SB] lJ2=Tr[SB]/Tr[Sw] lJ3=Tr[Sw-1ST] lJ4=|ST|/|SW|=|Sw-1ST|
l上述各种判据存在关联性,其中一些判 据如J1,J4具有非奇异线性变换不变性. 它们本质相似,但性能可能不同.
2 类别可分性判据
模式特征的提取与选择
特征选择:
从一组特征中挑选出一些最有效的特 征以达到降低特征空间维数的目的,这 个过程叫特征选择.
有时特征提取和选择并不是截然分开 的，在具体的模式识别问题中也可以 结合使用。
2 类别可分性判据
模式特征的提取与选择
把一个高维空间变换为低维空间的映 射有很多，哪种映射对分类最有利， 需要一个比较标准，即类别可分性判 据，这些判据应能反映各类在特征空 间中的分布情况，应能刻画各特征分 量在分类识别中的重要性或贡献。
模式特征的提取与 选择
模式特征的提取与选择
在一个较完善的模式识别系统中，或 者明显地或者隐含地要有特征提取与 选择技术环节，通常其处于对象特征 数据采集和分类识别两个环节之间， 特征提取与选择方法（或质量）的优 劣极大地影响着分类器的设计和性能， 它是模式识别的核心问题之一。
1 概述
模式特征的提取与选择
lChernoff判据
JC=-lnSp(x|w1)sp(x|w2)1-sdx l散度(总的平均可分性信息)
JD=I12(x)+I21(x)
2 类别可分性判据
模式特征的提取与选择
基于类概率密度函数的可性判据
I12(x)=E1{ln[p(x|w1)/p(x|w2)]} I21(x)=E2{ln[p(x|w2)/p(x|w1)]}
在实际问题中，常常不容易找到那些 最重要的特征，或受条件限制不能对 它们进行测量，这就使特征选择和提 取的任务复杂化而成为构造模式识别 系统最困难的任务之一。
特征提取和选择的基本任务是如何从 许多特征中找出那些最易得且有效的 特征,从而实现特征空间维数的压缩.
1 概述
模式特征的提取与选择
虽然特征的提取和选择在模式识别中 占有重要地位,但迄今没有一般方法,大 多数的方法都是面向问题的.对于不同 的模式识别问题可以 有不同的特征提
1 概述
几个基本概念
模式特征的提取与选择
特征提取:
原始特征的数量可能很大,或者说样本 是处于一个高维空间中,通过映射(或 变换)的方法可以用低维空间来表示样 本,这个过程叫特征提取.映射后的特 征叫二次特征,它们是原始特征的某种 组合.变换A:Y→X称为特征提取器.
1 概述
几个基本概念
模式特征的提取与选择
1 概述
模式特征的提取与选择
(3)在邻近法与集群分析中,经常应用的 是群内离散度矩阵Sw,为了使用行列式 准则,离散度矩阵必须是非奇异的,这 就 要求样本数与群数之差应远大于维数.
1 概述
几个基本概念
模式特征的提取与选择
特征形成: 根据被识别的对象产生一组基本特征, 它可以是计算出来的(当识别对象是波 形或数字图像时),也可以是用仪表或 传感器测量出来的(当识别对象是实物 或某过程时),这样产生出来的特征叫 做原始测量(一次测量),原始测量的直 接结果或间接结果称为原始特征.
基于类概率密度函数的可分性判据
基本原则 lJp非负. l当两类概率密度函数完全不重叠时,Jp 趋于无穷大. l当两类概率密度函数完全重合时,Jp为 零. l相对于两个概率密度具有对称性.
2 类别可分性判据
模式特征的提取与选择
基于类概率密度函数的可分性判据
判据举例
lBhattacharyya判据 JB=-lnS[p(x|w1)p(x|w2)]1/2dx
基于离差矩阵的特征提取
Sw和SB分别为原始特征空间中类内和类 间离差矩阵,Sw*和SB*分别为变换特征空 间中类内与类间离差矩阵
Sw*=WTSwW SB*=WTSBW
模式特征的提取与选择
3 基于可分性判据进行变换的特征提取
基于离差矩阵的特征提取
若W为非奇异矩阵,则 J1=Tr[Sw-1SB]
是不变的.
1 概述
模式特征的提取与选择
(1)用一定数量的样本估计出来的参数 设计Bayes分类器时,随着维数的增加 要求样本数急剧增加,这样才能保证一 定的错误率.
1 概述
模式特征的提取与选择
(2)在用线性判别函数来划分模式空间 时,一般要用一组样本来决定划分区域 的超平面.当增加维数时,样本数应有更 多的增加才能保持原有的超平面容度.
2 类别可分性判据
模式特征的提取与选择
基于后验概率的可分性判据
原理：选择使后验熵最小的那些特征 用于分类识别。
JH=Ex[-Sp(wi|x)logp(wi|x)]
JHs=Ex[Hs(p1,p2,…,pc)]
Hs=(21-s-1)[S(pis)-1] pi=p(wi|x)
模式特征的提取与选择
3 基于可分性判据进行变换的特征提取
取和选择方法,而且即使对于同一模式 识别问题往往也可能用不同方法,所以 要对这些方法作一般的评价是困难的.
1 概述
模式特征的提取与选择
模式特征并非提取得越多越好.在实际 工作中,往往会发现当特征的数目达到 某个限度后,不但不能改善分类器的性 能,反而会使它的工作恶化.其原因在于 用以设计分类器的样本数目是有限的. 为了使模式识别的结果满意,在增加特 征的同时,必须增加供学习的样本数量.
2 类别可分性判据
模式特征的提取与选择
基于几何距离的可分性判据
l点与点的距离 l点到点集的距离 l类内距离(类内均方欧氏距离d2) l类内离差矩阵Sw(d2=Tr[Sw]) l两类之间的距离 l各类间的总均方距离 l总的类内类间及总体离差矩阵
ST=Sw+ ST
2 类别可分性判据
模式特征的提取与选择
以分类器的错误概率做为标准有难度.
2 类别可分性判据
模式特征的提取与选择
类别可分性判据应满足的几个要求:
l与错误概率(或其界限)有单调关系,使 判据取最值时,错误概率也较小.
l当特征相互独立时,判据具有可加性. l判据须有度量特性(非负性,对称性). l自身有单调性(加入新特征时,判据不 减小).
基于几何距离的可分性判据
lJ1=Tr[Sw-1SB] lJ2=Tr[SB]/Tr[Sw] lJ3=Tr[Sw-1ST] lJ4=|ST|/|SW|=|Sw-1ST|
l上述各种判据存在关联性,其中一些判 据如J1,J4具有非奇异线性变换不变性. 它们本质相似,但性能可能不同.
2 类别可分性判据
模式特征的提取与选择
特征选择:
从一组特征中挑选出一些最有效的特 征以达到降低特征空间维数的目的,这 个过程叫特征选择.
有时特征提取和选择并不是截然分开 的，在具体的模式识别问题中也可以 结合使用。
2 类别可分性判据
模式特征的提取与选择
把一个高维空间变换为低维空间的映 射有很多，哪种映射对分类最有利， 需要一个比较标准，即类别可分性判 据，这些判据应能反映各类在特征空 间中的分布情况，应能刻画各特征分 量在分类识别中的重要性或贡献。
模式特征的提取与 选择
模式特征的提取与选择
在一个较完善的模式识别系统中，或 者明显地或者隐含地要有特征提取与 选择技术环节，通常其处于对象特征 数据采集和分类识别两个环节之间， 特征提取与选择方法（或质量）的优 劣极大地影响着分类器的设计和性能， 它是模式识别的核心问题之一。
1 概述
模式特征的提取与选择
lChernoff判据
JC=-lnSp(x|w1)sp(x|w2)1-sdx l散度(总的平均可分性信息)
JD=I12(x)+I21(x)
2 类别可分性判据
模式特征的提取与选择
基于类概率密度函数的可性判据
I12(x)=E1{ln[p(x|w1)/p(x|w2)]} I21(x)=E2{ln[p(x|w2)/p(x|w1)]}
在实际问题中，常常不容易找到那些 最重要的特征，或受条件限制不能对 它们进行测量，这就使特征选择和提 取的任务复杂化而成为构造模式识别 系统最困难的任务之一。
特征提取和选择的基本任务是如何从 许多特征中找出那些最易得且有效的 特征,从而实现特征空间维数的压缩.
1 概述
模式特征的提取与选择
虽然特征的提取和选择在模式识别中 占有重要地位,但迄今没有一般方法,大 多数的方法都是面向问题的.对于不同 的模式识别问题可以 有不同的特征提
1 概述
几个基本概念
模式特征的提取与选择
特征提取:
原始特征的数量可能很大,或者说样本 是处于一个高维空间中,通过映射(或 变换)的方法可以用低维空间来表示样 本,这个过程叫特征提取.映射后的特 征叫二次特征,它们是原始特征的某种 组合.变换A:Y→X称为特征提取器.
1 概述
几个基本概念
模式特征的提取与选择
1 概述
模式特征的提取与选择
(3)在邻近法与集群分析中,经常应用的 是群内离散度矩阵Sw,为了使用行列式 准则,离散度矩阵必须是非奇异的,这 就 要求样本数与群数之差应远大于维数.
1 概述
几个基本概念
模式特征的提取与选择
特征形成: 根据被识别的对象产生一组基本特征, 它可以是计算出来的(当识别对象是波 形或数字图像时),也可以是用仪表或 传感器测量出来的(当识别对象是实物 或某过程时),这样产生出来的特征叫 做原始测量(一次测量),原始测量的直 接结果或间接结果称为原始特征.
基于类概率密度函数的可分性判据
基本原则 lJp非负. l当两类概率密度函数完全不重叠时,Jp 趋于无穷大. l当两类概率密度函数完全重合时,Jp为 零. l相对于两个概率密度具有对称性.
2 类别可分性判据
模式特征的提取与选择
基于类概率密度函数的可分性判据
判据举例
lBhattacharyya判据 JB=-lnS[p(x|w1)p(x|w2)]1/2dx
基于离差矩阵的特征提取
Sw和SB分别为原始特征空间中类内和类 间离差矩阵,Sw*和SB*分别为变换特征空 间中类内与类间离差矩阵
Sw*=WTSwW SB*=WTSBW
模式特征的提取与选择
3 基于可分性判据进行变换的特征提取
基于离差矩阵的特征提取
若W为非奇异矩阵,则 J1=Tr[Sw-1SB]
是不变的.
1 概述
模式特征的提取与选择
(1)用一定数量的样本估计出来的参数 设计Bayes分类器时,随着维数的增加 要求样本数急剧增加,这样才能保证一 定的错误率.
1 概述
模式特征的提取与选择
(2)在用线性判别函数来划分模式空间 时,一般要用一组样本来决定划分区域 的超平面.当增加维数时,样本数应有更 多的增加才能保持原有的超平面容度.
2 类别可分性判据
模式特征的提取与选择
基于后验概率的可分性判据
原理：选择使后验熵最小的那些特征 用于分类识别。
JH=Ex[-Sp(wi|x)logp(wi|x)]
JHs=Ex[Hs(p1,p2,…,pc)]
Hs=(21-s-1)[S(pis)-1] pi=p(wi|x)
模式特征的提取与选择
3 基于可分性判据进行变换的特征提取
取和选择方法,而且即使对于同一模式 识别问题往往也可能用不同方法,所以 要对这些方法作一般的评价是困难的.
1 概述
模式特征的提取与选择
模式特征并非提取得越多越好.在实际 工作中,往往会发现当特征的数目达到 某个限度后,不但不能改善分类器的性 能,反而会使它的工作恶化.其原因在于 用以设计分类器的样本数目是有限的. 为了使模式识别的结果满意,在增加特 征的同时,必须增加供学习的样本数量.