模式特征的提取与选择

基于几何距离的可分性判据
J1=Tr[Sw-1SB] J2=Tr[SB]/Tr[Sw] J3=Tr[Sw-1ST] J4=|ST|/|SW|=|Sw-1ST|
上述各种判据存在关联性,其中一些 判据如J1,J4具有非奇异线性变换不变 性.它们本质相似,但性能可能不同.
可编辑ppt
15
2 类别可分性判据
可编辑ppt
7
1 概述
模式特征的提取与选择
(3)在邻近法与集群分析中,经常应用的 是群内离散度矩阵Sw,为了使用行列式 准则,离散度矩阵必须是非奇异的,这 就 要求样本数与群数之差应远大于维数.
可编辑ppt
8
1 概述
几个基本概念
模式特征的提取与选择
特征形成:
根据被识别的对象产生一组基本特征,
它可以是计算出来的(当识别对象是波
模式特征的提取与选择
模式特征并非提取得越多越好.在实际 工作中,往往会发现当特征的数目达到 某个限度后,不但不能改善分类器的性 能,反而会使它的工作恶化.其原因在于 用以设计分类器的样本数目是有限的. 为了使模式识别的结果满意,在增加特 征的同时,必须增加供学习的样本数量.
可编辑ppt
5
1 概述
模式特征的提取与选择
Sw*=WTSwW SB*=WTSBW
2
1 概述
模式特征的提取与选择
在实际问题中，常常不容易找到那些 最重要的特征，或受条件限制不能对 它们进行测量，这就使特征选择和提 取的任务复杂化而成为构造模式识别 系统最困难的任务之一。
特征提取和选择的基本任务是如何从
许多特征中找出那些最易得且有效的
特征,从而实现特征空间维数的压缩.
可编辑ppt
可编辑ppt
13
2 类别可分性判据
模式特征的提取与选择
基于几何距离的可分性判据
点与点的距离
点到点集的距离
类内距离(类内均方欧氏距离d2)
类内离差矩阵Sw(d2=Tr[Sw]) 两类之间的距离
各类间的总均方距离
总的类内类间及总体离差矩阵
ST=Sw+ ST
可编辑ppt
14
2 类别可分性判据
模式特征的提取与选择
以分类器的错误概率做为标准有难度.
可编辑ppt
12
2 类别可分性判据
模式特征的提取与选择
类别可分性判据应满足的几个要求:
与错误概率(或其界限)有单调关系, 使判据取最值时,错误概率也较小.
当特征相互独立时,判据具有可加性. 判据须有度量特性(非负性,对称性). 自身有单调性(加入新特征时,判据不 减小).
判据举例
Bhattacharyya判据
JB=-lnS[p(x|w1)p(x|w2)]1/2dx Chernoff判据
JC=-lnSp(x|w1)sp(x|w2)1-sdx 散度(总的平均可分性信息)
JD=I12(x)+I21(x)
可编辑ppt
17
2 类别可分性判据
模式特征的提取与选择
基于类概率密度函数的可分性判据
模式特征的提取与选择
基于类概率密度函数的可分性判据
基本原则 Jp非负. 当 两 类 概 率 密 度 函 数 完 全 不 重 叠 时,Jp趋于无穷大. 当两类概率密度函数完全重合时,Jp 为零. 相对于两个概率密度具有对称性.
可编辑ppt
16
2 类别可分性判据
模式特征的提取与选择
基于类概率密度函数的可分性判据
模式特征的提取与选择
可编辑ppt
1
模式特征的提取与选择
在一个较完善的模式识别系统中，或 者明显地或者隐含地要有特征提取与 选择技术环节，通常其处于对象特征 数据采集和分类识别两个环节之间， 特征提取与选择方法（或质量）的优 劣极大地影响着分类器的设计和性能， 它是模式识别的核心问题之一。
可编辑ppt
形或数字图像时),也可以是用仪表或
传感器测量出来的(当识别对象是实物
或某过程时),这样产生出来的特征叫
做原始测量(一次测量),原始测量的直
接结果或间接结果称为原始特征.
可编辑ppt
9
1 概述
几个基本概念
模式特征的提取与选择
特征提取:
原始特征的数量可能很大,或者说样本 是处于一个高维空间中,通过映射(或 变换)的方法可以用低维空间来表示样 本,这个过程叫特征提取.映射后的特 征叫二次特征,它们是原始特征的某种 组合.变换A:Y→X称为特征提取器.
可编辑ppt
10
1 概述
几个基本概念
模式特征的提取与选择
特征选择:
从一组特征中挑选出一些最有效的特 征以达到降低特征空间维数的目的,这 个过程叫特征选择.
有时特征提取和选择并不是截然分开 的，在具体的模式识别问题中也可以 结合使用。
可编辑ppt
11
2 类别可分性判据
模式特征的提取与选择
把一个高维空间变换为低维空间的映 射有很多，哪种映射对分类最有利， 需要一个比较标准，即类别可分性判 据，这些判据应能反映各类在特征空 间中的分布情况，应能刻画各特征分 量在分类识别中的重要性或贡献。
3
1 概述
模式特征的提取与选择
虽然特征的提取和选择在模式识别中 占有重要地位,但迄今没有一般方法,大 多数的方法都是面向问题的.对于不同 的模式识别问题可以 有不同的特征提
取和选择方法,而且即使对于同一模式 识别问题往往也可能用不同方法,所以 要对这些方法作一般的评价是困难的.
可编辑ppt
4
1 概述
(1)用一定数量的样本估计出来的参数 设计Bayes分类器时,随着维数的增加 要求样本数急剧增加,这样才能保证一 定的错误率.
可编辑ppt
6
1 概述
模式特征的提取与选择
(2)在用线性判别函数来划分模式空间 时,一般要用一组样本来决定划分区域 的超平面.当增加维数时,样本数应有更 多的增加才能保持原有的超平面容度.
JHs=Ex[Hs(p1,p2,…,pc)]
Hs=(21-s-1)[S(pis)-1] pi=p(wi|x)
可编辑ppt
19
模式特征的提取与选择
3 基于可分性判据进行变换的特征提取
基于离差矩来自百度文库的特征提取
Sw和SB分别为原始特征空间中类内和类 间离差矩阵,Sw*和SB*分别为变换特征空 间中类内与类间离差矩阵
I12(x)=E1{ln[p(x|w1)/p(x|w2)]} I21(x)=E2{ln[p(x|w2)/p(x|w1)]}
可编辑ppt
18
2 类别可分性判据
模式特征的提取与选择
基于后验概率的可分性判据
原理：选择使后验熵最小的那些特征 用于分类识别。
JH=Ex[-Sp(wi|x)logp(wi|x)]