第八章-特征选择与提取
模式识别—特征选择与提取课件
2、特征的类别
• 形式上分三类： • 1、物理特征 • 物理特征是比较直接、人们容易感知的特 征，很容易被选出，如为了描述某个学生， 可以用：性别、身高、胖瘦、肤色等外在 特征。物理特征虽然容易感知，却未必能 非常有效地表征分类对象。 • 2、结构特征 • 结构特征的表达能力一般要高于物理特征，
• 如汉字识别的成功、指纹的识别就实现离 不开结构特征的选择。结构特征的表达是 先将观察对象分割成若干个基本构成要素， 再确定基本要素间的相互连接关系。 • 结构信息对对象的尺寸往往不太敏感，如 汉字识别时，识别系统对汉字大小不敏感， 只对笔划结构信息敏感。 • 3、数字特征 • 一般来说，数字特征是为了表征观察对象 而设立的特征，如给每个学生设立一个学 号，作为标志每个学生的特征。
第8章 特征选择与特征提取
8.1 基本概念 8.2 类别可分性测度
8.3 基于可分性测度的特征提取方法
8.1 基本概念
• 1、特征的特点 • 模式识别的主要功能在于利用计算机实现 人的类识别能力，在模式识别过程中，特 征的确定比较复杂，研究领域不同，选择 的特征也不同，但不论采用什Байду номын сангаас样的特征， 都应该满足以下条件： • （1）特征是可获取的 • （2）类内稳定 • （3）类间差异
x2
x2B 2
' x2
x1'
BB A
x2 A2
[法2]：① 特征抽取：测量
物体向两个坐标轴的投影 值，则A、B各有2个值域区
x1
x 2 B1 x 2 A1
x1 B1
x1 A1
间。可以看出，两个物体的 投影有重叠，直接使用投影 值无法将两者区分开。
x1B 2 x1 A 2
特征的提取和选择
特征的提取和选择
特征提取和选择是机器学习中非常重要的环节，它既可以减少计算量，又可以提高模型的性能。
选择较好的特征可以让模型更加简单，更加容易
和快速的训练出最佳参数，从而使得模型更加精确、效果更好。
一般来说，特征提取和选择有以下几步：
1.特征提取。
特征提取关注的是利用现有特征生成新的特征。
它可以
是特征融合（如结合多个特征生成更强大的特征），也可以是特征变换
（如离散特征变换成连续特征）。
2.无关特征删除。
把没有帮助的特征删除，有助于减少模型的运行时间，提高模型的效果。
3.有关特征选择。
把与目标值有很强关联的特征选择出来，这些特征
被称为有关特征，它们可以帮助模型训练出更好的结果。
4.特征降维。
为了减少特征之间的相关性，减少计算量，与有关特征
相关性比较低的特征可以被删除。
5.特征加权。
调整特征的权重，使得有关特征拥有更大的影响力，从
而帮助模型更好的进行预测。
通过这种特征提取和选择的过程，可以把训练集中拥有相关性比较高
的有用特征保留下来，把没用的特征抛弃，有效的提高模型的性能。
第八章特征提取
23
未知类别样本的K-L变换
特征 提取
常用总体样本的协方差矩阵C=E[(x-μ) (x-μ)T]
进行K-L变换，K-L坐标系U=[u1,u2,...,ud]按照C
的本征值的下降次序选择。
例：设一样本集的协方差矩阵是： C 求最优2x1特征提取器U
19.5
9.5
9.5 7.5
解答：计算特征值及特征向量[V, D]=eig(C);
特征选择(selection) ：从原始特征中挑选出 一些最有代表性、分类性能最好的特征。
特征的选择与提取与具体问题有很大关系， 目前没有理论能给出对任何问题都有效的特 征选择与提取方法。
第八章 特征提取
6
特征的选择与提取举例
引言
细胞图像自动分类：
原始测量：（正常与异常）细胞的数字图像
y = UTx = u1T x = y1
变换的能量损失为
22 1 5.9% 12 22 42 12
第八章 特征提取
22
K-L变换的产生矩阵
特征 提取
数据集KN={xi}的K-L变换的产生矩阵由数据 的二阶统计量决定，即K-L坐标系的基向量为 基于数据x的某种二阶统计量的产生矩阵的 本征向量。
d个本征值对应的本证向量组 成变换矩阵W，就是构造d个
主成分1,...,d的最佳变换。
数据中大部分信息集中在较少的几个主成分上
d
D
i / i
1
1
根据给定的比例，选择适当数目的主成分作为样本的新特征
第八章 特征提取
13
8.4 K-L (Karhunen-Loeve)变换
特征提取：
降低特征维数在很多情况下是有效设计分类器的重要课题。
Ch8 特征的选择与提取之特征选择
特征选择
两种最为显见的选择方法：单独选择法 与穷举法。
单独选择法指的是把n个特征单独使用时的 可分性准则都计算出，从大到小排序，如：
J ( x1 ) > J ( x2 ) > L > J ( xm ) > L > J ( xn )
使得J较大的前m个特征作为选择结果，但是 这样所得到的m个特征一般未必时最好的。
Tabu搜索算法
Tabu(禁忌)搜索算法的基本框架 步骤 1 令迭代步数 i = 0 ，Tabu 表为 T = φ ，给 出初始解为x，并令最优解 xg = x ；
步骤 2 从x的邻域中选择一定数量的解构成候选集 合N(x)； 步骤 3 若N(x)＝Φ ，则转2，否则从N(x)中找出最 优解x’； 步骤 4 若 x ' ∈ T ，并且 x ' 不满足激活条件，则令 N ( x) = N ( x) − {x '} ，转3，否则，令 x = x ' 。
遗传算法的应用
控制 规划 设计 图像处理 信号处理 机器人 人工生命 人工神经网络 煤气管道控制，防避导弹控制，机器人控制 生产规划，并行机任务分配 VLSI布局，背包问题，图划分问题 识别，特征抽取模式 滤波器设计 路径规划 生命的遗传进化 权值训练和网络结构生成
遗传算法
几个常用的术语(这些术语来自于生物学，但 是与其在生物学中的含义有所不同)
Tabu(禁忌)搜索算法
算法的基本思想：一个解的某个“邻域”中一般存 在性能更好的解。因此，Tabu搜索算法仅仅在一些 解的邻域中进行。为了避免搜索过程的重复，从而 能够搜索更大的解空间，因此该算法要求记录近期 的搜索过的解。 使用一个表，Tabu表，记录这一搜索过程的解。 如果一个解在Tabu表中，说明该解在近期被访问过。 一旦被收入Tabu表中，在某个时间段内禁止访问该 解。
特征选择与提取
分类：根据对象的观察值确定对象的类别属性。
分类的一般过程：特征的发现与提取（特征提取的好坏将直接影响到分类的结果。
特征选取的原则包括：明显有区分意义（同一类别样本的特征值比较相近，而不同类别的样本特征值有较显著的差异）；容易提取；对不相关因素变化保持稳定；对噪声不敏感等）；确定决策函数特征发现：将先验知识和实验数据有机结合起来，通过对学习样本（实验数据）的分析，发现并提取有效的特征。
•根据特定的问题领域（包括实验数据）的性质，提出可能特征的假设•利用已有的实验数据，验证假设是否正确特征处理：在已经得到数据样本之后如何用数学的办法对数据进行必要的选择和变换使得特征更易于分类，求出一组对分类最有效的特征1.高维特征带来的问题实际应用中，通常发现当特征个数增加到某一个临界点后，继续增加反而会导致分类器的性能变差。
1)概率模型与实际情况不匹配2)训练样本数有限→概率分布的估计不准确3)训练样本数有限→过拟合4)训练过程中的计算复杂度、时间－空间复杂度太大。
2.特征选择：1）概念：特征选择是从数量为D的原始特征中挑选出一组（d个）最有代表性，分类性能最好的特征；每个特征的状态是离散的－选与不选；从N个特征中选取k个，共C N k种组合；若不限定个数，则共2N种；这是一个典型的组合优化问题。
（思路）2）方法：Filter方法：不考虑所使用的学习算法。
通常给出一个独立于分类器的指标μ（可分离性判据）来评价所选择的特征子集S，然后在所有可能的特征子集中搜索出使得μ最大的特征子集作为最优特征子集；Wrapper方法：将特征选择和分类器结合在一起，即特征子集的好坏标准是由分类器决定的，在学习过程中表现优异的特征子集被选中；另外，按照最优特征组的构成可以分为“自下而上”法（特征数从0渐增）和“自上而下”法（特征数从D递减）。
3）可分离性判据：衡量特征对分类的有效性（关键问题）要求：A.与错误概率（或者错误概率的上界及下界）有单调关系，一般使判据取最大值时对应较小错误概率B.当特征（x1, x2, …, xd）相互独立时有可加性，即：；其中Jij是第i类和第j类的可分性准则函数。
特征提取与特征选择的区别与联系
特征提取与特征选择的区别与联系在机器学习和数据挖掘领域，特征提取和特征选择是两个重要的概念。
它们在数据预处理和模型构建中起着至关重要的作用。
本文将探讨特征提取与特征选择的区别与联系，并从理论和实践角度进行深入分析。
1. 特征提取的定义与意义首先，我们来看看特征提取的定义与意义。
特征提取是指从原始数据中提取出具有代表性的特征，以便进行后续的数据分析和建模。
在实际应用中，原始数据往往包含大量的冗余信息和噪声，特征提取的目的就是通过某种算法或方法，对原始数据进行转换或映射，得到更加有用和有效的特征表示。
这样可以提高模型的准确性和泛化能力，同时减少计算复杂度和存储空间的消耗。
特征提取的方法有很多种，比如主成分分析（PCA）、独立成分分析（ICA）、线性判别分析（LDA）等。
这些方法都是通过对原始数据进行变换，得到新的特征表示，从而达到降维、去噪或增强特征的目的。
2. 特征选择的定义与意义接下来，我们再来看看特征选择的定义与意义。
特征选择是指从原始特征中选择出最具有代表性和重要性的特征子集，以用于后续的建模和预测。
在实际应用中，原始特征往往包含很多冗余和无关的信息，特征选择的目的就是找出对目标变量影响最大的特征，从而简化模型、提高预测性能和可解释性。
特征选择的方法有很多种，比如过滤式、包裹式和嵌入式等。
过滤式方法是直接对特征进行评估和排序，选择最高分的特征子集；包裹式方法是把特征选择看作一个搜索问题，通过试验不同的特征子集来找到最佳组合；嵌入式方法则是在模型训练过程中，通过正则化或增加惩罚项的方式来选择特征。
3. 特征提取与特征选择的区别特征提取与特征选择虽然都是对原始数据或特征进行处理，但它们在目的和方法上有着明显的区别。
首先，特征提取是通过某种变换或映射，得到新的特征表示，目的是降维、去噪或增强特征；而特征选择是从原始特征中选择出最具有代表性和重要性的特征子集，目的是简化模型、提高预测性能和可解释性。
第8章 特征的选择与提取(特征选择)
其核心问题
是通过合理组合搜索过程，可以避免一些 计算而仍能得到最优的结果。
其关键是利用了判据的单调性
最优搜索算法
判据的单调性
如果特征存在包含关系: 则有: 称该判据具有单调性 讨论过的J1-J5,以及基于概率距离的判据 JD,JC,JB都满足上述关系
最优搜索算法
下面我们结合一个从D＝6的六维特征空 间选择d＝2的二维最优子空间的例子， 说明该算法的原理以及如何利用判据的 单调性减少计算量。 设原D维空间有六个特征表示成 {x1,x2,x3,x4,x5,x6}
(2) 确定直接后继结点要删除的特征
删去其中一特征的相应判据值，判据最小
最优搜索算法
回溯过程
要执行的任务是将第i层的ψ加上第i-1层被删 除的特征，并检查其分支路数q 待发现到 qi-1>1,就到达回溯转折点，转入其 相邻左边第i层结点。
最优搜索算法
优点
该算法避免了部分d个特征组合的判据计算，与穷 举相比节约了时间。
当l＜r时，入选特征数逐渐增加，属“自下而上” 型 反之属“自上而下”型。
增l减r法(l-r法)
此法也可推广至用GSFS及GSBS代替SFS及SBS 并可在实现增加l特征时采用分几步实现
增l特征用Zl步减r则用Zr步，该种方法一般称为(Zl, ( Zr)法 这种做法是为了既考虑入选(或剔除)特征之间的相 关性，又不至因此引起计算量过大。 合理地设置Zl和 Zr可以同时对两者，即计算复杂性 及特征选择的合理性兼顾考虑
简单回顾
类别可分离性判据的种类
基于距离度量的可分性判据 基于概率分布的可分性判据等
特征提取
按欧氏距离度量的特征提取方法 按概率距离判据提取特征
8.4 特征选择
遥感技术应用课件：特征提取与选择
知识点
• 在多光谱图像中，邻近波段之间往往具有 高度的相关性，存在着大量冗余和重复的 信息，需从这些数据中提取那些无冗余的 有效信息来识别目标地物。
知识点
知识点
• 西北部为植被稀少区 • 东部为植被密集区
知识点
• 空间特征属于局部统计变量，反映 图像局部的灰度变化、像元组合及 其与周边的关系。
知识点
用于遥感图像分类的属性特征可能非常多，如果不加选择地 将所有属性都作为分类特征，那么分析特征、训练模型所需的时 间就会很长，模型也会变得复杂，其推广能力（泛化能力）就会 下降；此外，特征变量过多会引起“维数灾难”，使得识别精度 不增反降。
知识点
知识点
知识点
• 光谱特征提取的基本思想就是对多 种属性进行某种线性或非线性组合 得到综合指标。
知识点
先验知识往往受限于所识 别的地物类别及其所处的环境。
知识点
知识点
知识点
知识点
知识点
知识点
课程小结
特征的概念 特征提取 特征选择 特征组合
谢谢观看
知识点
知识点
• 根据影像信息的不同合 理选择空间特征提取的 算法，以达最优的特征 显示效果与提取效果。
知识点
知识点
知识点
原始 属性集
子集 产生
属性 子集
否
子集 评价
终止 条件
是研究区地物及其属性比较熟 悉，已经知道某些属性可以很好地区分待分 类的地物，可以根据这些先验知识直接选择 这些可以区分特定地物的属性。
特征提取与选择
课程导入
特征的概念 特征提取 特征选择 特征组合
知识点
• 在两个或多个目标物之间具有差异的属性就是 物体的特征，可以被用来区分目标物的属性。
特征选择和特征提取
睛或睁或闭，戴或不戴眼镜；人脸姿态也有相当程度旳变化，深度旋转和平面旋
转可达20度；人脸旳尺度也有多达10％旳变化。
① M幅人脸图像样本，其图像矩阵 T1 , T2 ,TM ，将它们转化为向量
形式，得到M个维向量 1 , 2 , M
E
yy
E
U
xx
U
T
U RU Λ
T
T
T
特征
提取
K-L变换旳性质
K-L坐标系把矩阵R对角化，即经过K-L变
换消除原有向量x旳各分量间旳有关性，
从而有可能去掉那些带有较少信息旳分
量以到达降低特征维数旳目旳
1
Λ
0
2
0
d
主成份分析 ( PCA )
➢原始特征（特征旳形成，找到一组代表细胞性质
旳特征）：细胞面积，胞核面积，形状系数，光
密度，核内纹理，核浆比
➢压缩特征：原始特征旳维数仍很高，需压缩以便
于分类
• 特征选择：挑选最有分类信息旳特征
• 特征提取：数学变换
– 傅立叶变换或小波变换
– 用PCA措施作特征压缩
三、特征提取与K-L变换
特征提取：用映射（或变换）旳措施把原始
• 这种措施首先将人脸图像映射为高维空间旳向量，然后应
用基于统计旳离散K-L变换措施，构造一种各分量互不有
关旳特征空间，即特征脸空间，再将人脸图像在高维空间
中旳向量映射到特征脸空间，得到特征系数。
ORL人脸库(英国剑桥大学)
第八讲 特征提取和特征选择(讲义)
第八讲特征提取和特征选择一、基本概念1、特征的生成（1）原始特征的采集和转换通过对原始特征的信号采集，获得样本的原始表达数据，从原始数据中选择或计算出对分类任务有用的原始特征，并转换成可用的形式原始数据：像素点RGB值矩阵可用的原始特征：轮廓特征颜色特征纹理特征数学特征（2）有效特征的生成目的：降低特征维数，减少信息冗余提升特征的有效性方法：特征提取：提高特征对类别的分辨能力特征选择：寻找对分类最重要的特征 2、 特征提取通过某种变换，将原始特征从高维空间映射到低维空间。
A ：X →Y ； A 为特征提取器，通常是某种正交变换。
最优特征提取：J(A*)=max J(A)， J 是准则函数3、 特征选择从一组特征中挑选出一些最有效的特征，以达到降低特征空间维数的目的。
Dd d i S y y y y F x x x S i d D <=∈→;,...,2,1,},......,,{:},......,,{:2121原始特征集合S 中包含D 个特征，目标特征集合F 中包含d 个特征；最优特征选择：J(F*)=max J(F)， J 是准则函数 4、 准则函数的选取（1） 准则函数的选取原则分类正确率是最佳的特征提取和特征选择准则函数，但难以计算。
实用的类别可分性准则函数应满足以下要求：与分类正确率有单调递增关系当特征独立时具有可加性：∑==dk kijd ij x J x x x J 1)()...21，，，（具有标量测度特性：⎪⎩⎪⎨⎧===≠>ji ij ij ij J J j i J j i J 时，当时，当00对特征具单调性：)...)...12121＋，，，，（，，，（ddijdij xxxxJxxxJ<（2）类内类间距离是各类的先验概率。
，中的样本数，为中的样本数，为），（：值，称为类内类间距离向量之间的距离的平均离，则各类中各特征）为这两个向量间的距，（特征向量，维类中的类及分别为，类，令设一个分类问题共有定义：jijjiinknljlikci jicjjidjlikjijlikPPnnxxnnPPxJxxxxai jωωδδωω∑∑∑∑=====1111121)()()()()()()(Dc.例：∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑================⨯⨯⨯⨯⨯⨯⨯⨯========2121222221311212312121213131111111212121211111221213212123121331211212340602121k l l k k l l k k l l k k l l k n k n l j l i k i ji j jid n k n l j l i k c i ji cj jid x xP P x xP P x x P P x x P P x x n n P P x J n n P P c x x n n P P x J ijij），（＋），（＋），（＋），（），（），（)()()()()()()()()()()()()(,,.,.,)(δδδδδδ对于随机性统计分类，类内类间距离和分类错误率不相关 b.类内类间距离的分解()()()()()()()()m m m mn P m xm xn P m m m m m x m x n P x J mP m m x m i m x x x x x x i Tici ii n k i i kTii kic i in k i Ti i i kTii kici i d ci ii n k i k n i i j l i k j l i k j l i k iiii--+--=⎥⎥⎦⎤⎢⎢⎣⎡--+--===∑∑∑∑∑∑∑=======11111111111)()()()()()()(T )()()()( )( : 则总均值向量：表示所有各类样本集的用类样本集的均值向量表示第用）－（）－）＝（，（则有的距离，度量两个特征向量之间如采用均方欧氏距离来δ()()()()()bw b w b w d Ti ic i ib n k Tii kii kici iw J J S tr S tr S S tr x J m m m mP S m x m x n P S i+=+=+=--=--=∑∑∑===)()( )( )()(则间离散度矩阵分别为令类内离散度矩阵和类1111Jw 称为类内平均距离，Jb 称为是类间平均距离从类别可分性的要求来看，希望Jw 尽可能小， Jb 尽可能大 （3） 概率距离类间的概率距离可用分布函数之间的距离来度量完全可分：若p(x|ω1) ≠0时， p(x|ω2)＝0；完全不可分：对任意x ，都有 p(x|ω1) ＝ p(x|ω2)；性的概率距离度量则可作为两类之间可分；为、当两类完全不可分是取得最大值；、当两类完全可分时；、满足以下条件：若任何函数0c b 0a ],),|(),|([)(p p p p J J J dx P P x p x p g J ≥=∙⎰2121ωω二、 使用类内类间距离进行特征提取1、 准则函数的构造：类内类间距离为：Jd=Jw+Jb ＝tr （Sw ＋Sb)其中Jw 是类内平均距离，Jb 是类间平均距离通常给定一个训练集后，Jd 是固定的，在特征提取时，需要加大Jb ，减小Jw ，来获得满意的分类效果。
特征选择与特征提取
第五章 特征选择与特征提取5.1 问题的提出前面主要介绍的是各种分类器的设计方法，实际上我们已经完全可以解决模式识别的问题了。
然而在实际应用中，在分类器设计之前，往往需要对抽取出的特征进行一下处理，争取尽量减小特征的维数。
在实践中我们发现，特征的维数越大，分类器设计的难度也越大，一维特征的识别问题最容易解决，我们只要找到一个阈值t ，大于t 的为一类，小于t 的为一类。
同时特征维数越大，要求的训练样本数量越多，例如在一维的情况下，10个训练样本就可以比较好的代表一个类别了，而在10维空间中，10个训练样本则是远远不够的。
这一章中我们就来介绍一下减小特征维数的方法。
一般来说模式识别系统的输入是传感器对实物或过程进行测量所得到的一些数据，其中有一些数据直接可以作为特征，有一些数据经过处理之后可以作为特征，这样的一组特征一般称为原始特征。
在原始特征中并不一定每个特征都是有用的，比如在识别苹果和橙子的系统中，我们可以抽取出的特征很多，（体积，重量，颜色，高度，宽度，最宽处高度），同样还有可能抽取出其它更多的特征。
在这些特征中对分类有用的是（颜色，高度，最宽处高度），其它特征对识别意义不大，应该去除掉。
这样的过程称为是特征选择，也可以称为是特征压缩。
特征选择可以描述成这样一个过程，原始特征为N 维特征()12,,,TN x x x =X ，从中选择出M 个特征构成新的特征矢量()11,,,MTi i i Y x x x =，M N <。
同时，特征矢量的每一个分量并不一定是独立的，它们之间可能具有一定的相关性，比如说高度和最宽处的高度，高度值越大，最宽处的高度值也越大，它们之间具有相关性，我们可以通过一定的变换消除掉这种相关性，比如取一个比值：最宽处的高度/高度。
这样的过程称为特征提取。
特征提取可以描述为这样一个过程，对特征矢量()12,,,TN x x x =X 施行变换：()i i y h =X ，1,2,,i M =，M N <，产生出降维的特征矢量()12,,,TM Y y y y =。
清华大学模式识别课件-08_第8章特征提取和特征选择教材
8.1.1. 一些基本概念
在一些书籍和文献中，使用“特征提取” ， “特征选择”等术语时的含义不完全相同。 例如， “特征提取”在有的文献中专指特征的形成过程，有的则指从形成、经选择或变换直 到得出有效特征这一全过程。在实际应用中，通过对对象进行测量，可以得到对象的一种描 述，即用测量空间中的一个点来代表这个对象。例如，通过摄像机可以把一个物体转换为一 个二维灰度阵列，即一幅图像。在一些识别任务中，不直接在测量空间中进行分类器设计。 这一方面是因为测量空间的维数很高(一个 256×256 灰度图像相当于 256×256 维测量空间 中的一个点)，不适宜于分类器的设计。更重要的是这样一种描述并不能直接反映对象的本 质，并且它随摄像机位置、光照等因素的变化而变化。因此为了进行分类器设计，需要把图 像从测量空间变换到维数大大减少的特征空间， 被研究的图像或现象在这个特征空间中就由 一个特征向量来表示。 实际上这样一种变换常常分成几个步骤进行，因此在一些文献中还采用特征提取和特 征选择这样的术语。为了方便起见，我们对几个常用的有关名词作些说明。 特征形成：根据被识别的对象产生出一组基本特征，它可以是计算出来的(当识别对象 是波形或数字图像时)，也可以是用仪表或传感器测量出来的(当识别对象是实物或某种过程 时)，这样产生出来的特征叫做原始特征，有些书中用原始测量(或一次测量，或观察)这一名 词，我们认为在很多情况下有些原始测量就可以作为原始特征，而有些情况则不然，例如识 别对象是数字图像时，原始测量就是各点灰度值，但有时候我们不用各点灰度作为特征，而 是需要经过计算产生一组原始特征。 特征提取：原始特征的数量可能很大，或者说样本是处于一个高维空间中，通过映射 (或变换)的方法可以用低维空间来表示样本，这个过程叫特征提取。映射后的特征叫二次特 征， 它们是原始特征的某种组合(通常是线性组合)。 所谓特征提取在广义上就是指一种变换。 若 Y 是测量空间，X 是特征空间，则变换 A：Y→X 就叫做特征提取器。 特征选择：从一组特征中挑选出一些最有效的特征以达到降低特征空间维数的目的， 这个过程叫特征选择。 以细胞自动识别为例，通过图像输入得到一批包括正常及异常细胞的数字图像，我们 的任务是根据这些图像区分哪些细胞是正常的， 哪些是异常的。 首先要找出一组能代表细胞 性质的特征。为此可以计算细胞总面积、总光密度、胞核面积、核浆比、细胞形状、核内纹 理等，这样可得到很多原始特征，这一过程就是特征的形成。这样产生出来的原始特征可能 很多(例如几十甚至几百个)，或者说原始特征空间维数很高，需要压缩维数以便分类。一种 方式是用变换的方法把原始特征变换为较少的新特征， 这就是特征提取。 另一种方式就是从 原始特征中去挑选出一些最有代表性的特征来， 这就是特征选择。 最简单的特征选择方法是
第8章_特征的选择与提取(特征提取) (1)
基于熵函数的可分性判据
基于熵函数的可分性判据
熵
为了衡量后验概率分布的集中程度，可以借助于 信息论中熵的概念，制订定量指标。 Shannon熵为
另一常用的平方熵
基于熵函数的可分性判据
基于熵函数的可分性判据
两者共性
1.熵为正且对称
即函数式内项的次序可以变换不影响熵的值；
2.如 3.对任意的概率分布
它要经过加工、处理才能得到对模式分类更加有用的 信号
基本概念
三个不同的层次描述
2．描述事物方法的选择与设计
在得到了原始信息之后，要对它进一步加工， 以获取对分类最有效的信息 这部分信息必须对原始信息进行加工，而设计 所要信息的形式是十分关键的
例如:对阿拉伯数字的识别可以提出各种不同的想法 * 分析从框架的左边框到数字之间的距离变化反映 了不同数字的不同形状，这可以用来作为数字分类的 依据 * 强调分析不同截面的信号，如在框架的若干部位 沿不同方向截取截面分析从背景到字，以及从字到背 景转换的情况
本章重点
1．弄清对特征空间进行优化的含义 2．对特征空间进行优化的两种基本方 法——特征选择与特征的组合优化 3．对特征空间进行优化的一些常用判据 4．利用线段变换进行特征空间优化的基 本方法，
本 章 知 识 点
8.1 基本概念
已经讨论的问题
是在d维特征空间已经确定的前提下进行的 讨论的分类器设计问题是: 选择什么准则、 使用什么方法,将已确定的d维特征空间划分 成决策域的问题 如何确定合适的特征空间 如何描述每个样本和每个模式
特征提取与选择
T
X
(i ) k
X l( j )
(6-7)
分别用 mi 和 m 表示第 i 类样本的均值向量与总体样本的均值向量，有
mi
1 ni
c
X
k 1
ni
(i) k
(6-8)
m Pm i i
i 1
(6-9)
将式（6-8）和式（6-9）代入式(6-6)，得
c 1 J d ( X ) Pi i 1 ni
第6章
特征提取与选择
模式识别的主要任务是设计分类器，将样本划分为相应的类别，获得好的分类性能。而 前面章节讨论的分类器设计方法， 都是认为样本的特征已经确定， 各类样本都分布在由该特 征所决定的空间内。 因此分类器设计问题是一个使用什么方法， 将已确定的特征空间合理划 分的问题。 分类器设计方法固然重要， 但样本的特征选择与提取也是模式识别系统的一个关 键的问题。 好的特征可以使同类样本的分布更具加紧密， 不同类别样本则在该特征空间中更 加分开，这就为分类器设计奠定了良好的基础。反之，如果不同类别的样本在该特征空间中 混杂在一起， 再好的设计方法也无法提高分类器的准确性。 本章要讨论的问题就是给定训练 样本集，如何设计特征空间的问题。
, X d ) J ij ( X1, X 2 ,
, X d , X d 1 )
在实际应用，有些判据并不一定同时能满足上述四个条件，但并不影响其使用。
6.2.基于距离的可分性判据
基于距离的可分性判据的实质是 Fisher 准则的延伸，即同时考虑样本的类内聚集程度 与类间的离散程度这两个因素。 这种判据对特征空间优化的结果较好地体现类内密集、 类间 分离的目的， 也就是说， 一些不能体现类间分隔开的特征在对特征空间进行优化的过程中很 可能被剔除了。 基于距离度量在几何上具有直观性， 因为一般情况下同类样本在特征空间呈聚类状态， 即从总体上说同类样本由于具有共性，因此类内样本间距离应比类间样本间距离小。Fisher 准则正是以使类间距离尽可能大同时又保持类内距离较小这一思想设计的。 同样在特征选择 与特征提取中也使用类似的思想，称为基于距离的可分性判据。 为了度量类内、类间的距离，也可用另一种描述方法，即描述样本的离散程度的方法。 在讨论 Fisher 准则时曾用过两个描述离散度的矩阵。一个是类间离散矩阵 S b ，即
特征选择与特征提取
模式类别的可分性判据在讨论特征选择和特征压缩之前，我们先要确定一个选择和提取的原则。
对一个原始特征来说，特征选择的方案很多，从N维特征种选择出M个特征共有c M 巳中选法，其中哪一种方案最佳，M !(N _M y则需要有一个原则来进行指导。
同样，特征的压缩实际上是要找到M 个N元函数，N元函数的数量是不可数的，这也要有一个原则来指导找出M个最佳的N元函数。
我们进行特征选择和特征提取的最终目的还是要进行识别，因此应该是以对识别最有利原则，这样的原则我们称为是类别的可分性判据。
用这样的可分性判据可以度量当前特征维数下类别样本的可分性。
可分性越大，对识别越有利，可分性越小，对识别越不利。
人们对的特征的可分性判据研究很多，然而到目前为止还没有取得一个完全满意的结果，没有哪一个判据能够完全度量出类别的可分性。
下面介绍几种常用的判据，我们需要根据实际问题，从中选择出一种。
般来说，我们希望可分性判据满足以下几个条件:1.与识别的错误率由直接的联系，当判据取最大值时，识别的错误率最小；2.当特征独立时有可加性，即：NX N二' J ij X kk 二J ij 是第i 类和第j 类的可分性判据，J ij 越大，两类的可分程度越大，X i ，%,…，X N 为N 维特征； 3. 应具有某种距离的特点：J ij 0，当 i = j 时; J 。
= 0，当 i = j 时;ij Ji y4. 单调性，加入新的特征后，判据不减小：XN，X N 1 。
但是遗憾的是现在所经常使用的各种判据很难满足上述全部条件，只能满足一个或几个条件 基于矩阵形式的可分性判据1. 类内散度矩阵设有M 个类别，J ，…，宀，J 类样本集「X 1 , X 2 , X N, , J 类的散度矩阵定义为:总的类内散度矩阵为:MM1 NiTS w 八 P J S w i八 P -iX k-m iX k -m ii土i mNi k d2. 类间散度矩阵第i 个类别和第j 个类别之间的散度矩阵定义为：S B " =m ■ ii m m J总的类间散度矩阵可以定义为：/ MM, M M1 1S B ■ P 「'〔二 p s B P 'Ji 玄 p 「m - m 1 11^ - m J2 i 4 j ±2 i _ij jS w i二N iX N -J ij X ，X 21k =1M令：m 为总体均值，m P ■ \ m i，则有:i £MTS B 八 P 「”m H 「m ][m 「；-mi丄3. 总体散度矩阵总体散度矩阵可以定义为:S TM其中N 为总的样本数，NN i 。
第八章 特征选择和特征提取
18
特征选择
• 按搜索策略划分的特征选择算法
• 随机搜索策略
将特征选择视为组合优化问题，采用非全局最优搜索方法 把特征选择问题和模拟退火算法、禁忌搜索算法、遗传算 法、或随机重采样过程结合, 以概率推理和采样过程作为算法 基础 遗传算法在这一领域的应用最为广泛
模式识别，第八章
19
特征选择
• 按搜索策略划分的特征选择算法
性能
模式识别，第八章
17
特征选择
• 按搜索策略划分的特征选择算法
• 全局最优搜索策略
“分支定界” 算法：该方法能保证在事先确定优化特征子集 中特征数目的情况下, 找到相对于所设计的可分性判据而言 的最优特征子集。 如何事先确定优化特征子集当中特征的数目？ 当处理高维度多类问题时，算法运算效率低下
模式识别，第八章
100
• 例如, 在利用生物芯片来进行药物设计和癌症诊断时,
其产生的有效特征维数往往在10000左右
• 实际需要选取的优化特征组的特征数量是未知的 • 寻找可行的特征选择算法已逐渐成为国际上研究的热
点
模式识别，第八章
16
特征选择
• 一般来看，特征选择（确定优化的特征子集）需要两
个主要步骤
• 首先，必须确定进行特征搜索所需要的策略 • 其次, 需要确定评价准则来评价所选择的特征子集的
取排在前面的d个特征
•
所得结果在大多数情况下不是最优特征组
模式识别，第八章
14
特征选择
• 从D个特征中选择出d个最优的特征, 在这两个参数都
已知的状况下, 所有可能的组合数为
• 如果D=100， d=10， 则的Q数量级是1013
模式识别，第八章
特征提取与特征选择
特征提取与特征选择
1.特征提取
特征提取，通常称为特征工程，是指从数据集中提取有助于建模、分析过程和预测结果的特征，是机器学习和深度学习的基础，是实现有效机器学习和深度学习模型的关键环节。
特征提取的主要目的是从原始数据中提取出有价值的特征，从而提升模型的精确度。
特征提取的方法主要有：
1）非监督学习：非监督学习通过聚类、主成分分析（PCA）、奇异值分解、独立成分分析（ICA）等方法从原始数据中提取出有价值的特征。
2）监督学习：监督学习可以通过特征选择，递归特征消除（RFE），基于权重的统计特征选择和基于函数的特征选择等方法从原始数据中提取出有价值的特征。
2.特征选择
特征选择是指从原始数据中选择具有预测性的特征，以便提高模型有效性。
特征选择有助于减少过拟合，进而提高模型准确性。
特征选择的方法主要有：
1）特征选择：特征选择可以使用过滤法（Filter），包括单变量统计，相关性，卡方，信息增益等方法，也可以使用包裹法（Wrapper），包括递归特征消除（RFE），贪心，粒子群优化等方法，还可以使用嵌入法（Embedded），包括 L1正则化，L2正则化等方法。
清华大学模式识别课件-08_第八章课件
什么特征具有分类价值？ 什么特征容易提取？ 笔画的多少。 像素的多少。
6
特征的提取
什么特征具有分类价值？ 什么特征有好的稳定性？ 人脸的几何信息稳定吗？ 指纹的端点和分叉点？
7
特征的提取
什么特征具有分类价值？ 获取什么特征代价比较小？ 人脸？指纹？DNA?
8
特征的提取
提取特征的方法
各种数据处理的理论和技术 信号处理，图象处理 生物医学信号处理，雷达信号处理，生物 图象处理
30
Fisher准则
问题：把d维空间的样本投影到一条直线上， 在这条直线上，样本能够最容易的分开。
N : x1 ,, xN
1 : N1个样本构成的样本集, 2 : N 2个样本构成的样本集
N1 N 2 N
31
32
y n w x n , n 1,2, , N i , i 1,2
Hastie T and Tibshirani R. Discriminant adaptive nearest neighbor classification. IEEE Trans. On PAMI, 1996, 18(6):409-415 NIPS ICML
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
基于熵的判据
熵（Entropy）:
Y
Ent(D) pk log2 pk k 1 样本类别确定： ������������ = 1, ������������������ = 0; 样本类别不确定： ������������ < 1, ������������������ > 0;
目标函数
m
min
( yi T xi )2 1
i 1
易获得稀疏解， 是一种嵌入式 特征选择方法
L1 norm
特征选择+特征提取
并行的思路
L1范数比L2范数更易获得稀疏解
m
min
( yi
i 1
T xi )2
2 2
L2 norm
33
嵌入式
34
总结
• 背景 • 特征子集搜索方法
14
基于距离的判据
• 搜索一个特征子集，我们希望 : 样本类内的距离尽可能小 样本类间距离尽可能大
Far away…
Far away…
Class1
Class2
15
基于距离的判据
样本均值向量:
ui
1 Ni
xDi
x,
(i 1, 2)
协方差矩阵:
Si (x ui )(x ui )T , (i 1, 2)
23Βιβλιοθήκη 基于熵的判据香农熵（Shannon Entropy）:
������
������ ������ = − ������(������������|������) log2 ������(������������|������)
������=1
平方熵（Square Entropy）:
���������2��� = ������ ������1 ������ , ������ ������2 ������ , … ������ ������������ ������
基于距离的类可区分性判据 Distance based separation criterion
基于概率分布的类可区分性判据 Probability distributions based separation criterion
基于熵的类可区分性判据 Entropy based separation criterion
8
特征选择
特征：对象所具有的属性 例如: 西瓜{颜色, 根蒂, 敲声, 纹理, 触感…}
根蒂: 蜷缩 敲声: 清脆 纹理: 清晰
有经验瓜农判断：
恩，这是一个好瓜
9
特征选择
相关特征: 和任务相关的属性，且属性之间互相不相关 比如：{根蒂、敲声、纹理} 好而不同
无关特征: 和任务不相关的属性 比如：{颜色、触感…}
空间 • 特征提取是特征工程的一种
37
特征提取的方法
• 线性方法
• Principal Component Analysis (PCA)[Pearson , 1901] • Linear Discriminant Analysis (LDA) [Ronald Fisher , 1936]
[Belhumeur, 1996]
特征选择：从所有的已知属性中选择出和任务相关，且相 互之间不相关的属性
10
特征选择
一般来说，特征选择步骤如下，主要包括子集搜索和子集评 估
原始特 征集合
子集搜索
子集评估
分类器
否
是否满足
是
停止条件
11
目录
• 背景 • 特征选择简介 • 特征子集搜索与子集评估 • 特征提取 • 特征选择与特征提取讨论 • 总结
25
特征选择
过滤式 ：特征选择发生在训练过程之前 （无训练过程）
代表性方法: Relief
包裹式：直接将分类器的性能作为特征选择中的子集评估方法 （无训练过程）
代表性方法: LVW（拉斯维加斯算法）
嵌入式：特征选择和学习器训练同时嵌入到一个优化过程中，特 征选择在学习器训练过程中完成（有训练过程）
分类错误率:
������
=
1
−
1 ������
=
������−1 ������
������������ ������ ������������ ������ = 1 , ������ ������������ ������ = 0, ������ ≠ ������
分类错误率: ������ = 0
熵值可以度量后验概率的分布!
• 非线性方法
• Multidimensional Scaling (MDS) [Torgerson, W.S. et al. ,1958] • Kernel principal component analysis (KPCA) [Scholkopf et al., 1998] • Principal Curves [Hastie, 1989] • Self-Organizing Feature Map (SOM) [Kohonen et al., 1995] • Generative topographic map (GTM) [Bishop et al., 1998] • Manifold Learning：Isomap,LLE,LE……. • ......
类 ������ ������ ������1 条 件 概 率 密 度
分离 ������ ������ ������2
x
Class1
Class2
类条件概率密度曲线
������ ������ ������1
类
条 件
������ ������ ������2
概 率
Class1
密
度
Class2
根据搜索到的特征子集，分析一下两 个类的类条件概率密度曲线分布情况
m
min
( yi
i 1
T xi )2
1
L1 norm
易获得稀疏解， 是一种嵌入式 特征选择方法
26
过滤式
过滤式 ：特征选择发生在训练过程之前
Relief (Relevant Features) [Kira and Rendell, 1992] • 给定‘相关统计量’，度量特征的重要性 • 设置一个阈值t, 如果某一个特征的相关统计量大于阈
其他子集搜索方法：
/heaad/archive/2011/01/02/1924088.html
How Question:
to evaluate the searched feature?
13
子集评估
类可区分性判据(Separation Criterion) 用于评估特征子集的类别 区分性的能力
• 特征提取： 将原始特征通过线性或者非线性组合的方式转化为新的特征表示 For example:������ = σ������������=1 ������������������������ 作用: 降维 特征优化 提升分类性能
7
目录
• 背景 • 特征选择简介 • 特征子集搜索与子集评估 • 特征提取 • 特征选择与特征提取讨论 • 总结
18
基于概率密度的判据
• 满足以上条件的任何函数都可以作为基于概率密 度的类可区分性判据的距离度量!!!
• 概率密度距离的常用函数: 1) 巴氏距离（Bhattacharyya distance） 2) Chernoff 界限（Chernoff bound ） 3) 散度（Divergence）
参考书: 边肇祺《模式识别》第8章
西瓜特征
分类器
(SVM,Beyes,KNN….)
好瓜 坏瓜
原始特征: 西瓜{颜色, 根蒂, 敲声, 纹理, 触感…}
以往研究，是特征固定，研究重点是分类器
4
背景
举例: 对于一个有经验的瓜农，怎么判断西瓜是好还是坏？
特征
结果
颜色：绿色 根蒂：蜷缩 ① 敲声：清脆 纹理：清晰 触感：光滑
好瓜
根蒂：蜷缩 ② 敲声：清脆
值t, 那么就将其加入特征子集 • 特征子集的重要性等于特征子集相关统计量的和
27
包裹式
包裹式：直接将分类器的性能作为特征选择中的子集评 估方法 LVW(Las Vegas Wrapper) 是一种典型的包裹式算法 1）在候选特征集中自由选择特征子集 2）在特征子集表示的数据集上，运行学习算法 3）用分类的错误率来评估特征子集的好坏
12
子集搜索
1) 前向搜索: 依次在候选集合中增加相关特征
Optimal feature:
⇒ ������2 ⟹ ������2, ������4 … . .
子集评估
2) 后向搜索: 在候选集合中，依次去除不相关特征
Optimal feature:
These strategies are greedy, only consider optimization of this round 这些方法是贪心的策略，因为是在上一轮的基础上考虑本轮最优， 所以不一定得到最优特征组合
前向搜索，后向搜索，双向搜索
• 特征子集评估方法
基于距离的判据，基于概率密度的判据，基于熵的判据
• 特征选择的策略
过滤式，包裹式，嵌入式
35
目录
• 背景 • 特征选择介绍 • 特征子集搜索与子集评估 • 特征提取 • 特征选择与特征提取讨论 • 总结
36
特征提取
• 特征提取不同于特征选择 • 特征提取是将原始特征通过组合转换到新的特征
纹理：清晰
好瓜
③ 颜色：绿色
① 相比 ②，部分特征冗余，需要选择特征
5
背景
特征: {根蒂，敲声，