第8章_特征的选择与提取(特征提取) (1)
特征选择和特征提取
在这个例子里，用LLE 进行降维成功的体现了数 据内在的局部分布结构，而用PCA 映射则会将高维空 间里的远点映射到低维空间后变成了近邻点。
四、特征的选择
特征选择:=从原始特征中挑选出一些最有代表性、 分类性能最好的特征进行分类。
从－D典个型特的征组中合选优取化d个问,共题CdCD种Dd 组合。 特征选择的方法大体可分两大类：
u2
x2
u1 x1
主成分是这个椭圆的「长轴」方 向。短轴的方向和长轴垂直，是 「第二个」主成分的方向。变换 后的各分量，它们所包括的信息 量不同，呈逐渐减少趋势。事实 上，第一主分量集中了最大的信 息量，常常占80％以上。第二、 三主分量的信息量依次很快递减， 到了第n分量，信息几乎为零。
从几何意义来看，变换后的主分量空间坐标系与变
➢ 等距映射(Isomap).
J.B. Tenenbaum, V. de Silva, and J. C. Langford. A global geometric framework for nonlinear dimensionality reduction. Science, vol. 290, pp. 2319--2323, 2000.
• LDA的思想: 寻找最能把两类样本分开的投影直线. • LDA的目标: 使投影后两类样本的均值之差与投影
样本的总类散布的比值最大 . • LDA的求解: 经过推导把原问题转化为关于样本集
总类内散布矩阵和总类间散布矩阵的广义特征值 问题.
Best projection direction for classification
y
2 j
E
uTj
xxT
特征的提取和选择
特征的提取和选择
特征提取和选择是机器学习中非常重要的环节，它既可以减少计算量，又可以提高模型的性能。
选择较好的特征可以让模型更加简单，更加容易
和快速的训练出最佳参数，从而使得模型更加精确、效果更好。
一般来说，特征提取和选择有以下几步：
1.特征提取。
特征提取关注的是利用现有特征生成新的特征。
它可以
是特征融合（如结合多个特征生成更强大的特征），也可以是特征变换
（如离散特征变换成连续特征）。
2.无关特征删除。
把没有帮助的特征删除，有助于减少模型的运行时间，提高模型的效果。
3.有关特征选择。
把与目标值有很强关联的特征选择出来，这些特征
被称为有关特征，它们可以帮助模型训练出更好的结果。
4.特征降维。
为了减少特征之间的相关性，减少计算量，与有关特征
相关性比较低的特征可以被删除。
5.特征加权。
调整特征的权重，使得有关特征拥有更大的影响力，从
而帮助模型更好的进行预测。
通过这种特征提取和选择的过程，可以把训练集中拥有相关性比较高
的有用特征保留下来，把没用的特征抛弃，有效的提高模型的性能。
第八章特征提取
23
未知类别样本的K-L变换
特征 提取
常用总体样本的协方差矩阵C=E[(x-μ) (x-μ)T]
进行K-L变换，K-L坐标系U=[u1,u2,...,ud]按照C
的本征值的下降次序选择。
例：设一样本集的协方差矩阵是： C 求最优2x1特征提取器U
19.5
9.5
9.5 7.5
解答：计算特征值及特征向量[V, D]=eig(C);
特征选择(selection) ：从原始特征中挑选出 一些最有代表性、分类性能最好的特征。
特征的选择与提取与具体问题有很大关系， 目前没有理论能给出对任何问题都有效的特 征选择与提取方法。
第八章 特征提取
6
特征的选择与提取举例
引言
细胞图像自动分类：
原始测量：（正常与异常）细胞的数字图像
y = UTx = u1T x = y1
变换的能量损失为
22 1 5.9% 12 22 42 12
第八章 特征提取
22
K-L变换的产生矩阵
特征 提取
数据集KN={xi}的K-L变换的产生矩阵由数据 的二阶统计量决定，即K-L坐标系的基向量为 基于数据x的某种二阶统计量的产生矩阵的 本征向量。
d个本征值对应的本证向量组 成变换矩阵W，就是构造d个
主成分1,...,d的最佳变换。
数据中大部分信息集中在较少的几个主成分上
d
D
i / i
1
1
根据给定的比例，选择适当数目的主成分作为样本的新特征
第八章 特征提取
13
8.4 K-L (Karhunen-Loeve)变换
特征提取：
降低特征维数在很多情况下是有效设计分类器的重要课题。
特征选择和特征提取
特征选择和特征提取特征选择（Feature Selection）和特征提取（Feature Extraction）是机器学习领域中常用的特征降维方法。
在数据预处理阶段，通过选择或提取与目标变量相关且有代表性的特征，可以有效提高模型的性能和泛化能力。
特征选择指的是从原始特征集合中选择一部分最相关的特征子集，剔除无关或冗余的特征，以减少计算成本和模型复杂度。
它可以分为三种类型的方法：过滤方法（Filter Method）、包裹方法（Wrapper Method）和嵌入方法（Embedded Method）。
过滤方法是利用统计或信息论的方法来评估特征与目标变量之间的相关程度，然后根据得分来选择特征。
常见的过滤方法包括互信息（Mutual Information）、方差选择（Variance Selection）和相关系数选择（Correlation Selection）等。
包裹方法是在特征子集上训练模型，通过观察模型性能的变化来评估特征子集的优劣，并选择性能最好的特征子集。
包裹方法的代表性算法有递归特征消除（Recursive Feature Elimination）和遗传算法（Genetic Algorithm）等。
嵌入方法则是将特征选择融入到模型的训练过程中，通过训练模型时的正则化项或特定优化目标来选择特征。
常见的嵌入方法有L1正则化（L1 Regularization）和决策树的特征重要性（Feature Importance of Decision Trees）等。
主成分分析是一种无监督学习方法，通过线性变换将原始特征投影到一组正交的主成分上，使得投影后的特征具有最大的方差。
主成分分析可以降低特征的维度，并保留原始特征的主要信息。
线性判别分析是一种有监督学习方法，通过线性变换找到一个投影方式，使得在投影空间中不同类别的样本更容易区分。
线性判别分析可以有效地提取类别间的差异和类别内的相似性。
因子分析则是一种概率模型，通过考虑变量之间的相关性而提取潜在的共享特征。
特征选择和特征提取
原始测量：（正常与异常）细胞的数字图像 原始特征（特征的形成，找到一组代表细胞性质
的特征）：细胞面积，胞核面积，形状系数，光 密度，核内纹理，核浆比
压缩特征：原始特征的维数仍很高，需压缩以便 于分类
• 特征选择：挑选最有分类信息的特征 • 特征提取：数学变换
– 傅立叶变换或小波变换 – 用PCA方法作特征压缩
– 特征值
对于一个N N的矩阵A，有N个标量k，k 1， N，满足 A k I 0 k 称为矩阵的一组特征值。
如果给定的矩阵是奇异的，那么N个特征值中至
少有一个为0。
矩阵的秩
定义为矩阵非零特征值的个数。
矩阵的条件数 定义为最大特征值与最小特征值
的比值的绝对值。
病态矩阵
条件数很大。
jd1
jd1
因为uj是确定性向量，所以有
u T jE x xT uj u T jR uj
j d 1
j d 1
R r ij E (x ix j) E x x T
求解最小均方误差正交基
特征 提取
用Lagrange乘子法，可以求出满足正交条件下的ε 取极值时 的坐标系统：
特征形成 (acquisition)： 信号获取或测量→原始测量 原始特征
实例： 数字图象中的各像素灰度值 人体的各种生理指标
原始特征分析： 原始测量很大程度上不能反映对象本质
高维原始特征不利于分类器设计：计算量大， 冗余，样本分布十分稀疏。
二、特征的选择与提取
两类提取有效信息、压缩特征空间的方法： 特征提取和特征选择
PCA的求解：特征向量常被叫做“主分量”，每个样 本被它在前几个主分量上的投影近似表示，U张成的空 间称为原空间的子空间，PCA实际上就是在子空间上的 投影.
特征提取与特征选择的区别与联系
特征提取与特征选择的区别与联系在机器学习和数据挖掘领域，特征提取和特征选择是两个重要的概念。
它们在数据预处理和模型构建中起着至关重要的作用。
本文将探讨特征提取与特征选择的区别与联系，并从理论和实践角度进行深入分析。
1. 特征提取的定义与意义首先，我们来看看特征提取的定义与意义。
特征提取是指从原始数据中提取出具有代表性的特征，以便进行后续的数据分析和建模。
在实际应用中，原始数据往往包含大量的冗余信息和噪声，特征提取的目的就是通过某种算法或方法，对原始数据进行转换或映射，得到更加有用和有效的特征表示。
这样可以提高模型的准确性和泛化能力，同时减少计算复杂度和存储空间的消耗。
特征提取的方法有很多种，比如主成分分析（PCA）、独立成分分析（ICA）、线性判别分析（LDA）等。
这些方法都是通过对原始数据进行变换，得到新的特征表示，从而达到降维、去噪或增强特征的目的。
2. 特征选择的定义与意义接下来，我们再来看看特征选择的定义与意义。
特征选择是指从原始特征中选择出最具有代表性和重要性的特征子集，以用于后续的建模和预测。
在实际应用中，原始特征往往包含很多冗余和无关的信息，特征选择的目的就是找出对目标变量影响最大的特征，从而简化模型、提高预测性能和可解释性。
特征选择的方法有很多种，比如过滤式、包裹式和嵌入式等。
过滤式方法是直接对特征进行评估和排序，选择最高分的特征子集；包裹式方法是把特征选择看作一个搜索问题，通过试验不同的特征子集来找到最佳组合；嵌入式方法则是在模型训练过程中，通过正则化或增加惩罚项的方式来选择特征。
3. 特征提取与特征选择的区别特征提取与特征选择虽然都是对原始数据或特征进行处理，但它们在目的和方法上有着明显的区别。
首先，特征提取是通过某种变换或映射，得到新的特征表示，目的是降维、去噪或增强特征；而特征选择是从原始特征中选择出最具有代表性和重要性的特征子集，目的是简化模型、提高预测性能和可解释性。
第八讲 特征提取和特征选择(讲义)
第八讲特征提取和特征选择一、基本概念1、特征的生成（1）原始特征的采集和转换通过对原始特征的信号采集，获得样本的原始表达数据，从原始数据中选择或计算出对分类任务有用的原始特征，并转换成可用的形式原始数据：像素点RGB值矩阵可用的原始特征：轮廓特征颜色特征纹理特征数学特征（2）有效特征的生成目的：降低特征维数，减少信息冗余提升特征的有效性方法：特征提取：提高特征对类别的分辨能力特征选择：寻找对分类最重要的特征 2、 特征提取通过某种变换，将原始特征从高维空间映射到低维空间。
A ：X →Y ； A 为特征提取器，通常是某种正交变换。
最优特征提取：J(A*)=max J(A)， J 是准则函数3、 特征选择从一组特征中挑选出一些最有效的特征，以达到降低特征空间维数的目的。
Dd d i S y y y y F x x x S i d D <=∈→;,...,2,1,},......,,{:},......,,{:2121原始特征集合S 中包含D 个特征，目标特征集合F 中包含d 个特征；最优特征选择：J(F*)=max J(F)， J 是准则函数 4、 准则函数的选取（1） 准则函数的选取原则分类正确率是最佳的特征提取和特征选择准则函数，但难以计算。
实用的类别可分性准则函数应满足以下要求：与分类正确率有单调递增关系当特征独立时具有可加性：∑==dk kijd ij x J x x x J 1)()...21，，，（具有标量测度特性：⎪⎩⎪⎨⎧===≠>ji ij ij ij J J j i J j i J 时，当时，当00对特征具单调性：)...)...12121＋，，，，（，，，（ddijdij xxxxJxxxJ<（2）类内类间距离是各类的先验概率。
，中的样本数，为中的样本数，为），（：值，称为类内类间距离向量之间的距离的平均离，则各类中各特征）为这两个向量间的距，（特征向量，维类中的类及分别为，类，令设一个分类问题共有定义：jijjiinknljlikci jicjjidjlikjijlikPPnnxxnnPPxJxxxxai jωωδδωω∑∑∑∑=====1111121)()()()()()()(Dc.例：∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑================⨯⨯⨯⨯⨯⨯⨯⨯========2121222221311212312121213131111111212121211111221213212123121331211212340602121k l l k k l l k k l l k k l l k n k n l j l i k i ji j jid n k n l j l i k c i ji cj jid x xP P x xP P x x P P x x P P x x n n P P x J n n P P c x x n n P P x J ijij），（＋），（＋），（＋），（），（），（)()()()()()()()()()()()()(,,.,.,)(δδδδδδ对于随机性统计分类，类内类间距离和分类错误率不相关 b.类内类间距离的分解()()()()()()()()m m m mn P m xm xn P m m m m m x m x n P x J mP m m x m i m x x x x x x i Tici ii n k i i kTii kic i in k i Ti i i kTii kici i d ci ii n k i k n i i j l i k j l i k j l i k iiii--+--=⎥⎥⎦⎤⎢⎢⎣⎡--+--===∑∑∑∑∑∑∑=======11111111111)()()()()()()(T )()()()( )( : 则总均值向量：表示所有各类样本集的用类样本集的均值向量表示第用）－（）－）＝（，（则有的距离，度量两个特征向量之间如采用均方欧氏距离来δ()()()()()bw b w b w d Ti ic i ib n k Tii kii kici iw J J S tr S tr S S tr x J m m m mP S m x m x n P S i+=+=+=--=--=∑∑∑===)()( )( )()(则间离散度矩阵分别为令类内离散度矩阵和类1111Jw 称为类内平均距离，Jb 称为是类间平均距离从类别可分性的要求来看，希望Jw 尽可能小， Jb 尽可能大 （3） 概率距离类间的概率距离可用分布函数之间的距离来度量完全可分：若p(x|ω1) ≠0时， p(x|ω2)＝0；完全不可分：对任意x ，都有 p(x|ω1) ＝ p(x|ω2)；性的概率距离度量则可作为两类之间可分；为、当两类完全不可分是取得最大值；、当两类完全可分时；、满足以下条件：若任何函数0c b 0a ],),|(),|([)(p p p p J J J dx P P x p x p g J ≥=∙⎰2121ωω二、 使用类内类间距离进行特征提取1、 准则函数的构造：类内类间距离为：Jd=Jw+Jb ＝tr （Sw ＋Sb)其中Jw 是类内平均距离，Jb 是类间平均距离通常给定一个训练集后，Jd 是固定的，在特征提取时，需要加大Jb ，减小Jw ，来获得满意的分类效果。
特征选择与特征提取
第五章 特征选择与特征提取5.1 问题的提出前面主要介绍的是各种分类器的设计方法，实际上我们已经完全可以解决模式识别的问题了。
然而在实际应用中，在分类器设计之前，往往需要对抽取出的特征进行一下处理，争取尽量减小特征的维数。
在实践中我们发现，特征的维数越大，分类器设计的难度也越大，一维特征的识别问题最容易解决，我们只要找到一个阈值t ，大于t 的为一类，小于t 的为一类。
同时特征维数越大，要求的训练样本数量越多，例如在一维的情况下，10个训练样本就可以比较好的代表一个类别了，而在10维空间中，10个训练样本则是远远不够的。
这一章中我们就来介绍一下减小特征维数的方法。
一般来说模式识别系统的输入是传感器对实物或过程进行测量所得到的一些数据，其中有一些数据直接可以作为特征，有一些数据经过处理之后可以作为特征，这样的一组特征一般称为原始特征。
在原始特征中并不一定每个特征都是有用的，比如在识别苹果和橙子的系统中，我们可以抽取出的特征很多，（体积，重量，颜色，高度，宽度，最宽处高度），同样还有可能抽取出其它更多的特征。
在这些特征中对分类有用的是（颜色，高度，最宽处高度），其它特征对识别意义不大，应该去除掉。
这样的过程称为是特征选择，也可以称为是特征压缩。
特征选择可以描述成这样一个过程，原始特征为N 维特征()12,,,TN x x x =X ，从中选择出M 个特征构成新的特征矢量()11,,,MTi i i Y x x x =，M N <。
同时，特征矢量的每一个分量并不一定是独立的，它们之间可能具有一定的相关性，比如说高度和最宽处的高度，高度值越大，最宽处的高度值也越大，它们之间具有相关性，我们可以通过一定的变换消除掉这种相关性，比如取一个比值：最宽处的高度/高度。
这样的过程称为特征提取。
特征提取可以描述为这样一个过程，对特征矢量()12,,,TN x x x =X 施行变换：()i i y h =X ，1,2,,i M =，M N <，产生出降维的特征矢量()12,,,TM Y y y y =。
特征选择提取
特征选择与提取特征的选取是模式识别的基础、关键。
特征选择的好坏将直接影响到分类器设计的好坏。
故从原特征的形成，到特征提取和特征选择，每一步骤都显得尤为重要。
同时特征的选取它也是模式识别的难点，如何获取如何获得在追求最优解的同时代价（计算量或时间）却最小的方法。
一、原特征选择的依据在运用模式识别进行分类器设计之前，毫无疑问，首先要进行广泛采集能够反映研究对象的状态、本质及性质等特征。
比如，就如大家平时的讲话当中，充斥着许多描述性情节，就需从怎样描述其对象才能让大家认知，找出一大堆的描述词来对能反映的特征进行修饰。
就像两个同学在分开多年以后再次遇到，其中的一个人想向另一个人打听一个不在场的同学现况，但是可能由于心奋突然一时之间想不起他的名字，这是他就会向对方提供一堆信息，比如曾用过的绰号、相貌、体型、走路的体态及说话的方式等等。
这些就是泛泛的原特征，可能描述者稍加思索就可以从中找出几个甚至一个关键特征能够让对方明白他讲的是谁。
比如当听者收到“当时班里男生里面个子最高的（班里最高的比其他人高都的很明显，）”或“班里最漂亮的女生（班里其他女生都惨不忍睹）”这样的话时，他就知道说的是谁了。
而其它的许多特征也在描述中起到了一定的作用，一定数量的特征也可能是对方判定。
故原特征选定的好坏对于整个分类器的设计过程起到了第一个瓶颈。
原特征的选定应分两种情况：一种是特征之间主次很明显。
向上面例子中讲的那样设计（描述）对象的特征对于设计者来说，已经比较清楚，哪个特征是最主要特征，最能反映事物的，哪个次之，哪个再次之，排序很明显，没有犯难的。
这时原特征选定就比较简单，只需根据“专家知识”就能定特征。
一种是特征之间的主次不明显，哪个重要哪个不重要让人犹豫不决，这时的原特征不能依赖于“专家知识”来定特征，而应该对犹豫不决的特征都收集起来，交给下个环节运用数学方法进行海选。
同样，上例当中的听者收到“当时班里男生里面个子最高的（但是那时班里个子高的有好几个，而且都差不多）”或“班里最漂亮的女生（班里其他女生都个个漂亮）”的话时却因满足条件的太多了，难以产生联想。
特征的选择与提取特征提取
而Shannon信息论定义得熵就可以用来对可分 类性作出评价
故这方面可分性判据得定义称之为基于熵函数 得可分性判据
基于熵函数得可分性判据
基于熵函数得可分性判据
分析
如果对某些特征,各类后验概率都相等,即 此时
例如
对原特征空间实行一D×D线性变换A 令Sw, Sb为原空间离散度矩阵 S*w, S*b为映射后得离散度矩阵,则:
S*b= A Sb AT S*w= A Sw AT 经变换后得J2变为: J2*(A)=tr[(A Sw AT)-1 A Sb AT] =tr[(AT )-1 Sw-1Sb AT]=tr[Sw-1Sb]=J2(A)
比如先进特征提取,然后再进一步选择其中一部 分,或反过来。
8、2 类别可分离性判据
为什么需要类别可分离性判据
特征选择与特征提取得任务就是求出一组 对分类最有效得特征
所谓有效就是指在特征维数减少到同等水 平时,其分类性能最佳
因此需要有定量分析比较得方法, 判断所得 到得特征维数及所使用特征就是否对分类 最有利
类别可分离性判据
类别可分离性判据得种类
基于距离度量得可分性判据 基于概率分布得可分性判据等
8、2、1基于距离得可分性判 据
基于距离得可分性判据
基于距离度量就是人们常用来进行分类得重要依据
一般情况下同类物体在特征空间呈聚类状态,即从总体上说 同类物体内各样本由于具有共性
因此类内样本间距离应比跨类样本间距离小
另一个重要问题
如何确定合适得特征空间 如何描述每个样本和每个模式
基本概念
大家应该也有点累了，稍作休息
大家有疑问的，可以询问和交流
清华大学模式识别课件-08_第8章特征提取和特征选择教材
8.1.1. 一些基本概念
在一些书籍和文献中，使用“特征提取” ， “特征选择”等术语时的含义不完全相同。 例如， “特征提取”在有的文献中专指特征的形成过程，有的则指从形成、经选择或变换直 到得出有效特征这一全过程。在实际应用中，通过对对象进行测量，可以得到对象的一种描 述，即用测量空间中的一个点来代表这个对象。例如，通过摄像机可以把一个物体转换为一 个二维灰度阵列，即一幅图像。在一些识别任务中，不直接在测量空间中进行分类器设计。 这一方面是因为测量空间的维数很高(一个 256×256 灰度图像相当于 256×256 维测量空间 中的一个点)，不适宜于分类器的设计。更重要的是这样一种描述并不能直接反映对象的本 质，并且它随摄像机位置、光照等因素的变化而变化。因此为了进行分类器设计，需要把图 像从测量空间变换到维数大大减少的特征空间， 被研究的图像或现象在这个特征空间中就由 一个特征向量来表示。 实际上这样一种变换常常分成几个步骤进行，因此在一些文献中还采用特征提取和特 征选择这样的术语。为了方便起见，我们对几个常用的有关名词作些说明。 特征形成：根据被识别的对象产生出一组基本特征，它可以是计算出来的(当识别对象 是波形或数字图像时)，也可以是用仪表或传感器测量出来的(当识别对象是实物或某种过程 时)，这样产生出来的特征叫做原始特征，有些书中用原始测量(或一次测量，或观察)这一名 词，我们认为在很多情况下有些原始测量就可以作为原始特征，而有些情况则不然，例如识 别对象是数字图像时，原始测量就是各点灰度值，但有时候我们不用各点灰度作为特征，而 是需要经过计算产生一组原始特征。 特征提取：原始特征的数量可能很大，或者说样本是处于一个高维空间中，通过映射 (或变换)的方法可以用低维空间来表示样本，这个过程叫特征提取。映射后的特征叫二次特 征， 它们是原始特征的某种组合(通常是线性组合)。 所谓特征提取在广义上就是指一种变换。 若 Y 是测量空间，X 是特征空间，则变换 A：Y→X 就叫做特征提取器。 特征选择：从一组特征中挑选出一些最有效的特征以达到降低特征空间维数的目的， 这个过程叫特征选择。 以细胞自动识别为例，通过图像输入得到一批包括正常及异常细胞的数字图像，我们 的任务是根据这些图像区分哪些细胞是正常的， 哪些是异常的。 首先要找出一组能代表细胞 性质的特征。为此可以计算细胞总面积、总光密度、胞核面积、核浆比、细胞形状、核内纹 理等，这样可得到很多原始特征，这一过程就是特征的形成。这样产生出来的原始特征可能 很多(例如几十甚至几百个)，或者说原始特征空间维数很高，需要压缩维数以便分类。一种 方式是用变换的方法把原始特征变换为较少的新特征， 这就是特征提取。 另一种方式就是从 原始特征中去挑选出一些最有代表性的特征来， 这就是特征选择。 最简单的特征选择方法是
特征提取与选择
T
X
(i ) k
X l( j )
(6-7)
分别用 mi 和 m 表示第 i 类样本的均值向量与总体样本的均值向量，有
mi
1 ni
c
X
k 1
ni
(i) k
(6-8)
m Pm i i
i 1
(6-9)
将式（6-8）和式（6-9）代入式(6-6)，得
c 1 J d ( X ) Pi i 1 ni
第6章
特征提取与选择
模式识别的主要任务是设计分类器，将样本划分为相应的类别，获得好的分类性能。而 前面章节讨论的分类器设计方法， 都是认为样本的特征已经确定， 各类样本都分布在由该特 征所决定的空间内。 因此分类器设计问题是一个使用什么方法， 将已确定的特征空间合理划 分的问题。 分类器设计方法固然重要， 但样本的特征选择与提取也是模式识别系统的一个关 键的问题。 好的特征可以使同类样本的分布更具加紧密， 不同类别样本则在该特征空间中更 加分开，这就为分类器设计奠定了良好的基础。反之，如果不同类别的样本在该特征空间中 混杂在一起， 再好的设计方法也无法提高分类器的准确性。 本章要讨论的问题就是给定训练 样本集，如何设计特征空间的问题。
, X d ) J ij ( X1, X 2 ,
, X d , X d 1 )
在实际应用，有些判据并不一定同时能满足上述四个条件，但并不影响其使用。
6.2.基于距离的可分性判据
基于距离的可分性判据的实质是 Fisher 准则的延伸，即同时考虑样本的类内聚集程度 与类间的离散程度这两个因素。 这种判据对特征空间优化的结果较好地体现类内密集、 类间 分离的目的， 也就是说， 一些不能体现类间分隔开的特征在对特征空间进行优化的过程中很 可能被剔除了。 基于距离度量在几何上具有直观性， 因为一般情况下同类样本在特征空间呈聚类状态， 即从总体上说同类样本由于具有共性，因此类内样本间距离应比类间样本间距离小。Fisher 准则正是以使类间距离尽可能大同时又保持类内距离较小这一思想设计的。 同样在特征选择 与特征提取中也使用类似的思想，称为基于距离的可分性判据。 为了度量类内、类间的距离，也可用另一种描述方法，即描述样本的离散程度的方法。 在讨论 Fisher 准则时曾用过两个描述离散度的矩阵。一个是类间离散矩阵 S b ，即
第八章 特征选择和特征提取
18
特征选择
• 按搜索策略划分的特征选择算法
• 随机搜索策略
将特征选择视为组合优化问题，采用非全局最优搜索方法 把特征选择问题和模拟退火算法、禁忌搜索算法、遗传算 法、或随机重采样过程结合, 以概率推理和采样过程作为算法 基础 遗传算法在这一领域的应用最为广泛
模式识别，第八章
19
特征选择
• 按搜索策略划分的特征选择算法
性能
模式识别，第八章
17
特征选择
• 按搜索策略划分的特征选择算法
• 全局最优搜索策略
“分支定界” 算法：该方法能保证在事先确定优化特征子集 中特征数目的情况下, 找到相对于所设计的可分性判据而言 的最优特征子集。 如何事先确定优化特征子集当中特征的数目？ 当处理高维度多类问题时，算法运算效率低下
模式识别，第八章
100
• 例如, 在利用生物芯片来进行药物设计和癌症诊断时,
其产生的有效特征维数往往在10000左右
• 实际需要选取的优化特征组的特征数量是未知的 • 寻找可行的特征选择算法已逐渐成为国际上研究的热
点
模式识别，第八章
16
特征选择
• 一般来看，特征选择（确定优化的特征子集）需要两
个主要步骤
• 首先，必须确定进行特征搜索所需要的策略 • 其次, 需要确定评价准则来评价所选择的特征子集的
取排在前面的d个特征
•
所得结果在大多数情况下不是最优特征组
模式识别，第八章
14
特征选择
• 从D个特征中选择出d个最优的特征, 在这两个参数都
已知的状况下, 所有可能的组合数为
• 如果D=100， d=10， 则的Q数量级是1013
模式识别，第八章
遥感技术应用介绍课件之特征提取与选择
3
重要性：特征提取与选择是遥感技 术应用的关键步骤，直接影响到后
续处理和分析的准确性和效率
4
应用领域：特征提取与选择广泛应 用于遥感图像分类、目标识别、变
化检测等领域
特征提取与选择的作用
提高遥感图像的 定量分析能力 6
支持遥感图像的 智能化处理 5 增强遥感图像的 可视化效果 4
提高遥感图像分 1 类的准确性
度提升 （Gradient Boosting）等
特征提取与选择的具体步骤
数据预处理
遥感图像的获 取与预处理
遥感图像的辐 射校正
遥感图像的几 何校正
遥感图像的融 合与分类
特征提取与选 择的具体步骤
特征提取与选 择的结果分析
特征提取与选 择的应用实例
特征提取与选 择的发展趋势
特征提取
确定研究目标：明确需要提取 的特征类型和目的
降低遥感图像处 2 理的复杂性 提高遥感图像分 3 析的效率
特征提取与选择的方法
基于统计的方法： 如主成分分析 （PCA）、线 性判别分析 （LDA）等
基于几何的方法： 如局部线性嵌入 （LLE）、等距 映射（Isomap）
等
基于深度学习的 方法：如卷积神
经网络 （CNN）、自
编码器 （Autoencode
遥感技术可以获取地球表面的各种信 息，如地形地貌、植被覆盖、水资源 分布等。
遥感技术广泛应用于资源调查、环境 监测、灾害预警、城市规划等领域。
遥感技术具有快速、准确、大范围、 全天候等优点，是现代地球科学研究 和资源管理的重要手段。
遥感技术的应用领域
资源勘探：如矿产、 石油、天然气等资 源的勘探和开发
遥感技术应用介绍课件之特征提取 与选择
数据科学中的特征选择与特征提取方法探究
数据科学中的特征选择与特征提取方法探究特征选择与特征提取是数据科学中的重要步骤，它们对于机器学习模型的性能和效果起着至关重要的作用。
在本文中，我们将深入探讨特征选择与特征提取的方法，包括它们的定义、原理、应用场景和常见算法。
我们将重点介绍递归特征消除、主成分分析、线性判别分析等经典的特征选择和提取方法，并分析它们的优缺点以及适用的情况。
最后，我们还将介绍一些新兴的特征选择与提取方法，以及未来的发展趋势。
一、特征选择与特征提取的定义及意义特征选择与特征提取都是指将原始的特征数据进行处理，提取出其中最具代表性的特征，以便于构建更加精确的机器学习模型。
特征选择是指从原始特征中选择出最有效、最相关的特征，剔除掉噪声或不相关的特征，以提高模型的精度和泛化能力。
而特征提取则是指通过某种数学变换，将原始特征转化为一组新的特征，这些新的特征通常包含了原始特征中的大部分信息，但是具有更好的可分性。
特征选择与特征提取在数据科学中具有重要的意义。
首先，它可以提高模型的计算效率。
原始的特征数据通常包含了大量的噪声和冗余信息，特征选择与提取可以减少模型的维度，提高计算效率。
其次，它可以提高模型的泛化能力。
过多的特征会导致过拟合，特征选择可以避免这种情况的发生。
特征提取则可以提高特征的可分性，使模型更容易捕捉到数据的本质特征。
最后，它可以提高模型的解释性。
经过特征选择与提取后的特征更具代表性，可以更好地解释数据。
二、特征选择的方法1. Filter方法Filter方法是通过对每个特征进行单独的统计检验，然后根据统计指标进行特征排序，选取排名靠前的特征。
常用的统计指标包括卡方检验、互信息、相关系数等。
Filter方法简单高效，计算速度快，但是它忽略了特征之间的关联性，可能选取出相关性较弱的特征。
2. Wrapper方法Wrapper方法是利用训练好的机器学习模型来评估特征的重要性，然后根据其重要性进行特征选择。
常用的Wrapper方法包括递归特征消除、正向选择和反向选择等。
第八章 特征提取
第八章特征表示与描述图像分析系统的构成特征表示与描述特征表示与描述的基本概念表示法设计边界描述子关系描述子特征表示与描述的基本概念基本概念特征表示与描述的定义：把图像分割后，为了进一步的处理，分割后的图像一般要进行形式化的表达和描述解决形式化表达问题一般有两种选择：1）根据区域的外部特征来进行形式化表示2）根据区域的内部特征（比较区域内部的象素值）来来进行形式化表示特征表示与描述的基本概念基本概念外部特征来进行形式化表示举例：特征表示与描述的基本概念基本概念选择表达方式，要本着使数据变得更有利于下一步的计算工作。
下一步工作是基于所选的表达方式描述这个区域，一般情况下：1）如果关注的焦点是形状特性，选择外部表示方式2）如果关注的焦点是反射率特性，如颜色、纹理时，选择内部表示方式3）所选表示方式，应该对尺寸、变换、旋转等变量尽可能的不敏感特征表示与描述:表示法设计表示法设计链码多边形逼近外形特征边界分段区域骨架特征表示与描述:表示法设计 链码定义：1）链码是一种边界的编码表示法。
2）用边界的方向作为编码依据。
为简化边界的描述。
一般描述的是边界点集。
0123014672354-链码8-链码特征表示与描述:表示法设计4-链码：000033333322222211110011特征表示与描述:表示法设计链码算法：给每一个线段边界一个方向编码。
有4-链码和8-链码两种编码方法。
从起点开始，沿边界编码，至起点被重新碰到，结束一个对象的编码。
特征表示与描述:表示法设计链码问题1：1）链码相当长。
2）噪音会产生不必要的链码。
改进1：1）加大网格空间。
2）依据原始边界与结果的接近程度，来确定新点的位置。
特征表示与描述:表示法设计链码举例：4-链码：003332221101特征表示与描述:表示法设计链码问题2：1）由于起点的不同，造成编码的不同2）由于角度的不同，造成编码的不同 改进2：1）从固定位置作为起点(最左最上)开始编码2）通过使用链码的首差代替码子本身的方式特征表示与描述:表示法设计链码循环首差链码：用相邻链码的差代替链码例如：4-链码10103322 循环首差为：33133030循环首差：1 -2 = -1(3) 3 -0 = 30 -1 = -1(3) 3 -3 = 01 -0 = 12 -3 = -1(3)0 -1 = -1(3) 2 -2 = 0特征表示与描述:表示法设计链码应用背景：如果边界的本身对于旋转和比例修改来说是无变化的，使用链码才是正确的。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
基于距离的可分性判据
基于距离的可分性判据
如果推广至c类别情况
其中 为所有样本的总均值向量，Pi表示各类别 的先验概率，Ei表示i类的期望符号。
基于距离的可分性判据
1 计算特征向量间平均距离的判据
该式可写成
在欧氏距离情况下有
基于距离的可分性判据
1 计算特征向量间平均距离的判据
利用均值向量 与总均值向量 ，有
基于熵函数的可分性判据
基于熵函数的可分性判据
熵
为了衡量后验概率分布的集中程度，可以借助于 信息论中熵的概念，制订定量指标。 Shannon熵为
另一常用的平方熵
基于熵函数的可分性判据
基于熵函数的可分性判据
两者共性
1.熵为正且对称
即函数式内项的次序可以变换不影响熵的值；
2.如 3.对任意的概率分布
模式识别
徐蔚然 北京邮电大学信息工程学院
学习指南
前面章节讨论的问题
主要讨论模式识别的重要概念
贝叶斯分类器、线性分类器、非线性分类器、 KNN等 在d维特征空间已经确定的前提下，讨论分类方 法与分类器设计 即：对要分类的样本怎样描述这个问题是已经确 定的
设计分类器时的讨论问题
学习指南
类别可分离性判据
类别可分离性判据的种类
基于距离度量的可分性判据 基于概率分布的可分性判据等
8.2.1基于距离的可分性判据
基于距离的可分性判据
基于距离度量是人们常用来进行分类的重要依据
一般情况下同类物体在特征空间呈聚类状态，即从总体上 说同类物体内各样本由于具有共性 因此类内样本间距离应比跨类样本间距离小
Fisher准则正是以使类间距离尽可能大同时又保持 类内距离较小这一种原理为基础的 同样在特征选择与特征提取中也使用类似的原理， 这一类被称为基于距离的可分性判据。
基于距离的可分性判据
基于距离的可分性判据
在讨论Fisher准则时曾用过两个描述离散度 的矩阵
一个是类间离散矩阵Sb 另一个是类内离散度矩阵SW SW＝S1+S2
基本概念
三个不同的层次描述
3.特征空间的优化
这个层次的工作发生在已有了特征的描述方法 之后，也就是已有了一个初始的特征空间 ，如 何对它进行改造与优化的问题 所谓优化是要求既降低特征的维数，又能提高 分类器的性能 ，这就是本章着重讨论的问题 这里讨论的是一些不同模式识别系统中具有共 性的问题，特征选择与特征提取
基本概念
例 用RGB颜色空间和HSI颜色空间
RGB和HSI是两种常用的颜色空间， 虽然它们描述颜色的范围是一样的， 也有确定的转换关系， 但是用这两种不同的特征描述图像， 对以后的识别工作会有很大影响
基本概念
基本概念
特征选择和特征提取
对特征空间进行优化有两种基本方法
一种为特征选择， 一种为特征提取 特征选择: 删掉部分特征 特征提取:通过一种映射，也就是说新的每一个 特征是原有特征的一个函数
基本概念
特征选择和特征提取
两者区别
因此这两种降维的基本方法是不同的。 在实际应用中可将两者结合起来使用， 比如先进特征提取，然后再进一步选择其中一部 分，或反过来。
8.2 类别可分离性判据
为什么需要类别可分离性判据
特征选择与特征提取的任务是求出一组对 分类最有效的特征 所谓有效是指在特征维数减少到同等水平 时，其分类性能最佳 因此需要有定量分析比较的方法, 判断所得 到的特征维数及所使用特征是否对分类最 有利 这种用以定量检验分类性能的准则称为 类别可分离性判据
8.3 特征提取
按欧氏距离度量的特征提取方法 按概率距离判据提取特征 特征提取方法小结
8.3.1按欧氏距离度量的特征提取 方法
按欧氏距离度量的特征提取方法
基于距离可分性判据的特征优化过程是通过 一个线性变换实现 特征提取在这里意味着找到一个线性变换W , 对原始特征向量Y=[y1,…，yD]T实行映射变 换W：Y→X，得到维数减少的向量X = [x1,…，xd]T，即
学习指南
降维主要有两种途径
对特征空间的改造、优化、主要的目的是降 维，即把维数高的特征空间改成维数低的特 征空间 ，降维主要有两种途径 特征的选择: 一种是删选掉一些次要的特征
问题在于如何确定特征的重要性，以及如何删选
特征的提取:另一种方法是使用变换的手段， 在这里主要限定在线性变换的方法上，通过 变换来实现降维
本章重点
1．弄清对特征空间进行优化的含义 2．对特征空间进行优化的两种基本方 法——特征选择与特征的组合优化 3．对特征空间进行优化的一些常用判据 4．利用线段变换进行特征空间优化的基 本方法，
本 章 知 识 点
8.1 基本概念
已经讨论的问题
是在d维特征空间已经确定的前提下进行的 讨论的分类器设计问题是: 选择什么准则、 使用什么方法,将已确定的d维特征空间划分 成决策域的问题 如何确定合适的特征空间 如何描述每个样本和每个模式
分析
如果对某些特征，各类后验概率都相等，即 此时 这也就是错误率最大的情况。
基于熵函数的可分性判据
基于熵函数的可分性判据
分析
考虑另一极端，假设能有一组特征使得
那末此时的X肯定可划分为ω i ，而错误率为零 由此可看出，后验概率越集中，错误概率就越小 反之后验概率分布越平缓，即接近均匀分布，则分 类错误概率就越大
我们知道一个样本不同类的后验概率是贝叶斯 决策的依据 因此在特征空间的任何一点，如果它对不同类 别的后验概率差别很大，则为分类提供了很明 确的信息 而Shannon信息论定义的熵就可以用来对可分 类性作出评价 故这方面可分性判据的定义称之为基于熵函数 的可分性判据
基于熵函数的可分性判据
基于熵函数的可分性判据
W为D×d矩阵
按欧氏距离度量的特征提取方法
欧氏距离的判据
按欧氏距离度量的特征提取方法
利用W（D×d矩阵）线形变换后，希望 变换后的特征向量能满足使某个准则函 数达到极值的要求 使用J2判据进行特征提取 注意 ：如果对特征空间实行一个D×D矩 阵的非奇异线性变换， J2保持不变
按欧氏距离度量的特征提取方法
基于距离的可分性判据
2 考虑类内类间欧氏距离的其它判据
判据Jd(X)是计算特征向量的总平均距离 以下一些判据则基于使类间离散度尽量大， 类内离散度尽量小的考虑而提出：
8.2.2 基于概率分布的可分性判据
基于概率分布的可分性判据
上一节讨论的是样本在特征空间的分布距 离作为特征提取的依据。
Bhattacharyya距离的定义用下式表示
Chernoff界限的定义与其相似，为
因此JB是JC的一个特例
基于概率分布的可分性判据
一些常用的概率距离度量
散度
另一种常用的基于概率距离度量的判据是利用似 然比或对数似然比。
对两类问题，其对数似然比为 如果对某个X， ，则 ,
反之若两者差异越大，则
两者区别
基本概念
特征选择和特征提取
两者区别
假设已有D维特征向量空间，
特征选择: 样本由d维的特征向量描述： d＜D
由于X只是Y的一个子集，因此每个分量xi必然 能在原特征集中找到其对应的描述量xi＝yj基本源自念特征选择和特征提取
两者区别
假设已有D维特征向量空间，
特征提取 : 找到一个映射关系： A:Y→X 使新样本特征描述维数比原维数降低。其中每个分 量xi是原特征向量各分量的函数，即
类别可分离性判据
为什么需要类别可分离性判据
一般说来分类器最基本的性能评估是其分类的错 误率
如果能用反映错误率大小的准则，在理论上是最合适的
对错误率的计算是极其复杂的，以至于很难构筑 直接基于错误率的判据 为此人们设法从另一些更直观的方法出发，设计 出一些准则，用来检验不同的特征组合对分类性 能好坏的影响，甚至用来导出特征选择与特征提 取的方法 这些准则就是类别可分离性判据
它要经过加工、处理才能得到对模式分类更加有用的 信号
基本概念
三个不同的层次描述
2．描述事物方法的选择与设计
在得到了原始信息之后，要对它进一步加工， 以获取对分类最有效的信息 这部分信息必须对原始信息进行加工，而设计 所要信息的形式是十分关键的
例如:对阿拉伯数字的识别可以提出各种不同的想法 * 分析从框架的左边框到数字之间的距离变化反映 了不同数字的不同形状，这可以用来作为数字分类的 依据 * 强调分析不同截面的信号，如在框架的若干部位 沿不同方向截取截面分析从背景到字，以及从字到背 景转换的情况
该种原理直观，计算简便。 但是这种原理没有考虑概率分布，因此当不同 类样本中有部分在特征空间中交迭分布时，简 单地按距离划分，无法表明与错误概率之间的 联系。
基于概率分布的可分性判据则依据如下观 察到的现象。
8.2.2 基于概率分布的可分性判 据
基于概率分布的可分性判据