第8章 特征的选择与提取(特征选择)
模式识别讲义-特征提取和特征选择
完全可分：若p(x|ω1) ≠0时， p(x|ω2)＝0；
完全不可分：对任意x，都有 p(x|ω1) ＝ p(x|ω2)；
二、距离
（2）概率距离
若任何函数Jp g[ p(x | 1), p(x | 2), P1, P2]dx满足以下条件：
a、Jp 0； b、当两类完全可分时 Jp取得最大值； c、当两类完全不可分是 Jp为0；
总错误率P(e) P(x R2 1) P(x R3 1) ... P(x RM 1)P(1) P(x R1 2 ) P(x R3 2 ) ... P(x RM 2 )P(2 ) ... P(x R1 M ) P(x R2 M ) ... P(x RM 1 M )P(M )
X
p(x | j)
Xp(x | i)来自 [ p(x | i) p(x | j）]ln p(x | i) dx
X
p(x | j)
三、特征提取算法
1、使用类内类间距离进行特征提取类内类间距离
Jd=Jw+Jb＝tr（Sw＋Sb)
其中Jw是类内平均距离，Jb是类间平均距离 通常给定一个训练集后，Jd是固定的，因此，在特征
模式识别 第八讲 特征选择与特征提取
回顾：
贝叶斯分类的原理 最小错误率贝叶斯分类 最小风险贝叶斯分类 最大似然比贝叶斯分类 正态分布情况下的贝叶斯分类
分类器的错误率
1、分类器的错误率
•错误率是评价一个分类器的重要指标 •错误率受分类决策方法、训练集、测试集和偶然因 素的影响 •分类错误是一个概率事件，错误率应由概率方式表 达
各特征向量之间的距离 的平均值，称为类内类 间距离：
c
第八章-特征选择与提取
基于熵的判据
熵（Entropy）:
Y
Ent(D) pk log2 pk k 1 样本类别确定： ������������ = 1, ������������������ = 0; 样本类别不确定： ������������ < 1, ������������������ > 0;
目标函数
m
min
( yi T xi )2 1
i 1
易获得稀疏解， 是一种嵌入式 特征选择方法
L1 norm
特征选择+特征提取
并行的思路
L1范数比L2范数更易获得稀疏解
m
min
( yi
i 1
T xi )2
2 2
L2 norm
33
嵌入式
34
总结
• 背景 • 特征子集搜索方法
14
基于距离的判据
• 搜索一个特征子集，我们希望 : 样本类内的距离尽可能小 样本类间距离尽可能大
Far away…
Far away…
Class1
Class2
15
基于距离的判据
样本均值向量:
ui
1 Ni
xDi
x,
(i 1, 2)
协方差矩阵:
Si (x ui )(x ui )T , (i 1, 2)
23Βιβλιοθήκη 基于熵的判据香农熵（Shannon Entropy）:
������
������ ������ = − ������(������������|������) log2 ������(������������|������)
������=1
第八章特征提取
23
未知类别样本的K-L变换
特征 提取
常用总体样本的协方差矩阵C=E[(x-μ) (x-μ)T]
进行K-L变换，K-L坐标系U=[u1,u2,...,ud]按照C
的本征值的下降次序选择。
例：设一样本集的协方差矩阵是： C 求最优2x1特征提取器U
19.5
9.5
9.5 7.5
解答：计算特征值及特征向量[V, D]=eig(C);
特征选择(selection) ：从原始特征中挑选出 一些最有代表性、分类性能最好的特征。
特征的选择与提取与具体问题有很大关系， 目前没有理论能给出对任何问题都有效的特 征选择与提取方法。
第八章 特征提取
6
特征的选择与提取举例
引言
细胞图像自动分类：
原始测量：（正常与异常）细胞的数字图像
y = UTx = u1T x = y1
变换的能量损失为
22 1 5.9% 12 22 42 12
第八章 特征提取
22
K-L变换的产生矩阵
特征 提取
数据集KN={xi}的K-L变换的产生矩阵由数据 的二阶统计量决定，即K-L坐标系的基向量为 基于数据x的某种二阶统计量的产生矩阵的 本征向量。
d个本征值对应的本证向量组 成变换矩阵W，就是构造d个
主成分1,...,d的最佳变换。
数据中大部分信息集中在较少的几个主成分上
d
D
i / i
1
1
根据给定的比例，选择适当数目的主成分作为样本的新特征
第八章 特征提取
13
8.4 K-L (Karhunen-Loeve)变换
特征提取：
降低特征维数在很多情况下是有效设计分类器的重要课题。
《模式识别》PPT课件
有两个极端的特征选择算法，一个是单独选择法，另一个是穷举选择法。
1. 单独选择法 就是把n个特征每个特征单独使用时的可分性准则函数值都算出来，按准则
函数值从大到小排序，如 J(x1)＞J(x2)＞…＞J(xm)＞…J(xn)
然后，取使J较大的前m个特征作为选择结果。 问题：这样得到的m个特征是否就是一个最优的特征组呢？
1 Pe 1 c
另一个极端情况是，如果能有一组特征使得
此时x划归 P类(，其i /错x误)概率1为, 0。且P( j / x) 0 , j i
可见后验概率越集中，错误概率就越小。后验概率分布越平缓(接近均匀分布)
，则分类错误概率就越i 大。
为了衡量后验概率分布的集中程度，需要规定一个定量准则，我们可以借助于 信息论中关于熵的概念。
，
的函数。可定义如下形式的广义熵：
P(1 / x) P(2 / x)
P(c / x)
，
，…
式中，
是一个实的正参数，
。
J
a C
[
P
(1
/
x),
P ( 2
/
x),,
P ( c
/
x)]
c
(21a 1)1[ P a (i / x) 1] i 1
a
a1
不同的 spital法则有
a
a值可以得到不同的熵分离度量，例如当
8.1.1 基于距离的可分性准则 各类样本之间的距离越大，则类别可分
性越大。因此，可以用各类样本之间的距离的平 均值作为可分性准则
Jd
1 2
c
Pi
i 1
c
特征选择和特征提取
原始测量：（正常与异常）细胞的数字图像 原始特征（特征的形成，找到一组代表细胞性质
的特征）：细胞面积，胞核面积，形状系数，光 密度，核内纹理，核浆比
压缩特征：原始特征的维数仍很高，需压缩以便 于分类
• 特征选择：挑选最有分类信息的特征 • 特征提取：数学变换
– 傅立叶变换或小波变换 – 用PCA方法作特征压缩
– 特征值
对于一个N N的矩阵A，有N个标量k，k 1， N，满足 A k I 0 k 称为矩阵的一组特征值。
如果给定的矩阵是奇异的，那么N个特征值中至
少有一个为0。
矩阵的秩
定义为矩阵非零特征值的个数。
矩阵的条件数 定义为最大特征值与最小特征值
的比值的绝对值。
病态矩阵
条件数很大。
jd1
jd1
因为uj是确定性向量，所以有
u T jE x xT uj u T jR uj
j d 1
j d 1
R r ij E (x ix j) E x x T
求解最小均方误差正交基
特征 提取
用Lagrange乘子法，可以求出满足正交条件下的ε 取极值时 的坐标系统：
特征形成 (acquisition)： 信号获取或测量→原始测量 原始特征
实例： 数字图象中的各像素灰度值 人体的各种生理指标
原始特征分析： 原始测量很大程度上不能反映对象本质
高维原始特征不利于分类器设计：计算量大， 冗余，样本分布十分稀疏。
二、特征的选择与提取
两类提取有效信息、压缩特征空间的方法： 特征提取和特征选择
PCA的求解：特征向量常被叫做“主分量”，每个样 本被它在前几个主分量上的投影近似表示，U张成的空 间称为原空间的子空间，PCA实际上就是在子空间上的 投影.
Ch8 特征的选择与提取之特征选择
特征选择
两种最为显见的选择方法：单独选择法 与穷举法。
单独选择法指的是把n个特征单独使用时的 可分性准则都计算出，从大到小排序，如：
J ( x1 ) > J ( x2 ) > L > J ( xm ) > L > J ( xn )
使得J较大的前m个特征作为选择结果，但是 这样所得到的m个特征一般未必时最好的。
Tabu搜索算法
Tabu(禁忌)搜索算法的基本框架 步骤 1 令迭代步数 i = 0 ，Tabu 表为 T = φ ，给 出初始解为x，并令最优解 xg = x ；
步骤 2 从x的邻域中选择一定数量的解构成候选集 合N(x)； 步骤 3 若N(x)＝Φ ，则转2，否则从N(x)中找出最 优解x’； 步骤 4 若 x ' ∈ T ，并且 x ' 不满足激活条件，则令 N ( x) = N ( x) − {x '} ，转3，否则，令 x = x ' 。
遗传算法的应用
控制 规划 设计 图像处理 信号处理 机器人 人工生命 人工神经网络 煤气管道控制，防避导弹控制，机器人控制 生产规划，并行机任务分配 VLSI布局，背包问题，图划分问题 识别，特征抽取模式 滤波器设计 路径规划 生命的遗传进化 权值训练和网络结构生成
遗传算法
几个常用的术语(这些术语来自于生物学，但 是与其在生物学中的含义有所不同)
Tabu(禁忌)搜索算法
算法的基本思想：一个解的某个“邻域”中一般存 在性能更好的解。因此，Tabu搜索算法仅仅在一些 解的邻域中进行。为了避免搜索过程的重复，从而 能够搜索更大的解空间，因此该算法要求记录近期 的搜索过的解。 使用一个表，Tabu表，记录这一搜索过程的解。 如果一个解在Tabu表中，说明该解在近期被访问过。 一旦被收入Tabu表中，在某个时间段内禁止访问该 解。
模式识别7-特征选择和提取
了识别对象的某些特征，简单地删去某些特征可能会
丢失较多的有用信息。
• 如果将原来的特征做正交变换，获得的每个数据都是
原来n个数据的线性组合，然后从新的数据中选出少
数几个，使其尽可能多地反映各类模式之间的差异，
而这些特征间又尽可能相互独立，则比单纯的选择方
➢遗传算法
单独最优特征组合
特征
选择
计算各特征单独使用时的可分性判据J并加
以排队，取前d个作为选择结果
不一定是最优结果
当可分性判据对各特征具有(广义)可加性，
该方法可以选出一组最优的特征来，例：
➢各类具有正态分布
➢各特征统计独立
➢可分性判据基于Mahalanobis距离
d
J ij ( x1 , x2 ,..., xd ) J ij ( xk ) J D (x) (μi μ j )T 1(μi μ j )
k 1
顺序前进法
特征
选择
自下而上搜索方法。
每次从未入选的特征中选择一个特征，使得
它与已入选的特征组合在一起时所得的J值
为最大，直至特征数增加到d为止。
该方法考虑了所选特征与已入选特征之间的
相关性。
顺序后退法
特征
选择
该方法根据特征子集的分类表现来选择特征
搜索特征子集：从全体特征开始，每次剔除
➢ 当特征独立时有可加性：
k 1
➢ 单调性：
J ij ( x1 , x2 ,..., xd ) J ij ( x1 , x2 ,..., xd , xd 1 )
常见类别可分离性判据：基于距离、概率分布、熵
函数
数据科学中的特征选择与特征提取方法探究
数据科学中的特征选择与特征提取方法探究特征选择与特征提取是数据科学中的重要步骤，它们对于机器学习模型的性能和效果起着至关重要的作用。
在本文中，我们将深入探讨特征选择与特征提取的方法，包括它们的定义、原理、应用场景和常见算法。
我们将重点介绍递归特征消除、主成分分析、线性判别分析等经典的特征选择和提取方法，并分析它们的优缺点以及适用的情况。
最后，我们还将介绍一些新兴的特征选择与提取方法，以及未来的发展趋势。
一、特征选择与特征提取的定义及意义特征选择与特征提取都是指将原始的特征数据进行处理，提取出其中最具代表性的特征，以便于构建更加精确的机器学习模型。
特征选择是指从原始特征中选择出最有效、最相关的特征，剔除掉噪声或不相关的特征，以提高模型的精度和泛化能力。
而特征提取则是指通过某种数学变换，将原始特征转化为一组新的特征，这些新的特征通常包含了原始特征中的大部分信息，但是具有更好的可分性。
特征选择与特征提取在数据科学中具有重要的意义。
首先，它可以提高模型的计算效率。
原始的特征数据通常包含了大量的噪声和冗余信息，特征选择与提取可以减少模型的维度，提高计算效率。
其次，它可以提高模型的泛化能力。
过多的特征会导致过拟合，特征选择可以避免这种情况的发生。
特征提取则可以提高特征的可分性，使模型更容易捕捉到数据的本质特征。
最后，它可以提高模型的解释性。
经过特征选择与提取后的特征更具代表性，可以更好地解释数据。
二、特征选择的方法1. Filter方法Filter方法是通过对每个特征进行单独的统计检验，然后根据统计指标进行特征排序，选取排名靠前的特征。
常用的统计指标包括卡方检验、互信息、相关系数等。
Filter方法简单高效，计算速度快，但是它忽略了特征之间的关联性，可能选取出相关性较弱的特征。
2. Wrapper方法Wrapper方法是利用训练好的机器学习模型来评估特征的重要性，然后根据其重要性进行特征选择。
常用的Wrapper方法包括递归特征消除、正向选择和反向选择等。
特征选择和特征提取
睛或睁或闭，戴或不戴眼镜；人脸姿态也有相当程度旳变化，深度旋转和平面旋
转可达20度；人脸旳尺度也有多达10％旳变化。
① M幅人脸图像样本，其图像矩阵 T1 , T2 ,TM ，将它们转化为向量
形式，得到M个维向量 1 , 2 , M
E
yy
E
U
xx
U
T
U RU Λ
T
T
T
特征
提取
K-L变换旳性质
K-L坐标系把矩阵R对角化，即经过K-L变
换消除原有向量x旳各分量间旳有关性，
从而有可能去掉那些带有较少信息旳分
量以到达降低特征维数旳目旳
1
Λ
0
2
0
d
主成份分析 ( PCA )
➢原始特征（特征旳形成，找到一组代表细胞性质
旳特征）：细胞面积，胞核面积，形状系数，光
密度，核内纹理，核浆比
➢压缩特征：原始特征旳维数仍很高，需压缩以便
于分类
• 特征选择：挑选最有分类信息旳特征
• 特征提取：数学变换
– 傅立叶变换或小波变换
– 用PCA措施作特征压缩
三、特征提取与K-L变换
特征提取：用映射（或变换）旳措施把原始
• 这种措施首先将人脸图像映射为高维空间旳向量，然后应
用基于统计旳离散K-L变换措施，构造一种各分量互不有
关旳特征空间，即特征脸空间，再将人脸图像在高维空间
中旳向量映射到特征脸空间，得到特征系数。
ORL人脸库(英国剑桥大学)
第八讲 特征提取和特征选择(讲义)
第八讲特征提取和特征选择一、基本概念1、特征的生成（1）原始特征的采集和转换通过对原始特征的信号采集，获得样本的原始表达数据，从原始数据中选择或计算出对分类任务有用的原始特征，并转换成可用的形式原始数据：像素点RGB值矩阵可用的原始特征：轮廓特征颜色特征纹理特征数学特征（2）有效特征的生成目的：降低特征维数，减少信息冗余提升特征的有效性方法：特征提取：提高特征对类别的分辨能力特征选择：寻找对分类最重要的特征 2、 特征提取通过某种变换，将原始特征从高维空间映射到低维空间。
A ：X →Y ； A 为特征提取器，通常是某种正交变换。
最优特征提取：J(A*)=max J(A)， J 是准则函数3、 特征选择从一组特征中挑选出一些最有效的特征，以达到降低特征空间维数的目的。
Dd d i S y y y y F x x x S i d D <=∈→;,...,2,1,},......,,{:},......,,{:2121原始特征集合S 中包含D 个特征，目标特征集合F 中包含d 个特征；最优特征选择：J(F*)=max J(F)， J 是准则函数 4、 准则函数的选取（1） 准则函数的选取原则分类正确率是最佳的特征提取和特征选择准则函数，但难以计算。
实用的类别可分性准则函数应满足以下要求：与分类正确率有单调递增关系当特征独立时具有可加性：∑==dk kijd ij x J x x x J 1)()...21，，，（具有标量测度特性：⎪⎩⎪⎨⎧===≠>ji ij ij ij J J j i J j i J 时，当时，当00对特征具单调性：)...)...12121＋，，，，（，，，（ddijdij xxxxJxxxJ<（2）类内类间距离是各类的先验概率。
，中的样本数，为中的样本数，为），（：值，称为类内类间距离向量之间的距离的平均离，则各类中各特征）为这两个向量间的距，（特征向量，维类中的类及分别为，类，令设一个分类问题共有定义：jijjiinknljlikci jicjjidjlikjijlikPPnnxxnnPPxJxxxxai jωωδδωω∑∑∑∑=====1111121)()()()()()()(Dc.例：∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑∑================⨯⨯⨯⨯⨯⨯⨯⨯========2121222221311212312121213131111111212121211111221213212123121331211212340602121k l l k k l l k k l l k k l l k n k n l j l i k i ji j jid n k n l j l i k c i ji cj jid x xP P x xP P x x P P x x P P x x n n P P x J n n P P c x x n n P P x J ijij），（＋），（＋），（＋），（），（），（)()()()()()()()()()()()()(,,.,.,)(δδδδδδ对于随机性统计分类，类内类间距离和分类错误率不相关 b.类内类间距离的分解()()()()()()()()m m m mn P m xm xn P m m m m m x m x n P x J mP m m x m i m x x x x x x i Tici ii n k i i kTii kic i in k i Ti i i kTii kici i d ci ii n k i k n i i j l i k j l i k j l i k iiii--+--=⎥⎥⎦⎤⎢⎢⎣⎡--+--===∑∑∑∑∑∑∑=======11111111111)()()()()()()(T )()()()( )( : 则总均值向量：表示所有各类样本集的用类样本集的均值向量表示第用）－（）－）＝（，（则有的距离，度量两个特征向量之间如采用均方欧氏距离来δ()()()()()bw b w b w d Ti ic i ib n k Tii kii kici iw J J S tr S tr S S tr x J m m m mP S m x m x n P S i+=+=+=--=--=∑∑∑===)()( )( )()(则间离散度矩阵分别为令类内离散度矩阵和类1111Jw 称为类内平均距离，Jb 称为是类间平均距离从类别可分性的要求来看，希望Jw 尽可能小， Jb 尽可能大 （3） 概率距离类间的概率距离可用分布函数之间的距离来度量完全可分：若p(x|ω1) ≠0时， p(x|ω2)＝0；完全不可分：对任意x ，都有 p(x|ω1) ＝ p(x|ω2)；性的概率距离度量则可作为两类之间可分；为、当两类完全不可分是取得最大值；、当两类完全可分时；、满足以下条件：若任何函数0c b 0a ],),|(),|([)(p p p p J J J dx P P x p x p g J ≥=∙⎰2121ωω二、 使用类内类间距离进行特征提取1、 准则函数的构造：类内类间距离为：Jd=Jw+Jb ＝tr （Sw ＋Sb)其中Jw 是类内平均距离，Jb 是类间平均距离通常给定一个训练集后，Jd 是固定的，在特征提取时，需要加大Jb ，减小Jw ，来获得满意的分类效果。
特征选择与特征提取
第五章 特征选择与特征提取5.1 问题的提出前面主要介绍的是各种分类器的设计方法，实际上我们已经完全可以解决模式识别的问题了。
然而在实际应用中，在分类器设计之前，往往需要对抽取出的特征进行一下处理，争取尽量减小特征的维数。
在实践中我们发现，特征的维数越大，分类器设计的难度也越大，一维特征的识别问题最容易解决，我们只要找到一个阈值t ，大于t 的为一类，小于t 的为一类。
同时特征维数越大，要求的训练样本数量越多，例如在一维的情况下，10个训练样本就可以比较好的代表一个类别了，而在10维空间中，10个训练样本则是远远不够的。
这一章中我们就来介绍一下减小特征维数的方法。
一般来说模式识别系统的输入是传感器对实物或过程进行测量所得到的一些数据，其中有一些数据直接可以作为特征，有一些数据经过处理之后可以作为特征，这样的一组特征一般称为原始特征。
在原始特征中并不一定每个特征都是有用的，比如在识别苹果和橙子的系统中，我们可以抽取出的特征很多，（体积，重量，颜色，高度，宽度，最宽处高度），同样还有可能抽取出其它更多的特征。
在这些特征中对分类有用的是（颜色，高度，最宽处高度），其它特征对识别意义不大，应该去除掉。
这样的过程称为是特征选择，也可以称为是特征压缩。
特征选择可以描述成这样一个过程，原始特征为N 维特征()12,,,TN x x x =X ，从中选择出M 个特征构成新的特征矢量()11,,,MTi i i Y x x x =，M N <。
同时，特征矢量的每一个分量并不一定是独立的，它们之间可能具有一定的相关性，比如说高度和最宽处的高度，高度值越大，最宽处的高度值也越大，它们之间具有相关性，我们可以通过一定的变换消除掉这种相关性，比如取一个比值：最宽处的高度/高度。
这样的过程称为特征提取。
特征提取可以描述为这样一个过程，对特征矢量()12,,,TN x x x =X 施行变换：()i i y h =X ，1,2,,i M =，M N <，产生出降维的特征矢量()12,,,TM Y y y y =。
特征的选择与提取特征提取
而Shannon信息论定义得熵就可以用来对可分 类性作出评价
故这方面可分性判据得定义称之为基于熵函数 得可分性判据
基于熵函数得可分性判据
基于熵函数得可分性判据
分析
如果对某些特征,各类后验概率都相等,即 此时
例如
对原特征空间实行一D×D线性变换A 令Sw, Sb为原空间离散度矩阵 S*w, S*b为映射后得离散度矩阵,则:
S*b= A Sb AT S*w= A Sw AT 经变换后得J2变为: J2*(A)=tr[(A Sw AT)-1 A Sb AT] =tr[(AT )-1 Sw-1Sb AT]=tr[Sw-1Sb]=J2(A)
比如先进特征提取,然后再进一步选择其中一部 分,或反过来。
8、2 类别可分离性判据
为什么需要类别可分离性判据
特征选择与特征提取得任务就是求出一组 对分类最有效得特征
所谓有效就是指在特征维数减少到同等水 平时,其分类性能最佳
因此需要有定量分析比较得方法, 判断所得 到得特征维数及所使用特征就是否对分类 最有利
类别可分离性判据
类别可分离性判据得种类
基于距离度量得可分性判据 基于概率分布得可分性判据等
8、2、1基于距离得可分性判 据
基于距离得可分性判据
基于距离度量就是人们常用来进行分类得重要依据
一般情况下同类物体在特征空间呈聚类状态,即从总体上说 同类物体内各样本由于具有共性
因此类内样本间距离应比跨类样本间距离小
另一个重要问题
如何确定合适得特征空间 如何描述每个样本和每个模式
基本概念
大家应该也有点累了，稍作休息
大家有疑问的，可以询问和交流
清华大学模式识别课件-08_第8章特征提取和特征选择教材
8.1.1. 一些基本概念
在一些书籍和文献中，使用“特征提取” ， “特征选择”等术语时的含义不完全相同。 例如， “特征提取”在有的文献中专指特征的形成过程，有的则指从形成、经选择或变换直 到得出有效特征这一全过程。在实际应用中，通过对对象进行测量，可以得到对象的一种描 述，即用测量空间中的一个点来代表这个对象。例如，通过摄像机可以把一个物体转换为一 个二维灰度阵列，即一幅图像。在一些识别任务中，不直接在测量空间中进行分类器设计。 这一方面是因为测量空间的维数很高(一个 256×256 灰度图像相当于 256×256 维测量空间 中的一个点)，不适宜于分类器的设计。更重要的是这样一种描述并不能直接反映对象的本 质，并且它随摄像机位置、光照等因素的变化而变化。因此为了进行分类器设计，需要把图 像从测量空间变换到维数大大减少的特征空间， 被研究的图像或现象在这个特征空间中就由 一个特征向量来表示。 实际上这样一种变换常常分成几个步骤进行，因此在一些文献中还采用特征提取和特 征选择这样的术语。为了方便起见，我们对几个常用的有关名词作些说明。 特征形成：根据被识别的对象产生出一组基本特征，它可以是计算出来的(当识别对象 是波形或数字图像时)，也可以是用仪表或传感器测量出来的(当识别对象是实物或某种过程 时)，这样产生出来的特征叫做原始特征，有些书中用原始测量(或一次测量，或观察)这一名 词，我们认为在很多情况下有些原始测量就可以作为原始特征，而有些情况则不然，例如识 别对象是数字图像时，原始测量就是各点灰度值，但有时候我们不用各点灰度作为特征，而 是需要经过计算产生一组原始特征。 特征提取：原始特征的数量可能很大，或者说样本是处于一个高维空间中，通过映射 (或变换)的方法可以用低维空间来表示样本，这个过程叫特征提取。映射后的特征叫二次特 征， 它们是原始特征的某种组合(通常是线性组合)。 所谓特征提取在广义上就是指一种变换。 若 Y 是测量空间，X 是特征空间，则变换 A：Y→X 就叫做特征提取器。 特征选择：从一组特征中挑选出一些最有效的特征以达到降低特征空间维数的目的， 这个过程叫特征选择。 以细胞自动识别为例，通过图像输入得到一批包括正常及异常细胞的数字图像，我们 的任务是根据这些图像区分哪些细胞是正常的， 哪些是异常的。 首先要找出一组能代表细胞 性质的特征。为此可以计算细胞总面积、总光密度、胞核面积、核浆比、细胞形状、核内纹 理等，这样可得到很多原始特征，这一过程就是特征的形成。这样产生出来的原始特征可能 很多(例如几十甚至几百个)，或者说原始特征空间维数很高，需要压缩维数以便分类。一种 方式是用变换的方法把原始特征变换为较少的新特征， 这就是特征提取。 另一种方式就是从 原始特征中去挑选出一些最有代表性的特征来， 这就是特征选择。 最简单的特征选择方法是
图像特征的选择与提取
设P(j,i)为图像的第j个像素的第i个颜色分量值，一阶 矩为：
i
1 N
N
Pji
j 1
即表示待测区域的颜色均值 。
第11页/共31页
二阶矩(Variance)
i
(1 N
N
(Pij i )2 )1/ 2
j 1
表示待测区域的颜色方差，即不均匀性。
第12页/共31页
三阶矩(Skewness)
si
第23页/共31页
• 设f(i,j)是(i,j)处的像素值，(i,j)位置处的边缘强度通常用差分值或其函数来表示。简单的差分算法有： • x方向差分值：△xf(i,j)= f(i,j)- f(i,j-1) • y方向差分值：△yf(i,j)= f(i,j)- f(i-1,j) • 边缘强度 = |△xf(i,j)| + | △yf(i,j)| 或 • = △x2f(i,j) + △y2f(i,j)，
图像特征
常见的目标特征分为灰度（颜色）、纹理和几何形状特征等。其中，灰度和纹理属于内部特征，几何 形状属于外部特征。
第4页/共31页
纹理特征 第5页/共31页
几何特征，判断凹凸
第6页/共31页
• 选取的特征应具有如下特点： • ❖ 可区别性 • ❖ 可靠性 • ❖ 独立性好 • ❖ 数量少 • ❖ 对尺寸、变换、旋转等变换尽可能不敏感
第21页/共31页
点特征提取
• 点特征主要指图像中的明显点，如房屋角点、圆点等.用于点特征提取得算子称为有利算子或兴趣算子
第22页/共31页
二值图像的边缘特征提取
• 二值图像边缘特征提取的过程实际上是寻找像素灰度值急剧变 化的位置的过程，并在这些位置上将像素值置为“1”，其余位 置上的像素值置为“0”，从而求出目标的边界线。二值图像的 边特征提取是用数学算子实现的，如Sobel、Prewitt、 Kirsch、拉普拉斯等多种算子。这些算子都是以一个3×3的模 板与图像中3×3的区域相乘，得到的结果作为图像中这个区域 中心位置的边缘强度。在计算出图像中每一个像素的边缘强度 后，将边缘强度大于一定值的点提取出来，并赋以像素值“1”， 其余赋以像素值“0”。
第八章 特征选择和特征提取
18
特征选择
• 按搜索策略划分的特征选择算法
• 随机搜索策略
将特征选择视为组合优化问题，采用非全局最优搜索方法 把特征选择问题和模拟退火算法、禁忌搜索算法、遗传算 法、或随机重采样过程结合, 以概率推理和采样过程作为算法 基础 遗传算法在这一领域的应用最为广泛
模式识别，第八章
19
特征选择
• 按搜索策略划分的特征选择算法
性能
模式识别，第八章
17
特征选择
• 按搜索策略划分的特征选择算法
• 全局最优搜索策略
“分支定界” 算法：该方法能保证在事先确定优化特征子集 中特征数目的情况下, 找到相对于所设计的可分性判据而言 的最优特征子集。 如何事先确定优化特征子集当中特征的数目？ 当处理高维度多类问题时，算法运算效率低下
模式识别，第八章
100
• 例如, 在利用生物芯片来进行药物设计和癌症诊断时,
其产生的有效特征维数往往在10000左右
• 实际需要选取的优化特征组的特征数量是未知的 • 寻找可行的特征选择算法已逐渐成为国际上研究的热
点
模式识别，第八章
16
特征选择
• 一般来看，特征选择（确定优化的特征子集）需要两
个主要步骤
• 首先，必须确定进行特征搜索所需要的策略 • 其次, 需要确定评价准则来评价所选择的特征子集的
取排在前面的d个特征
•
所得结果在大多数情况下不是最优特征组
模式识别，第八章
14
特征选择
• 从D个特征中选择出d个最优的特征, 在这两个参数都
已知的状况下, 所有可能的组合数为
• 如果D=100， d=10， 则的Q数量级是1013
模式识别，第八章
特征提取与特征选择
特征提取与特征选择
1.特征提取
特征提取，通常称为特征工程，是指从数据集中提取有助于建模、分析过程和预测结果的特征，是机器学习和深度学习的基础，是实现有效机器学习和深度学习模型的关键环节。
特征提取的主要目的是从原始数据中提取出有价值的特征，从而提升模型的精确度。
特征提取的方法主要有：
1）非监督学习：非监督学习通过聚类、主成分分析（PCA）、奇异值分解、独立成分分析（ICA）等方法从原始数据中提取出有价值的特征。
2）监督学习：监督学习可以通过特征选择，递归特征消除（RFE），基于权重的统计特征选择和基于函数的特征选择等方法从原始数据中提取出有价值的特征。
2.特征选择
特征选择是指从原始数据中选择具有预测性的特征，以便提高模型有效性。
特征选择有助于减少过拟合，进而提高模型准确性。
特征选择的方法主要有：
1）特征选择：特征选择可以使用过滤法（Filter），包括单变量统计，相关性，卡方，信息增益等方法，也可以使用包裹法（Wrapper），包括递归特征消除（RFE），贪心，粒子群优化等方法，还可以使用嵌入法（Embedded），包括 L1正则化，L2正则化等方法。
特征选择与特征提取的比较
特征选择与特征提取的比较在机器学习中，特征选择和特征提取是两个非常重要的概念。
它们可以帮助我们从原始数据中提取出最相关的特征，用于训练模型并做出预测。
本文将探讨特征选择和特征提取的比较，并分析它们各自的优缺点。
一、特征选择特征选择是指从原始特征集中选择最有用的特征子集。
这种方法的目的是降低特征维度，从而减少训练时间和提高模型准确性。
特征选择有三种常见的方法：1.过滤式特征选择过滤式特征选择方法通过计算每个特征和目标变量之间的相关性来选择有用的特征。
这些特征可以在训练模型之前进行筛选，并且与特定模型无关。
过滤式特征选择的优点是计算速度快，但也有一些缺点，例如无法处理特征之间的复杂关系。
2.包装式特征选择包装式特征选择方法会使用给定模型来评估每个特征的重要性。
这种方法通过不断调整模型来选择最佳特征子集。
包装式特征选择的优点是可以处理特征之间的复杂关系，但计算时间较长。
3.嵌入式特征选择嵌入式特征选择方法与包装式特征选择非常相似，但是它们会将选定的特征直接嵌入到模型中。
这种方法可以帮助模型更加精确地理解数据，但也需要更长的训练时间。
特征选择的优点是可以减少特征集的大小并提高模型的准确性。
但它也有缺点，例如可能会导致信息损失和对特定模型的依赖性。
二、特征提取特征提取是将原始数据转换为可用于机器学习的特征集的过程。
这些特征通常由更高层次的信息组成，其目的是让模型更容易理解数据并做出准确的预测。
主要有两种特征提取方法：1.基于深度学习的特征提取深度学习是一种可用于特征提取的强大工具。
它可以自动发现数据中的模式和规律，并在此基础上提取出相关的特征。
这些特征通常被用于训练分类器和预测模型。
2.基于统计学的特征提取基于统计学的特征提取方法通常用于处理分类或聚类问题。
这种方法通过计算数据中的各种统计值来提取有用的特征，例如平均值、标准差、偏度和峰度等。
特征提取的优点是可以帮助模型更好地理解数据，并提高模型的准确性。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
其核心问题
是通过合理组合搜索过程，可以避免一些 计算而仍能得到最优的结果。
其关键是利用了判据的单调性
最优搜索算法
判据的单调性
如果特征存在包含关系: 则有: 称该判据具有单调性 讨论过的J1-J5,以及基于概率距离的判据 JD,JC,JB都满足上述关系
最优搜索算法
下面我们结合一个从D＝6的六维特征空 间选择d＝2的二维最优子空间的例子， 说明该算法的原理以及如何利用判据的 单调性减少计算量。 设原D维空间有六个特征表示成 {x1,x2,x3,x4,x5,x6}
(2) 确定直接后继结点要删除的特征
删去其中一特征的相应判据值，判据最小
最优搜索算法
回溯过程
要执行的任务是将第i层的ψ加上第i-1层被删 除的特征，并检查其分支路数q 待发现到 qi-1>1,就到达回溯转折点，转入其 相邻左边第i层结点。
最优搜索算法
优点
该算法避免了部分d个特征组合的判据计算，与穷 举相比节约了时间。
当l＜r时，入选特征数逐渐增加，属“自下而上” 型 反之属“自上而下”型。
增l减r法(l-r法)
此法也可推广至用GSFS及GSBS代替SFS及SBS 并可在实现增加l特征时采用分几步实现
增l特征用Zl步减r则用Zr步，该种方法一般称为(Zl, ( Zr)法 这种做法是为了既考虑入选(或剔除)特征之间的相 关性，又不至因此引起计算量过大。 合理地设置Zl和 Zr可以同时对两者，即计算复杂性 及特征选择的合理性兼顾考虑
简单回顾
类别可分离性判据的种类
基于距离度量的可分性判据 基于概率分布的可分性判据等
特征提取
按欧氏距离度量的特征提取方法 按概率距离判据提取特征
8.4 特征选择
特征选择
即对原有特征进行删选优化
概念上十分简单
一般人常想，只要逐个分析每个特征，判断 它对分类的价值，然后根据其优值删去或保 留，这是一个为人们常采用方法 但是这种方法并不能保证特征空间的最优组 合优化
搜索算法
要得最优解，就必需采用穷举法
任何非穷举的算法都不能确保所得结果是最 优的，因此要得最优解，就必需采用穷举法 搜索技术上采用一些技巧，使计算量有可能 降低 最优特征搜索法，次优解的算法
搜索算法
“自上而下”与“自下而上”两类算法
“自上而下”: 从D维特征开始，逐步将其 中某些特征删除，直到剩下所要求的d维特 征为止。
单独最优特征组合
单独最优特征组合
将各特征按单独使用计算其判据值，然后取 其前d个判据值最大的特征作为最优特征组 合。 这种做法的问题在于即使各特征是独立统计 的，也不一定得到最优结果。 但如果可分性判据可写成如下形式
可以选出最 优特征来
顺序前进法(SFS)
顺序前进法
最简单的自下而上搜索方法 首先计算每个特征单独进行分类的判据值， 并选择其中判据值最大的特性，作为入选特 征。 然后每次从未入选的特征中选择一个特征， 使得它与已入选的特征组合在一起时所得的 J值为最大，直到特征数增至d个为止。
可用下面的搜索树形结构图表示搜索过程
最 优 搜 索 算 法
最优搜索算法
搜索树形结构图
根结点为原特征空间，包含全部特征，在这里是六 个特征 除了根结点外，其它结点每删除一个特征，结点上 的号表示被删特征序号 叶结点本身也删除一个特征，而剩下的特征组的特 征数为d，在此为2。 该树的结构特点:即每一层结点的直接后继结点数各 不相同，但是却有规律性。
另一个问题是要找出较好的特征选择方法
以在允许的时间内选择出一组最优的特征。 所谓最优的特征组，就是要找到合适的特征的组 合
搜索算法
计算量问题
如果从逐个特征配组进行性能比较的话，即穷举 的算法，特征配组的数量极大
如果D＝100，d＝10，则q的数量级就是1013， 即使D＝20，d＝10，则q也可达184756种。 如果将所有可能的特征配组列举出来，按某选定 的可分离性判据进行计算，从中择优，其计算量 非常大
搜索算法
如何解决这个问题呢?
如果将每维特征单独计算可分离性判据，并按其 大小排队，如
然后直接选用前d个特征构成新的特征空间 能得到最优的可分离性？ 不能 即使所有特征都互相独立，除了一些特殊情况外， 一般用前d个最有效的特征组合成的特征组并非是 最优的d维特征组 因此采用这种方法并不能保证得到最优的特征组 合
譬如第一层中三个结点各自的直接后继结点数从左到右分 别是3、2与1个，而第一层的最左结点的三个直接后继结 点的后继结点数也是如此
最 优 搜 索 算 法
最优搜索算法
在每个当前计算结点要执行的计算按是 否处于回溯过程而不同。如处在非回溯 过程，则执行以下几个计算:
(1)确定直接后继结点数
一结点的直接后继点数: 在根结点处r＝6，故q＝3，有三个直接后继结点
缺点
但是由于在搜索过程中要计算中间的判据值，因 此在d很小或d很接近D时，还不如使用穷举法 另外该算法必须使用具有单调性的判据
有时在理论上具有单调性的判据，在实际运用样本计算 时，可能不再具备单调性 因此存在不能保证结果为最优的可能性
8.4.2 次优搜索法
上述分支定界算法虽然比盲目穷举法节 省计算量，但计算量仍可能很大而无法 实现，因此人们还是常用次优搜索法
模式识别
徐蔚然 北京邮电大学信息工程学院
简单回顾
本章讨论的问题
对已有的特征空间进行改造,着重于研究对 样本究竟用什么样的度量方法更好 譬如用三种度量来描述苹果与梨
那么是否运用这三种度量是最有效的呢？ 颜色：
这一个指标对区分红苹果与梨很有效 区分黄苹果与梨就会困难得多 即，这个指标就不很有效了
简单回顾
顺序后退法(SBS)
顺序后退法(SBS)
与面一个方法相反，是自上而下的方法 从现有的特征组中每次减去一个不同的特征并计算 其判据，找出这些判据值中之最大值，如此重复下 去直到特征数达到予定数值d为止 与SFS相比，此法计算判据值是在高维特征空间进 行的，因此计算量比较大 此法也可推广至每次剔除r个，称为广义顺序后退法 (GSBS)
增l减r法(l-r法)
前面两种方法的缺点
即一旦特征入选(或剔除)，过程不可逆转
为了克服这种缺点，可采用将这两种方法结 合起来的方法，即增l减r法 原理:对特征组在增加l个特征后，转入一个局 部回溯过程，又用顺序后退法，剔除掉r个特 征 这种方法既可能是“自上而下”方法，也可 能是“自下而上”的，这取决于l与r的数据大 小
顺序前进法(SFS)
优点
顺序前进法与前一小节的单独特征最优化组合相比， 由于考虑了特征之间的相关性，在选择特征时计算 与比较了组合特征的判据值，要比前者好些。
缺点
一旦某一特征被选入，即使由于后加入的特征使它 变为多余，也无法再把它剔除。
该法可推广至每次入选r个特征，而不是一个， 称为广义顺序前进法(GSFS)
增l减r法(l-r法)
筛选剩下的特征组在每一步上都是最优的
“自下而上”: 从零维特征空间开始，逐个 地从D维持征中选择特征，直至达到预定的 维数指标为止。
在每一步都生成最优的特征空间
8.4.1 最优搜索算法
用最少的计算量得到最优的特征组合 “分支定界”算法
能得到最优解的唯一快速算法 属于“自上而下”算法，但是具有回溯功 能，可使所有可能的特征组合都被考虑到。
简单回顾
特征选择和特征提取
两者区别
特征选择: 删掉部分特征 特征提取:通过一种映射，也就是说新的每一个 特征是原有特征的一个函数
简单回顾
类别可分离性判据
特征选择与特征提取的任务是求出一组对 分类最有效的特征 所谓有效是指在特征维数减少到同等水平 时，其分类性能最佳 因此需要有定量分析比较的方法, 判断所得 到的特征维数及所使用特征是否对分类最 有利 这种用以定量检验分类性能的准则称为 类别可分离性判据
降维主要有两种途径
对特征空间的改造、优化、主要的目的是降维，即 把维数高的特征空间改成维数低的特征空间 ，降维 主要有两种途径 特征的选择: 一种是删选掉一些次要的特征
问题在于如何确定特征的重要性，以及如何删选
特征的提取: 另一种方法是使用变换的手段，在 这里主要限定在线性变换的方法上，通过变换来实 现降维
搜索算法
特征选择的含意
由原有D维特征所组成的特征空间中选出若 干个特征，组成描述样本的新特征空间 即从原有的D维空间选取一个d维子空间(d＜ D)，在该子空间中进行模式识别
搜索算法
有两个问题要解决
一个是选择特性的标准
也就是选择前面讨论过的可分离性判据 以这些判据为准则，使所选择的d维子空间具有 最大的可分离性