[课件]第九章 基于K-L展开式的特征提取PPT
KL变换和主成分分析
根据经济学知识，斯通给这三个新 变量分别命名为总收入F1、总收入变化 率F2和经济发展或衰退的趋势F3。更有 意思的是，这三个变量其实都是可以直 接测量的。
主成分分析就是试图在力保数据信息丢 失最少的原则下，对这种多变量的数据表进 行最佳综合简化，也就是说，对高维变量空 间进行降维处理。
jd 1
λ j ：拉格朗日乘数
g(uj )
uTj Ru j
j
(u
T j
u
j
1)
jd 1
jd 1
用函数 g(u j ) 对 u j 求导，并令导数为零，得
(R j I )u j 0 j d 1, ,
——正是矩阵 R 与其特征值和对应特征向量的关系式。
• 如果这些数据形成一个椭圆形状的 点阵（这在变量的二维正态的假定下 是可能的）.
3.2 PCA: 进一步解释
• 椭圆有一个长轴和一 个短轴。在短轴方向上， 数据变化很少；在极端的 情况，短轴如果退化成一 点，那只有在长轴的方向 才能够解释这些点的变化 了；这样，由二维到一维 的降维就自然完成了。
分为： 连续K-L变换 离散K-L变换
1．K-L展开式 设{X}是 n 维随机模式向量 X 的集合，对每一个 X 可以
用确定的完备归一化正交向量系{u j } 中的正交向量展开：
X a juj j 1
d
用有限项估计X时 ：Xˆ a juj j 1
aj：随机系数；
引起的均方误差： E[( X Xˆ )T ( X Xˆ )]
总样本数目为 N。将 X 变换为 d 维 (d n) 向量的方法：
模式识别 基于K-L变换的特征提取
1 ⎡⎛ −5 ⎞ ⎛ −5 ⎞ m = ⎢⎜ ⎟ + ⎜ ⎟ + 10 ⎣⎝ −5 ⎠ ⎝ −4 ⎠
⎛ 4 ⎞⎤ ⎛ 0 ⎞ + ⎜ ⎟⎥ = ⎜ ⎟ ⎝ 5 ⎠⎦ ⎝ 0 ⎠
无需作坐标系平移。 2、求自相关矩阵
1 ⎡⎛ −5 ⎞ R = ⎢ ⎜ ⎟ ( −5 − 5 ) + 10 ⎣⎝ −5 ⎠
二、离散K－L展开式
x 假设 x 为 n 维的随机向量， 可以用 n 个正交基向量的加权和来
表示：
x = ∑ α iϕi
i =1
n
α ϕ 式中，i 为加权系数；i 为正交基向量，满足
⎧1 当 i = j ϕ ϕj = ⎨ ⎩0 当 i ≠ j
T i
将 x 用矩阵形式表示为
x = (ϕ1 ,ϕ 2 ,
3、求出 R的本征值λ1 , λ2 , , λn及其对应的本征向 量 ； λ1 ≥ λ2 ≥ ≥ λm ≥ ≥ λn 4、将本征值按从大到小排序，如
ϕ1 ,ϕ2 , ,ϕ n
，
取前 m 个大的本征值所对应的本征向量构成变换矩阵
A = (ϕ1 ,ϕ 2 ,
,ϕm )
；
5、将 n 维的原向量变换成 m 维的新向量
所以
b j = E{α j }
如果在K－L变换前，将模式总体的均值向量作为新坐标系的 原点，即在新坐标系中 E[ x] = 0 则有
b j = E[α j ] = E[ϕ T x] = ϕ T E[ x] = 0 j j
此时均方误差变为
ε =
2
j = m +1
∑
n
n
E[α ] =
利用K-L变换进行特征提取的实验报告稿
模式识别大作业班级：09030901题目：利用K-L变换进行特征提取的实验姓名：陈升富学号：**********姓名：黎照学号：**********姓名：益琛学号：**********日期：2012/4/251、基本要求用FAMALE.TXT 和MALE.TXT 的数据作为本次实验使用的样本集，利用K-L 变换对该样本集进行变换，与过去用Fisher 线性判别方法或其它方法得到的分类面进行比较，从而加深对所学内容的理解和感性认识。
2、具体做法(1)不考虑类别信息对整个样本集进行K-L 变换（即PCA ），并将计算出的新特征方向表示在二维平面上，考察投影到特征值最大的方向后男女样本的分布情况并用该主成分进行分类。
(2)利用类平均向量提取判别信息，选取最好的投影方向，考察投影后样本的分布情况并用该投影方向进行分类。
(3)将上述投影和分类情况与以前做的各种分类情况比较，考察各自的特点和相互关系。
3、K-L 变换的原理设n 维随机向量()12,,...,Tn x x x x =，其均值向量E x u =⎡⎤⎢⎥⎣⎦，相关矩阵xTE Rxx=⎡⎤⎣⎦，协方差矩阵()()x E C x u x u =--⎡⎤⎢⎥⎣⎦，x经正交变换后产生向量()12,,...,Tny y y y =。
设有标准正交变换矩阵T ，（即 T'T=I ）1212'()'(,)'n n y T x t t t x y y y ===，'i i y t x = (1,2,)i n =11(')ni i i x T y T y y t -====∑ （称为 x 的K-L 展开式）取前m 项为x 的估计值1ˆmi i i x y t ==∑ 1m n ≤<其均方误差为2T ˆˆ()()()m E x x x x ε⎡⎤=--⎣⎦2'11[][]n ni i i i m i m E y E y y =+=+==∑∑ 2()m ε211[][]nn ii ii m i m E yE y y =+=+'==∑∑11()nniiix ii m i m t E xx tt R t=+=+'''==∑∑在T‘T=I 的约束条件下,要使均方误差21ˆˆ()[()'()]'min nix ii m m E x xx x t R tε=+=--=→∑为此设定准则函数11'('1)n nix iiiii m i m J t R t t tλ=+=+=--∑∑由0iJt ∂=∂可得()0x i i R I t λ-= 1,...,i m n =+ 即x i i i R t t λ= 1,...,i m n =+表明: λi 是x R 的特征值，而i t 是相应的特征向量。
《模式识别》实验报告K-L变换特征提取
《模式识别》实验报告K-L变换特征提取基于K-L 变换的iris 数据分类⼀、实验原理K-L 变换是⼀种基于⽬标统计特性的最佳正交变换。
它具有⼀些优良的性质：即变换后产⽣的新的分量正交或者不相关；以部分新的分量表⽰原⽮量均⽅误差最⼩；变换后的⽮量更趋确定，能量更集中。
这⼀⽅法的⽬的是寻找任意统计分布的数据集合之主要分量的⼦集。
设n 维⽮量12,,,Tn x x x =x ，其均值⽮量E=µx ，协⽅差阵()T x E=--C x u)(x u ，此协⽅差阵为对称正定阵，则经过正交分解克表⽰为x =TC U ΛU ,其中12,,,[]n diag λλλ=Λ，12,,,n u u u =U 为对应特征值的特征向量组成的变换阵，且满⾜1T-=UU。
变换阵TU 为旋转矩阵，再此变换阵下x 变换为()T -=x u y U ,在新的正交基空间中，相应的协⽅差阵12[,,,]xn diag λλλ==x U C U C。
通过略去对应于若⼲较⼩特征值的特征向量来给y 降维然后进⾏处理。
通常情况下特征值幅度差别很⼤，忽略⼀些较⼩的值并不会引起⼤的误差。
对经过K-L 变换后的特征向量按最⼩错误率bayes 决策和BP 神经⽹络⽅法进⾏分类。
⼆、实验步骤（1）计算样本向量的均值E =µx 和协⽅差阵()T xE ??=--C x u)(x u5.8433 3.0573 3.7580 1.1993??=µ，0.68570.0424 1.27430.51630.04240.189980.32970.12161.27430.3297 3.1163 1.29560.51630.12161.29560.5810x----=--C （2）计算协⽅差阵xC 的特征值和特征向量，则4.2282 , 0.24267 , 0.07821 , 0.023835[]diag =Λ-0.3614 -0.6566 0.5820 0.3155 0.0845 -0.7302 -0.5979 -0.3197 -0.8567 0.1734 -0.0762 -0.4798 -0.3583 0.0755 -0.5458 0.7537??=U从上⾯的计算可以看到协⽅差阵特征值0.023835和0.07821相对于0.24267和4.2282很⼩，并经计算个特征值对误差影响所占⽐重分别为92.462%、5.3066%、1.7103%和0.52122%，因此可以去掉k=1~2个最⼩的特征值，得到新的变换阵12,,,newn k u u u -=U。
基于K-L展开式的特征提取
由此我们知道作为一种变换，如果这种变换中的每一种成分 与其它成分都正交时，它们之间的关系就相互独立了，每一 种成分的作用是其它成分所不能代替的。拿傅里叶变换来说， 频率为f的成分只能靠变换频率为f的成分去析取。
h
16
§9.3 基于K－L展开式的特征提取
h
17
§9.3 基于K－L展开式的特征提取
h
18
§9.3 基于K－L展开式的特征提取
•用矩阵ψ = E[xxT ] 的前d 个本征值（从大到 小排列）对应的本征向量作为基来展开x 时， 截断误差在所有用d 维正交坐标系展开中是 最小的。
•u j ， j = 1,2,…,d 张成了新的特征空间.
K-L变换：对给定一个D维训练样本集（原始特征空 间），进行特征空间的降维，降到d维，d<D。也就 是说将d+1维以上的成分略去，显然原信号会因此受 到一些损失。
h
12
§9.3 基于K－L展开式的特征提取
K-L变换的最佳体现在对给定一个训练样本集 条件下，能使这种误差从总体上来说是最小。 注意这里讲的是总体，这是因为降维以后，训 练样本集中的每个样本数据都受到损失，要衡 量的是总体效果。这种情况下最常用的指标是 均方误差最小，或称均方误差的期望值最小。 这就是说要找的正交变换能使一组样本集的均 方误差的期望值为最小。
•展开系数cj=ujTx, j = 1,2,…,d 则组成了新的 特征向量.
h
3
§9.3 基于K－L展开式的特征提取
正交变换概念
变换是一种工具，它的用途归根结底是用来描述事物， 特别是描述信号用的。例如我们看到一个复杂的时序信 号，希望能够对它进行描述。描述事物的基本方法之一 是将复杂的事物化成简单事物的组合, 或对其进行分解， 分析其组成的成分。
9模式识别第-第九章 K-L变换特征提取
（4）协方差矩阵已知
2、每次使用一个类别样本集合来建立K-L坐 标系，
该K-L变换常用于信息压缩，很少用于分类。
一组具有零均值的样本： 例：
x 1 (1,1) T , x 2 ( 2 , 2 ) T , x 3 ( 1, 1) T , x 4 ( 2 , 2 ) T
n 1
为x(t)的 K-L 展开，其逆过程为K-L变换。 其中n是为使得自相关系数单位化引入的实或 复的系数
计算相关函数
* * * R (, ts ) Ext [ () x( s ) ] E x () t s ) n n n kx k k( k n
9.4 K-L坐标系的生成
数据集合{x}的K-L坐标系是由二阶统计量来 确定的。可以使用以下几种方法来生成 K-L 坐标系： 样本所属类别未知时： 1、可以使用样本的自相关矩阵 Ψ E[xxT ] 2、对于无类别标签的样本集，均值向量无意 义，也常使用协方差矩阵 T Σ E [ ( x μ ) ( x μ )]
反 之 ， 为 了 使 xn和 xm互 不 相 关 ， 随 机 过 程 必 须 是 周 期 性 的 。
9.2 K-L展开
非周期随机过程： 正弦函数族不能使其傅立叶系数不相关，但是 可以寻找一个新的正交函数族ϕn(t)，使得其变 换系数互不相关 。 K-L变换定义
假设一个非周期随机过程，在区间[a, b]展开式为
第9章 基于K-L变换特征提取
线性变换法特征提取
9.1 傅立叶级数展开式
周期随机过程的傅立叶级数（三角级数）
x (t )
n
x n exp( jn 0 t )
KL变换
单独最优特征组合
计算各特征单独使用时的可分性判据J并加 以排队，取前d个作为选择结果 不一定是最优结果 当可分性判据对各特征具有(广义)可加性， 该方法可以选出一组最优的特征来，例：
各类具有正态分布 各特征统计独立 可分性判据基于Mahalanobis距离
特征 选择
j
E y y = E U x x U T = U RU = Λ
T T T
K-L变换的性质 变换的性质
特征 提取
K-L坐标系把矩阵R对角化，即通过K-L R 变换消除原有向量x的各分量间的相关 性，从而有可能去掉那些带有较少信息 的分量以达到降低特征维数的目的
λ1 Λ = 0
ε =
j = d +1
∑
∞
u Tj E x x T u
j
=
j= d +1
∑
∞
u Tj R u
j
求解最小均方误差正交基
用Lagrange乘子法：
if R u
j ∞
特征 提取
= λ ju
j
th e n ε =
j= d +1
∑
u Tj R u j 取 得 极 值
结论：以相关矩阵R的d个本征向量为 R 基向量来展开x时，其均方误差为： x
顺序后退法Sequential backw. 顺序后退法 selection
特征 选择
该方法根据特征子集的分类表现来选择特征 搜索特征子集：从全体特征开始，每次剔除 一个特征，使得所保留的特征集合有最大的 分类识别率 依次迭代，直至识别率开始下降为止 用“leave-one-out”方法估计平均识别率：用 N-1个样本判断余下一个的类别，N次取平均。
《模式识别》(边肇祺)习题答案
• 2.13 把连续情况的最小错误率贝叶斯决策推广到离散情况，并写出其判别函数。 • 2.14 写出离散情况条件风险R(ai |x)的定义，并指出其决策规则。 解： R(ai |x) = = R(ak |x) = min
c ∑ j =1 c ∑ j =1
λij P (wj |x) λij p(x|wj )P (wj )////omit the same part p(x)
1
模式识别(第二版)习题解答
§1
绪论
略
§2
贝叶斯决策理论
• 2.1 如果只知道各类的先验概率，最小错误率贝叶斯决策规则应如何表示？ 解：设一个有C 类，每一类的先验概率为P (wi )，i = 1, ..., C 。此时最小错误率贝叶斯 决策规则为：如果i∗ = max P (wi )，则x ∈ wi 。
• 2.4 分别写出在以下两种情况 1. P (x|w1 ) = P (x|w2 ) 2. P (w1 ) = P (w2 ) 下的最小错误率贝叶斯决策规则。 解： 当P (x|w1 ) = P (x|w2 )时，如果P (w1 ) > P (w2 )，则x ∈ w1 ，否则x ∈ w2 。 当P (w1 ) = P (w2 )时，如果P (x|w1 ) > P (x|w2 )，则x ∈ w1 ，否则x ∈ w2 。 • 2.5 1. 对c类情况推广最小错误率率贝叶斯决策规则； 2. 指出此时使错误率最小等价于后验概率最大，即P (wi |x) > P (wj |x) 对一切j ̸= i 成立时，x ∈ wi 。 2
p(x|w2 )dx =
R2
p(x|w1 )dx
所以此时最小最大决策面使得P1 (e) = P2 (e) • 2.8 对于同一个决策规则判别函数可定义成不同形式，从而有不同的决策面方程，指出 决策区域是不变的。
基于K-L变换的多类模式特征提取
单明了地把情况说清楚。
PCA
• 多变量问题是经常会遇到的。变量太多，无疑会增加分析问 题的难度与复杂性.
• 在许多实际问题中，多个变量之间是具有一定的相关关系的。 因此，能否在各个变量之间相关关系研究的基础上，用较少 的新变量代替原来较多的变量，而且使这些较少的新变量尽 可能多地保留原来较多的变量所反映的信息？事实上，这种 想法是可以实现的.
第二步：计算R的本征值，并选择较大者。由| R I | 0 得
1 12.85 ， 2 0.15 ，选择 λ1 。
第三步：根据 Ru1 1u1 计算 λ1 对应的特征向量 u1 ，归一化后为
u1
1 [1, 1.14]T [0.66, 0.75]T 2.3
变换矩阵为
0.66 U [u1] 0.75
u1 [0.66, 0.75]T
第四步：利用 U 对样本集中每个样本进行 K-L 变换。
X 1*
U T X1
[0.66
2 0.75]2
2.82
……
x2
变换结果为：
3 2
X2
X3
ω1
：
X
* 1
2.82
，
X
* 2
3.57
，
X
* 3
4.23
1
X1
ω2
：
X
* 4
2.82
，
很显然，识辨系统在一个低维空间要比 在一个高维空间容易得多。
实例2: 成绩数据
• 100个学生的数学、物理、化学、语文、历 史、英语的成绩如下表（部分）。
基于KL展开式的特征提取(精选)PPT21页
56、极端的法规，就是极端的不公。 ——西 塞罗 57、法律一旦成为人们的需要，人们 就不再 配享受 自由了 。—— 毕达哥 拉斯 58、法律规定的惩罚不是为了私人的 利益， 而是为 了公共 的利益 ；一部 分靠有 害的强 制，一 部分靠 榜样的 效力。 ——格 老秀斯 59、假如没有法律他们会更快乐的话 ，那么 法律作 为一件 无用之 物自己 就会消 灭。— —洛克
60、人民的幸福是至高无个的法。— —西塞 罗
41、学问是异常珍贵的东西，从任何源泉吸 收都不可耻。——阿卜·日·法拉兹
42、只有在人群中间，才能认识自 己。——德国
43、重复别人所说的话，只需要教育； 而要挑战别人所说的话，则需要头脑。—— 玛丽·佩蒂博恩·普尔
基于K-L展开式的特征提取.
基于K・L展开式的特征提取.第7章基于K-L展开式的特征提取■7J K・L变换的定义与性质匸7.2 K・L变换特征提取的原理及应用■7.3利用K・L变换进行人脸识别■考虑利用线性变换的方式实现降维%. = w.} y + ----- w.n y n = w T y□本匾上说是高菇低维的投影 ， □形式上可看是原始向量各分量的线性组合 ■由上章内容,此处关键是选择合适的变换z 使 变换之后的数据保持足够的类别可分性叫1••-两类经典的处理方法□多重判别分析:考虑模式类可分离性□成分分析：用较少数量的特征对样本进行描述”减少或去除冗余信息（去相关、信息压缩）■所谓成分分析,即有可能将认为是不重要的成分去除或用较少数据粗略表示,从而减少数据量,实现特征降维7.1 K-L变换的定义与性质离散K・L变换(DKLT) ■又称霍特林(Hotelling)变换或主分量分解,它是一种基于目标统计特性的最佳正交变换DKLT的性质:1・使变换后产生的新的分量不相关2・以部分新分量表示原向量均方误差最小3・使变换向量更趋确定.能量更趋集中设〃维随机向量无=（兀1，兀2,…，兀“「其均值向量i = E[x] t相关矩阵鸟=殆*]，协方差矩阵G =E R元一元）（元一壬）丁] f经正交变换后产生向量歹=（几』2,…，儿）T设有标准正交变换矩阵（即T T=I）y = Tx=(t x E …匚)£ =(卩，丁2 …儿)’X =t/x (Z=1,2--.,M)元=(厂尸孑=巧=工皿(称为三的K・L展开式)1=1入m取前加项为X的估计值元=工y E l<m<nZ = 1其均方误差为^2(m) = E[(x-i)T(x-i)_=E £[也=E EH%]i=m+l Z=m+1= 工日弘工日曲］/=m+l /=m+l=£；E叭二刃;REi-m+\ i-m+\在T的约束条件下，要使均方误差C 八A JL.s2(m) = E[(x — x)\x — x)] = > £'Rjj T mini~m+\为此设定准则函勘=£亍昭_ £&(穴-1)由冷。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
§9.3 基于K－L展开式的特征提取
图6-3b
图6-3(b)中的向量A与B在一个二维空间定义，它们两者分别含有成 分为(a1,a2)与(b1,b2)，a1与b1是两者的同一种成分，a2与b2则是 另一种成分。故它们的点积定义为a1b1+a2b2，在这种条件下就不 需要积分，而只是简单求和。
§9.3 基于K－L展开式的特征提取
的任何事物(在此指信号)可等成各种成分之和。故任一信号X
可表示成： 其中ci是相应基ui的相应成分。
§9.3 基于K－L展开式的特征提取
基于Karhunen-Loeve变换的特征提取方法是以在特 征空间分布的样本特征向量为原始数据，通过实行KL变换，找到维数较少的组合特征，达到降维的目的。 由于样本的描述都是离散的向量，因此我们只讨论KL变换的离散情况。
§9.3 基于K－L展开式的特征提取
图6-2a 图6-1
图6-2b
例如，图6-1中的信号只有一个单一频率的简谐信号，而 图6-2(a)中信号就不是一个简谐信号所描述的，它起码可 以分解成图6-2中的两个成分，一是基波，另一是三次谐波。
§9.3 基于K－L展开式的特征提取
由此可以看出，对事物可以有不同的描述方法，如图62(a)是对信号的一种描述，而图6-2(b)则利用成分分解， 得到该事物的另一种描述。当将一事物从一种描述转换成 另一种描述时，就要用不同的工具，因而每一套工具称为 一种变换。 为了对复杂事物进行经济有效的描述，我们希望将其分解 成相互独立的成分，譬如我们分析其快速变化的成分时， 就希望它只不再混杂其它成分。 傅里叶变换为例，希望它分析出某种频率的成分，就不 要包含其它任何频率的成分。这就要求，作为变换的工具 中的每个成分是相互独立的，用其中某一个工具就只能从 信号中分析出一种成分，而分析不出其它成分。
§9.3 基于K－L展开式的特征提取
正交变换概念
变换的实质是一套度量用的工具，例如用大尺子度 量大的东西，用小尺子度量小的东西，在信号处理 中用高频，低频或常量来衡量一个信号中的各种不 同成分。对某一套完整的工具就称为某种变换。 如傅里叶变换就是用一套随时间正弦、余弦变化的 信号作为度量工具，这些正弦，余弦信号的频率是 各不相同的，才能度量出信号中相应的不同频率成 分。
点积运算的结果是一个数值，或大于零，小于零或等于零 等于零的情况在图6-3(b)中出现在A与B之间夹角为90°的 情况，这表明B中没有A的成分，A中也没有B的成分，因 此又称相互正交。 由此我们知道作为一种变换，如果这种变换中的每一种成分 与其它成分都正交时，它们之间的关系就相互独立了，每一 种成分的作用是其它成分所不能代替的。拿傅里叶变换来说， 频率为f的成分只能靠变换频率为f的成分去析取。 另一方面也说明了这套变换必须是完备的，也就是它必须包 含一切必要的成分，例如必须有基波的任何一次整数倍频率 的谐波，否则就会对信号分析不全面。
§9.3 基于K－L展开式的特征提取
K-L变换是一种正交变换，即将一个向量x，在某一种坐
标系统中的描述，转换成用另一种基向量组成的坐标系来
表示。这组基向量是正交的，其中每个坐标基向量用uj表 示，j=1,…,∞，因此，一个向量x可表示成
§9.3 基于K－L展开式的特征提取
正交变换概念
变换是一种工具，它的用途归根结底是用来描述事物， 特别是描述信号用的。例如我们看到一个复杂的时序信 号，希望能够对它进行描述。描述事物的基本方法之一 是将复杂的事物化成简单事物的组合, 或对其进行分解， 分析其组成的成分。 例如对一波形，我们希望知道它是快速变化的(高频)， 还是缓慢变化的(低频)，或是一成不变的(常量)。如果它 既有快速变化的成分，又有缓慢变化的成分，又有常量 部分，那么我们往往希望将它的成分析取出来。这时我 们就要用到变换。
§9.3 基于K－L展开式的特征提取
综合以上分析，我们可以将对这种变换的定义总结为： 如果将这种变换中的每一成分，用一个向量ui表示，i是其 下标，原理上可以到∞，则我们要求的正交变换可表示成：
上式中要求uiTuj=1，是考虑到ui是作为度量事物的单位应 用的，它本身的模应该为1，ui又称为某一个基。而被分解后
§9.3 基于K－L展开式的特征提取
用变换对信号进行分析，所使用的数学工具是点积。点积的
实质就是两个信号中相同成分之间乘积之总和。图6-3(a)中是 两个随时间连续变化的信号，它们之间的点积运算定义为
图6-3a
在这里同一成分是指同一时刻t两个信号的值F(t)与G(t)。积分就是 在整个时间域上求和。
第九章 基于K-L展开式的特 征提取
回顾：
两类提取有效信息、压缩特征空间的方法：
特征提取 (extraction)：用映射（或变换）的方法把 原始特征变换为较少的新特征 特征选择(selection) ：从原始特征中挑选出一些最 有代表性，分类性能最好的特征
常见类别可分离性判据：
－ 基于距离的可分性判据 － 基于概率密度分布的判据9.3Leabharlann 基于K－L展开式的特征提取
K-L变换，是一种常用的正交变换，K-L变换 常用来作为数据压缩，这里我们用它作降维。
学习这一节主要要掌握以下几个问题：
1．什么是正交变换； 2．K-L变换是一种最佳的正交变换，要弄清是 什么意义的最佳，也就是说它最佳的定义； 3．K-L变换的性质； 4．K-L变换的重要应用。
K-L变换：对给定一个D维训练样本集（原始特征空 间），进行特征空间的降维，降到d维，d<D。也就 是说将d+1维以上的成分略去，显然原信号会因此受 到一些损失。
§9.3 基于K－L展开式的特征提取
K-L变换的最佳体现在对给定一个训练样本集 条件下，能使这种误差从总体上来说是最小。 注意这里讲的是总体，这是因为降维以后，训 练样本集中的每个样本数据都受到损失，要衡 量的是总体效果。这种情况下最常用的指标是 均方误差最小，或称均方误差的期望值最小。 这就是说要找的正交变换能使一组样本集的均 方误差的期望值为最小。