第8讲 特征提取的原则和方法

T
关键在 e 返回
= 1 的条件下求 eT Se
的最大值
e Se
T
的最大值计算
构造拉格朗日函数： L = eT Se − λ (eT e − 1) 对e求偏导，并且令结果为0，得： 因此，λ为 S的最大本征值，e为S的最大 本征值对应的单位本征向量。 返回
∂L = 2Se − 2λe = 0, ∂e Se = λe
J1 (e) =
n k =1 2 ∑ ak k =1 n 2 − 2 ∑ ak k =1 n
+ ∑ X k − m = − ∑ e ( X k − m) + ∑ X k − m
T k =1 k =1 k =1 T n 2 T n 2 k =1 k =1
n
2
n
[
]
2
n
2
= − ∑ e ( X k − m)( X k − m) e + ∑ X k − m = −e Se + ∑ X k − m
返回
特征提取的基本要求
区分度高，即样本类内距离应尽量小， 类间距离尽量大。 具有较高的稳定性和鲁棒性。 易于提取，在保证系统性能的前提下， 特征的维数不宜过高，以减少运算量和 提高系统的效率。 返回
特征提取的基本原则
目的性原则 简约性原则
返回
目的性原则
以分类的目的为指导：当分类的目的决 定之后，如何找到合适的特征就成为模 式识别的核心问题。 解决不同的分类问题通常需要提取不同 的特征，需要具体问题具体分析。 举例：例1，例2。 返回
特征提取准则函数举例
如果设J是一个准则函数，那么从n个原 始特征选择d个关键特征时，应满足
J ( x1 , x2 ,..., xd ) = max{J ( xi1 , xi2 ,..., xid )}
其中 xi1 , xi2 ,..., xid 是n个特征中的任意d 个原始特征 返回
特征提取的基本方法
n
返回
K-L变换举例
已知
1 2 − 1 − 2 X 1 = , X 2 = , X 3 = , X 4 = 1 2 − 1 − 2
计算从2维中选择1维的K-L变换 计算过程 计算结果示意图 返回
计算过程
生成变换矩阵
选择前m个（最大的m个）特征根 对应的单位化特征向量ξ1, ξ2,…, ξm 生成变换矩阵:
M m×n = (ξ1 , ξ 2 ,...,ξ m )
T
返回
构造K-L变换
Y = Mm×n X
其中yk代表第k主成分，第1主成分代表 最分散的方向。 返回
计算均方误差
ε
2
= ∑ λi
i = m +1
由于 e = 1，将J1 (a1,..., an ; e) 对ak求偏导，并且 令结果为0可得：
ak = e ( X k − m )
T
返回
最优的方向e
定义离散度矩阵(scatter matrix)为： n
S = ∑ ( X k − m)( X k − m)T
k =1
将 ak = eT ( X k − m) 代入 J1 (a1,..., an ; e) 化简得：
2
= ∑ X0 −m + ∑ Xk −m
k =1 k =1
2
n
2
返回
一维主成分分析
作一条通过均值的直线，如果e表示直线方向的单位 向量，那么直线的方程为：
X = m + ae
其中a表示直线上某点离开m的距离。 如果用m+ake来代表Xk，那么通过最小化平方误差准 则函数，可以求得一组最优的ak和最优的方向e：
多维主成分分析
如果考虑过样本均值的多维子空间：
X = m + ∑ ai ei
d′ i =1
并定义新的平方误差准则函数： 则可进行多维主成分分析，结果为： e1 , e 2 ,..., e d ′ 是S的前 d ′ 个本征值对应的本征向量
aki = eT ( X k − m) i
d′ J d ′ = ∑ m + ∑ aki ei − X k k =1 i =1 n 2
找出各种对识别可能有用的细胞属性 选择容易计算的细胞属性构成原始特征 对易计算属性进行再次选择和重组产生 合理、有效的关键特征
返回
一些对识别有用的细胞属性
细胞总面积、细胞总周长、总光密度、 胞核密度、核浆比、细胞形状、核内文 理等 这些属性的数目可能很多，有些不易计 算和描述，通常需要进行选择，以保留 那些容易计算的属性。 返回
总结各种可能对分类和识别有帮助的可 计算属性，从中生成原始特征 对原始特征进行直接选择，变换选择或 多级选择产生关键特征。
返回
直接选择
从n个特征中直接选择两个特征 从n个特征中直接选择m个特征
返回
从n个特征中直接选择两个特征
eiT xi Y2×1 = T Xn×1 = xj ej
J1 (a1 ,..., an ; e) = ∑ (m + ak e) − X k
k =1 n 2
= ∑ ak e − ( X k − m )
k =1 2
n
2
返回
=
2 ∑ ak k =1
n
e − 2 ∑ ak e ( X k − m ) + ∑ X k − m
T k =1 k =1
2
n
n
最优的ak
主成分分析的基本思想 零维主成分分析 一维主成分分析 多维主成分分析 主成分析的数学变换 返回
主成分分析的基本思想
寻找在最小均方差意义下最能够代表原 始数据的投影方法。
返回
零维主成分分析
设有n个d维样本X1,X2,…, Xn，如何仅仅用一 个d维向量X0来最好地表达这n个样本，使X0 与其他样本Xk (k=1,2,…,n)的距离平方和最小。 如果定义平方误差准则函数J0(X0) J )如下：
第8讲 特征提取的原则和 讲 方法
要点：
特征提取的重要性 特征提取的基本任务 特征提取的基本要求 特征提取的基本原则 特征提取的基本方法 课堂练习1，课堂练习2
特征提取的重要性
在一个较完善的模式识别系统中，或 者明显地或者隐含地要有特征提取的 技术环节，通常其处于对象特征数据 采集和分类识别两个环节之间，特征 提取方法的优劣极大地影响着分类器 的设计和性能。举例 返回
计算样本均值
1 P X = ∑Xp P p =1
返回
计算协方差矩阵
S n×n 1 P = ∑ X = ∑ ( X k − X )( X k − X )T P k =1
返回
计算特征根及特征向量
λI − S n×n = 0
(λi I − S n×n )ξ i = 0
计算上式的所有特征根λ1, λ2,…, λn及相应的 单位化特征向量ξ1, ξ2,…, ξn。返回
一些容易计算的细胞属性
细胞总面积、细胞总周长、胞核密度等。 这些特征称为原始特征。
返回
关键特征的生成
(周长 ) 似圆度 t = 4π × 面积
2
返回
细胞分类函数的构造
正常细胞， t ≈ 1 f (t ) = 异常细胞， t >> 1
返回
特征提取的基本任务
特征提取的基本任务是研究如何从众多 的特征中求出那些对分类识别最有效的 特征，从而实现特征空间维数的压缩。
计算样本均值 计算协方差矩阵S2×2 计算S2×2的特征根及特征向量 生成变换矩阵 构造K-L变换 计算均方误差 返回
计算样本均值
1 4 X = ∑ Xi = 0 4 i =1
返回
计算协方差矩阵
4 14 T 1 S2×2 =∑X = ∑(Xi − X)(Xi − X) = ∑Xi XiT 4i=1 4i=1
其中 eiT = (0,0,...,0,1, 0,0,...,0), X n×1 = ( x1 , x2 ,..., xn )T 123 123
i −1 n −i
返回
变换选择
对n个特征进行线性变换产生m个特征 主成分分析 K-L变换 （Karhunen-Loève变换） Fisher变换
返回
主成分分析
不同的问题需要不同的特征
问题1 问题2 问题3
返回
分类问题1
返回
分类问题2
返回
分类问题3
返回
言语识别和说话人识别
在言语识别中，需要设法提取不同人语 音中的共性 在说话人识别中，则需要设法提取不同 人语音中的区别
返回
简约性原则
寻找对分类最有效的特征: 在保证所要 求的分类识别的正确率和节省资源的前 提下，使用最少的特征达到所要求的分 类识别的正确率。 通常需要构造准则函数，使得所选特征 在该准则下最优。举例 返回
J0 ( X 0 ) = ∑ X 0 − X k
k =1 n 2
= ∑ ( X 0 − X k )T ( X 0 − X k )
k =1
n
那么当X0等于样本均值时J0(X0)最小，即：
试证明之。
1 n X0 = m = ∑ Xk n k =1
返回
零维主成分的证明
J 0 ( X 0 ) = ∑ (X 0 − m) − (X k − m)
1 1 = (1 41
10 4 2 −1 −2 1) + (2 2) + (−1 −1) + (−2 −2)= 2 −1 −2 10 4
10 4 10 4
返回
计算特征根及特征向量
e iT = ( 0 , 02 30 ,1 , 0 , 02 30 ) 1 ,..., 1 ,..., 其中