模式识别(7-2)特征的选择与提取

K－L变换的一些典型应用
4．人脸图象合成
用K-L变换构造参数模型的另一种典型用途是人 脸图象合成。从下面的例子中可以看出，有目 的地控制各个分量的比例，也就是通过调整参 数向量。可以将一幅不带表情图象改变成带各 种表情的图象，称为人脸表情图象合成。
下图为生成各种表情图象的示例。
K－L变换的一些典型应用
§7.3 基于K－L展开式的特征提取
正交变换概念
变换是一种工具，它的用途归根结底是用来描述事物， 特别是描述信号用的。例如我们看到一个复杂的时序信 号，希望能够对它进行描述。描述事物的基本方法之一 是将复杂的事物化成简单事物的组合, 或对其进行分解， 分析其组成的成分。
例如对一波形，我们希望知道它是快速变化的(高频)， 还是缓慢变化的(低频)，或是一成不变的(常量)。如果它 既有快速变化的成分，又有缓慢变化的成分，又有常量 部分，那么我们往往希望将它的成分析取出来。这时我 们就要用到变换。
K－L变换的产生矩阵
未知类别样本的K－L变换举例
用总体样本的协方差矩阵C=E[(x-μ) (x-μ)T]
进行K-L变换，K-L坐标系U=[u1,u2,...,ud]按照C 的本征值的下降次序选择
例：设一样本集的协方差矩阵是：C 求最优2x1特征提取器U
19.5
9.5
9.5 7.5
解：计算特征值及特征向量[V, D]=eig(C);
点积运算的结果是一个数值，或大于零，小于零或等于零
等于零的情况在图6-3(b)中出现在A与B之间夹角为90°的 情况，这表明B中没有A的成分，A中也没有B的成分，因 此又称相互正交。
由此我们知道作为一种变换，如果这种变换中的每一种成分 与其它成分都正交时，它们之间的关系就相互独立了，每一 种成分的作用是其它成分所不能代替的。拿傅里叶变换来说， 频率为f的成分只能靠变换频率为f的成分去析取。
•展开系数cj=ujTx, j = 1,2,…,d 则组成了新的 特征向量.
§7.3 基于K－L展开式的特征提取
➢ 向量
应是
向量，而此时截断误差为
序排列，即
矩阵的特征值 的特征 。如将 按其大小顺
➢ 则取前d项特征值对应的特征向量组成的坐标系，可使 向量的均方误差为最小。满足上述条件的变换就是K-L变 换。
K－L变换总结：
§7.4 本章小结
压缩特征空间的两种方法:
特征提取 特征选择
基于距离的可分性判据
基于K-L展开式的特征提取
K－L变换的一些典型应用
上面我们从数学的角度分析了K-L变换的 性质。归结起来，它消除了各分量之间的 相关性，因而用它来描述事物时，可以减 少描述量的冗余性，做到用最经济有效的 方法描述事物。下面结合一些应用实例来 说明如何运用K-L变换的这一性质。
K－L变换的一些典型应用
1．降维与压缩
以人脸图象这个例子看，K-L变换的降维效果是十分明显的。 对一幅人脸图象，如果它由M行与N列象素组成，则原始的特 征空间维数就应为M×N。而如果在K-L变换以后只用到30个 基，那么维数就降至30，由此可见降维的效果是极其明显的。
另一方面也说明了这套变换必须是完备的，也就是它必须包 含一切必要的成分，例如必须有基波的任何一次整数倍频率 的谐波，否则就会对信号分析不全面。
§7.3 基于K－L展开式的特征提取
综合以上分析，我们可以将对这种变换的定义总结为： 如果将这种变换中的每一成分，用一个向量ui表示，i是其
下标，原理上可以到∞，则我们要求的正交变换可表示成：
但是由于它的正交基函数族是从训练样本集中计算出 来的，因此并不存在一种对任何数据都适用的K-L变 换基，一般的作法是先用一组训练数据计算出K-L变 换基，然后用这组基来分析其它数据。
K－L变换的性质
K－L变换的性质
K－L变换的性质
K－L变换的产生矩阵
当样本所属类别未知时：
x的相关函数矩阵 x的协方差矩阵
§7.3 基于K－L展开式的特征提取
§7.3 基于K－L展开式的特征提取
§7.3 基于K－L展开式的特征提取
•用矩阵ψ = E[xxT ] 的前d 个本征值（从大到 小排列）对应的本征向量作为基来展开x 时， 截断误差在所有用d 维正交坐标系展开中是 最小的。
•u j ， j = 1,2,…,d 张成了新的特征空间.
K-L变换：对给定一个D维训练样本集（原始特征空 间），进行特征空间的降维，降到d维，d<D。也就 是说将d+1维以上的成分略去，显然原信号会因此受 到一些损失。
§7.3 基于K－L展开式的特征提取
K-L变换的最佳体现在对给定一个训练样本集 条件下，能使这种误差从总体上来说是最小。 注意这里讲的是总体，这是因为降维以后，训 练样本集中的每个样本数据都受到损失，要衡 量的是总体效果。这种情况下最常用的指标是 均方误差最小，或称均方误差的期望值最小。 这就是说要找的正交变换能使一组样本集的均 方误差的期望值为最小。
3．人脸识别
利用K-L变换进行人脸图象识别是一个著名的方法。其原理： ➢ 首先搜集要识别的人的人脸图象，建立人脸图象库； ➢ 利用K-L变换确定相应的人脸基图象， ➢ 再反过来用这些基图象对人脸图象库中的人脸图象进行K-L 变换，从而得到每幅图象的参数向量，并将每幅图的参数向量 存起来。 ➢在识别时，先对一张所输入的脸图象进行必要的规范化，再 进行K-L变换分析，得到其参数向量。 ➢将这个参数向量与库中每幅图的参数向量进行比较，找到最 相似的参数向量，也就等于找到最相似的人脸，从而认为所输 入的人脸图象就是库内该人的一张人脸, 完成了识别过程。
§7.3 基于K－L展开式的特征提取
我们希望在同样维数条件下，使向量X的估计量误差 最小。确切地说是使所引起的均方误差为最小。
X
§7.3 基于K－L展开式的特征提取
要使均方误差最小是一个求极值的问题，即求最佳的正交 变换的基ui，i=1,…∞。因此还要满足变换是正交归一这个 条件，因此这是一个求条件极值的问题，一般方法是利用 拉格朗日乘子法将条件数值转换成一个求无条件极值的问 题，实质求解过程是对拉格朗日函数g(ui)求偏导而得出的正交变换概念
变换的实质是一套度量用的工具，例如用大尺子度 量大的东西，用小尺子度量小的东西，在信号处理 中用高频，低频或常量来衡量一个信号中的各种不 同成分。对某一套完整的工具就称为某种变换。
如傅里叶变换就是用一套随时间正弦、余弦变化的 信号作为度量工具，这些正弦，余弦信号的频率是 各不相同的，才能度量出信号中相应的不同频率成 分。
为了对复杂事物进行经济有效的描述，我们希望将其分解 成相互独立的成分，譬如我们分析其快速变化的成分时， 就希望它只不再混杂其它成分。
傅里叶变换为例，希望它分析出某种频率的成分，就不 要包含其它任何频率的成分。这就要求，作为变换的工具 中的每个成分是相互独立的，用其中某一个工具就只能从 信号中分析出一种成分，而分析不出其它成分。
§7.3 基于K－L展开式的特征提取
K-L变换是一种正交变换，即将一个向量x，在某一种坐 标系统中的描述，转换成用另一种基向量组成的坐标系来 表示。这组基向量是正交的，其中每个坐标基向量用uj表 示，j=1,…,∞，因此，一个向量x可表示成
我们将表示的无限多维基向量坐标系统改成有限维坐标 系近似，即：
§7.3 基于K－L展开式的特征提取
K-L变换，是一种常用的正交变换，K-L变换 常用来作为数据压缩，这里我们用它作降维。
学习这一节主要要掌握以下几个问题：
1．什么是正交变换； 2．K-L变换是一种最佳的正交变换，要弄清是
什么意义的最佳，也就是说它最佳的定义； 3．K-L变换的性质； 4．K-L变换的重要应用。
特征值D=[24.736, 2.263]T,特征向量:
0.875 V 0.482
0.482
0.875
由于λ1>λ2，故最优2x1特征提取器 此时的K-L变换式为：
U
u1
0.875 0.482
y U T x uT x 0.875
0.482
x1 x2
基于K－L变换的数据压缩举例
模式识别
第七章特征的选择与提取(2)
回顾：
两类提取有效信息、压缩特征空间的方法：
特征提取 (extraction)：用映射（或变换）的方法把 原始特征变换为较少的新特征
特征选择(selection) ：从原始特征中挑选出一些最 有代表性，分类性能最好的特征
常见类别可分离性判据：
－ 基于距离的可分性判据 － 基于概率密度分布的判据
§7.3 基于K－L展开式的特征提取
K-L变换的基并没有固定的形式，它是从对给定数据 集{x}进行计算产生的。换句话说，给定的数据集不 同，得到的K-L变换基函数也因此而不同。正是因为 它对给定数据集{x}存在依赖关系，它在降低维数时 仍能较好地描述数据，因此是模式识别中降低特征空 间维数的有效方法。
§7.3 基于K－L展开式的特征提取
图6-3b
图6-3(b)中的向量A与B在一个二维空间定义，它们两者分别含有成 分为(a1,a2)与(b1,b2)，a1与b1是两者的同一种成分，a2与b2则是 另一种成分。故它们的点积定义为a1b1+a2b2，在这种条件下就不 需要积分，而只是简单求和。
§7.3 基于K－L展开式的特征提取
而在使用K-L变换后，每个描述量都有其各自的作用。因此 通过改变这些参数的值就可实现对模型的有效描述，这在 图象生成中是很有用的。因此利用K-L变换构造出可控制的， 连续可调的参数模型，这在人脸识别与人脸图象重构采方 面的应用是十分有效的。
K－L变换的一些典型应用
图像重构
K－L变换的一些典型应用
给出样本数据如下：
55,
54,
54,
65 ,
6 5
55 ,