(机器学习作业)基于稀疏表示的数据缩减算法

基于稀疏表示的

数据缩减

学院：

学号：

姓名：

年级：

导师：

目录

1 稀疏表示理论..................................................................................................... - 3 -

1.1 稀疏表示基本理论.................................................................................. - 3 -

1.2 基于稀疏表示的人脸识别及实验.......................................................... - 4 -

2 基于稀疏表示的数据缩减算法......................................................................... - 6 -

2.1 算法思想.................................................................................................... - 6 -

2.1.1 实例分析......................................................................................... - 7 -

2.1.2 对比分析......................................................................................... - 8 -

2.2 人脸数据库介绍及实验仿真结果.......................................................... - 10 -

2.2.1 ORL库[2]的仿真结果与分析 ....................................................... - 10 -

2.2.2 PIE人脸数据库[7,8]的仿真结果与分析 ....................................... - 14 -

2.2.3 Extended Yale b库的仿真结果及分析 ........................................ - 16 -

3 小结................................................................................................................... - 18 -参考文献................................................................................................................. - 19 -附录论文程序源代码......................................................................................... - 20 -

1 稀疏表示理论

1.1 稀疏表示基本理论

稀疏表示理论在实际中越来越得到广泛的应用，例如图像去噪、重构、编码，模式识别与机器视觉等领域。2009年Wright et al [1]等人根据稀疏表示和压缩感知理论提出基于稀疏表示的人脸识别方法（Sparse Representation based Classification ，SRC ），算法提出两个假设前提：（1）同类样本处于同一个线性子空间，任何一个测试样本均可以用来自该类的训练样本线性表示；（2）用所有的训练样本构成字典，则测试样本在该字典上的表示是稀疏的，同时该稀疏系数包含了样本的类别信息。因此，直接用所有类的训练样本当字典，通过最小化稀疏表示系数的1l 范数来求解该稀疏系数，分类时将测试样本归属于最小残差的一类，在图像识别中取得了较好的结果。

假定测试样本图像M R y ∈，其中h w M ⨯=（w 表示图片长度方向像素个数，

h 表示图片高度方向像素个数），将整个图像库中的所有训练样本直接作为字典，

测试样本可以通过字典中的原子进行线性表示。而理论上每个训练样本仅与字典中同类的所有原子相关性最大，与非同类的原子相关性较小或者无关，因此最理想状态下，测试样本仅仅需要使用字典中同类原子线性表示进行重构，而其它类别的样本系数值很小，几乎为零。

由上述理论可知，测试样本y 属于第i 类，则它仅需要由同类的0T 个原子

{}0,,1T i

i

y y 可以线性组合表示，表达式如下所示：

0,

2211T i i i T k i

i i R A y y y y ∈=+++=ββααα

（1-1）

若在所有字典上进行线性表示，则表达式如下：

Ax A A A y n c =+++=βββ

2211 （1-2）

其中A 和x 分别为：

],,,[21c A A A A = K

n i i i R x ∈⎥

⎥⎥

⎥⎥⎥

⎥⎥⎥⎦⎤⎢⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡*=⎥⎥⎥⎥⎥

⎥⎥⎥⎥⎥⎦

⎤⎢⎢⎢⎢⎢⎢⎢⎢⎢⎢⎣⎡=+-0000111

ββββ

β （1-3）

解集为)(K R x x ∈，在理论上讲，x 应是稀疏的，即仅有少数元素数值为非零的，大部分元素值为零值或很小。

按照稀疏表示的求解模型，求解下面方程：

y Ax t s x x

==..min arg ˆ0

（1-4）

其中0•代表0l 范数，表示向量x 中非零元数的个数，对0l 范数的求解是一个NP 问题，可通过穷举法求解，但是所需时间较长，而理论证明，若信号在字典上的表示足够稀疏，则稀疏表示系数的求解等价于求解一下1l 范数模型：

y Ax t s x x

==..min arg ˆ1 （1-5）

1.2 基于稀疏表示的人脸识别及实验

ORL 人脸库[2]共有40个类，每类有10张图片，在本实验中采用ORL 3232⨯库，将每类前5张图片作为该类的字典，则所有类组合成的字典将拥有200个原子，其中图1.1就是第一类样本的第6张图片在该字典上求解的系数分布，横轴为原子，纵轴为原子对应的系数值。从上图可知，系数是稀疏的，大部分系数数值为0，且属于同一类的样本解出来的系数较大，即对应字典中的原子与要表示的测试样本相关性越大，也就是同类原子对样本的重构能力更强，非同类原子对样本的重构能力很弱。

为了对测试样本进行分类，利用上面求得系数的稀疏分布，分别用字典中的每一类字典的所有原子样本以及它们对应的系数值对测试样本进行线性重构，然后用重构出来的图片分别和原始测试样本比较求得残差，假如类别数为c ，则共有c 项残差，而测试样本属于重构残差最小的那一类。其中每类字典对测试样本的重构残差公式如下：

c i x A y y r i i ,2,1,)()(2 =-=δ （1-6） 其中i ()[0,0,

,0,1,1,

,1,0,0,0]i x δ=第类

，表示只提取出第i 类样本所对应的系

数，即仅使用第i 类样本重构测试样本。根据公式（1-6），完善上述实验，求出每一类字典对测试样本的重构残差，如下图1.2所示：