零空间边界 Fisher 分析法及其在人脸识别中的应用

零空间边界 Fisher 分析法及其在人脸识别中的应用
杨军;刘妍丽
【摘要】边界Fisher分析（ MFA）是一种有效的特征抽取方法，但在人脸识别的应用中会遭遇小样本问题。

基于此，提出一种利用零空间法求解MFA优化准则的算法。

该算法通过在MFA的类内散度矩阵的零空间中最大化MFA类间离散度得到最优投影向量，从而避免MFA方法所遇到的小样本问题，同时也保留了包含在类内散度矩阵零空间中的鉴别信息。

在标准人脸库上的识别实验结果表明，该算法的识别率高于LDA和MFA，并且较容易选择其最优低维特征空间的维数。

%Marginal Fisher analysis ( MFA) is an efficient linear projection technique for feature extraction .The major drawback of applying MFA to face recognition is that it often encounters the small sample size ( SSS) problem.In this paper, a strategy based on null space for solving optimization criteria of MFA is proposed to avoid this issue .It maximizes the class scatter of training samples on null space of within-class scatter matrix ( Sw ) in MFA and reserves the discriminant information contained in null space of Sw .The per-formance of this method is tested in both ORL and Yale face databases .Experimental results show that this method is effective and a-chieves higher recognition rate than LDA and
MFA .Moreover , it is easy to decide most optimal dimensionality of feature space for this method .
【期刊名称】《西华大学学报（自然科学版）》
【年(卷),期】2014(000)001
【总页数】5页(P60-64)
【关键词】人脸识别;边界Fisher分析;小样本问题;零空间
【作者】杨军;刘妍丽
【作者单位】四川师范大学计算机科学学院，四川成都 610101;四川师范大学数
学与软件学院，四川成都 610101
【正文语种】中文
【中图分类】TP391.41
0 引言
随着社会的发展和技术的进步，人脸识别技术在公共安全、海关、监控、人机交互等方面有着巨大的应用前景。

人脸识别一直是自动图像分析和识别领域里的一个活跃的研究课题[1]。

人脸识别的原始数据是图像矩阵。

如果将矩阵数据排列在一起，则形成一个高维向量。

过高的维数不但使统计方法很难准确估计一些统计量，也增加了后续对比分类工作的时间开销，即所谓的维数灾难问题(curse of dimensionality)。

子空间分析方法是人脸识别方法中的一个重要分支。

它从降低
原始数据向量维数的角度出发，将原始高维数据映射到一个能够更好地表征数据分布的低维特征空间中，从而在去除噪声和压缩数据的同时更好地区分数据。

特征脸(Eigenface)方法[2]和Fisher脸(Fisherface)方法[3]是2个经典的子空间人脸识别方法。

它们分别是基于统计学习中的主成分分析(PCA)和线性判别分析(LDA)算法的。

PCA 是一种无监督学习算法。

它在最小平方意义下给出数据的最优表示，主要适用于数据的压缩和重构，通过求解样本集协方差矩阵的最大几个特征值所对应的特征向量所张成的子空间而得到。

它没有考虑样本的类别信息，因此所学习的
子空间对于分类来说未必是最优的。

LDA 是一种监督学习算法，其目标是求出一
个线性子空间，使得在这个子空间中，训练样本的类内散度最小的同时类间散度最大，数据在低维空间中往往具有较好的可分性。

这是一种有效的降维和特征抽取方法。

PCA和LDA算法都假定人脸图像存在于一个欧氏空间中，然而有研究[4-5]表明人脸图像更可能存在于一个非线性的流形子空间中。

拉普拉斯脸(Laplacianface)方
法[6]将流形学习思想运用到人脸识别中，其核心算法是局部保持投影(LPP)。

LPP
是流形学习算法拉普拉斯映射(LE)[7]的线性逼近，因此，它具有保持训练样本局部流形结构的性质，还具有显式的数据映射矩阵，可以直接对新样本进行特征抽取，适用于人脸识别。

虽然LPP算法具有发现训练样本局部流形结构的能力，但是它
是一种无监督学习方法，提取的子空间对分类问题未必是最优的。

边界Fisher分
析方法(marginal fisher analysis, MFA)融合了监督学习和流形学习的思想，在保持同类样本局部结构的同时尽量分离异类的边界样本，进一步提升了LPP 算法鉴
别能力[8-9]。

LDA、LPP和MFA算法都以相应矩阵的迹的比值作为优化目标，求解过程中涉及对矩阵求逆的操作，如LDA算法需要对类内总体散度矩阵Sw求逆；然而在人脸
识别问题中，训练样本特征的维数通常较高而数量较少，即遭遇所谓的高维小样本问题，因此，类似于Sw的矩阵往往是奇异的，造成相应的鉴别准则是“病态的”，从而无法直接求解最优投影向量。

Fisherface、Laplacianface及MFA方法都先
利用PCA算法将原始数据降到一个低维空间中，在该空间保证Sw等矩阵可逆，
然后再采用求解通用特征值的方法来解决该问题。

文献[10-11]的研究表明，LDA
方法在保证Sw可逆的情况下去除了Sw的零空间，然而Sw的零空间含有大量的鉴别信息。

为保留Sw的零空间信息，Chen等[10]提出零空间LDA人脸识别方法，先求出Sw的零空间，将样本投影到Sw的零空间上，再求解使类间总体散度最大
的投影向量。

本文将零空间的思想运用到MFA准则的求解过程中，并进行在人脸识别中的实验以验证该方法的有效性。

1 边界Fisher判别分析
MFA是一种结合类边界信息的图嵌入算法。

其基本思想是构造一个本征图使类内样本点更加紧凑，同时构造一个惩罚图使异类间的边界样本点更加分离。

给定训练样本集合X={X1,X2,…,XN}∈Rn，用G={X,W}表示基于该训练集建立的一个无向有权图，每个样本点Xi为图中的1个顶点，Wij为顶点i和顶点j之间的权重。

本征图中的权重设置方法为
(1)
式中表示与Xi同类的k1个近邻样本组成的集合。

惩罚图中的权重设置方式为
(2)
式中表示与Xi不同类的k2个近邻样本组成的集合。

令数据从高维空间向低维特征空间的映射函数为yi=aTXi，保持同类样本局部紧致性的目标可以表示为
2yTDy-2yTWy= 2yT(D-W)y=2yTLy⟺ 2aTXLXTa
(3)
式中：D为对角矩阵，其对角线元素为为图的拉普拉斯矩阵。

投影空间中异类近邻样本尽量分离的目标可以表示为
⟺
(4)
综合以上2个优化目标，MFA的优化准则为
(5)
式中：Sw为MFA类内散度矩阵；Sb为MFA类间散度矩阵。

可以证明，式(5)的求解等价于求解的最大特征值所对应的特征向量。

图1演示了LPP、LDA和MFA 算法在模拟的2类数据上求得的最优投影方向。

可以看出，MFA算法在特征提取过程结合了类别信息，同时具有保持同类数据局部流形结构的能力;因此其最优投
影方向对数据具有较强的鉴别能力，并且对数据的非高斯分布情况具有一定的适应能力。

(a)2类数据有重叠
(b) 1类数据存在多模态分布图1 在模拟二维数据上的最优投影方向演示
2 零空间边界Fisher分析
式(5)的求解要求Sw可逆，为此在人脸识别问题中运用MFA方法时先用PCA降
低维数以保证Sw可逆；然而该过程将损失了部分包含在Sw零空间中的鉴别信息。

实际上，满足aTSwa=0且aTSba≠0的向量可以使式 (5)获得最大比例，因此Sw 零空间中含有重要的鉴别信息。

矩阵Sw的零空间的定义为{x|Swx=0,x∈Rn}，其维数为n-rank(Sw)。

为保留Sw的零空间，本文提出的零空间边界Fisher分析方法(null space marginal Fisher analysis，NMFA),首先将样本投影到Sw的零空
间中，然后在Sw的零空间中求解使Sb最大的投影向量，这就可以通过对Sb进
行特征值分解得到。

NMFA的具体步骤如下。

输入：共C个类别的训练样本X={X1,X2,…,XN}∈Rn。

输出：最优变换矩阵Aopt。

1) 根据式(1)、(2) 计算本征图权重矩阵W和Wp，计算图拉普拉斯矩阵L和Lp。

2) 根据式(3)、 (4) 计算类内散度矩阵Sw和类间散度矩阵Sb。

3) 如果rank(Sw)=r==n，则直接求解的前d个最大特征值所对应的特征向量构成最优变换矩阵Aopt，否则进入下一步。

4) 对Sw进行特征值分解，取最小的n-r个特征值所对应的特征向量构成Sw的零空间Q，满足QTSwQ=0。

5) 计算Sb在Sw的零空间上的投影矩阵，
6) 对进行特征值分解，取前d个最大特征值所对应的特征向量构成变换矩阵U，则Aopt=QU。

7) 对Aopt中的每个投影向量进行单位化处理，满足
在求得最优变换矩阵Aopt后，便可以将训练样本和测试样本向Aopt所代表的特征空间中进行投影，得到样本的低维空间表示，然后利用各种分类方法进行分类。

本文主要分析NMFA算法抽取的特征的鉴别能力，因此实验中采用较为简单的最近邻分离器完成分类。

3 实验结果及分析
为验证本文方法的有效性，分别在ORL数据库和Yale 数据库上进行实验，并与LDA和MFA算法进行对比。

3.1 在ORL 人脸数据库上的实验
ORL人脸库由40 人、每人10 幅图像组成：有些图像拍摄于不同时期; 人的脸部表情和脸部细节有着不同程度的变化, 如笑或不笑、眼睛或睁或闭、戴或不戴眼镜; 人脸姿态也有相当程度的变化, 深度旋转和平面旋转可达20; 人脸的尺度也有多达10%的变化。

图像的分辨率是112×92，实验中根据人眼位置截取出脸部图像并将分辨率设置为32×32。

实验中分别选择每人的前k(2到9)个样本作为训练样本，剩余的作为测试样本，各种算法的最优识别率如表1所示，其中MFA和NMFA 中的2个近邻参数k1和k2分别设置为2和20。

表1 各种算法在ORL数据库上的最优识别率算法识别率/%2个样本3个样本4个
样本5个样本6个样本7个样本8个样本9个样本
LDA79.3883.2192.5091.5096.2595.0097.5097.50MFA81.2585.7193.3394.509 5.0096.6796.2595.00NMFA83.4488.5795.4295.5096.8898.3397.5097.00
由表1可知，NMFA算法在大多数训练/测试划分情况下都取得了最好的识别结果，当训练样本较少时(如2、3个训练样本)对识别率的提高尤其明显，随着训练样本
数的增多，NMFA算法对识别率的提高不再那么明显。

造成这一结果的原因可能
是随着训练样本的增多，LDA可以更准确地估计散度矩阵，而NMFA中的Sw的零空间将有所减少，不再具有明显的优势。

从总体结果来看，NMFA仍然取得了
高于LDA和MFA的识别率。

为测试各种算法的人脸识别率的稳定性，实验中记录了各种算法在不同投影维数下取得的识别率，如图2所示。

(a)4个训练样本
(b)6个训练样本图2 ORL数据库上的识别率-维数变化曲线
3.2 在Yale人脸数据库上的实验
Yale人脸库包括15人的165 幅灰度人脸图像，每人由11 幅照片构成。

这些照片在不同的表情和光照条件下拍摄。

实验中, 图像大小被处理成32×32的形式。

实
验中分别选择每人的前k(2到10)个样本作为训练样本，剩余的作为测试样本，各种算法的最优识别率如表2所示，其中，MFA及NMFA中的2个近邻参数k1和k2分别设置为4和4。

表2 各种算法在Yale数据库上的最优识别率算法识别率/%2个样本3个样本4个样本5个样本6个样本7个样本8个样本9个样本10个样本
LDA51.1160.8366.6776.6776.0083.3382.2280.0093.33MFA61.4865.8374.297 2.2278.679088.8990100NMFA67.4167.574.2975.5678.679088.8990100
由表2可知，在Yale数据库中NMFA也取得了相对好的识别结果，与ORL数据
库效果一样，尤其在训练样本较少的情况下，在识别率上的优势尤其明显。

各种算法总体上都随着训练样本的增多识别率逐渐提高，Yale数据库上的识别率总体上
要差于ORL数据库上的识别率。

这主要是因为Yale数据库上的人脸图像存在较大的光照变化，从而造成类内差异较大，影响了监督学习算法的学习效果。

各种算法的识别率-维数变化曲线如图3所示。

(a)2个训练样本
(b) 3个训练样本图3 Yale数据库上的识别率-维数变化曲线
观察ORL和Yale数据库上的识别率-维数曲线可以发现，NMFA在同等维数情况下的识别率基本都高于其他2种算法，并且当选择的维数到达类别数量后其识别
率非常稳定。

这一性质决定了可以较容易地设置该方法中的低维空间维数参数，在实际应用中具有较好的适应性。

4 结束语
本文提出一种基于零空间策略求解边界Fisher分析的方法——NMFA。

实验结果
表明，MFA算法是一种有效的特征提取方法，对训练样本的分布具有一定的适应性，NMFA进一步提升了MFA算法的鉴别能力，在人脸识别中具有较好的识别率。

同时也注意到，NMFA算法需要对高维矩阵Sw进行特征分解，因此时间效率不高。

提高NMFA算法学习过程的时间效率是今后将关注的问题。

参考文献
[1]Zhao W, Chellappa R, Phillips P J, et al. Face Recognition: a Literature Survey [J]. ACM Computing Survey, 2003, 35(4): 399-458.
[2]Turk M, Pentland A. Face Recognition using Eigenfaces[C]//Proc IEEE Conf on Computer Vision and Pattern Recognition. Maui:IEEE, 1991: 586-591.
[3]Belhumeur P N, Hespanha J P, Kriegman D J. Eigenfaces vs Fisherface:
Recognition Using Class Specific Linear Projection[J].IEEE Trans on Pattern Analysis and Machine Intelligence, 1997,19(7): 711-720.
[4]Tenenbaum J B, De Silva V, Langford JC. A Global Geometric Framework for Nonlinear Dimensionality Reduction[J]. Science, 2000, 290:2319-2323.
[5]Roweis S T, Saul L K. Nonlinear Dimensionality Reduction by Locally Linear Embedding[J]. Science, 2000,290:2323-2326.
[6]He X, Yan S, Hu Y, et al. Face Recognition using Laplacianfaces[J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2005,27(3):328-340. [7]Belkin M, Niyogo P. Laplacian Eigenmaps for Dimensionality Reduction and Data Representation [J]. Neural Computation, 2003, 15( 6) : 1373-1396.
[8]Yan S , Xu D, Zhang B, et al. Graph Embedding and Extensions: A General Framework for Dimensionality Reduction [J]. IEEE Trans Pattern Analysis and Machine Intelligence, 2007, 29 (1):40-51.
[9]卢桂馥，林忠，金忠．基于最大差值的二维边界Fisher的人脸识别[J]．计算机科学，2010，37(5)：251-253.
[10]Chen L F, Liao H M, Lin J C, et al. A New LDA-based Recognition System which can Solve the Small Sample Size Problem[J]. Pattern Recognition, 2000, 33(10):1713-1726.
[11]Huang R, Liu Q S, Lu H Q, et al. Solving the Small Sample Size Problem of LDA[C]//Proceedings of International Conference on Pattern Recognition. Quebec, Canada:IEEE, 2002:29-32.。