单样本人脸识别综述

单样本人脸识别综述南京杭空航天大学ELSEVIER摘要当前人脸识别技术主要挑战之一在于样本收集的困难性。

很少的样本意味着在收集样本时付出更少的劳动，在存储和处理它们是付出更少的代价。

不幸的是，许多现有的人脸识别技术很大程度上依赖于训练样本集的规模和代表性，如果系统中仅有一个训练样本，则将会导致严重的性能下降甚至无法工作。

这种情况称之为“单样本”问题，即给出每人一幅人脸的存储数据库，目标是仅根据单幅人脸图像在不同的姿态、光照等条件下从数据库中识别人脸图像的身份。

由于训练集非常有限，这样的任务队当前大多数算法而言都是非常具有挑战性的。

现有许多技术正试图解决该问题，本文的目的是对这些算法进行分类和评估，对较为突出的算法进行了描述和批判的分析。

并讨论了诸如数据采集、小样本规模的影响、系统评估等一些相关问题，同时提出了一些未来研究中具有前景的方向。

关键词：人脸识别；单训练样本1 引言作为少数几个同时具有高精度和低干涉的生物特征方法，人脸识别技术在信息安全、法律事实和监控、智能车、访问控制等方面具有大量的潜在应用。

因此，在过去20年中人脸识别技术已经受到了来自学术和工业方面的极大关注。

近来，一些作者已经从不同方面调查和评估了现有的人脸识别技术。

例如，Samal et al. [4] and Valentin et al. [5]分别对基于特征和基于神经网络的技术进行了调研。

Yang等[6]评述了人脸识别技术，Pantic and Rothkrantz[7]对自动面部表达分析进行了调研，Daugman [3]指出了涉及人脸识别系统有效性的几个关键问题，而最近的综述应该是Zhao et al. [1],他对许多最新的技术进行了评论。

人脸识别的目的是从人脸图像的数据库中的静态图像或视频图像中识别或验证一个或多个人。

许多研究工作集中在怎样提高识别系统的精度，然而，大部分研究工作似乎忽视了一个可能来源于人脸数据库的潜在问题，即可能由于样本采集的困难或由于系统存储空间的限制，数据库中可能对每一个人只存储了一副样本图像。

在这种条件下，诸如特征脸（Eigenface）和Fisher人脸识别技术等传统方法将导致严重的性能下降甚至无法工作（详见第2节）。

这个问题称之为单样本问题，即即给出每人一幅人脸的存储数据库，目标是仅根据单幅人脸图像在不同的姿态、光照等条件下从数据库中识别人脸图像的身份。

由于其挑战性和现实应用的重要性，这个问题很快成为了人脸识别技术近年来的一个研究热点，许多专用技术被开发来解决该问题，例如合成虚拟样本，局部化单一训练图像，概率匹配和神经网络方法。

本文最主要的贡献是给出这些从单一人脸图像进行人脸识别的特定方法一个综合的、评论性的综述。

我们相信这些工作是对参考文献[1–7]的一个有用的补充，这些文献中所考察的大多数技术没有考虑单样本问题。

实际上，通过对这个问题更多的关注和技术的详细研究，我们希望这篇综述能够对这些技术的基本原则、相互联系、优缺点以及设计优化提供更多深刻的理解。

对一些相关问题，如数据收集、小样本空间的影响以及系统评估等也进行了讨论。

接下来我们首先试图建立有关什么是单样本问题以及为什么、何时应道考虑这个问题的一个公共背景。

特别的，我们也讨论了该问题所不需要考虑的方面。

在第三节我们继续回顾有关该问题的前沿技术。

借此，我们希望能够借鉴一些有用的经验来帮助我们更有效地解决这个问题。

在第四节中，我们讨论了有关性能评估的几个问题。

最后，在第五节中我们通过讨论几个具有前景的研究方向对单样本问题进行了总结。

2 单样本问题这一节中，我们讨论单样本问题的实质。

首先，我们给出直接关系到单样本问题产生的背景。

然后描述了单样本问题对现有FR 算法的产生的影响以及给FR 算法设计带来的挑战。

最后我们讨论了为什么以及何时我们应当考虑这个问题。

2.1 背景单样本问题的起源可以追溯到早期盛行基于几何方法的时期，那时各种各样的构形特征，例如双眼的间距是从单幅人脸图像中人工提取的并作为模板存储起来以供识别。

一副人脸图像对于这些方法而言并不存在什么问题。

然而，在一些可以获得大量人脸图像的应用场合（application scenarios ）中（例如：执法），我们可能需要一种更加智能并付出更少劳动力的方式来处理这些人脸图像。

这直接导致了所谓的基于外观方法的诞生。

在拥有（Armed with ）了来自不同学科的现代智能方法后，例如计算机视觉、模式识别、机器学习和神经网络，基于外观技术的人脸识别避免（circumvent ）了使用人脸图像的向量化表达来处理几何特征的繁琐（laborious ）过程，并极大提高了人脸识别系统的效能（effectiveness and efficiency ）。

因此，这些方法已成为自20世纪90年代以来人脸识别领域的主要方法（dominant techniques ）。

然而，基于外观方法的关键要素之一是他们的学习机制，每一类人脸的训练样本数量将对这些学习机制的性能产生极大的影响。

当前大多数FR 技术假设对同一类人总是可以获得至少2个以上的样本来用于训练。

不幸的是在许多世纪应用中，我们可以获得的实际训练样本数量比我们想象的要少得多。

更为特别的是，在许多应用场合下，尤其是在大范围的身份验证场合中，例如执法、驾照和护照卡验证，我们在数据库中通常只能为每个人仅仅采集一个样本。

此外，我们也很少有机会在基础数据库中去为这些人再添加更多的样本，因为采集样本是有成本的，即便我们这样做了也会存在问题，即，需要添加多少样本以及以何种方式添加。

到目前为止，在人脸识别领域对这些情况被研究的并不多。

因此，对每类人仅仅用一个训练样本与那些使用多个训练样本的人脸识别技术加以区别是有意义的。

本文中，这两类人脸识别问题分别记作单样本和多样本问题。

初看起来，他们之间的区别似乎就在于处理每类人时所使用的训练样本的数量。

在这种意义上，单样本问题看起来是多样本问题的一个特例。

事实是这样吗？处理多样本问题的算法能够简单地用于处理单样本问题吗？我们将在下一节对此进行讨论。

2.2 单样本问题面临的挑战在这一节中，我们将讨论单样本问题所带来的影响和挑战。

一般说来，在统计学和模式识别中，单样本问题与小样本空间问题有着直接的联系。

如上所述（As mentioned before ），基于外观方法的基础在于他们的学习机制，而学习机制（或分类）的经典方法大多需要足够大的训练样本集才能获得一个较好的生成性能，少部分取决于人脸图像的高维表达（在基于外观方法中，人脸图像直接用每一个像素的灰度值来向量化）。

例如文献【19】，一副100×100的人脸图像被向量化到一个10000维的特增空间，理论上每一类人的训练样本的数量应当至少是维数的10倍，即是说每类人总共需要100000副图像。

直观上，若为了建立一个人脸外观的较好的模型而让其拥有如此多的照片，这几乎是不太可能的。

为了解决这个问题，可以使用降维技术。

在人脸识别中PCA 方法是最成功的技术之一。

在文献【8,9】中基于PCA 技术的方法被称之为特征脸。

在形式上，每一个n 维人脸图像x 被看作是一组正交基()1,,i u i n == 的线性权值和：()11 n m i i i i i i x u u typically m n αα===≈∑∑ ，通过求解特征值问题CU U =Λ，这里C 是N个训练样本的协方差矩阵，可被写作如下形式：这里，总体散布矩阵C等于类内散布矩阵（intra-person scatter matrix）C I与类间散布矩阵（inter-person scatter matrix）C E的和。

在每类人仅有一个训练样本的情况下，C I=0，因此，式（1）简化为等于C E。

然而仅用C E来估计特征空间是不可靠的，因为它不能有效地捕获在其他转换误差（transformation errors）和噪声中的主要识别差异。

Fig. 1. Some samples from one subject in ORL dataset.为了描述受不同训练样本影响的特征脸的执行性能，我们采用ORL数据集为测试平台。

ORL数据集含有40个不同类的个体，每一个个体含有10副不同的图像。

如图1所示，每个人有10个样本图像。

在实验中，我们固定测试的人脸图像，并改变训练样本的数量。

更具体的说，我们使用每个人的最后一幅图像来进行测试，并且为每个人随机地选择n副图像（n<9）进行训练。

以上过程重复执行20次，图2给出了随训练样本数量变化时的平均最高识别率。

由图2可以看出特征脸方法的性能随训练样本数量的减少而下降。

在极限情况下，如果每类人仅用一个训练样本，特征脸方法的平均识别率将不足65%，相比使用9个训练样本时的95%的平均识别率则减少了30%。

Fig. 2. The average top 1 recognition performance as a function of the number of training samples per person.基于标准特征脸技术，近10年来研究者已经开发了各种不同的改进算法，包括基于概率的特征脸[31],，基于子空间的线性判别分析（LDA）[10–13]（线性判别分析（LDA）是特征提取的有效方法之一，其目的在于从高维特征空间里提取出能使同一类别的样本聚集在一起，不同类别的样本尽量分开的特征，即最具有判别能力的低维特征。

也就是说要选择使得样本类间离散度与样本类内离散度的比值最大的特征。

处理高维图像时容易产生“小样本问题”,即样本维数大大超过训练图像个数的问题）,基于SVM的方法[32],，特征线方法[33]，进化追踪（Evolution pursuit），以及Laplacianfaces等（Laplacianfaces 方法首先用 PCA 将图像映射到 PCA 子空间中，然后再在该子空间中采用 LPP 方法，最后所得的变换矩阵可以表示为其中，，该方法能够很好地以线性方式保留人脸内在的几何特性，映射矩阵 W 中的每一列向量便构成了 Laplacianfaces。

）。

所有这些方法都声称优于特征脸。

然而，如果仅有一个训练样本可供使用，则这些方法是不可行的，其效果或者会降低到基本特征脸方法，要么不能工作。

详细的解释如下：(1).大多数基于LDA的子空间算法的目标是通过最大化类间散布矩阵与类内散布矩阵的比值，在特征空间中寻找可以进行区分最佳投影方向。

然而LDA方法只有当每个人的具有许多有代表性的训练样本的时候才能工作的很好，否则，它的效果可能比特征脸方法还要差【36】。

当仅有一个训练样本的时候，基于子空间的LDA方法将会失效，由于无法获得类间散度矩阵。