利用图像处理技术解决人脸识别中小样本问题
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Computer Engineering and Applications 计算机工程与应用
2011， 47 （27）
195
利用图像处理技术解决人脸识别中小样本问题
刘晓龙， 张元标 LIU Xiaolong， ZHANG Yuanbiao
暨南大学 珠海学院 数学建模创新实验基地， 广东 珠海 519070 Mathematical Modeling Innovative Practice Base， Zhuhai College， Jinan University， Zhuhai， Guangdong 519070， China LIU Xiaolong， ZHANG Yuanbiao.Solution of small sample size problem in face recognition using image processing puter Engineering and Applications， 2011， 47 （27） ： 195-198. Abstract： This paper uses PCA and 2DPCA to do the face recognition， and obtains dimensions of eigenvalues and recognition accuracy by using different pre-set thresholds of biggest eigenvalues， and gives the optimalizing dimensions and the threshold of two above methods.Then， using the image rotation technology by bilinear interpolation algorithm to add the numbers of the samples when there is small sample size for same person.It gets higher recognition accuracy and solves the small sample size problem in some degree.If some new predicted information of the small sample images can be generated for same person such as increasing the different expressions and depth of the face for each sample， the effects of the test will be more obvious. Key words： Principal Component Analysis （PCA） ； two Dimensional Principal Component Analysis （2DPCA） ； dimension； small samples size； bilinear interpolation； image rotating 摘 要： 通过应用 PCA 及 2DPCA 算法进行人脸识别， 得到了在取不同特征值门限情况下的特征提取维数和识别率， 给出了以上
PCA 方法最早被 Turk M 和 Pentland A 用于人脸识别的研 究， 取得了不错的效果。PCA 算法的全名为主分量分析， 主要 原理是 KL 变换， KL 变换是图像压缩中的重要处理手段， 其目 的是通过 KL 变换保留图像中最重要的正交积， 形成线性低维 空间， 通过处理这些主要的低维数据来进行图像的识别， 减少 [2] 了计算所需的时间 。 用 K-L 变化进行特征提取及邻近点法分类识别的算法步 骤如下[3]： 计算训练图像的平均脸：
Y ji = (Str jiU1, Str jiU 2, Str jiU P ) = [Y ji (1), Y ji (2), Y ji (P)]（14） Y ji 就是训练样本的主分量向量， 测试样本 Steij 向投影空
该式可理解为信息保留量， 是最大特征值门限， 可以控制 维数。 为了达到计算速度的提升， 根据奇异值定理计算 C 的正 交特征向量： ui = 1 AVi i = 1 2 p （5） λi 新的低维向量， 即特征空间为： W = (u1 u 2 u p)
m ´ n 的图像 X ， 投影到空间 U Î R
n×p
维数） 的前提下， 应用双线性插值算法， 进行图像处理， 把原本 单一或极少的训练样本通过平面角度的转换变成新的样本进 行训练， 增加了训练样本的信息量， 在有较少的训练样本时提 高了识别率， 收到了很好的效果。
2 PCA 与 2DPCA 算法及欧式距离最近邻分类器 2.1 PCA 算法与欧式距离最近邻分类器
1 引言
人脸识别已被应用于当今世界的各个领域， 并推动了一 系列电子设备的发展。人脸识别从单纯的抽象理论到现在的 实践应用经历了近 20 多年的时间， 在这段时间中， 很多研究人 员都做出了巨大的努力。 文献 [1] 给出了人脸识别的主要概念及其整体的操作步 骤， 并粗略提出了解决人脸识别问题的相关方法， 以及今后要 解决人脸识别问题的大致走向， 同时给出了人脸识别整体的 过程。针对这些过程在特征提取及特征识别方面同样有着很 多成果： 在文献 [2] 中， 谈到 Turk M 和 Pentland A 最早应用传 统 PCA 算法， 并在减少图像信息量和图像降维， 以及本征脸识 别方面收到了不错的效果； 而一篇主题为 PCA 本征脸识别与 PCA 结合 Fisher 线性准则方法对比的论文 [3] 受到了研究人员 的广泛关注， 其中详细介绍了传统 PCA 算法及 Fisher 线性准 则的过程以及实验结果分析， 并从向量投影的角度去诠释 PCA 过程， 为今后进一步的研究奠定了基础； 2004 年 Yang 等 人提出 2DPCA ， 提高了运算速度和识别率， 在传统的线性
T
（10）
而 C u = U E[( X - EX )( X - EX )]U 是 Y 的 协 方 差 矩 阵 ，
tr(C u) 是 C u 的轨迹。
（1）
图像的协方差： G = E[( X - EX )T ( X - EX )]
（11）
其中，xi 为每一个训练样本，K 为同一个人不同的训练样本
假设总的人脸库样本数为 K， 其中有 M 类人， 每类人的图 像 样 本 数 为 N， 则 可 得 到 样 本 集 为 (S ji i = 1 2 M j = 1
ρiL = W T di i = 1 2 K
间投影得到： Yt ji = (SteijU1, SteijU 2, SteijU P ) =
[Yt ji (1), Yt ji (2), Yt ji (P)]
（15）
2 N ) 。
（2）
计算所有样本的平均图像：
ˉ = 1 å å S ji S K i=1 j=1
M N
并以此构建协方差矩阵：
C = 1 å di diT = 1 AAT K i=1 K Vi ， 选取前 P 个特征值和特征向量要求： e= λi å i=1 λi å i=1
K p K
（1丰富了整个人脸识别的体 系； Zhang 在文献 [5] 中对 2DPCA 算法进行了改进， 进一步完
作者简介： 刘晓龙 （1988—） ， 男， 通讯作者， 研究生， 研究方向： 无线通信与传输； 张元标 （1979—） ， 男， 博士生。E-mail： fqz2007@ 收稿日期： 2010-04-02； 修回日期： 2010-08-31
基于双线性插值算法的图像旋转处理在上述所提到的最高效率的维数特征提取条件下本文给出了应用于orl人脸库下单个人不同实际训练样本个数下两种算法的识别率如表orl人脸库上两种算法的给定训练识别方式下的识别率通过上述的训练方法进行训练和识别最后得到增加训练样本后的识别率见表pca识别率6657307908208802dpca识别率635795825870905改进训练方式后两种算法在orl人脸库上的识别率在从上述结果可以看出随着训练样本个数的增加两种算法的识别率均有所增加在整体识别率上2dpca算法要优pca算法并且2dpca算法的速度要好于pca算法
196
2011， 47 （27）
Computer Engineering and Applications 计算机工程与应用 解， 但是由于 PCA 算法所需要的图形维数较高， 计算过程仍然 需要很长的时间。而其 PCA 算法在特征提取时所提取的图像 的所有像素都具有相同的信息地位， 也就是说 PCA 算法更重 视的是对人类特征的描述。2DPCA 方法的提出使得在特征提 取时不用传统的 PCA 算法将 2 维图像转化成为 1 维向量， 特征 提取所需要的维数减少， 运算速度有了很大程度的提高。另 外 2DPCA 算法在训练时采用的是类间散度准则， 并且其所应 用的是图像与总体样本平均值的差异， 即其识别效果比传统 的 PCA 算法好， 下面给出 2DPCA 的具体过程[4]：
两种算法最优特征提取向量的维数和最大特征值门限， 并在此基础上应用双线性差值图像旋转处理技术， 增加了同一个人较少 训练样本情况下的训练样本数量， 提高了识别率， 从一定程度上解决了小样本问题。如果能从小样本图像中生成出一些新的预 测信息， 例如， 增加同一个训练样本的不同的表情， 或改变样本表情的深度， 实验的效果可能更加明显。 关键词： 主成分分析； 二维主成分分析； 特征向量维数； 小样本； 双线性插值； 图像旋转 DOI： 10.3778/j.issn.1002-8331.2011.27.053 文章编号： 1002-8331 （2011） 27-0195-04 文献标识码： A 中图分类号： TP391
求矩阵 V = AT A 的特征值 λi 及其对应的正交归一化向量
计算样本的协方差矩阵：
ˉ)T (S ji - S ˉ) G = 1 å å (S ji - S K i=1 j=1
M N
（13）
对样本的协方差矩阵进行特征分解 GUi = λiUi ， 并根据图
³ 0.9
（4）
像的信息量选取前 P 个最大的特征值 λ1 λ 2 λ P ， 而其所对 应的正交特征向量 U1 U 2 U P 作为投影空间。 训练样本 Str ji 向投影空间投影得到：
ψ = 1 å xi K i=1 M 为同一个人不同的测试样本数。 数， 计算每一张人脸图片与平均人脸的差值： di = xi - ψ i = 1 2 K
K
， 并且 n ³ p ，p 的
选择根据特征向量要求 X 投影到 U 产生 m ´ p 投影矩阵 Y = 起 XU 。在 2DPCA 算法中，J (U ) 为投影矩阵 Y 的总离散度， 到评价投影空间的优劣的作用。 J (U ) = tr{U T E[( X - EX )( X - EX )]U }
[4]
善了 2DPCA 的体系， 并提供了在 ORL 人脸库上识别的结果， 对今后探究 2DPCA 算法起到了很大的指导意义； 而文献[6]则 主要给出了不同种人脸识别的方法， 并对其进行了实验分析 以及结果对比， 主要描述了传统 PCA 算法以及 2DPCA 算法的 具体过程， 还有结合 Fisher 线性准则的 PCA 即 FLDA 及 2DPCA 算法， 以及基于不同原理的最近邻分类器。虽然人脸识别 方法有了以上很多重要成果， 但是其在实际操作过程中遇到 了很多应用问题， 其中小样本训练问题就是其中的一个， 近年 来也有很多研究人员着力解决这一问题： 有人通过改进线性 2DPCA 算法的训练方式， 在文献[7]中提出模块 2DPCA 人脸识 别算法， 在 2DPCA 的基础上提出将图像表达信息的能力分为 不同的权重， 把不同权重的特征提取加入原本线性的 2DPCA 算法中， 为解决单一小样本的训练问题提供了一条可行之路； 另外， 对于小样本问题， 还有研究人员在文献[8]中提出通过更 高级的 Gabel 小波变换算法的特殊特征提取的方法来增加图 像信息， 该方法对于有一定训练样本， 但样本总数量没有达到 准确识别要求的情况下有很好的效果。 主要基于传统的 PCA 算法及 2DPCA 算法， 在给出了其最 佳的特征提取维数及最大特征值门限 （该量可控制特征提取
2011， 47 （27）
195
利用图像处理技术解决人脸识别中小样本问题
刘晓龙， 张元标 LIU Xiaolong， ZHANG Yuanbiao
暨南大学 珠海学院 数学建模创新实验基地， 广东 珠海 519070 Mathematical Modeling Innovative Practice Base， Zhuhai College， Jinan University， Zhuhai， Guangdong 519070， China LIU Xiaolong， ZHANG Yuanbiao.Solution of small sample size problem in face recognition using image processing puter Engineering and Applications， 2011， 47 （27） ： 195-198. Abstract： This paper uses PCA and 2DPCA to do the face recognition， and obtains dimensions of eigenvalues and recognition accuracy by using different pre-set thresholds of biggest eigenvalues， and gives the optimalizing dimensions and the threshold of two above methods.Then， using the image rotation technology by bilinear interpolation algorithm to add the numbers of the samples when there is small sample size for same person.It gets higher recognition accuracy and solves the small sample size problem in some degree.If some new predicted information of the small sample images can be generated for same person such as increasing the different expressions and depth of the face for each sample， the effects of the test will be more obvious. Key words： Principal Component Analysis （PCA） ； two Dimensional Principal Component Analysis （2DPCA） ； dimension； small samples size； bilinear interpolation； image rotating 摘 要： 通过应用 PCA 及 2DPCA 算法进行人脸识别， 得到了在取不同特征值门限情况下的特征提取维数和识别率， 给出了以上
PCA 方法最早被 Turk M 和 Pentland A 用于人脸识别的研 究， 取得了不错的效果。PCA 算法的全名为主分量分析， 主要 原理是 KL 变换， KL 变换是图像压缩中的重要处理手段， 其目 的是通过 KL 变换保留图像中最重要的正交积， 形成线性低维 空间， 通过处理这些主要的低维数据来进行图像的识别， 减少 [2] 了计算所需的时间 。 用 K-L 变化进行特征提取及邻近点法分类识别的算法步 骤如下[3]： 计算训练图像的平均脸：
Y ji = (Str jiU1, Str jiU 2, Str jiU P ) = [Y ji (1), Y ji (2), Y ji (P)]（14） Y ji 就是训练样本的主分量向量， 测试样本 Steij 向投影空
该式可理解为信息保留量， 是最大特征值门限， 可以控制 维数。 为了达到计算速度的提升， 根据奇异值定理计算 C 的正 交特征向量： ui = 1 AVi i = 1 2 p （5） λi 新的低维向量， 即特征空间为： W = (u1 u 2 u p)
m ´ n 的图像 X ， 投影到空间 U Î R
n×p
维数） 的前提下， 应用双线性插值算法， 进行图像处理， 把原本 单一或极少的训练样本通过平面角度的转换变成新的样本进 行训练， 增加了训练样本的信息量， 在有较少的训练样本时提 高了识别率， 收到了很好的效果。
2 PCA 与 2DPCA 算法及欧式距离最近邻分类器 2.1 PCA 算法与欧式距离最近邻分类器
1 引言
人脸识别已被应用于当今世界的各个领域， 并推动了一 系列电子设备的发展。人脸识别从单纯的抽象理论到现在的 实践应用经历了近 20 多年的时间， 在这段时间中， 很多研究人 员都做出了巨大的努力。 文献 [1] 给出了人脸识别的主要概念及其整体的操作步 骤， 并粗略提出了解决人脸识别问题的相关方法， 以及今后要 解决人脸识别问题的大致走向， 同时给出了人脸识别整体的 过程。针对这些过程在特征提取及特征识别方面同样有着很 多成果： 在文献 [2] 中， 谈到 Turk M 和 Pentland A 最早应用传 统 PCA 算法， 并在减少图像信息量和图像降维， 以及本征脸识 别方面收到了不错的效果； 而一篇主题为 PCA 本征脸识别与 PCA 结合 Fisher 线性准则方法对比的论文 [3] 受到了研究人员 的广泛关注， 其中详细介绍了传统 PCA 算法及 Fisher 线性准 则的过程以及实验结果分析， 并从向量投影的角度去诠释 PCA 过程， 为今后进一步的研究奠定了基础； 2004 年 Yang 等 人提出 2DPCA ， 提高了运算速度和识别率， 在传统的线性
T
（10）
而 C u = U E[( X - EX )( X - EX )]U 是 Y 的 协 方 差 矩 阵 ，
tr(C u) 是 C u 的轨迹。
（1）
图像的协方差： G = E[( X - EX )T ( X - EX )]
（11）
其中，xi 为每一个训练样本，K 为同一个人不同的训练样本
假设总的人脸库样本数为 K， 其中有 M 类人， 每类人的图 像 样 本 数 为 N， 则 可 得 到 样 本 集 为 (S ji i = 1 2 M j = 1
ρiL = W T di i = 1 2 K
间投影得到： Yt ji = (SteijU1, SteijU 2, SteijU P ) =
[Yt ji (1), Yt ji (2), Yt ji (P)]
（15）
2 N ) 。
（2）
计算所有样本的平均图像：
ˉ = 1 å å S ji S K i=1 j=1
M N
并以此构建协方差矩阵：
C = 1 å di diT = 1 AAT K i=1 K Vi ， 选取前 P 个特征值和特征向量要求： e= λi å i=1 λi å i=1
K p K
（1丰富了整个人脸识别的体 系； Zhang 在文献 [5] 中对 2DPCA 算法进行了改进， 进一步完
作者简介： 刘晓龙 （1988—） ， 男， 通讯作者， 研究生， 研究方向： 无线通信与传输； 张元标 （1979—） ， 男， 博士生。E-mail： fqz2007@ 收稿日期： 2010-04-02； 修回日期： 2010-08-31
基于双线性插值算法的图像旋转处理在上述所提到的最高效率的维数特征提取条件下本文给出了应用于orl人脸库下单个人不同实际训练样本个数下两种算法的识别率如表orl人脸库上两种算法的给定训练识别方式下的识别率通过上述的训练方法进行训练和识别最后得到增加训练样本后的识别率见表pca识别率6657307908208802dpca识别率635795825870905改进训练方式后两种算法在orl人脸库上的识别率在从上述结果可以看出随着训练样本个数的增加两种算法的识别率均有所增加在整体识别率上2dpca算法要优pca算法并且2dpca算法的速度要好于pca算法
196
2011， 47 （27）
Computer Engineering and Applications 计算机工程与应用 解， 但是由于 PCA 算法所需要的图形维数较高， 计算过程仍然 需要很长的时间。而其 PCA 算法在特征提取时所提取的图像 的所有像素都具有相同的信息地位， 也就是说 PCA 算法更重 视的是对人类特征的描述。2DPCA 方法的提出使得在特征提 取时不用传统的 PCA 算法将 2 维图像转化成为 1 维向量， 特征 提取所需要的维数减少， 运算速度有了很大程度的提高。另 外 2DPCA 算法在训练时采用的是类间散度准则， 并且其所应 用的是图像与总体样本平均值的差异， 即其识别效果比传统 的 PCA 算法好， 下面给出 2DPCA 的具体过程[4]：
两种算法最优特征提取向量的维数和最大特征值门限， 并在此基础上应用双线性差值图像旋转处理技术， 增加了同一个人较少 训练样本情况下的训练样本数量， 提高了识别率， 从一定程度上解决了小样本问题。如果能从小样本图像中生成出一些新的预 测信息， 例如， 增加同一个训练样本的不同的表情， 或改变样本表情的深度， 实验的效果可能更加明显。 关键词： 主成分分析； 二维主成分分析； 特征向量维数； 小样本； 双线性插值； 图像旋转 DOI： 10.3778/j.issn.1002-8331.2011.27.053 文章编号： 1002-8331 （2011） 27-0195-04 文献标识码： A 中图分类号： TP391
求矩阵 V = AT A 的特征值 λi 及其对应的正交归一化向量
计算样本的协方差矩阵：
ˉ)T (S ji - S ˉ) G = 1 å å (S ji - S K i=1 j=1
M N
（13）
对样本的协方差矩阵进行特征分解 GUi = λiUi ， 并根据图
³ 0.9
（4）
像的信息量选取前 P 个最大的特征值 λ1 λ 2 λ P ， 而其所对 应的正交特征向量 U1 U 2 U P 作为投影空间。 训练样本 Str ji 向投影空间投影得到：
ψ = 1 å xi K i=1 M 为同一个人不同的测试样本数。 数， 计算每一张人脸图片与平均人脸的差值： di = xi - ψ i = 1 2 K
K
， 并且 n ³ p ，p 的
选择根据特征向量要求 X 投影到 U 产生 m ´ p 投影矩阵 Y = 起 XU 。在 2DPCA 算法中，J (U ) 为投影矩阵 Y 的总离散度， 到评价投影空间的优劣的作用。 J (U ) = tr{U T E[( X - EX )( X - EX )]U }
[4]
善了 2DPCA 的体系， 并提供了在 ORL 人脸库上识别的结果， 对今后探究 2DPCA 算法起到了很大的指导意义； 而文献[6]则 主要给出了不同种人脸识别的方法， 并对其进行了实验分析 以及结果对比， 主要描述了传统 PCA 算法以及 2DPCA 算法的 具体过程， 还有结合 Fisher 线性准则的 PCA 即 FLDA 及 2DPCA 算法， 以及基于不同原理的最近邻分类器。虽然人脸识别 方法有了以上很多重要成果， 但是其在实际操作过程中遇到 了很多应用问题， 其中小样本训练问题就是其中的一个， 近年 来也有很多研究人员着力解决这一问题： 有人通过改进线性 2DPCA 算法的训练方式， 在文献[7]中提出模块 2DPCA 人脸识 别算法， 在 2DPCA 的基础上提出将图像表达信息的能力分为 不同的权重， 把不同权重的特征提取加入原本线性的 2DPCA 算法中， 为解决单一小样本的训练问题提供了一条可行之路； 另外， 对于小样本问题， 还有研究人员在文献[8]中提出通过更 高级的 Gabel 小波变换算法的特殊特征提取的方法来增加图 像信息， 该方法对于有一定训练样本， 但样本总数量没有达到 准确识别要求的情况下有很好的效果。 主要基于传统的 PCA 算法及 2DPCA 算法， 在给出了其最 佳的特征提取维数及最大特征值门限 （该量可控制特征提取