基于个人特征脸图像重构的人脸识别

进行图像重构．采用最小重构误差作为判据实现人脸的识别，最后基于０ＲＬ及Ｙａｌｅ人脸数据库，实验验证了该
方法的有效性。 关键词：主成分分析；人脸识另ｑ；图像重构；特征提取
中图分类号：ＴＰ３９１．９
文献标识码：Ａ
Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ Ｂａｓｅｄ Ｏｎ ＩｎｄｉＶｉｄｕａｌ Ｅｉｇｅｎｆａｃｅｓ ａｎｄ Ｉｍａｇｅ ＲｅｃＯｎｓｔｒｕｃｔｉＯｎ
＆一∑尸，（鸬一肌）（鸬一腼）Ｔ作为产生矩阵实现
特征脸的提取，式中鸬是属于ｑ类的样本的均值。 图１为基于ＯＲＬ［９］数据库分别以总体散布矩阵 Ｓ，类间散布矩阵Ｓ。和以数据库中的单个人的类内 的协方差矩阵Ｓ』产生的特征脸图像。
图１基于蜀，＆和乳（从上到下）的特征脸图像
１·２基于ＰｃＡ的图像重构 由于人脸是一个共性与特性共存的实体，每个
万方数据
６８８
数据 采 集 与处理
第２３卷
中在前几个主分量中，而由这少数几个主分量张成 的子空间去重构原信号（如人脸图像），从最小均方 误差看逼近效果是最优的。在该方法的发展过程 中，Ｓｉｒｏｖｉｃｈ和Ｋｉｒｂｙ首先将Ｋ—Ｌ变换（Ｋａｒｈｕｎｅｎ— ｌｏｅｖｅ ｔｒａｎｓｆｅｒ）用于人脸图像的最优表示［２Ｊ，Ｔｕｒｋ 和Ｐｅｎｔｌａｎｄ进一步提出了“特征脸”（Ｅｉｇｅｎｆａｃｅｓ） 这个概念，该方法又被称为“特征脸法”［３］。后来又 出现了对人脸在特征子空间的投影特征采用不同 判据实现人脸识别的方法，Ｇａｏ对其中的一些方法 做了仿真并提出了一种新的被称作ＥＦＬＤ（Ｅｎ— ｈａｎｃｅｄ ｆｉｓｈｅｒ’ｓ ｌｉｎｅａｒ ｄｉｓｃｒｉｍｉｎａｎｔ）的识别方法， 实现了识别率的提高［４］。也有人通过对图像先进行 小波变换等预处理的方法、对ＰＣＡ进行特征加权 以及采用核映射等方式来提高ＰＣＡ的人脸识别 率，并取得一定的效果［５。］。
ｅｖｅ变换的机理是基于特征向量来计算内在的维 数，与以往的人脸识别方法相比，首次将人脸看作 一个整体，特征提取由手工定义到利用统计学习自 动获取特征，是人脸识别方法上的一个重要转变。 主成分分析也是一种最小均方误差（ＭＳＥ）意义的 最优变换［１］，也就是说，变换后的信号能量主要集
基金项目：国家自然科学基金（６０８７５０４６）资助项目；教育部新世纪优秀人才支持计划（ＮＣＥＴ—０６一０２９８）资助项目；辽宁 省高等学校优秀人才支持计划（ＲＣ—０５一０７，２００６Ｒ０６）资助项目；辽宁省教育厅科学研究计划（０５Ｌ０２０［２００８ｓ００７］）资助 项目；大连市科学技术计划（２００５ＡｌｏＧＸｌ０６）资助项目；大连大学智能信息处理重点实验室开放课题（２００７—３）资助项 目。 收稿日期：２００７一０６一１２；修订日期：２００７—１２一ｌｌ
本文采用ｏＲＬ标准人脸库及Ｙａｌｅ人脸库对
脸训练图像数量）矩阵ｙ，表示；
基于重构的人脸识别方法进行实验验证。ＯＲＩ。库
（２）以矩阵ｙ，作为产生矩阵，采用ＰＣＡ方法 包含４０个人的４００幅１１２×９２大小的人脸图像，
提取其特征子空间ｗｊ；
每人１０幅。这些图像是在不同时间拍摄的，有姿
（３来自百度文库重复上述步骤，提取出所有人脸的特征子 态、角度、尺度、表情和眼镜等变化；Ｙａｌｅ库中包含
具体的识别方法是：将图像预处理之后，取人 脸库中每个人的ｓ张图像作为训练图像，剩余ｚ—ｓ 张作为识别图像。以同一类样本的协方差矩阵ｓ』一
， １
÷芝：（Ａ，一心）（Ａ，一所）Ｔ，Ａ∈屿作为特征子空间
‘ｉ；
的产生矩阵，求出所有肌类人脸图像的特征子空 间。完成特征子空间的学习之后，将测试图像Ｘｉ以 式（１）向每一个特征子空间Ⅳ』进行投影，提取出 此测试图像对应于山ｉ类人脸的特征子空间的主成 分Ｈ们式中产，为山ｊ类人脸的识别图像的均值。然 后将抽取出来的特征Ｈ。，以式（２）向当前的特征子 空间彤，进行反求以实现图像重构。获得重构后的 人脸图像Ｋｉ。将重构图像ｙｉ，减去原图像Ｘｊ的二 范数除以原图像Ｘｉ的二范数计算出重构误差巧 （如式（３）），使巧最小的特征子空间所对应的图像 类∞，即为此测试图像所对应的类，实现人脸识别。
人脸都有一定的相似性及规则，但是不同的人脸又 存在着明显的区别，通过总体散布矩阵Ｓ进行特 征脸的训练，获取的大多是人脸的共性特征而忽略 了不同的人脸特性，而不同的人脸特征却又是进行 人脸识别最有用的信息。据此，本文引入了隐马尔 可夫模型（ＨＭＭ）【８３进行人脸识别时，训练单个人 的人脸样本以产生相应的识别模型的思想，采用类
空间Ｗｊ，＿『一１，２，…，仇；
（４）以式（１）的方式，将测试图像Ｘ向哦进
１６５张分别代表不同表情、遮掩和光照条件下的正 面像，对应为１５个人，每人１１幅，其分辨率为
行映射，提取其相应特征日玎；
３２０＊２４３，在本文实验中，采用２３０×１７０的采样窗
（５）以式（２）的方式，将特征向量目ｕ向Ⅳ』反 向映射，重构得到新的人脸图像Ｋｊ。
摘要：传统的基于ＰＣＡ（Ｐｒｉｎｃｉｐａｌ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ）的人脸识别方法产生的人脸特征子空间通常是由人脸库
中的所有训练样本产生的，此子空间包含的更多的是所有人脸样本的共性特征，而忽略了人脸的一些个性特征。 本文提出了一种基于ＰＣＡ图像重构的人脸识别方法，该方法以单个人的类内协方差矩阵为特征脸产生矩阵，获 取个人的人脸特征子空间，然后将待识别图像对每个特征子空间进行映射提取人脸图像主成分，并以此主成分
Ｈ。，＝（Ｘｆ一产，）×Ｗｊ ｉ＝１，２，…，Ⅳ；ｊ一１，２，…，槐 （１）
万方数据
第６期
周昌军，等：基于个人特征脸图像重构的人脸识别
６８９
Ｙｉｉ—ｗ｜×Ｈｉｊ＋如
式中Ｘｆ∈｛Ｃｌａｓｓ歹Ｉｍｉｎ毛歹，歹∈Ｃｌａｓｓ优｝
ｉ＝１，２，…，Ⅳ；歹一１，２，…，研 ‘２’
３实
验
主要步骤如下：
（１）将一个人的训练图像以ｎ×ｊ（ｊ为一个人
手动提取人脸作为实验数据。图３为ｏＲＬ人脸库 及Ｙａｌｅ人脸库的部分人脸图像。为了节省运算时
２人脸识别
间及存储量，作者采用双线性插值法将０ＲＩ。人脸 库图像压缩至２４×２４大小，将Ｙａｌｅ人脸库图像压
在前述的以类内协方差矩阵Ｓ，进行单个人的 特征脸提取的基础上，本文提出了一种以图像重构 误差作为判据的人脸识别新方法，该方法将测试人
ｙ为方差最大（即能量最大）的ｄ个分量，且
＾
ｄ
Ａｒ＝∑ｙ，％在所有以ｄ个ｓ的特征向量的重构
』＝ｌ
＾
中具有最小的均方误差，因而Ｊ，通常被称为主分
量，上述方法也称为主分量分析，简称ＰＣＡ。 ＰＣＡ用于人脸识别时也称作特征脸（Ｅｉｇｅｎ—
ｆａｃｅｓ）方法‘引，设前述的Ａ中的任意样本Ａ，由人脸 灰度图像矩阵，产生，，为硼×＾矩阵，则，ｚ一训× ＾。将训练集Ａ的总体散布矩阵Ｓ作为产生矩阵， 由ｓ，的前ｄ个特征值所对应的特征向量嚣，将其重 新排列成硼×＾的二维矩阵，则此ｄ个二维矩阵就 是Ｓ，所对应的ｄ个特征脸，由此可以产生所有人 的人脸特征子空间，也有人采用类问散布矩阵
变换，假设．ｓ，的特征值为九（歹＝１，２，…，以），且Ａ，≥ 屯≥…≥九≥０，相应的特征向量为哟，则对任意Ａ
中的样本Ａ｜可表示为：Ａ，一∑Ｊ，，％，其中ｙ』＝
Ａ－Ｈ，（歹一１，２，…，咒），ｊ，＝［ｊ，。，ｊ，：，…，Ｊ，。］Ｔ。选取Ｊ，的
前ｄ个分量ｊ，一［ｙ。，ｊ，：，…，射］Ｔ作为特征，则可证
＾
１主成分分析
１．１ 特征脸提取
设ｃｕｌ，叫２，…，‰为ｍ个模式类别，Ａ＝（Ａｌ，
Ａ：，…，Ａ＾，）为Ⅳ个ｎ维的训练样本集，Ａ中的每一
个Ａｒ属于哟类，即Ａｒ∈ｑ，ｉ＝１，２，，…，Ⅳ；歹一ｌ，
．
＾ｒ
２，…，ｍ。设硒一志∑Ａ为样本总的均值，则总体
一
ｉ＝１
．
＇Ⅳ
散布矩阵ｌｓ，＝专∑（Ａ，一鳓）（Ａ，一芦。）Ｔ，根据Ｋ气
Ｋｅｙ ｗｏｒｄｓ：ｐｒｉｎｃｉｐａｌ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ（ＰＣＡ）；ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ；ｉｍａｇｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ；ｆｅａ—
ｔｕｒｅ ｅｘｔｒａｃｔ；ｏｎ
引
口
主成分分析（ＰＣＡ）是线性特征抽取中最为重 要的技术之一，在数据压缩和图像识别等领域有着 广泛的应用和影响。主成分分析或Ｋａｒｈｕｎｅｎ—Ｉ，ｏ—
２．Ｓｃｈｏｏｌ ｏｆ Ｍａｎａｇｅｍｅｎｔ，Ｄａｌｉａｎ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ，Ｄａｌｉａｎ，１１６０２４，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：Ｔｒａｄｉｔｉｏｎａｌ ＰＣＡ（Ｐｒｉｎｃｉｐａｌ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ）－ｂａｓｅｄ ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ ｍｅｔｈｏｄｓ ｃａｎ ｏｂｔａｉｎ ａ ｕｎｉｖｅｒｓａｌ ｓｕｂｓｐａｃｅ ｂｙ ａＵ ｔｒａｉｎｉｎｇ ｉｍａｇｅｓ，ａｎｄ ｔｈｅ ｓｕｂｓｐａｃｅ ｒｅｐｒｅｓｅｎｔｓ ｔｈｅ ｃｏｍｍｏｎ～ ｎｅｓｓ ｏｆ ｔｈｅ ｈｕｍａｎ ｆａｃｅ ａｎｄ １０ｓｅ ｓｉｇｈｔ ｏｆ ｔｈｅ ｉｎｄｉｖｉｄｕａｌｉｔｙ ｏｆ ａ ｐｅｒｓｏｎ ｆａｃｅ． Ａ ｎｅｗ ｍｅｔｈｏｄ ｆｏｒ ｔｈｅ ｉｍａｇｅ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｉｓ ｐｒｅｓｅｎｔｅｄ ｂａｓｅｄ ｏｎ ＰＣＡ ｆｏｒ ｔｈｅ ｆａｃｉａｌ ｒｅｃｏｇｎｉｔｉｏｎ． Ｉｎｎｅｒ—ｃｌａｓｓ ｃｏ— ｖａｒｉａｎｃｅ ｍａｔｒｉｘ ｆｏｒ ｔｈｅ ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ ｉｓ ｕｓｅｄ，ａｎｄ ｔｈｅｎ ｅｉｇｅｎｖｅｃｔｏｒｓ ｆｒｏｍ ｅａｃｈ ｐｅｒｓｏｎ ａｒｅ ｏｂｔａｉｎｅｄ． ＦＬｌｒｔｈｅｒｍｏｒｅ，ｅｉｇｅｎＶａｌｕｅｓ ａｒｅ ｏｂｔａｉｎｅｄ ｂｙ ｍａｐｐｉｎｇ ｔｈｅ ｔｅｓｔ ｉｍａｇｅｓ ｔｏ ｓｕｂ—ｅｉｇｅｎｓｐａｃｅ ａｎｄ ｔｈｅ ｅｉｇｅｎｖａｌｕｅｓ ａｒｅ ｕｔｉｌｉｚｅｄ ｔｏ ｒｅｃｏｎｓｔｒｕｃｔ ｔｈｅ ｉｍａｇｅｓ ｔｏ ｒｅａｌｉｚｅ ｔｈｅ ｆａｃｉａｌ ｒｅｃｏｇｎｉｔｉｏｎ ｂａｓｅｄ ｏｎ ｔｈｅ ｍｉｎｉｍｕｍ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｅｒｒｏｒ． Ｔｈｅ ｓｉｍｕｌａｔｉｏｎ ｉｌｌｕｓｔｒａｔｅｓ ｔｈｅ ｅｆｆｅｃｔｉｖｉｔｙ ｏｆ ｔｈｅ ｍｅｔｈｏｄ ｏｎ ｔｈｅ ０ＲＬ ｆａｃｅ ｄａｔａｂａｓｅ ａｎｄ ｔｈｅ Ｙａｌｅ ｆａｃｅ ｄａｔａｂａｓｅ．
缩到４０×３０大小。同时，为了更有效地提取特征 脸，本文将人脸库中所有图像进行了左右的镜像， 扩大了训练及测试样本的数量。
脸图像向每一个由特征脸构成的特征子空间进行
投影并重构，以重构图像误差作为判据实现人脸识
０ＲＬ 人脸库
别网，图鐾２为系墨－统流程哗图一 。脚网Ｙ，网ａ塑ｌ脂ｅ库……Ⅷ………像
卜Ｊ
图２人脸识别系统流程图
第２３卷第６期 ２００８年１１月
数
据
采
集
与
处
理
Ｊ０ｕｒｎａｌ ｏｆ Ｄａｔａ Ａｃｑｕｉｓｉｔｉｏｎ＆Ｐｒｏｃｅｓｓｉｎｇ
文章编号：１００４—９０３７（２００８）０６一０６８７一０４
基于个人特征脸图像重构的人脸识别
Ｖ０１．２３ Ｎｏ．６ Ｎｏｖ．２００８
周昌军１ 白春光２ 魏小鹏１ 张 强
（１．大连大学辽宁省智能信息处理重点实验室，大连，１１６６２２；２．大连理工大学管理学院，大连，１１６０２４）
当前的ＰＣＡ人脸识别的方法主要都是应用总 体散布矩阵或类内散布矩阵进行人脸特征提取，产 生一个所有人的人脸特征子空间，而没有考虑到每 个人的人脸特征子空间。本文提出了一种以类内的 协方差矩阵进行主成分分析的方法，该方法通过构 造单个人的特征脸模型，然后将识别图像向每一个 特征脸模型进行映射实现特征提取并实现图像重 构，进而以重构图像误差作为判据实现人脸识别， 计算机仿真表明，此方法具有较好的识别率。
Ｚ＾ｏ“Ｃ＾ｄ押ｇ歹“扎１，Ｂ口ｆ Ｉ［Ｍ“”譬“日咒９２，Ⅵ％ｆ Ｘｉｄ０＿ｐＰ咒９１，Ｚ＾口咒ｇ Ｑｉ口以９１ （１．Ｌｉａｏｎｉｎｇ Ｋｅｙ Ｌａｂ ｏｆ Ｉｎｔｅｌｌｉｇｅｎｔ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ。Ｄａｌｉａｎ Ｕｎｉｖｅｒｓｉｔｙ，Ｄａｌｉａｎ，１１６６２２，Ｃｈｉｎａ；
１』一
内的协方差矩阵ｓ，＝手∑（Ａｒ一一）（Ａ，一所）ｔ， ’ ｆ一１
Ａ，∈哆来训练单个人的特征脸，其中ｚ为属于ｑ 类的样本的数量，鳓为属于ｑ类的样本的均值，进 而采用ＰＣＡ产生所有人的个人特征脸ｗ，，ｉ一１， ２，…，优。然后，将测试图像Ｘ。，？一１，２，…，Ⅳ以式 （１）映射到基图像Ⅳ，以提取特征日¨并将此特征 以式（２）反求重构出新的图像ｙ，』。