侧面人脸图像的识别方法(2)

图 2 实验结果
图 2 中第一列是原始的侧面人脸图像，第二列是该文方法 合成的正面图像，第三列是该人的真实正面图像。由实验可以 看出：第一行图像与样本图像集合的平均年龄差异较大，第三 行图像与样本图像集合的种族差异较大，故合成效果较差。第 二行图像与样本比较接近，故合成效果较自然，可见该方法随 着统计样本范围的扩大而适应性增强。
ຫໍສະໝຸດ Baidu
T
Y Y准k=准kΛk
（5）
其中 Λk 表示特征值对角矩阵 Λk=diag（λ1，λ2，…，λk）。对式（2）
-1
两边右乘 Λk ，再对矩阵进行转置可得：
T
T
-1 T
-1 T T
Bk =准k =[Y Y准kΛk ] =（Λk 准k Y ）Y
（6）
如此，便将一个 m 维的矩阵 Y 投影到了 k 维子空间。由上式可
集可以表示为两组向量集合：X=[x1，x2，…，xs]、及对应的 Y=[y1， y2…，ys]。
由于向量长度通常很大，为了降低维数并去除样本间的相
关性，还需对训练集进行主元分析处理，这里仅以正面图像样
本集为例，计算样本集 X 的协方差矩阵 C：
s
s
Σ Σ C=
1 s
i=1
（xi
-ψ）（si
T
-ψ）
=
T
T -1 T T
XBk =Lk 圯L=XBk（Λk 准k Y ）
（11）
通过上面的过程，便可解得 X 和 Y 的线性系数矩阵 L。将
一幅侧面图像预处理后带入式（4）便可得到合成后的正面像。
4 实验与分析
实验数据来自 CVL FACE 数据库[7]，该人脸库以西方青年 男性为主，每个人 7 张照片，这里建立了 90 个人的样本集，为 方便处理，这里的侧面人脸图像均采用右向旋转 90°后的侧面 像，图 2 为部分实验结果。
得 Bk 是正交的，故有：
T
Bk Bk =I
（7）
再设如下式的方程：
T
X=Lk Bk 圯XBk =Lk
（8）
由式（4）和式（8）可得：
LY=Lk Bk
（9）
再将式（6）带入式（9）可得：
LY=Lk
Bk
=Lk（Λ-k1
T
准k
T
Y
Y）圯L=Lk（Λ-k1
T
准k
YT）
（10）
再将式（8）带入式（10）可得：
T
X=[x1，x2，xi，…，xs]，其中 xi=[xi1，xi2，…，xin]
T
Y=[y1，y2，yi，…，ys]，其中 yi=[yi1，yi2，…，yim] X 是 n×s 的矩阵，Y 是 m×s 的矩阵，n 通常与 m 不等。假设两组 变量 X 与 Y 之间存在着如下的线性关系：
X=LY+ε
T
3.1 建立样本集合
训练集由 S 组不同人脸图像样本组成，每组包含正面和侧 面的图像各一张，且所有样本的侧面图像的左右旋转角度须相
基金项目：陕西省自然科学基金（the Natural Science Foundation of Shaanxi Province of China under Grant No.SJ08F32）；陕西省教育厅自然科学 研究计划（the Natural Science Research Plan of Education Department of Shaanxi Province of China under Grant No.08JK290）；国家 统计局全国统计科学研究项目（the Key Program of National Bureau of Statistics of China under Grant No.LX2005-20）。
Computer Engineering and Applications 计算机工程与应用
2010，46（12） 155
侧面人脸图像的识别方法
张志刚 ZHANG Zhi-gang
西安财经学院 信息学院，西安 710061 Department of Information，Xi’an University of Finance and Economics，Xi’an 710061，China E-mail：zzg.gg@163.com
文献[2]提出了基于单视图的多姿态人脸识别技术，首先基 于二元高次多项式函数最小二乘拟合方法由单视图通过变形 生成包括正面的多姿态人脸图像，然后基于该单视图和生成的 多姿态图像进行多姿态人脸识别。文献[3]根据先验知识基于三 维可变形模板对侧面特征进行提取。此外，在人脸识别技术中 基于统计意义的方法常被采用：文献[4]通过学习给定的训练样 本，利用主元分析法获取物体的变化方式，并建立起图像纹理 的差异同模型参数之间的关系，以此指导匹配过程。文献[5]则 进一步指出图像的纹理与外形之间、及图像差异同姿态参数之 间存在着一种对应关系，并依此将学习过程分为两步。
在上述研究基础上，针对从侧面人脸恢复正视图的问题，提 出一种基于多变量线性退化模型的统计方法，通过对样本的学 习建立侧面图像与正面像之间的映射关系，以此由输入的侧面 图像合成正面像。
2 多变量线性退化模型介绍
多变量线性退化模型[6]主要用于分析基于线性假设的实验 数据，这里考虑两组 s 对变量 X、Y：
Σ
… … … … … …
Σ
Σ
Σ
Σ
Σ
Σ
Σ
Σ
x x … x Σ
Σ
Σ 1n
2n
Σ Σ sn Σ
y y … y Σ
Σ
Σ 1m
2m
Σ Σ sm Σ
（4）
其中两组向量集合 X=[x1，x2，…，xs]及对应的 Y=[y1，y2，…，ys]分
别表示降维后的样本图像向量集合。
3.2 求解系数矩阵
在式（4）中 L 是一 n×m 的矩阵，通常 m≠n，不易直接从上
为 b，从而简化了计算：
T
b=pk（z-ψ）
通过这样的处理，样本的维数大大降低，据此建立多变量
线性退化模型：
x x … x Σ
Σ 11
21
Σ s1 Σ
y y … y Σ
Σ 11
21
Σ s1 Σ
Σ
Σ
Σ
Σ
Σ
x x … x y y … y Σ
Σ
12
22
=L× Σ
Σ
s2
Σ Σ
Σ
Σ
Σ Σ
12
22
Σ
Σ
s2
Σ Σ
摘 要：针对侧面人脸的识别问题提出了一种基于统计的方法。基于人脸正面和侧面图像的线性相关性假设，通过对样本的学习 建立多变量线性退化模型求解出系数矩阵，从而由输入的人脸侧面照片合成得到其正面的图像。实验表明这种方法所获的正面像 接近于真实的照片，且无需任何的辅助设备和先验知识，具有一定的实用性。 关键词：侧面；多变量线性退化；人脸识别 DOI：10.3778/j.issn.1002-8331.2010.12.046 文章编号：1002－8331（2010）12-0155-02 文献标识码：A 中图分类号：TP391
图 1 建立样本
在训练前，还须将每个样本转化到一个统一的度量框架
中，即形状对齐，以去掉水平旋转、伸缩和位移等因素的影响。
若将一幅 P×Q 的人脸图像表示为 P×Q 维的向量，则如此可得
第 i 组样本的正、侧面图像灰度向量 xi、yi：
T
xi=[xi1，xi2，…，xin]
T
yi=[yi1，yi2，…，yim] n 和 m 分别对应正、侧面图像灰度向量的长度，这样整个训练
作者简介：张志刚（1970－），男，博士，副教授，主要研究方向：图形图像处理。 收稿日期：2008-11-18 修回日期：2009-01-06
156 2010，46（12）
Computer Engineering and Applications 计算机工程与应用
同，如图 1 所示为同一人的正侧面对应图像。
决定重叠区域像素来源于哪个区域时采用函数
M（s，t，A，B）=‖A（s）-B（s）‖+‖A（t）-B（t）‖
（3）
来决定。A 和 B 表示有重叠区域的两帧图像，s 和 t 表示重叠区
域中相邻的两个像素，A（s）表示像素 s 在图像 A 的颜色，B（s）
表示像素 s 在图像 B 的颜色，A（t）表示像素 t 在图像 A 的颜色，
式求解出 L，对此可通过主成分退化方法将矩阵 Y 投影到一个
k 维的子空间，从而保留矩阵 Y 的主要部分。
T
设对应于矩阵 Y Y 的最大的 k 个特征值是（λ1，λ2，…，λk），
k<s 且 λi>λi+1，与之对应的 k 个特征向量构成的矩阵为 φk=[p1，
p2，…，pk]，其中 pi 与 λi 一一对应，由定义可得下式：
B（t）表示像素 t 在图像 B 的颜色。如图 6 所示 1、2、3、4、5、6、7、
8、9 为图像 A 和图像 B 的重叠像素。计算每一横排的相邻像素
的函数之间的 M（s，t，A，B）值。然后找出每横排中最小的相邻
像素的 M（s，t，A，B）函数值，在这对相邻像素之间的连线上划
一条竖线。竖线左边的像素颜色由图像 A 提供，竖线右边的像
1 s
T
DD
，ψ=
1
s
xi
i=1
（1）
式中 D=[d1，d2，…，di，…，ds]，di=xi-ψ。再计算 C 的特征值和特征 向量：
C×P=P×Λ
（2）
式中 P 为 C 的特征向量矩阵，Λ 是 C 的特征值对角矩阵。在计
算特征值与特征向量时，由于 C 的维数通常比较大，直接计算
比较困难，综合前两式可得：
其中 ε=X-LY 是误差矢量，L 是 n×m 的矩阵，当误差 ε ε 很小 时，上式便退化为线性模型，再通过这 s 对实验数据便可求解 出 L。
3 正面图像的合成算法
合成算法分为几个步骤，首先对采集样本形成规范化训练 集合，再通过主元分析降维并去除样本间的相关性，最后通过 多变量线性退化模型求解出方程的系数，完成从侧面图像到正 视图的合成，具体如下：
从理论上而言，仅从一幅人脸侧面照片准确地恢复其正面 像是非常困难的。该文通过对一定数量样本的统计学习，在人 脸正面和侧面图像之间建立起一种线性关系，并通过多变量线
（下转 160 页）
160 2010，46（12）
Computer Engineering and Applications 计算机工程与应用
素颜色由图像 B 提供。如图 6 所示，1、2、3、5、6 由图像 A 提供，
ZHANG Zhi-gang.Recognition method for profile face image.Computer Engineering and Applications，2010，46（12）：155-156.
Abstract：Aiming at human profile recognition，a statistical learning method is proposed based on linear correlation assumption be－ tween profile and frontal face images，then the parameters matrix is solved by means of multi-variable linear regression model，finally the frontal face image can be synthesized from its profile.Experimental results demonstrate that the lifelike effect can be achieved， and the method is easy to be realized without any auxiliary equipments and prior knowledge and therefore has a better practicability. Key words：profile；multi-variable linear regression；face recognition
1 引言
人脸识别、检测跟踪等人脸相关技术作为近年来的一个重 要研究领域，已经取得了很大的进展[1]，但是在实际应用中，姿态、 眼镜、表情、阴影等众多干扰因素普遍存在，都不同程度地会对 识别效果产生影响，其中由于姿态的变化而导致的侧面人脸识 别问题尤为显著：从侧面照片恢复正面像不仅是后续处理工作 的基础，对于安防、金融、海关等领域也有广泛的应用价值。
T
T
T
D DD ×P=s×D ×P×Λ
（3）
T
T
由上式可得 D D 与 DD 有相同的非零特征值，但与原来的
T
T
T
协方差矩阵 DD 相比，D D 的维数要比 DD 的维数小得多，由
此可极大地简化计算。
由 C 中前 k 个较大特征值对应的特征向量 Pk=[p1，p2，…，pk] 构成一组新的标准正交基，这样一个人脸图像向量 z 可被表示