基于AAM和光流法的动态序列表情识别

基于AAM和光流法的动态序列表情识别
邵虹;王洋;王昳昀
【摘要】为获得人脸表情变化过程的动态信息,提高表情特征点在动态序列中跟踪的准确性,提出将主动表观模型与高斯金字塔Lucas-Kanada光流法相结合的表情识别方法.构造中性表情的基本主动表观模型,得到中性表情帧中的表情特征点,在动态序列中用高斯金字塔Lucas-Kanada光流法跟踪这些表情特征点,获得表情动态变化信息作为人脸表情特征,用支持向量机方法进行表情分类.在Cohn-Kanade+人脸表情数据库进行实验,实验结果表明,该方法能有效提高人脸表情识别的准确率.%To obtain the dynamic information changes and improve the accuracy of face feature point tracking in the dynamic sequence,an expression recognition method based on active appearance model and Gaussian pyramid ILucas-Kanada optical flow method was proposed.The basic shape model of the neutral expression was constructed by using the active appearance model to obtain the feature points in the initial neutral expression frame.In the dynamic sequence,the initial expression frame feature points were tracked using Gaussian pyramid Lucas-Kanada optical flow method,and the facial expression dynamic change information was obtained.Support vector machine was used to classify facial expressions.Results of experiments on the Cohn-Kanade + face expression database show that this method can effectively improve the accuracy of facial expression recognition.
【期刊名称】《计算机工程与设计》
【年(卷),期】2017(038)006
【总页数】6页(P1642-1646,1656)
【关键词】主动表观模型;光流法;表情识别;支持向量机;动态序列
【作者】邵虹;王洋;王昳昀
【作者单位】沈阳工业大学信息科学与工程学院,辽宁沈阳110870;沈阳工业大学信息科学与工程学院,辽宁沈阳110870;沈阳工业大学信息科学与工程学院,辽宁沈阳110870
【正文语种】中文
【中图分类】TP391
表情特征[1]可分为静态图像信息与动态序列信息两种，分别对应两类表情识别方法。

静态图像表情识别主要根据表情发生时的单帧图像信息呈现的表情状态提取特征，主要方法可分为基于表观的方法和基于模型的方法[2]。

静态图像特征具有效率高，速度快等特点，但是此类表情特征缺少表情的运动信息，不能很好地反映表情变化，识别率还有待提高。

动态序列表情特征，具有表情变化的动态特征，更自然有效地描述了表情变化过程[3,4]，因此，本文以动态序列作为表情识别的研究对象获取表情动态信息。

文献[5]首先采用3个方向和两个尺度的Gabor小波滤波器提取静态表情特征，之后组合表情图像序列，利用支持向量机(support vector machine，SVM)分类，表明利用动态表情特征比用静态表情图像识别率更高。

文献[6]提出一种针对RGB-D动态图像序列分析的算法，主要将四维时空纹理特征作为局部动态特征，并检测表情序列峰值图像，经主成分分析降维后利用条件随机场模型进行分类，对基本
6类表情的准确识别率可达到85.04%。

本文在表情特征的提取上首先采用主动外观模型AAM(active appearance model)定位初始帧68个中性表情特征点，再利用高斯金字塔Lucas-Kanada光流法跟踪初始帧的表情特征点，将表情峰值与初始中性表情帧的特征点坐标值之差作为表情特征，最后采用SVM方法分别对6类基本表情进行分类。

1.1 人脸检测
人脸检测主要目的是在图像中准确定位人脸，为后续表情识别打下基础。

目前已有的人脸检测方法相对比较成熟，本文首先用类Haar特征提取人脸特征，再用AdaBoost分类器方法判断人脸的位置，该方法主要分为以下几步：
(1)根据人脸的外观特征，例如人眼瞳孔灰度值比两侧低，鼻梁两侧灰度值较低等特征，用类Haar特征表示人脸；
(2)积分图法计算类Haar特征像素值，将每个类Haar特征的数量和特征值作为弱分类器；
(3)将大量类Haar特征组成的弱分类器通过AdaBoost算法训练级联成一组强分类器，具体过程如图1所示的虚线部分；
(4)输入待测图像进行检测，按顺序通过强分类器1，强分类器2到强分类器n。

通过全部级联强分类器的检测即可判断待测图像为人脸图像，否则将被判断为非人脸图像。

AdaBoost人脸检测结果如图2所示，图像中的人脸会被标记出来并保存。

1.2 几何归一化
经过人脸检测后图像大小并不一致，这会对后期特征提取产生影响，所以需要对人脸图像进行几何归一化，使所有图像大小相同。

本文使用双线性插值法将人脸图像进行几何归一化，使所有图像大小均为260*320，双线性插值法变换后的图像质量高、连续性更好。

已知Q11(x1,y1),Q12(x1,y2),Q21(x2,y1),Q22(x2,y2)双线性
插值法得到其中点P(x,y)的公式如下：
在x方向进行线性插值得到点R1(x,y1),R2(x,y2)
在y方向进行线性插值得到点P(x,y)
主动表观模型分为AAM建模和AAM拟合两部分，是一种基于统计模型的方法[7]，通过对一系列有代表性的图像进行统计来建模，反映目标图像的统计规律。

AAM算法在特征点定位方面取得了较好的效果，本文采用该方法对动态序列中的初始中性表情帧进行建模，获取初始中性表情帧的68个表情特征点，这68个表情特征点能有效标明人脸五官和轮廓，能代表人脸的基本形状，现已成为人脸表情形状建模的基本标准特征点，基本形状如图3所示。

AAM算法具体步骤如下。

2.1 AAM建模
(1)标记训练样本人脸表情特征点
在40幅训练样本上手工标定68个人脸特征点坐标作为训练样本，形状向量表示为xi=(xi1,yi1,xi2,yi2,…,xi68,yi68)T，其中xik,yik分别代表第k个特征点对应的横、纵坐标值，xi为样本形状向量。

(2)对齐样本形状模型
用普鲁克分析(Procrustes analysis)方法对齐所有训练样本，保证所有样本在同一参考帧坐标系下，具有相同的尺度定义和旋转角度。

达到多个样本的对齐，主要思想是最小化所有样本的形状特征点到平均特征点的距离和D最小
其中，N为训练样本形状的数目，为训练样本平均形状。

具体实现流程如下：①将所有样本重心重合，选取第一个样本作为初始平均形状估计值；②将其余样本通过旋转、坐标平移、尺度缩放向当前平均形状对齐；③重新计算新的人脸表情样本形状均值；④将所有形状向量向新的形状均值对齐；⑤重复③、④两步直到平均人脸形状向量收敛。

(3)统计分析形状建模
主成分分析(principal component analysis，PCA)可以很好消除数据间相关性，在这里利用PCA对人脸形状向量进行统计分析，找出人脸形状的变化规律。

1)计算新的样本平均形状向量，Xi是经Procrustes分析对齐后的68个形状向量，n=68，N为训练形状数目，N=40
2)经Procrustes分析后形状向量Xi减去平均形状向量
3)计算样本协方差矩阵
4)计算协方差矩阵S的特征值λ1,λ2,…,λm，并将λ1,λ2,…,λm降序排列，即
λ1≥λ2≥…≥λm，pi(i=1,2,…,m)为对应的特征向量。

5)令最大的k个特征值组成Ps=[p1,p2,…,pk]作为形状模型的主成分。

则人脸表情形状模型可以表示为
bs可以看作是形状向量的形状参数，通过修改不同的参数bs可以得到不同的人脸形状。

(4)建立纹理模型
对平均形状模型进行Delaunay三角剖分，通过三角仿射变换将训练集中的人脸图像变形到平均人脸上。

三角仿射变换如图4所示。

像素点p可以通过像素点p′仿射得到，中任意一点p′的坐标可以表示为
对纹理模型同样通过主成分分析算法建模，设g=[g1,gi,…,gm]T为人脸纹理向量，m为形状无关纹理图像中所有像素点的个数，则任意人脸形状无关纹理向量可以
表示为
Pg为协方差矩阵的若干个最大的特征值所对应的特征向量组成的矩阵，bg为纹
理参数，可以通过式(15)求出
(5)建立表观模型
将形状参数和纹理参数按照相关性，通过加权值W形成一个新的向量，即
对b做主成分分析，得到变换矩阵Q，由此人脸表观向量可以表示成
其中，c为AAM表观参数。

2.2 AAM拟合
AAM拟合目的是使目标对象I(x)与AAM模型T(x)的差值最小化。

公式表示为
其中，W(x;p)是从目标图像到AAM模型的仿射变换关系，p为形变参数。

本文使用基于反向组合的拟合算法求式(18)的最小值，主要步骤如下：①计算T(x)梯度
▽T；②计算W(x;p)在(x,0)处对参数p的偏导数；③求T(x)最快下降梯度▽；④计
算Hession矩阵；⑤反复迭代计算，利用W(x;p)计算I(W(x;p))；⑥计算已有模型T(x)与目标对象I(x)的误差图像T(x)-I(W(x;p))；⑦计算参数增量Δp；⑧用
W(x;p)·W(x;Δp)-1更新W(x;p)。

由于AAM拟合的初始位置对结果影响较大，本文通过确定人眼和嘴部位置信息判断初始位置，再进行AAM拟合过程。

通过AAM建模与拟合，获取人脸动态序列初始帧的68个表情特征点的位置信息，为获得人脸表情变化的动态信息，使用Lucas-Kanada(LK)光流算法跟踪初始中性表情帧定位的68个特征点，得到从中性表情变化到峰值时的特征点位置差，作为表情特征。

光流是图像中统一像素点在前后帧之间形成的运动矢量，光流计算实际上是基于两个假设。

亮度恒定性假设，即被跟踪目标像素的运动过程应保持亮度不变。

空间平滑性假设，指发生运动的物体引起的光流场变化应是连续且平滑的，即运动物体的速度缓慢且平滑[8]。

人脸表情在动态序列中的变化满足这两个条件，因此可以采
用LK光流法计算稀疏光流，实现表情特征点的跟踪。

LK光流法基于局部约束，
假定以某一点为中心的一个小区域邻域上运动矢量保持恒定，对区域内不同的点加权最小二乘法进行光流估计。

设点m=(x,y)T在时刻t的灰度值I(x,y,t)经过时间间隔dt后的灰度值为
I(x+dx,y+dy,t+dt)，当dt→0时，可推出式(19)
将上式按泰勒级数展开可得
其中，ε代表高阶无穷小项。

由于dt→0，可省略ε，令代表x，y方向上的光流，令与式(20)结合可得
上式即为光流约束方程，用向量形式表示为
其中，▽I=(Ix,Iy)是图像在点m处的梯度，vm=(u,v)是点m处的光流。

由于LK光流法只针对稀疏光流，只需使两幅图像在以点m为中心的一个小范围的像素分布最接近，即在m的局部邻域使式(23)最小
式中：Ω——以点m为中心的一个小的区域，W(x)——权值，大小与离m点距离成正比。

对式(23)求解，可得
最终方程的解为
为减小表情突然变化产生的计算误差，采用基于分层的高斯金字塔LK光流算法，当图像经过降采样分解到一定的层后，相邻帧间的图像大运动被缩减为满足光流约束条件的小运动，可以修正初始运动速度，得到精确光流估计[9]。

如图5所示，I0为原始图像，依次生成n层金字塔图像序列，分别为
I0,I1,I2,…,In-1，其中第L(0≤L≤n-1) 层的初始光流gL = ]T，顶层Lm的初始光流是]T，dL是L层的光流增量，相邻两层之间的光流计算公式为
获得最终光流计算结果为
将光流增量与初始光流组合作为下一层的初始值，并进行迭代计算，得到原始图像的LK光流。

金字塔LK光流跟踪特征点结果如图6所示。

支持向量机是基于统计学习理论的模式分类方法[10]，基本SVM面向两类分类问题，在针对6类基本表情分类情况时，需设计支持多类的SVM分类器。

主要思想是在多个类别中依次抽取两类进行组合，将多类问题转化为多个两类问题进行训练学习。

对6类基本表情来说，即建立=15个二类SVM分类器，判别函数如式(27)
所示
其中，n为样本个数，ai为拉格朗日因子，为SVM核函数，yi与b*可确定最优
的分类超平面。

K(x,xi)根据f(x)的符号来确定x的归属类别。

本文使用径向基核函数进行实验，整体的基于AAM和金字塔LK光流法的动态序列表情识别流程如图
7所示。

实验数据库采用卡内基梅隆大学(CMU)大学的Cohn-Kanade+ (CK+)数据库，
CK+表情数据库中每个表情都是从中性开始，以峰值表情结束的包括6种基本表
情的图像表情序列，图库中的图像大小分为640*480像素和640*490像素两类，分别对应灰度图像和彩色图像。

每个表情选取15组动态序列作为训练，20组动态序列作为测试，首先将进行人
脸检测，确定初始帧人脸位置并在序列中截取相应位置，将所有图片用双线性插值法归一化为320*260，用AAM对人脸表情建模获得初始中性表情帧的特征点位置，用LK光流法跟踪的表情峰值特征点值与AAM模型定位的中性初始帧表情特征点值做差，组成35*136维特征向量，将所有数据归一化到[-1,1]之间，输入SVM分类器进行十折交叉验证。

用本文方法与十折交叉验证K近邻(K=2)分类方法和文献[11]中采用方法进行对比，文献[11]使用AAM方法进行静态图片表情特征提取，并用SVM方法进行表情动
作单元识别。

实验结果以表情识别率作为依据，对比结果见表1。

从表1可看出，与文献[11]方法对比结果表明应用本文方法对于动态图像序列进行表情识别结果优于使用AAM+SVM方法进行静态图像表情动作单元识别，说明使用高斯金字塔LK光流法能较好地提取表情运动变化信息；用十折交叉验证K近邻分类器与十折交叉验证SVM分类器进行表情分类的实验表明采用SVM分类器对AAM+金字塔LK光流法提取的表情特征分类效果更好。

实验结果表明本文方法对高兴、惊讶、生气和悲伤表情识别效果较好，而对厌恶和
恐惧表情容易出现误判，当样本缺少眉毛紧缩、向下撇嘴等运动变化时厌恶表情容易被错误判断为恐惧表情。

表情识别是生物特征识别的一项重要研究方向，本文提出了一种结合主动表观模型和金字塔LK光流法的动态序列表情识别方法，提取表情的动态变化信息并针对特征点运动进行特征提取，减少了图像表情的特征维数。

通过手动标记训练集中的40张人脸中性表情图像构建形状模型可以实现表情特征点的半自动定位，不需对所有表情样本手动标定特征点。

通过与AAM+SVM模型静态图像特征提取方法和K近邻分类器表情识别做对比，验证本文方法在表情识别率方面有明显提高。

但是当一个动态序列中存在的帧数较多时，会使识别速度变慢，下一步将对此类问题做进一步研究。

E-mail:****************
【相关文献】
[1]NIU Lianqiang,ZHAO Zitian,ZHANG Shengnan.Extraction method for facial expression features based on Gabor feature fusion and LBP histogram[J].Journal of Shenyang University of Technology,2016,38(1):63-68(in Chinese).[牛连强,赵子天,张胜男.基于Gabor特征融合与LBP直方图的人脸表情特征提取方法[J]. 沈阳工业大学学报,2016,38(1):63-68.]
[2]Zhang W,Zhang Y,Ma L,et al.Multimodal learning for facial expression
recognition[J].Pattern Recognition,2015,48(10):3191-3202.
[3]Jung H,Lee S,Yim J,et al.Joint fine-tuning in deep neural networks for facial expression recognition[C]//IEEE International Conference on Computer Vision.IEEE, 2016:2983-2991.
[4]Liu M,Shan S,Wang R,et al.Learning expressionlets on spatio-temporal manifold for dynamic facial expression recognition[C]//IEEE Conference on Computer Vision and Pattern Recognition.IEEE Computer Society,2014:1749-1756.
[5]JIA Xibin,WEN Chuncheng,BAO Xiyuan.Series of dynamic image sequences based on expression recognition[J].Journal of Beijing University of Technology,2013,39(9):1360-1365(in Chinese).[贾熹滨,闻春城,包锡元.基于动态图像序列的表情识别[J].北京工业大学学
报,2013,39(9):1360-1365.][6]SHAO Jie,DONG Nan.Spontaneous facial expression recognition based on RGB-D dynamic sequences spontaneous facial expression
recognition based on RGB-D dynamic sequences[J].Journal of Computer-Aided Design & Computer Graphics,2015,27(5):847-854(in Chinese).[邵洁,董楠.RGB-D动态序列的人脸自然表情识别[J].计算机辅助设计与图形学学报,2015,27(5):847-854.]
[7]Zhu S.Automatic recognition of facial expression based on computer
vision[J].International Journal on Smart Sensing & Intelligent Systems,2015,8(3):1464-1483.
[8]Uddin M Z,Kim T S,Song B C.An optical flow feature-based robust facial expression recognition with HMM from video[J].International Journal of Innovative Computing Information & Control,2013,9(4):1409-1421.
[9]WENG Zhengkui,WANG Kun,LI Hui.Real-time tracking method for eye feature points based on Lucas-Kanada optical flow algorithm[J].Computer Engineering,2015,41(7):244-249(in Chinese).[翁政魁,王坤,刘辉.基于Lucas-Kanada光流法的人眼特征点实时跟踪方法[J].计算机工程,2015,41(7):244-249.]
[10]Jeni L A,Girard J M,Cohn J F,et al.Continuous AU intensity estimation using localized, sparse facial feature space[C]//10th IEEE International Conference and Workshops on Automatic Face and Gesture Recognition,2013:1-7.
[11]SHI Yi.Facial expression recognition based on active appea-rance
models[D].Shanghai:Shanghai Jiao Tong University,2012:33-43(in Chinese).[施毅.基于主动
外观模型的人脸表情识别研究[D].上海:上海交通大学,2012:33-43.]。