基于MDMO的人脸微表情识别方法

基于MDMO的人脸微表情识别方法微表情是短暂的面部动作短，自主和低强度。识别面部自发微表情是一个很大的挑战。文献中提出了一个简单而有效的主要方向：光学流动（mdmo）微表情识别特征。应用一个强大的微表情视频光学流动法和面部区域划分为感兴趣区域（ROI）基于部分行动单位。这是一个基于光学流动兴趣区域，归一化的统计特征，考虑局部统计运动信息和空间位置。为了减少噪声由于头部运动的影响，提出了一种光学流驱动的方法将所有帧的微表情的视频剪辑。最后，一个SVM分类器利用mdmo特征识别微表情。

1.DRMF方法对面部区域进行划分

要建立了微表情识别的有效特征，首先通过使用受限的本地模型的一个实例来检测并将面部区域划分为感兴趣区域，即ROIs，称为判别响应图拟合（DRMF）。

使用DRMF方法，在每个微表情视频片段中，在第一帧的面部区域，有力地检测出一组面部特征点。首先，使用Viola-Jones人脸探测器来定位每一帧的面部区域。其次，通过提取响应块和低维投影，计算出一组初始特征点。第三、drmf迭代干扰这些初始特征点与生成的特征模板，控制形状和外观的变化从一个训练集学习相关目标图像。形状和外观形态变化的统计模型，应用DRMF方法以一个强大的、准确的方式定位面部地区的68个特征点。在应用中，使用了从DRMF方法获得的66个特征点。在的微表情识别中，没有使用两个特征点来识别内唇角。

图1所示：左图：使用DRMF方法检测面部区域的66个特征点；右图：正常面部区域

所有66个特征的面部特征都被表示为FP-{fp1，……,fp66}。在不同的框架中，面部区域的部分在实践中往往会有所不同。可以利用检测到的特征点集FP对每个帧中的人脸区域进行归一化处理，使每一帧的面部区域恢复正常。

图2所示：左图：36个区域的划分，由66个特征点决定；右图：由ROIs 21、22、25和26所共享的

顶点的位置是IDs 4和33的两个特征点的平均位置。

进一步将标准化的面部区域划分为36个ROIs。由66个特征点决定。36个ROIs中所有顶点的规范规则,可以在计算机数字库找到。例如：眉毛被划分为外部和内部部分。

其中有两个划分准则：

1、ROI划分不应该太粗糙;否则许多AUs将会定位在脸部相似或重叠的部分。在某些部分，比如嘴巴，提供了更多的分区来更好地区分不同的AUs。

2、ROI划分不应该过于密集。一般来说，每个ROI至少对应一个AU;例如，ROI 1只与AU2相关，不需要进一步细分。

2.光流场的计算

划分好区域后就要进行光流场的计算，光流是通过检测两个图像帧之间不断变化的像素的强度来推断物体的运动。

在一个视频剪辑中，一个像素定位为（x,y,t）、强度为I(x,y,t);在两帧之间移动了Δx，Δy 和Δt, 根据亮度恒定约束条件，有

假设移动很小，I(x,y,t)的图像约束可以用泰勒级数来获得：

τ是一个高阶无穷小的。从两个方程式可以有

得到：

Vx和Vy是x和y分量，分别是I(x,y,t)的速度或光流; 因此，在距离Δt的两帧之间，一个像素的光学量值t被表示为一个二维的向量：

由于图像帧之间的光照变化可能会影响光流量估计的准确度。为了解决强度不一致性问题，对图像序列进行预处理:每个图像分解为两个部分，即一个结构部分和一个纹理部分。结果表明，强度不一致是因为阴影和明暗认识只能出现在原始图像和结构部分。因此，在纹理部分的光流计算可以提供准确的结果。

图3所示：在紧张的微表达中，图像序列的光流。(b)、(d)和(f)的光流场在颜色编码方案中被可视化。

3.光流领域的面校准

图：在微表情的第一个框架中，由DRMF方法检测到13个特征点，以使所有后续的帧对齐

在微表情的短时间内，图像序列中的面部区域可能会有一个小的旋转和转化。为了修正这个小的头部动作，为了一个微表情的视频剪辑，在第一帧中使用了一些特征点的位置。在66个面部特征中通过使用DRMF方法检测到的点，选择了13个特征点，其中一个在鼻子根部，另一个在面部轮廓线上。这13个特征点受各种微表情的影响最小。

对于微表情剪辑中的每一个帧Fi(i≠1), 通过计算f1与fi之间的光流，使fi与f1保持一致。将产生的光学流场表示为Oi。

这是第一帧中13个特征点的位置；

则后面每一帧的13个特征点的位置是这个表达式；

按照光流场的计算方法有：

是光流场中第J个点的光流失量，给定P1和Pi，通过求解可以很容易地得到仿射变换矩阵：

在所有帧中利用DRMF方法，首先检测到13个特征点，然后，每一帧与第一帧的特征点的对应关系确定仿射变换，使得每一帧的面部特征点在该矩阵变换下与第一帧的面部关键点差异最小化。

4.MDMO特性

第一帧和之后的每一帧之间的光流被表示为，转换欧式坐标为极坐标

，其中分别是光流失量的大小和方向，在每一帧中，考虑每个区域内部的光流主方向，在每个分块中计算HOOF特征，将所有光流方向向量量化到8个区间，

然后做统计直方图运算：

是数量最多的方向向量的平均值的极坐标表示，计算出这些特征值来作为该区域的运动特征，由于幅度和方向都是36维的，最终获得的特征是72维向量。最终微表情的视频剪辑是由光学流动特征的级数表示，这里nf是视频剪辑的帧数。考虑到在不同剪辑帧数不同，不同区域特征向量的分布可能十分广泛，进行标准化处理。

分别地将极坐标下的光流方向的平均值和光流场特征定义为笛卡尔坐标下表达式，对笛卡尔坐标下的光流场特征求平均值，再将平均特征转为极坐标系下的坐标；但是由于不同剪辑下只要方向的强度不同，还要进一步规范特征的幅值。最后，得到归一化运算后的微表情的视频剪辑MDMO特征向量，可以用来支持向量机建模，用于处理微表情的监测和识别任务。

5.优点

光的流动是表征图像序列中运动的经典模式。基于MDMO特征的ROI，以每个区域的光流量统计信息，可以同时考虑局部运动信息和空间位置。

光学流动特征，计算的不仅是平移和旋转的不敏感，而且是强大的光照变化。

因此，归一化的MDMO特征向量具有良好的微表情认知能力。