基于EVM的心率检测在微表情识别中的应用

第36卷第3期

计算机仿真2019年3月文章编号:1006-9348 (2019 )03-0453-05

基于E V M的心率检测在微表情识别中的应用

张树诚，王笑梅

(上海师范大学，上海200030)

摘要:随着谎言检测的深入探究，微表情识别研究得到了很大的关注，心率变化作为体现情绪变化的另一种形式，也可能对 微表情识别有一定的影响。研究目的是找寻心率变化和微表情的关系。利用欧拉视频放大算法，实现非接触式心率提取，并对目前已公开的微表情数据库CAS(MEK2数据进行分析。通过测录视频进行实验分析，提出的心率提取算法可得到 95%的准确率，对数据库数据进行心率检测的结果与表情数据进行对比，可以得到恐惧、愤怒、悲伤等情绪与心率变化存在一定关系。

关键词：欧拉视频放大算法;心率检测算法;微表情；自发微表情数据库

中图分类号:TP391.4 文献标识码：B

Application of Heart Rate Detection Based on EVM

in Micro-Expression Recognition

ZHANG Shu-cheng，WANG Xiao-mei

(Shanghai Normal University, Shanghai 200030, China)

A B S T R A C T：With the deep exploration of l i e s detection,micro - expression recognition research has been a great

concern.The changes of heart rate as a manifestation of emotional changes in another form may also have a certain impact on micro-expression recognition.The purpose of t h i s paper i s t o find the relationship between heartbeat and micro-expression.W e use Euler video amplification algorithm t o achieve non-contact heart r a t e extraction, and ana­lyze the data in micro-expression database CAS (M E) A2 which has been published currently.By recording videos

f o r experimental analysis, the r e s u l t of non-contact heart r a t e extraction can obtain 95% accuracy.And comparing

the heart r a t e results and the expression data in the database, we can get t hat there i s a certain relationship between the emotions which are fear, anger and sadness with the changes of heart rates.

K E Y W O R D S：E V M；Heart-rate detected ；Micro-expression ；C A S(M E)^2

l引言

微表情是个人试图隐藏真实情绪时出现的快速和简短 的表达n，2]。与正常表情相比,微表情的瞬时性使得即使受 过专业培训的专家，通过用肉眼来逐帧观察，也只能达到 47%的准确率[3]。E k m a n首先发现了微表情,他在审査一个 心理病人的视频时，发现一个隐藏在微笑中的短暂的悲伤表 情，以此掩饰自杀的企图。自此，微表情研究受到了越来越 多的关注,Ekm a n甚至声称微表情可能是研究谎言检测最有 突破的方向[2]。作为传统的谎言检测系统，广泛运用的是测 谎仪,它可以监测在受试者说谎时，心率和皮肤电位信号不 由自主的变化，但这种方法会使受试者受到接触性干扰。因此，自动和准确的微表情识别系统对解决谎言检测问题很有 帮助。

收稿日期:2017-10-30修回日期:2017-12-18

目前，微表情识别已有一定的成果，如有：Simgsoo Park 等人结合放大特征点运动矢量与主动外观模型（AAM)的特 征提取法[4]$31^111Krishna等人结合欧拉视频放大算法(EVM)与定向梯度的直方图（H O G)的特征提取法[5];B.M. S.BaharTalukder等人基于自发微表情数据库（SM1C)和 MMI面部表情数据库、结合欧拉视频放大算法（EVM)和局 部二值模式-三正交平面（LBP-TO P)的特征提取法[6];0h 等人基于中科院自发微表情数据库（CASME D )、结合欧拉 视频放大算法（EVM)和局部二值模式-三正交平面（LBP- T0P)的特征提取法⑴；Elham Zarezadeh等人基于自发微表 情数据库（SMIC)和CA SM E数据库、结合欧拉视频放大算法 (EVM)和特征面法的特征提取法等[8]。

然而，目前的研究现状都是基于运动放大技术的基础上 研究微表情识别,类比于测谎仪的功能，本文试图从心率的 角度研究为表情识别技术。为此，在将微表情和心率的检测

统一在视频图像处理下时,试图寻找两者联系。

2基于图像的心率提取

2.1欧拉放大算法

欧拉放大算法w(见图1)是对标准视频序列进行空间 分解，接着对每帧进行时域滤波，经过处理后的结果信号就 是放大的隐藏信息。使用该方法，可以可视化血液流过脸庞 时的流量，还可以放大并显示微小的动作。

欧拉放大算法

图1欧拉视频放大算法流程图

令/(*,〇表示位置1和时间t的图像强度。由于图像经 历平移运动，可以用S(t)表示相对于位移函数八幻。运动 放大的目的是合成信号

=/(* + (l+a)5(〇) (1)其中，a表示放大系数。

假设图像可以通过一阶泰勒级数近似展开,在时间t上，对/(* + S(〇)处以关于;c的一阶泰勒展开形式写入图像，如

«/(*) +5(t) ^(2)

dx

令s(u)是将宽带时间带通滤波器应用到每个位置*(除了 /(*)之外的所有位置）中的/(*,«)的结果）。现在,假设信 号S(t)在时间带通滤波器的通带内（稍后会放宽该假设）。然后可以得到

B(x,t) =S(t)^-(3)

dx

接着通过放大系数a放大该带通信号，并将其加到/(*, «)上，得到处理后的信号

7(x,t)=I(x t t)+a B(x,t)(4)联立式(2)(3)(4),可得

K x,t)-/(*) + (1 +a)5(j)(5)

OX

假设信号（1 +a)s(t)的一阶泰勒扩展成立对放大有较 大扰动，可以将时域带通信号的幅度与运动幅度相关联。由此可以得到更加简单的输出表达：

7(x,t)^/(x +(l +a)5(〇) (6)这表明处理幅度运动-时间t处的局部图像/(*)的空 间位移S(*)已被放大到（1 + a)的幅度。

2.2 光电容积脉搏技术原理

H e r t o m m于1938年首次提出光电容积脉搏波描记法(P P G)的概念[1°]，其主要原理是通过反射或透射光束变化 来检测微动脉毛细血管中血液容积变化来提取脉搏信号。实际情况下，照射到皮肤区域的光束与皮肤组织的相互作用 非常复杂，为了简化作用过程，这里仅考虑血液容积变化对 光线的吸收变化。根据朗伯比尔定律,假设光束垂直照射到 皮肤上的波长和光照强度分别为A和/。，则通过该区域的微 动脉、毛细血管的透射光强度为

I = (7)

其中表示血液的浓度;&示血液的吸收系数;表示血液的体积。当由于心脏搏动引起的，检测区域的微动脉或毛 细血管中血液体积变化时，透射光强度变化为4/,则有:

/+4/= /，々<*( W(8)式(8)除以式(7)可得：

I+ AI ~ e-V«

$可得

^- C ae aA V a(10)对式（1)等号两边同取对数并变形有

Va=ln(j-)/(-Cae a)(11)式（11)除以式（10)可得

令=X t)(12)其中，$可以表示血液容积变化率可以表示光强变化率。根据式（12)可以得到两者成正比，从而可以从光强的 变化中提取脉搏波信号。

2.3 心率提取算法

本文的非接触式心率提取算法是基于欧拉放大算法提 出的。已知欧拉放大算法可以放大皮肤的颜色变化程度，另一方面，利用光电容积脉搏波技术的原理，实现了提取皮肤 颜色的周期变化信号，通过F F r分析最终计算出心率数据。流程图如图2。

算法的细节方面，输入的视频会作为序列帧进行数据处 理，如图3(a)。本算法采用Viola - Jones人脸检测算法，使 其能在保证人脸检测精度的同时具有较快的检测速度。对 于检测到的每张人脸,Viola - Jones人脸检测算法会返回一 个包含人脸位置的矩形区域，在本文的心率提取算法中，选 取返回矩形区域宽度的60%和高度的80%作为感兴趣区 域，如图3(b)。在人脸检测的同时算法会对输人的视频序 列帧进行时间长度是15秒的窗口计数，接着对该片段进行 心率信号的提取，具体操作是当窗口数据满时，利用欧拉视 频放大处理算法处理视频片段，再将处理后视频每一帧的 Y C b C r通道分开,并分别计算各通道感兴趣区域内像素的空 间平均值，如图3(c)。由此得到对应到处理窗口中的视频