【CN110147822A】一种基于人脸动作单元检测的情绪指数计算方法【专利】

(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201910303586.1
(22)申请日 2019.04.16
(71)申请人 北京师范大学
地址 北京市海淀区新街口外大街19号
(72)发明人 樊亚春　税午阳　程厚森　
(74)专利代理机构 北京中海智圣知识产权代理
有限公司 11282
代理人 胡静
(51)Int.Cl.
G06K 9/62(2006.01)
G06K 9/00(2006.01)
(54)发明名称
一种基于人脸动作单元检测的情绪指数计
算方法
(57)摘要
本发明属于人脸识别以及情感计算技术领
域技术领域，具体涉及一种基于人脸动作单元检
测的情绪指数计算方法，具体步骤包括：建立待
训练数据集，形成人脸动作单元数据库；人脸动
作单元动作强度检测；计算情绪指数；本发明实
现了通过面部表情所表达的情绪过程，能够更加
准确客观的传达细节信息，更能弥补语言所不能
描述和传达的深邃信息，尤其对语言表达障碍及
无法正常获取语言信息的情景应用提供了一种
非常可行的方案。

权利要求书3页 说明书9页 附图1页CN 110147822 A 2019.08.20
C N 110147822
A
权　利　要　求　书1/3页CN 110147822 A
1.一种基于人脸动作单元检测的情绪指数计算方法，其特征在于，包括如下具体步骤：
步骤1，建立待训练数据集，形成人脸动作单元数据库：
通过对抗生成网络生成数据库中人脸表情图像，标注人脸特征点，标注过程按照有监督的下降方法(Supervised Descent Method)完成。

通过人脸特征点信息标注人脸位置区域及人脸动作单元，形成待训练数据集；
按照Ekman定义描述方法将每个人脸动作单元的动作强度分为{1,2,3,4,5}五个等级；
步骤2：人脸动作单元动作强度检测：
步骤2.1：基于谱聚类及无位置交叠的预定义检测形状框：
在步骤1的基础上，根据人脸的AU得到其AU变化的位置区域，将这些位置区域称为训练框数据，对所有的训练框数据利用谱聚类方法并根据人脸及人脸动作单元形状特点自动分为6类，取每类的中心的长宽值作为预定义框位置信息；
步骤2.2，检测并优化人脸动作单元动作强度：
将不同强度的同一个人脸动作单元分别作为不同的待检测分类，基于深度网络学习算法检测后对一张表情人脸图片，输出不同人脸动作单元强度分类概率；按照所有同一人脸动作单元中概率值最高的动作强度作为该人脸中此动作单元的动作强度分类值，具体动作强度分类值计算公式为：此AU所确定的强度t，最终的概率计算式为：其中，t为动作强度分类值，p i为强度为i时的识别概率值；
步骤3，计算情绪指数：
步骤3.1：建立人脸动作单元到人脸离散表情的关系映射，根据表情中包含的人脸动作单元的发生概率建立表情相关度矩阵W；
步骤3.2：定义表情权值向量C：
定义表情权值向量来表示不同情绪对情绪指数影响的具体程度，向量C19×1为表情权值矩阵；
步骤3.3：根据人脸动作单元识别结果，构建动作单元矩阵：
采用步骤2中的深度学习网络对当前人脸进行人脸动作单元的检测，得到当前存在的人脸动作单元概率向量P、人脸动作单元强度向量T，转置合并后形成人脸动作单元矩阵A；
步骤3.4，构建情绪相关度矩阵F：
通过表情相关度矩阵W和表情权值向量C的联合计算，建立情绪值和人脸动作单元之间的映射关系，通过下式建立情绪向量R17×1：
R＝W′·C
其中，W′是表情相关度矩阵W的转置；
情绪相关度矩阵F17×3用以进行情绪指数的计算：
F＝[A R]
它由情绪向量和动作单元矩阵联合组成，矩阵的三个列向量均表示了人脸动作单元和情绪的关系，表达了统计意义以及当前人脸上的人脸动作单元的分布情况；
步骤3.5，进行情绪相关度矩阵F标准化：
2。