人脸活动单元自动识别研究综述

第22卷第5期2010年5月

计算机辅助设计与图形学学报

Jo ur nal of Co mputer A ided Design &Computer G raphics V ol.22N o.5M ay 2010

收稿日期:2009-05-06;修回日期:2009-11-10.基金项目:国家自然科学基金(60962005);教育部科学技术研究重点项目(208164);新疆维吾尔自治区高校科研计划青年教师科研启动基金(XJEDU2007S09).赵 晖(1972 ),女,博士后研究人员,副教授,主要研究方向为人工智能、模式识别、图像处理;王志良(1956 ),男,博士,教授,主要研究方向为人工智能、机器人;刘遥峰(1982 ),男,博士研究生,主要研究方向为机器人.

人脸活动单元自动识别研究综述

赵 晖

1,2)

,王志良2),刘遥峰

2)

1)(新疆大学信息科学与工程学院 乌鲁木齐 830046)2)

(北京科技大学信息工程学院 北京 100083)(zhaohui@ )

摘要:人脸活动单元(action units,A U )的自动识别能应用于行为科学、人机交互、安全、医疗诊断等众多领域,近

年来得到了广泛关注.文中阐述了AU 自动识别的基本概念、一般过程及其主要特征提取和分类方法,介绍了具有AU 编码的代表性人脸表情数据库,并对单个A U 与AU 组合的识别、A U 强度与A U 动态性分析的研究现状进行了评述.最后总结了目前AU 自动识别研究中存在的主要难点,并展望了其发展方向.关键词:人脸活动单元;人脸活动编码系统;特征提取;表情识别中图法分类号:T P391.41

A Survey of Automatic Facial Action Units Recognition

Zhao H ui

1,2)

,W ang Zhiliang 2),and Liu Yaofeng

2)

1)(Sc hool o f Inf ormation Science &E ngineer ing ,X inj iang Univ er sity ,Urumqi 830046)

2)

(Sc hool o f Inf ormation Eng inee ring ,China Univ ersity of S cience &T echnolog y,Beij ing 100083)

Abstract :A utom atic facial action units (AU )recog nition can be applied in m any areas such as behav ioral science,m an m achine comm unicatio n,security and medical diag nosis,and has draw n much attention recently.This paper ex plains the conception and general pr ocedure o f autom atic AU recog nition,and introduces the main metho ds o f feature extraction and AU classification.Besides,several typical AU coded facial ex pression databases are presented,and the state of single AU ,AU com bination,AU tem por al dynamics and AU intensity recognition is demonstrated.Finally,this paper summarizes the current difficulties of automatic AU reco gnition,and outlines the future developm ent tr end.

Key words :facial action units;facial action coding sy stem;feature ex traction;expression recog nition 人脸活动单元(action unit,AU )是Ekman 等在详细测量和分析脸部肌肉运动的基础上,于20世纪70年代提出的脸部活动编码系统(facial actio n coding system,FA CS)的基本组成单元[1]

.

AU 识别的应用非常广泛.首先,AU 是分析复杂人脸表情的有效途径.人脸表情千变万化、复杂多样,目前,人脸表情识别研究主要是针对高兴、悲伤、

惊奇、恐惧、厌恶、愤怒等基本表情的识别,其识别方

法大多是对每种基本表情训练分类器进行识别[2].但是,对于种类众多的复杂人脸表情,这种识别方法并不适用.A U 是描述人脸肌肉运动的基本单元,不同AU 组合在一起构成了不同的人脸表情.例如,AU 6,AU 12,AU 25,AU26和AU 16组合在一起构成了高兴的表情;AU1,AU 2,AU 5,AU 26和AU27

组合在一起构成了惊奇的表情等[3].Fasel等[4]在建立人脸表情与AU之间对应规则的基础上,通过AU识别人脸表情,其实验表明,AU是分析与识别复杂人脸表情的可行途径.

其次,通过识别AU还能判断人的兴奋、疲劳、烦燥、迷惑、理解等精神状态,这对安全驾驶、远程教育等方面具有重要意义[5].另外,AU精确地描述了人脸表情之间的细微差别,通过AU识别能广泛地获取脸部肌肉运动所传递的信息.例如,婴儿见到母亲时会同时出现具有AU6和AU12的微笑,而见到陌生人时的微笑则不会出现AU6[6].通过AU识别可以预示抑郁症、精神分裂等精神疾病[7],还可以测谎分析[8]、区分具有自杀倾向的病人[9],预示冠状动脉病人短时心肌缺血等症状[10].总之,AU识别对人脸表情分析、行为科学、人脸图像合成与动画、医疗、安全、法律、商业应用等领域都具有重要意义.但是,人工识别AU是一件很困难的事情:培训一个能够识别AU的工作人员需要花贯100h左右,并且一个训练有素的AU标识人员标识一段1m in 长的视频需要花费2h[5].另外,AU的动态变化过程包含着许多很有实用价值的信息,而AU标识人员人工分析AU动态变化过程是非常复杂且困难的.因此,计算机自动识别AU(以下简称为AU识别)已引起了国内外众多研究机构的极大兴趣.

AU识别与表情识别既紧密联系,又互有区别.首先通过AU识别可以实现表情识别;但是,AU不仅是识别表情的有效途径,更重要的还是行为科学研究的重要手段.其次,AU识别和表情识别都是以面部肌肉运动为研究对象,目前许多用于人脸表情识别的特征提取和分类方法可以用于AU识别;但是AU识别是对更细微层面上的人脸活动的识别,因此同一特征提取或分类方法用于表情识别和用于AU识别的效果不尽相同.再者,AU识别和表情识别在研究内容和研究难点上也不同.

目前,国内外有众多学者研究AU及表情识别[11 25].国外主要有3篇关于人脸表情识别的研究综述:Sam al等[26]总结了1990年以前的自动人脸表情识别研究状况;Pantic等[27]和Fasel等[2]分别总结了2000年和2002年之前的人脸表情自动识别的技术和方法.在国内,刘晓旻等[28]对2002 2005年人脸表情识别的研究状况进行了总结分析.但在国内外的文献中目前还未见专门针对A U识别的研究综述.本文主要对自FACS提出以来A U识别

的研究进展进行了归纳和总结.首先介绍了FA CS 及AU识别的一般过程;然后分析和对比了AU识别中常用的特征提取和分类方法,并对单个AU与AU组合的识别、AU强度与AU动态性分析的研究现状进行了评述;最后对AU识别目前存在的主要问题和未来可能的发展方向进行了讨论.

1 FACS简介

FACS中详细分析了面部全部肌肉组织的活动及其活动所引起的面部各个独立部位的变化,以及可观察到的、由这些肌肉活动所引起的表情;在此基础上,将脸部运动分解成一些基本的AU,每个AU 又分为A,B,C,D和E5个强度等级.

Ekman等于2002年给出了FACS的新版本[29],其中包括解释人脸表情变化的41个AU和描述头部和眼睛运动的14个AU(1978年版本包含44个解释人脸表情变化的AU,2002年给出的新版本将1978年版本中的AU41,AU42,AU43和AU44用AU43的5个强度等级来描述).

2002年FACS版本中,解释人脸表情变化的41个AU中又包括27个与特定肌肉相关的AU和14个混杂AU.其中,27个与特定肌肉相关的AU包括9个上半脸AU和18个下半脸AU,分别如表1, 2所示;14个混杂AU如表3所示,这14个混杂AU都是下半脸AU,FACS没有指定与这些AU相关的特定肌肉群,也没有像前面27个AU那样对这些AU进行精确定义.例如,AU19是显露舌头!,但FACS没有限定舌头的显露方式,也没有指定与该动作相关的肌肉群.另外,2002年FACS版本中,描述头部和眼睛运动的14个A U分别是头部向左转、向右转、抬头、低头、头偏向左边、头偏向右边、头向前、头向后的运动,以及眼球向左、向右、向上、向下运动,翻白眼和内斜眼.

表1 上半脸AU(2002年版)

AU名称特征

AU1Inn er brow rais er

AU2Outer b row raiser

AU4Br ow low erer

AU5Upper lid raiser

AU6Cheek raiser

AU7Lid tightener

AU43Eyes closure

AU45blink

895

第5期赵 晖,等:人脸活动单元自动识别研究综述