头部姿态和动作的识别与理解_董力赓

头部姿态和动作的识别与理解∗董力赓，陶霖密，徐光祐(清华大学计算机科学与技术系，普适计算教育部重点实验室，北京 100084)摘 要：众所周知，在人际交流中需要综合语言通道（verbal）与非语言（non-verbal）通道两方面的信息才能表达完整的交流信息。

头部姿态和动作（posture and gesture）作为非语言通道，即形体交流（bodily communication）的重要组成部分，对理解用户的态度和意图具有不可替代的重要作用。

头部姿态和动作的识别与理解在多模态人机接口和人际交互下的动作和行为理解等方面具有广泛的应用前景。

本文对近年来头部姿态和动作识别领域的发展现状进行了比较详细的综述，从姿态和动作的类别与含义，姿态表示与识别方法，动作表示与识别方法等方面分析了该方向的研究进展，并分析了该领域的研究难点和未来的研究方向。

关键词：头部姿态估计; 头部动作识别; 普适计算; 多模态人机接口; 人际交互1.引言计算、通讯和传感技术的迅速发展和融合，正日益迅速地推动着传统的桌面计算模式向普适计算(ubiquitous computing)[1]模式过渡。

普适计算的研究目标是把各种计算和通信设备无缝地融入到日常物体和环境当中，并且不需要用户有意识的操作就能主动提供所需的服务，这样用户就可以把全部的精力投入到的自己的任务中，从而使计算设备对用户来说是感觉不到的，也就是不可见的。

当计算设备与我们的生活环境融合在一起，并且事实上成为不可见时，人们如何同这些计算设备进行交互就成了非常重要的问题，因此需要全新的人机交互模式与之相适应。

新的人机交互模式应该是以人为中心的，基于人的模型并且为人服务的，这种人机交互模式最近也被称为“以人为中心的计算”（human computing）[2]。

不同于传统的基于键盘鼠标的交互模式，新的人机交互模式应该具有自然的、拟人的交互方式和功能，包括能够理解和模仿诸如表达情感、社交信号这样的人类动作和行为。

计算设备具有这样的功能就可以：1）在理解用户动作和意图的基础上预测用户的需求并提供主动的服务，实现隐式人机交互（implicit interaction）[3]；2）参与到人与人之间交互（即人际交互）的回路中去，成为“人际交互”的媒介[4]。

这样的人机交互就在人们日常的生活和工作环境中，并以自然的方式进行。

它既不把用户局限在计算机面前，同时也不需要用户携带附加的人工设备。

实现这种新型的人机交互模式的首要前提是计算机需要能够识别和理解用户的状态和交流行为，包括用户表达了什么信息（语言信息、情感、态度和意图），是通过何种方式表达的（动作、姿势和表情）等。

心理物理学实验表明，形体交流和形体表达（bodily expression）等非语音交流通道是与语音同样重要的交流通道[5]，包括人的表情，注视方向（gaze），头部动作，手势和身体姿势等。

也有文章把这些非语言通道统称为形体语言(body language)。

这些形体动作在表达情感、态度和意图等方面起到了非常重*资助项目：国家自然科学基金(No.60673189)*联系作者：董力赓, Email: dongligeng99@；徐光祐, Email: xgy-dcs@要的作用。

其中，头部姿态与动作是人际交流中经常使用、不可或缺的表达方式。

在人际交流中，人们实际是通过头部持续一段时间的姿态和短时间的瞬间动作这两部分来表达各不相同的语义，我们分别称作姿态与动作。

比如头部姿态（或朝向）可指示交流的对象和注意力焦点（focus of attention），点头和摇头动作分别表示赞同与反对，点头也可以表示对讲话者的反馈和确认，暗示听者在专心聆听并请讲话者继续说下去等。

因此，头部姿态和动作的检测与识别对理解用户的意图、态度等心理状态具有重要的意义，也一直是重要的研究课题。

头部姿态和动作识别有广泛的应用场景，主要包括以下两个层次。

（1） 多模态人机接口(multi-modal human computer interface)摆脱了键盘、鼠标这样的传统计算机接口的束缚，人们希望通过语言（语音）、形体语言（其中包括头部动作）等这样人类习惯和自然的方式与计算机以及利用计算机的设备（如机器人）进行沟通。

应用场景包括虚拟现实[10]，汽车设备控制[8]，轮椅控制[12]，拟人化的对话机器人（embodied conversational agent）[11]，虚拟人物（avatar）[36]等。

在前三个场景下，头部姿态和动作的含义作为控制命令是由设计者预先自行定义的。

例如，点头表示轮椅可以启动，而摇头表示停止的命令等。

为了系统的可靠性，这时头部的命令动作经常是夸张的。

在后两个应用中，虽然不是命令式的动作，但用户仍然局限在机器人前，并且姿态范围基本固定在正面。

（2）“人际交互”环境下的头部动作识别与理解这方面的应用可以分为在线（on-line）与离线（off-line）两种。

对在线应用，计算机通过识别自然人际交互环境下的头部姿态和动作，可以理解人们在对话中的态度和意图，从而可以提供智能的主动服务，这实际上是一种隐式人机交互。

比如在智能远程会议系统中，智能导播（visual attention guidance）模块检测到多人讨论中听者有点头动作时，就可以给远方转播听者的点头画面，这样能够让远程参加会议的人员更全面的了解现场参会者对当前内容的态度。

在离线应用中，通过理解头部姿态和动作，可以为多传感器音视频剪辑和基于内容的检索提供重要线索。

比如在多传感器音视频剪辑中，生成听者点头的画面并带有讲话者音频就要比讲话者画面带本人的音频更有信息量，更能反映听者对讲话者的反馈和态度。

又比如，通过头部动作分析出听众对讲话者的态度，有助于检索会议中哪些讨论话题和内容是与会者表示赞同或反对的。

通过分析会议中用户的头部姿态得到注意力焦点，还可以分析不同与会者的受关注的程度和影响力。

这方面的应用目前正受到越来越多研究者的重视，比如美国的VACE项目[37]、欧盟的CHIL[4]和AMI [38] 项目都有此方面的相关研究。

目前大部分已有研究工作主要集中在多模态人机接口层次，在前面列举的应用场景下取得了一些不错的结果。

但用户仍然局限在计算机前面，计算机获得的是较大分辨率的接近正面的人脸，用户头部姿态和动作基本上也不是人际交流中自然的姿态和动作。

而在人际交互的应用场景下，比如智能会议室中的群体讨论，用户的头部可能是多姿态的，而且用户的头部动作可能比较微小，容易与无意识的动作相混淆。

在此种情况下对用户头部动作进行识别和理解，不仅需要视频处理算法能够检测出多姿态的微小动作，同时也需要结合音频等多模态线索并且利用上下文信息理解其含义。

下面我们首先介绍头部姿态和动作的划分与含义，然后分别介绍头部姿态识别和动作识别两部分的国内外研究工作和最新进展，其次讨论该领域的研究难点和未来方向，并介绍我们在群体讨论中多姿态头部动作识别的初步结果。

2.姿态和动作的划分与含义针对两种不同的应用场景，我们分别讨论相关的动作划分和含义。

2.1多模态人机接口多模态人机接口中，通过头部姿态和动作识别，可以检测点头和摇头动作以及转头动作。

在拟人机器人对话中，通过检测点头和摇头动作判断用户态度[11][16]，也有人研究歪头动作，认为其表示疑惑或者思考[13]。

在虚拟现实场景下[10]，头部动作可以用来控制虚拟人物的头部动作，从而控制场景的切换，动作包括朝上下左右4个方向转头，头部前移和后退，点头和摇头等。

轮椅控制中[12]，左右转头表示轮椅的左转或右转，抬头表示加速，低头表示减速，朝前看表示匀速，点头摇头分别表示启动和停止等。

汽车驾驶员可以利用点头和摇头控制车载音响设备的播放和停止[8]。

2.2人际交互在更为复杂的人际交互中，头部姿态和动作则表示更多的含义。

在多人讨论中，用户姿态的变化能够表示发言权的转换（floor control），比如某个人讲话完毕后，转头看着另一个人，可能暗示接下来应该由这个人发言。

此外，头部姿态和朝向还可以表示听者的注意力焦点，如果听着没有看着讲话人，可能表示听着不专心或者正在思考等。

点头和摇头动作是两个最常见最基本的头部动作。

点头一般表示同意、肯定或赞许，摇头表示反对、否定或批评。

在不同的情景下，它还可用于表达更为细腻的情绪和态度。

比如，两人交谈中，听者连续点头可能意味着理解对方的意思，并暗示对方继续讲下去。

在听人演讲的时候，听众会下意识的通过点头或摇头表示赞同或否认演讲者的观点。

社会心理学家更仔细的研究了人们在对话中的各种细微头部动作，以及不同动作所代表的不同含义。

Dirk Heylen[14]将对话（conversation）看作是社交行为（social action）的一种形式，并以此来分析动作的含义。

D. DiCarlo等人[36]在生成虚拟人物头部动作时，总结出一组头部动作以及相对应的功能和含义。

在这些动作中，头部朝向，运动速度和幅度等都是区分不同动作的特征。

3.姿态识别头部姿态识别中，姿态表示与识别方法常常是紧密结合的，根据所选特征的不同大致可以分为两大类：基于3D模型的方法和基于2D表观的方法。

如果能够得到较为准确的3D姿态参数，也可以称为姿态估计。

如果只是得到头部姿态的类别，则称为姿态识别/分类较为准确。

为简单起见，我们统称为姿态识别。

头部姿态识别通常也称为人脸姿态识别，我们在下面不加区分。

3.1基于3D模型方法基于3D模型方法一般把3维人脸模型和2维人脸图像上对应的特征点进行匹配，通过迭代优化，得到3D姿态参数。

3D模型和2D图像间的对应关系符合投影几何模型[20]。

常用的3D模型都是固定的模型，建立后就不能变化。

为了能够估计带表情变化的人脸姿态，人们使用可变形的3D模型进行匹配，随着图像序列的增多逐步求精3D模型的参数[21]。

另一种3维模型需要用到纹理。

把纹理投影到圆柱上可以得到3维纹理映射模型[22]，跟踪问题于是转化为圆柱上纹理图和2维图像的对准问题。

通过对准误差的加权均方最小化得到了快速且稳定的头部跟踪和姿态估计。

Y. Li等人[23]把纹理模型和几何形状模型相结合得到多角度的动态人脸模型，并用该动态模型进行头部跟踪和姿态估计。

G. Aggarwal 等人[24]也使用了3维柱面纹理映射模型，结合粒子滤波器框架进行跟踪。

柱面3维模型可以解决姿态变化造成的遮挡，而粒子滤波器跟踪则解决了遮挡和光照变化造成的影响。

此类方法的优点是可以得到较高精度的3D姿态参数。

同时，随着特征点数目的增多，姿态参数的误差会随着模型的几何约束而减小。

但缺点是需要额外建立人脸的3维模型；并且对人脸特征点检测和跟踪的准确度和鲁棒性要求比较高，而准确鲁棒的特征点检测与跟踪对于大姿态变化的人脸来说比较困难，且需要高分辨率的人脸图像。