基于骨骼数据的人体行为识别

基于骨骼数据的人体行为识别

摘要

人体动作姿态识别是计算机视觉研究领域中最具挑战的研究方向，是当前的研究热点。对人体动作姿态进行自动识别将带来一种全新的交互方式，通过身体语言即人体的姿态和动作来传达用户的意思，如在机场、工厂等喧闹的环境下，采用手势、动作姿态识别等人机交互技术能够提供比语音识别更加准确的信息输入。总之，在智能监控、虚拟现实、感知用户接口以及基于内容的视频检索等领域，人体动作姿态的识别均具有广泛的应用前景。该文首先简单介绍了人体动作姿态序列的分割，然后对人体动作姿态识别的方法进行了分类介绍，并对一些典型的算法的研究进展情况及其优缺点进行了重点介绍。

关键词：人体动作姿态识别; 人工智能; 隐马尔可夫模型; 动态贝叶斯网络; 模板匹配前言

人体姿态识别是计算机视觉的一个重要研究方向，它最终目的是输出人的整体或者局部肢体的结构参数，如人体轮廓、头部的位置与朝向、人体关节点的位置或者部位类别。姿态识别的研究方法应该说，几乎涵盖了计算机视觉领域所有理论与技术，像模式识别、机器学习、人工智能、图像图形、统计学等。到目前为止，已经有众多识别方法被提出，并且也取得了许多重要的阶段性的研究成果，但是以往的方法都是基于普通光学图像，比如常见的RGB 图像，这类图像容易受光照、阴影等外界变化的影响，尤其在环境黑暗的情况下无法来识别人体姿态，并且由于人体关节自由度大，及人的体型、着装较大差异性，常导致姿态识别系统识别率低。尽管有研究者利用多个摄像机获取采集的图像来获取人体深度信息以克服以上问题[1]，但是该类方法恢复的深度信息不是唯一的，而且计算量非常大，尤其是这种方法要求事先用人工对传感设备进行标定，而在选取场景中的标定物时，往往又会遇到实际环境操作困难的问题。

随着光电技术的快速发展，深度传感设备的成本逐渐降低，人们获取深图像的途径及方法也越来越多。该方向的研究也逐渐成为计算机视觉领域的研究趋势。具体原因包括：一方面，深度传感设备不仅操作简单，并且极大简化了普通摄像机的标定过程；另一方面，得到的深度图像由于直接包含了人体的深度信息，能够有效的克服普通光学图像遇到的上述问题。到目前为止，较有影响力的基于该类图像的人体姿态识别算法，应该是 Shotton 等人利用一种深度传感器 Kinect 来实时捕捉人体运动的算法，该算法虽然能够满足人们对识别系统实时性的要求，但其对硬件要求特别高，并且不适合低分辨率图像中的人体关节点提取，容易导致人体骨架扭曲。下文将具体陈述人体运动分析的主要用途和前人在不同时期对这些难题的处理办法。

主题

基于计算机视觉的人体运动分析不仅在智能监控、人机交互、虚拟现实和基于内容的视频检索等方面有着广泛的应用前景，更是成为了未来研究的前瞻性方向之一。Gavrila 总结了它的一些主要应用领域[2,3,4]，下面据此对其典型应用做出进一步的介绍。

智能监控(Smart Surveillance)

所谓“智能监控”是指监控系统能够监视一定场景中人的活动，并对其行为行分析和识别，跟踪其中的可疑行为(例如在一些重要地点经常徘徊或者人流密集的场合下突发的人群拥挤等状况)从而采取相应的报警措施。智能监控系统应用最多的场合来自于那些对安全

要求较为敏感的场合，常见于银行、机场、车站、码头、超市、办公大楼、住宅小区、军事基地等，以实现对这些场所的智能监控。

高级人机交互(Advanced Human-Computer Interaction)

人体的行为分析常被用来提供控制和指令。通常来说，人们之间的信息交流主要靠语言，并结合适当的手势和面部表情等，因此视觉信息可以作为语音和自然语言理解的有效补充来完成更加智能的人机交互。更进一步的人机交互是进行人的识别和行为理解，结合面部表情、身体姿势和手势等[5-8]的分析来与人进行相应的交流。

运动分析(Motion Analysis)

基于计算机视觉的人体运动分析可以大量地应用在用于各种体育项目中，通过提取运动员的各项技术参数(如肢体的关节位置、摆动的速度和角速度等等)，对这些参数信息进行分析，可以为运动员的训练提供较为全面的指导和建议，有助于提高运动员的水平，这对于体育运动的发展是极为有用的。同时，它也被广泛地应用在医疗诊断方面：目前的医学步态分析[9-11]就是通过为人体正常步态建模，开发生物反馈系统用来分析病人的步态，从而可以将其应用于临床矫形术等领域，用来诊断病人的腿部受伤情况或者畸形程度，而做出恰当的治疗；

虚拟现实(Virtual Reality)

基于计算机视觉的人体运动分析在虚拟现实方面也应用的相当广泛：目前电脑游戏的开发相当成熟，游戏中各种人物的形体、运动及它们之间行为交互设计的逼真性得益于对物理空间中人的运动分析，它包括人体模型的建立和运动姿势的恢复等一系列相关理论及技术的成熟应用；基于互联网交互式空间的虚拟网络聊天室的开发才刚刚起步，它通过文本交流同时可以使用二维图标来导航用户。此外，人体运动识别在视频会议、人物动画、虚拟工作室等其他虚拟现实场合也有着相当广泛的应用。

在基于内容的视频检索方面，人体运动识别也有着重要的应用价值：由于人往往是视频记录的主要对象，在基于内容的视频检索中，如何检索在大段视频中的特定的人体运动，也需要这方面技术的发展。

总之，对人体运动识别的研究及到计算机视觉、模式识别、视频图像处理等方面的理论和实际应用问题。对人体的跟踪与运动分析将会促进这些领域在理论上产生新的方法，并且在诸多应用领域将会产生潜在的影响和价值。

综上所述，姿态识别具有重要的理论价值与广泛的应用前景，因此，它受到国内外许多学校重点实验室、研究所的关注[13、14]，除此之外，国际上一些著名会议和权威期刊也将其作为研究的主题之一，例如 ICCV（International Conferenceon Computer Vision）、CVPR （Computer Vision and Pattern Recognition）等国际会议，PAMI（IEEE Transactions on PatternAnalysis and Machine Intelligence）、CVIU（Computer Vision and Image Understanding）等国际期刊。

为了进行人体运动识别，需要解决运动数据的、特征表示与提取(人体运动建模)、人体运动序列分割、动作分类等问题,主要的流程如图1所示

图1基于运动捕获数据的人体运动识别框架

特征提取与表示

到目前为止,已经有很多方法被设计用来表示人体运动或人体运动特征,按照特征的表示范围大致可以分为三大类:基于底层运动捕获信息的时空特征,基于变换域的表示,以及描述性特征。