人体行为的视频分析(译文)

人体运动的视频分析0、简介在生物识别技术研究中，我们尤其感兴趣的是：理解并解释人在复杂环境中的行为举止。

在大量的实际应用中，重要的是识别人体一定部位的动作。

例如：手势、步法分析以及脸部表情分析。

这些应用在人机交互和通过行为来识别个体的安全检测和生物认证中有着重要的作用。

在其它一些应用中，分析整个人体的动态行为通常更显重要，这样的高层分析倾向于解释视频序列中的行为来理解人体行动，可被用来对视频监控和安全检测中的活动进行分类及对环境中的异常行为进行监测。

最后，人体运动的模型有着广泛的运用，如：产生自然的动画和图形，理解正常和病态行为，分析来自传感器等的医学应用数据。

理解人体运动有三个主要部分：(a) 涉及个别人体部分的运动分析；(b) 在单/多个相机情况下的人体运动和行为分析；(c) 计算机模型下的人体运动分析。

1、追踪在视频序列中进行物体追踪是图像处理技术获的物体运动特征的最基本的方法.他的主要目的是获得物体运动的帧.然后追踪的结果经过数学分析来解释物体的运动特征.物体的运动有以下几种情况:相机运动而物体静止,物体运动而相机静止或者两者都动。

追踪技术有:2D追踪来估计3D运动参数,已知物体在3D空间位置以及方向条件下的3D追踪和更高级的追踪他包括追踪物体的变形.通过运用标记,相关性以及颜色,形状限制的结合使追踪变的更容易.基于运动/基于模型是广泛运用的物体追踪方法.基于运动的方法采取实时对视频动作进行分类,虽然时间性能好,但是不能有效的保证被追踪的区域都有效.相反,基于模型的方法能提高有效性但由于处理缩放比例,图像平移,变形,旋转而耗费时间.这两种追踪方法都采用由被追踪物体提供的几何和边缘特性作为测量尺度.在这方面有基于边缘,基于区域两种主要方法.基于边缘的追踪方法把物体的边缘和图像匹配而基于区域的追踪方法采用图像模板.如果假设两张图片仅有细微的差别,则这两种方法都能得到精确的追踪结果.但是当这种假使不成立时(这在实际运用中很平常),这些算法只能提供最佳结果并且不得不采取某些补救措施以便继续进行追踪.基于边缘和基于区域的追踪方法的都要进行大量的计算而使它们不满足实时应用的要求.另一方面,基于斑点(斑点是区域的集合它在语意上有各自的特性)的追踪算法不需要边,区域等原始图像信息,而依赖颜色,动作,形状等把物体从背景中分离出来.她是有效,鲁棒的.2.1追踪脸/头为了追踪一个人的脸和头，系统不仅要定位脸和头，而且要在图像序列中找到他们。

找到脸的步骤叫脸部检测，在这个领域已经有一些论文出现例如[2]。

在图像序列中找到脸的位置是一项困难的工作。

因为环境是变化的譬如光照的变化，物体的移动，帧画面中物体的出入。

通常，特殊方法比如blink 检测[58]已被用来寻找人脸。

下面我们将详细介绍当前流行并且完备的方法。

他将采用颜色信息，脸部特征，模板，光流，coutour(轮廓)分析以及这些方法的综合。

2.1.1运用颜色信息追踪脸/头肤色是追踪时很有用的线索。

研究表明肤色集簇稳定[58]并且和大多数背景物体的颜色乡区别。

先前的研究表明在不同的色度空间中提取用于皮肤检测的特征对光照变化是鲁棒的。

一些研究试图运用颜色信息来追踪脸/头。

它被分为两类：基于统计的方法，基于模型的方法。

基于统计的方法又可进一步细分为：采用高斯模型[7-14]，采用直方图分析[19，21-23]，以及颜色概率分布[26-28，30]。

高斯模型是统计方法中最常用的一种。

它的基本思想是采用简单的高斯分布建立肤色模型[7]或者复合的高斯模型建立肤色模型[8-14]。

另外一种常用的方法是直方图分析[19，21-23]，它用彩色空间或者标准颜色空间（见图2）。

当前的一个主要挑战是：使色度空间对图片中的细微变化不敏感[23]并且产生一个鲁棒的追踪器。

它对三维旋转，倾斜，剧烈但简单的遮挡，任意的相机抖动，背景；移动不敏感[19]。

采用直方图实现强健的追踪是通过由Perez et al.发现的叫Monte Carlo追踪技术[21]。

颜色概率分布是另一种基于颜色的追踪脸部的方法[26-28，30]。

采用统计学方法忽略外部数据以达到更好的结果是十分有用的。

[26]。

通常，颜色信息是从头发以及皮肤提取的[27，28，30]。

一般，皮肤区域和头发区域的提取是通过估计皮肤/头发中的每一个像素点与皮肤/头发颜色概率分布[30]的相似性以及计算几何特性如面积，中心和人脸各个部分的几何力矩。

基于模型的方法包含关于运动模型，随机模型与照相机模型。

这三种模型相辅乡相成。

例如随机模型适宜实时条件下不同的人物和不同的光照条件。

运动模型被用于图像运动以及预测search Window。

相机模型被用于预测和补偿照相机抖动。

2.1.2运用脸部特征追踪脸/头早期关于用脸部特征来追踪头部的研究建立在追踪眼角和嘴角的基础上[62]。

但这种方法对处理图像序列存在缺陷因为同一个点在整个图像序列中是可变的。

不久以后鼻子也能被当作特征来使用[63，64]。

Jacquin ,Eleftheriadis用这些特征建立矩形的眼睛，鼻子，嘴巴区域来追踪头部。

Jebara ,PentLand[64]提出了相同的方法。

他们运用眼鼻嘴等特征来选择与脸部相似性最高的候选区域。

这三种表情相结合能使追踪的精确率达到90﹪-95﹪。

其它的脸部特征如IRIS，眉毛，脸颊和暂时特征如皱纹，与上述三种特征想结合能使追踪的精确率高达到98﹪[65]。

2.1.3运用模板追踪脸/头在视频序列中追踪人脸有2D模板和变形摸板两种模板模型。

2D模型集合的分布式反映能刻画给定脸部区域的特征[66]。

它与追踪脸部特征的方法相比更具有优越性。

2D模板是功能健全，速度快但它需要初始训练或者初始化，并且当大范围的头部运动时追踪就有局限性。

Zhou et al.采用基于原型的可变形的模板模型用轮廓或边线来描述物体。

与2D模板相比它的优势如下：（1）由于观察角度变化，物体的运动，物体本身的非刚性本质，物体在图像序列中的特性会一帧一帧的变化。

而可变形的形状模型能捕捉到这些变化。

（2）尽管物体形状一帧一帧的变化，但物体的整体结构是不变的。

变形模型通过适当的原型能捕捉这种整体结构。

（3）在两连续的帧之间的抖动或变形并不十分显著，因此在当前帧中汇聚的外形能为下一帧提供合理的初始化。

与广泛应用的“蛇行模型”相比，基于原型的变形模型再追踪应用中也有优势因为它本身包含了关于物体整体结构信息，这使他对减弱或消失的图像特征不敏感。

2.1.4运用活动轮廓追踪脸/头活动轮廓或蛇行线是可变形的曲线。

它们是物体内部和外部因素引起的生长或抖动。

内部因素加强轮廓的平滑限制，外部因素使轮廓表示重要的图片特征。

蛇行线的外部因素可被定义为颜色特征。

同样的，通过分割方法得到头部轮廓，通过追踪一序列的帧能得到轮廓的边界（见图4）。

2.1.5运用光流追踪脸/头光流被广泛的应用于追踪头部运动[71-73]。

它以平坦的2D碎片形式表达出来[72]。

尽管这种方法被认为能达到很高的精切率，但它只能精确追踪中等的头部运动，而且巨大的头部旋转或缩放出现时就会失败。

[71]把光流扩展到3D模型中。

这种3D模型叫“motion regularization”或“flow regularization ”建立在ESQ上且拥有完整规则的脸部模型能调整光流以便估计3D头部运动[73]，这种方法有效的且对遮挡不敏感。

2.1.6综合运用各种线索/方法追踪脸/头通常情况下，单一的特征或线索不能有效的追踪物体。

研究表明综合各种资源能地到更好的结果[33，74-78]。

一般的，综合颜色，形状信息来定位和追踪脸[75，76]，在这种情况下精确率能达到96﹪-100﹪。

综合运动，颜色信息并结合其它线索如形状信息，表征2D斑点的纹理特性，强度变化和对比范围，以及一致性来追踪脸，它的鲁棒性比使用单一特征的追踪方法有了实质性的改进。

另外，综合的方法能获得更高级的输出，这正是许多不同种类的分类器或追踪器试图解决的问题，而且它们的输出综合起来作为最终结果[78]。

Sheerah ,Gong 使用名叫“知觉融合”的方法，它综合了多种知觉模块以达到简单知觉对象的输出。

所有的知觉模块都使用相同的物理传感器，视频相机，，但运算不同的信息。

数据整合被用来综合各种视觉信息。

原型相似性测量方法用于估算头部位置，然后用肤色信息采用浓缩算法（模拟各种状态的过滤方法，它通过维持大量样本并比较与KALMAN过滤器的相识性实现的。

再当前的追踪领域被广泛运用）来追踪头/脸位置。

MaKenna ,Gong[80,81]把基于运动的追踪和基于模型的脸部检测相结合,用时间convoulution 估算移动图像轮廓的运动,用克莱姆过滤器(它能追踪物体的位置,动作,形状且用神经网络检测脸部)追踪物体.这个系统的本质是:动作追踪器集中于脸部检测网络同时后者能提高追踪速度.多种模式的综合,各种立体信息,颜色和灰度分布模式匹配到系统中能达到鲁棒的追踪性能.立体信息处理能把使用的数据从背景中分离出来,同时肤色分类能再前景中识别和追踪相似的身份部分,脸部检测模块在以追踪到的区域中区分并定位脸.贝叶斯特征模型是另一种方法,它结合了不同的算法.这些算法使用颜色,动作,少量背景特征来估算图片中脸的位置. 贝叶斯特征模型本质依靠各种可靠性高的算法.使用这种算法系统追踪头部的正确率高达99﹪以上.2.1.7运用其他方法追踪脸/头许多研究建立物体姿势的训练模型,它能视频序列中预测检测过的物体姿势并进行追踪.脸部姿势估计方法可分为两类:基于模型[83-95],基于外貌[7,14,29,32,34,37-39,96]的方法.基于模型的方法采取脸部的3D模型,先通过建立2D/3D相应特征重新获取的脸部姿势,然后用常规的姿势估计技术确定脸部姿势.最常用的脸部特征有眼睛,嘴.基于模型的方法便于实施并且有高的效率和精确度.但是,它们的精确度依赖于脸部特征的精确度(而脸部特征会随着不同的光照和方向而变化).相反,基于外貌的方法假设3D脸部姿势和脸图像的某些部分之间存在独一无二的联系.他的目标是在大量已知3D脸部姿势的图像中确定这种关系.总之,基于外貌的方法是简单的,但是他的精确度不高,因为它需要大量的训练图片并需要插值.下面,我们将介绍这些方法.2.1.7.1基于模板的方法基于模板的方法包含3D模型, 椭圆模型,纹理模型,分割树模型,欧几里德模型.我们简单介绍一下这些技术.3D模型用深度近似和姿势计算来追踪头部,他高效计算的,但由于这个模型只处理连续的两帧,这可能在海量的图片追踪时导致失败, 而且没考虑遮挡问题.脸部特征点的位置也能在3D模型中用于构建脸. 椭圆模型建立在椭圆与脸/头形状相似的前提假设下的.当椭圆模型与3D模型想匹配，脸部的位置和方向就能从检测到的脸中估算出来。