基于视频的人体上半身运动跟踪系统

计算机工程与应用２００５．３６ ６９
由叶１心屯标长短轴半径和眨轴的倾角，共５个参数来描述（图 ２（ｂ））。
图２（ａ） 肤色分割结果 图２【ｈ１ ｂｌａｂ分析结果
本文中使用了与【７】相类似的非参数肤色模型。该肤色模型 可以秤训练阶段通过学习得到，行根据贝叶斯央策理论对每个 象素颜色进行分类。设互斥的两个变量ｓ．’ｓ分别表示肤色和 非肤色，它们的先验概率分别为ｐ（ｓ），ｐ（９ ｓ）。ｐ（ｘｌｓ）是颜色ｚ属 于肤色的条件概字密度。当最大后验概率Ｐ（ｓｌｘ）＞ｐ（９ｓｉｘ）时，我 们将ｘ分类为肤色象素。根据贝叶斯定理，有：
卫堕盟：』生山丛兰垃：＞１
Ｐ（ｓＩｘ）Ｐ（ｓ）Ｐ（刊ｊ） 因此将ｚ分类为肤色的判定法则为：
２【尘』、匹ｉｌ：ｌ卫ｆ盟 口（ｚ一）Ｐ（５ Ｊ Ｐ（５ Ｊ 本文采用ＲＧＢ空间的离散三维直方幽来表币颜色的分布 函数。ＲＧＢ空间被分割为３２ｘ３２ｘ３２个小立方体．每个立方体 内的象素计数除以总象素个数表示对应其颜色的概率值。在训 练阶段，首先从一些罔片中手工标记出肤色区域。通过统计肤 色象素个数的百分比，得到Ｐ（ｓ），通过对训练图片的肤色象素 颜色进行直方图计数并归一化得到ｐ（ｘｌｓ）．并保存在文件中。 背景颜色分布ｐ（ｘｌ’ｓ）在运行时获取。
（３）当头部倾斜雨ｌ噪声影响造成脸部检测失败时，利用下 一节Ｌ｝】介绍的区域分析方法匹配历史跟踪信息，获取脸部位置。 ３．３ 区域分析及关节位置推断
图２（ａ）是应用３．１节肤色分割算法得到的结果。从图中町 以看到头部和手臂的肤色区域都近似于椭圆形。我们使用椭圆 形状（ｂｌｏｂ）描述这些肤色区域块，便于后面的分析。每个椭圆
２系统设计 本文的目标是通过一个非定标的普通ＵＳＢ摄像头．存不
假设已知背景和衣服颜色的条件下，对人体上半身（头和手臂 关节），进行实时跟踪和定位（１５帧，ｓ）。被跟踪对象需要面对摄 像机．其上半身位于摄像机视野内。
相邻帧差分、轮廓、肤色是儿种常见的可以被快速提取和 处理的图像特征。在选择图像特征时，考虑到相邻帧差分特征 无法检测静止姿态；另外用来提取轮廓的减背景算法容易受到 光照变化、阴影的影响，背景也不容易获取：凼此本文采用了相 对稳定可靠的肤色特征。冉大多数情况Ｆ．肤色区域可以给出 手（或手臂）的粗略位置。由于手在低分辨率视频巾包含的象素 较少，运动到脸部附近时容易与脸部象素混淆，冈此本系统要 求用户必须霹出前臂，“提供一个较大的肤色区域。
Ｋｅｙｗｏｆｄｓ：ｕｐｐｅｒ ｂｏｄｙ ｔｒａｃｋｉｎｇ，ｆａｃｅ ｄｅｔｅｃｔｉｏｎ．ｓｋｉｎ ｃｏｌｏｒ ｍｏｄｅｌ，ｐｒｏｂａｂｉｌｉｓｔｉｅ ｔｒａｃｋｉｎｇ
１引言 利用人体姿态来操纵计算机是一种自然友好的人机交互
方式，近年米遂渐被研究者们所重视。目前在科研和商业领域 已经有一些典型的基于人体运动捕捉的人机交互系统．如Ｍｒｒ 媒体实验窀的Ｐｆｉｎｄｅｒ系统【＿Ｉ。Ｐｆｉｎｄｅｒ系统使用基于颜色统计的 方法对身体的各个部分进行实时跟踪与定位，通过识别跟踪结 果判断人的行为，进而与虚拟环境进行交巨，比如控制一只虚 拟的狗。另外，随着ＵＳＢ摄像头的普及，近年来出现ｒ一种基 于摄像头的游戏，其ｔｐ包括由Ｓｏｎｙ公司推出的ＰＳ２游戏 “ＥｙｅＴｏｙ”系列。“ＥｙｅＴｏｙ”通过摄像头捕捉玩家的身体运动，然 后使用捕捉的运动数据来操纵游戏，从而实现玩家与画面上各 种物体的瓦动。这类游戏会对玩家动作做出即时反应，增加了 游戏趣味性和参与感。另外基于人体姿态的人机交互方式也可 以用于智能家电．视频会议等其他一些领域巾。
（１）使用历史跟踪结果对当前时刻的脸部位置进行预测， 并利用预测位置将搜索区域限制在一个较小的“感兴趣区域”内， 以缩小处理范围．提高检测速度。另外在初始化阶段．仅仅在图 像的上半部分进行人脸检测。
（２）结合肤色分割信息来去除错误的脸部检测。如果输出 脸部矩形区域包含不足５０％的肤色面积．则认为当前的检测结 果是错误的。
ｄｅｔｅｃｔｉｏｎ，ｓｋｉｎ ｃｏｌｏｒ ｓｅｇｄ／ｌｅｎｔａｔｉｏｎ，ａｎｄ ｐｒｏｂａｂｉｌｉｓｔｉｅ ｔｒａｃｋｉｎｇ ｐｍｈａｂｉｌｉｔｙ ｔｒａｃｋｉｎｇ，ａ∽ｕｓｅｄ ｔｏ ｔｒａｃｋ ８ ｐｅｒｓｏｎ’ｓ ｕｐｐｅｒ ｂｏｄｙ’ｓ ｍｏｔｉｏｎ ｉｎ ｕｓｕａｌ ｉｎｄｏｏｒ ｅｎｖｉｒｏｎｍｅｎｔｓ．Ｔｈｉｓ ｓｙｓｔｅｍ ｃａｌｌ ｉｎｉｔｉａｌｉｚｅ ｔｈｅ ｔｒａｃｋｉｎｇ ａｎｄ ｒｅｃｏｖｅｒ ｆｒｍｎ ｆａｉｌｕｒｅ ａｕｔｏｍａｔｉｃａｌｌｙ，ａｎｄ ｉｓ ｒｏｂｕｓｔ ｔｏ ｉｌｌｕｍｉｎａｔｉｏｎ ｃｈａｎｇｅ ａｎｄ ｂｏｄｙ ｓｅｌｆ－ｏｃｃｌｕｓｉｏｎ ７Ｆｈｉｓ ｓｙＮｅｍ ｃａｎ ｂｅ ａｐｐｌｉｅｄ ｔｏ ｓｅｖｅｒａｌ ｆｉｅｌｄｓ ｓｕｃｈ ａｓ‘‘ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ”．‘‘ｖｉｄｅｏ ｃｏｎｆｅｒｅｎｃｅ”．ａｎｄ“ｗｅｂ一１２ａｍ ｇａｍｅｓ”．
点
图１跟踪系统设计
３关键功能模块分析 ３．１ 自适应的肤色区域检测算法
肤色检测是一种常用的脸部跟踪和手臂跟踪的手段。肤色 分割算法根据使用肤色模型的不同，可以分为基丁规则的肤色 模型［６１，非参数的概率肤色模型ｍ，以及参数的概率肤色模型ｍ几 类。其中基于规则的肤色模型和非参数的肤色模型可以被快速 计算，适台于实时跟踪的应用。
（２ｐ）。ｌｓ‘
其中，（１）式巾的求和符号针列那些位于检测出来的脸部
区域内部．且被分割为“肤色”的那些象素进行求和。协方差矩
阵陋表示核函数的带宽。Ｅ为单位矩阵．用来控制平滑程度。
在实际计算时．（１）式被离散化，以三维直上『图的形式进行计算。
背景颜色分布Ｐ（ｘｌ’５）通过对人体包围盒以外的区域的颜色进 行统计得到。为了加快运算速度，仅仅在跟踪初始化时计算
万方数据
普通摄像头成像效果受光照、曝光度以及伽马校正的影响
较大．呈献ｍ颜色失真，亮度变化较大的特点。本文采用一种自 动更新直方图的方法来解决光照变化，颜色失真，以及人与人 之间的肤色差异对肤色分割产生的影响。系统启动后，首先从
文件中读人ｐ（ｘｌｓ），然后在后继帧中统ｉ；ｒ当前时刻肤色医域内 的肤色分布来逐渐更新ｐ（ｘｌｓ）．以反映光照以及颜色失真引起 的肤色分布变化的情况。注意判，如果使用肤色检测的分割结 果来更新肤色模型．会使得肤色模型很不稳定，因此系统采用
了一种小依赖于肤色提取的人脸检测方法来得到人脸区域，并 使用该区域内的肤色象素来更新肤色的直方图。
由于脸郎的象素个数较少，我们利用混合高斯核甬数的方 法来对腧部的肤色分布进行平滑估计，并加权到上时刻的肤 色模型中去。肤色分布的更新公式为：
ｐ．０ｔｘ）＝（１－ａＪＰ川（ｓＩｘ）４－
１Ⅳ
１
ｒ—ｌ
畴…ｉｏ——÷Ｔｌ—Ｔｅｆｘｐ（一｝‘（‘１）‘Ｓ‘（ｔ飞））（１）
基于视频的人体上半身运动跟踪系统
刘国翌“２李华１ （中国科学院计算技术研究所智能信息处理重点实验室，北京１０００８０）
２（中国科学院研究生院，北京１０００３９）
Ｅ—ｍａｌｌ：ｇｙｌｉｕ＠ｉｅｔａｃｔ，Ⅱ
摘要文章舟绍了一个可以实时捕捉人体上半身运动的系统。该系统通过结合健用人脸检测、肤色检刹和概率跟踪等 技术，利用单个普通摄像头在一般的室内环境下跟踪人体的脸部和手臂关节位置。作为一个实时跟踪系统．该系统实现 了跟踪的自动初始化以及自动从跟踪错误中性复．并且在一定程度上处理光照变化、身体自遮挡等问题。该系统可以用 于“虚拟现实”、“视颊套议”、“基于摄像头的游戏”等一些领域中。 关壁词 上半身运动跟踪 人腔捡刹 肤色楗型 概率跟踪 文章编号１００２—８３３１－（２００５）３６一００６８—０４ 文献标识码Ａ 中国分类号ＴＰ３９１
基金项目：国家科技攻关计划课题奥运科技专项（编号：２００１ＢＡ９０４８０８）；国家９７３重点基础研究发展规划资助项目（编号：２００４ＣＢ３１８０００） 作者筒介：刘［Ｎ翌（１９７７一）．男，在读博十，研究方向：计算机图形学、计算机视觉。李华（１９５７一），男，博上，研究员，研究方向：计算机图形学与可视化。
ｐ
Ｐ（ｘｌ ｓ）。 分割结束后．利用连通Ｋ域分析将所有肤色区域进行标
号．并将那些较小的肤色区域合并到邻近的较大肤色区域中 去．以处理因分割错误造成的区域断开的情况。
３．２脸部检测与跟踪
前面提到的肤色椅测算法和跟踪初始化过程都依赖于脸 部检测算法。本文使用了文献【９】中提山了基于Ａｄａｂｏｏｓｔ算法 人脸检测由法。该方法利用＿迭代训练从大量的弱分类器中选取 最具有分类意义的部分组合成强分类器．来检测人脸。并构建 一个瀑布式的分类器在检测早期去除那些容易区分的非脸部 候选位置．进而加快检测速度。该人脸检测算法仅仅依赖于灰 度图像特征。直接使用该算法存在一些｜ｂｊ题：该算法用于整个 图像检测．运行时间较长；只能检测止向的脸。头部倾斜或者部 分遮挡会造成检测失败；有时会在错误的位置检测出人脸。因 此，下面一些手段被用来改进【９】中算法，以实现更可靠的人脸 检测．
６８ ２０ 万０５方３６数计算 据机、人脸检测与跟踪、 关节位置推断、．．维关节角度恢复和三维显示等几个模块。图 １给Ｈ｛了水文系统设计的个图示。系统在启动后处于未初始 化状态，通过在检测人脸来判断图像中人的存在。当检测到人 腧位嚣后，系统进人初始化状态。在初始化过程中．系统通过统 计颜色信息，建立起肤色和背景的颜色分布模型，井对图像进 行肤色分割。假设初始化过程中，用户双手处于自然卜垂状态。 通过对分割结果进行区域分析．系统获取手臂长度．以及肩膀 宽度等人体测量参数。初始化成功后，存跟踪过程中．我们结合 使用人脸检测和肤色分割结果对人腧进行定位，并使用区域分 析得到手臂关节他置的候选点。最后综合关节位置的先验分布 与历史跟踪结果对候选关节进｛ｒ推断，得出当前时刻各个关节 位置。在跟踪过程中，系统使用人脆桅测的结果米更新肤色直 方图，以实现肘环境的自适麻性。对于手臂相交和重叠引起的 肤色区域缝接的情况，本文使用粒子滤波算法跟踪每个手臂。 当人聆跟踪失败时，系统进人跟踪丢失状态，任这个阶段，系统 试罔重新恢复跟踪过程。若系统处于跟踪丢失状态超过４ｓ．则 认为跟踪失败，系统恢复到来初始化状态。