人体运动的检测和识别研究

模式识别中文核心期刊《微计算机信息》（测控自动＇ｆ：．１５）２００８年第２４卷第２－１期文章编号：１００８—０５７０（２００８）０２…１０２１００２

人体运动的检测和识别研究

ＳｔｕｄｙｏｎＤｅｔｅｃｔｉｏｎａｎｄＩｄｅｎｔｉｆｉｃａｔｉｏｎｏｆＨｕｍａｎＭｏｖｅｍｅｎｔ

（北京榭吏大学）宋修雷王志良

ＳＯＮＧＸＩＵＬＥＩＷＡＮＧＺＨＩＬＩＡＮＧ

摘要：本文针对人体运动视觉分析中的行为理解和分析等高层视觉问题进行分析，研究了一种静止摄像机条件下的行为理解和分析的算法，它以运动序列中的关键帧为基础，针对关键帧提取人体的骨架信息，然后通过Ｈｕ不变矩来提取特征，最后组成特征向量，通过对ＨＭＭ模型的训练来识别特定运动序列的语义。

关键词：运动识别：计算机视觉；Ｉ－ＥＶｌｌＭ

中图分类号：ＴＰ３９１．４文献标识码：Ａ

Ａｂｓｔｒａｃｔ：Ｔｈｉｓｐａｐｅｒｆｏｃｕｓｅｓｖｉｓｕａｌａｎａｌｙｓｉｓｏｆｈｕｍａｎｍｏｖｅｍｅｎｔａｎｄｔｈｅｕｎｄｅｒｓｔａｎｄｉｎｇｏｆｈｉｇｈｌｅｖｅｌｖｉｓｕａｌｐｒｏｂｌｅｍｓ．Ｉｔｇｉｖｅｓ

ａｌｇｏｒｉｓｍｔｏｃｏｍｐｒｅｈｅｎｄ

ａｎｄａｎａｌｙｓｉｓｐｅｏｐｌｅｍｏｖｅｍｅｎｔｉｆｔｈｅｃａｍｅｒａｉｓｎｏｔｍｏｖｅｄ．Ｗｅｐｒｅｓｅｎｔａｌｇｏｒｉｔｈｍｂａｓｅｄｋｅｙｆｒａｍｅｓ，ｔｈｉｓｔｅｃｈｎｉｑｕｅｂｅｍｏｒｅｅｆｆｅｃｔｉｖｅｉｎｔｈｅｏｒｉｇｉｎａｌｓｅｑｕｅｎｃｅｂｙｒｅｄｕｃｉｎｇｔｈｅｉｎｔｅｒｆｅｒｅｎｃｅｏｆｄｅｔｅｃｔｉｏｎａｎｄｉｄｅｎｔｉｆｉｃａｔｉｏｎ．

Ｋｅｙｗｏｒｄｓ：ｍｏｖｅｍｅｎｔｉｄｅｎｔｉｆｉｃａｔｉｏｎ，ｃｏｍｐｕｔｅｒｖｉｓｉｏｎ，ＨＭＭ

１引言

计算机视觉是计算机科学和人工智能领域的一个重要分支．它研究的主要内容是怎样利用各种成像系统代替视觉器官作为信号输入手段，用计算机代替大脑完成对信息的处理和解释。计算机视觉的最终研究目标，就是使计算机能象人那样通过视觉观察和理解世界。

运动物体的检测、跟踪和行为的理解与描述是计算机视觉领域的一个重要课题。也是计算机能否象人那样通过视觉观察和理解世界的关键所在。目前在运动物体检测领域，国内外有关这方面的研究很多，但是目前的许多方法都受到了一定条件的局限性。比如我们在使用背景差对运动目标进行检测时，发现了这种方法受光线亮度变化的影响很大，同时当背景中有物体移人或移出时．这种方法检测的效果正确性受到很大影响。对行为的理解与描述国内外的文献相对较少。可以说是一个比检测和跟踪更加困难的研究领域。针对这些问题，我们提出一种能够在简单背景下对人体行为进行理解和描述的方法。该方法将运动的检测、跟踪和行为的理解和描述联系到一起，使两者相辅相成。解决了两者分离情况下研究中的难点问题。

２关键帧算法

直接比较的人体的运动来识别运动的语义是不可能的，因为人体区域随着肢体的摆动而呈现非刚性的变化。这里我们对运动序列进行分解，原则是提取运动序列中的关键帧进行分析。关键帧的定义是在运动方向发生变化的时刻对应的图像帧。从运动中来看，运动方向发生变化的时刻，必定是序列图像在水平或者是垂直方向的投影在时间轴上出现了极值。所以我们就可

宋修雷：硕士研究生

基金项目：本论文得到国家自然科学基金（Ｎ０．６０５７３０５９）、

北京市“现代信息科学与网络技术”重点实验室基金

（Ｎｏ．ＴＤＸＸ０５０３）和北京科技大学重点基金的支持以根据这条规则来从运动序列中提取关键帧。一个完整的具有具体语义的运动序列可以由一个相对应的关键帧序列来表示。

通过关键帧的方法完成了对运动序列的第一次特征提取。图１是对关键帧提取的一个示例。图２是一个行走运动序列的关键帧表示。

图１关键帧的提取

彳彳ｋｋ

图２行走运动序列的关键帧表示

３特征提取

３．１骨架算法

首先要从待处理的序列图像中抽取出目标人体的轮廓，获

一２１０—３６０元，年邮局订阅号：８２－９４６　

万方数据

隧瓣瓣黧黼溺鬻糕黎§豢。瓣渊

模式识别

得对应的二值图像。由于研究对象——人体保持运动状态，首

同目标图像区域计算其不变矩，并以不变矩作为特征量来对具先可以利用运动信息把人体运动部分从复杂背景中提取出来，有旋转和尺度变化的目标图像进行识别。

然后利用运动部分的位置和灰度信息，获得人体轮廓的二值图概率密度分布函数为ｆ（ｘ，ｙ）的二维连续随机函数的ｐ＋ｑ阶像。具体过程如下：

规则矩（也称几何矩）ｍ。的定义为：

（１）对相邻两帧图像进行差分运算，抽取其运动部分，统计ｍ。＝．１。ｊ。ｘＰｙ４，（工，ｙ）ｄｘｄｙＰ，ｑ：０，１…２．

运动部分的灰度信息。

二维ＭｘＮ数字化图像ｆ（ｍ，ｎ）的规则矩定义为：

（２）利用运动部分的灰度信息，根据第１步的结果提取人体轮廓。

（３）抽取出人体轮廓后，对图像做二值化处理。

ｆ０，点（ｘ，ｙ）∈轮廓区域

ｇ【工＇＂２１１，点（‘ｙ）正轮廓区域

得到人体轮廓二值图像。

对于彩色图像，算法原理不变，进行比较的信息则由灰度变成对应像素点的ＲＧＢ值。人体运动具有多样性和复杂性，人体轮廓作为一种复杂模式，单凭某一种信息（灰度或彩色信息）和某一种方法很难得出很精确的结果。在后续算法中给出的用于提取人体轮廓的虚拟骨架的能量函数法对图像噪声有很好的抑制作用，因此，由上述方法所抽取的人体轮廓在精度上完全可以满足后续算法的需要。

利用已得到有关人体轮廓的二值图像Ｉ（ｘ，ｙ）：

，，…、一ｆｏ，像素（ｘ，ｙ）在人体轮廓区域内

ｕ“川一１１，像素（ｚ，ｙ）在人体轮廓区域外

定义如下的能量函数

Ｅ（ｘ，Ｙ，，）＝ＩＩ．（ｒ一√“２＋ｖ２），（ｘ＋甜，Ｙ＋ｖ）ｄｕｄｖ一二＿一

式中积分区域Ｄ为位于人体轮廓内部的、圆心Ｐ（ｘ，Ｙ）和半径ｒ均可改变的一个圆形区域。在上述能量函数中，第１项的目的是使所设定的圆形区域保持在人体的内部．第２项的目的是使该圆的半径ｒ达到极大值，其中，仪为一个常量，用来调整所述圆形积分区域的半径对能量函数的影响，它的取值与图像的平均灰度有关．一般取２或３。当ｘ’Ｙ和ｒ的取值使能量函数￡（ｘ，Ｙ，ｒ）达到最小时，上述积分圆形区域Ｄ的圆心Ｐ（ｘ，ｙ）位于轮廓中轴线上．半径ｒ的取值则使圆的外缘和人体轮廓线切。

如图３所示．据此可以确定虚拟骨架上的一个一个的点。

（ａ１，㈣为相邻两帧图像，（ｃ）为差分图像，（ｄ）为提取的人体轮廓，

（ｅ）为抽取的虚拟骨架和关节点的位置，（Ｄ为与真实关节位置的比较。

ａ＝３．Ｋ－－Ｏ０８

图３实验室环境下骨架提取

３．２不变矩特征

这里我们假设同一物体的图像序列之间只相差一个旋转、平移和尺度变换，即同一物体的不同图像差别有物体摆放的方向、位置或摄像机与物体间距离不同引起的尺度不同。因此可

以找到一些不变量。这些量只与物体形状有关与它们的位置、方

位、尺度无关，这就是矩不变量。矩不变量是目标图像的一种区域描述，也是目标的特征匹配的常用方法。由于它对平移、旋转

和尺度变化的目标具有不变性，因此可以对经区域分割得到不

聊ｗ

２萎善∥矿，（％川Ｍ＝ｏ＇１，２…

阶次为ｎ的规则矩的完备集包括所有满Ｐ＋ｑ≤ｎ条件的

ｉｎ。，因而共有妻ｏ＋１）０＋２）个元素。单项式乘积ｘｐｙｕ和ｍ啊ｕ是

这种矩定义的基底函数。

既然一幅图像具有有限的面积，并且在最坏的情况下也是分段连续的，那么所有阶的规则矩都存在，所求得的矩集可唯一描述该幅图像所包含的信息。要将一幅图中的信息全部表征出来需要无限多的矩值，对于实际应用来讲，需要选取矩集的一个子集．只要这个子集对于某个特定应用包含表征该图像的足够有用信息就可以了。

两个一阶矩｛ｍｏ，，ｍ，。｝用来确定目标的质心。质心的坐标６，Ｙ一）给出了二条分别平行于ｘ轴和ｙ轴的直线Ｘ＝Ｘ一和ｙ＝歹的交点。

质心坐标由下式计算：

；：鱼

了：塑

ｍ００

ｍ００

如果目标的质心与坐标系的原点重合，即；＝ｏ和；＝ｏ，那么

由此求得的矩值称为中心矩，由‰表示：

％２ＬＬ

ｏ一工）’（ｙ—ｙ）９，（工，ｙ）ｄｘｄｙ

Ｈｕ定义了由三阶规格化后的中心矩的非线性组合构成的七个量值，它们对目标的位置，尺度和方向的变化保持不变。在得到人体的骨架信息后。我们提取骨架图像的７个ｈｕ不变矩作为特征向量．至此就完成了对运动序列的分解和特征提取．为ＨＭＭ的学习和训练做好了准备。

４原型设计

人体运动检测和识别的原型系统包括以下几个模块：数据采集模块，图像预处理模块，关键帧提取模块，人体骨架提取模块，不变矩计算模块，ＨＭＭ训练和识别模块。如图４所示。

图４人体运动检测和识别流程图

吓转第２９１页）

ｒ—————————————ｒ——————一…一１｝《阻ｃ技术廒瓣２∞例》ｉ

ｎｌｌｌ摸Ｊｌ邮局订阅号：８２－９４６

３６。，Ｌ／－ｑ－一２１ｌ一

万方数据