一种运动人体行为识别的改进方法

一种运动人体行为识别的改进方法
摘要：隐马尔可夫模型主要用于根据系统外部观测量来预测该事件的未知序列，本文将它引入运动人体行为识别中。

在获得了运动目标的整体轮廓以后，论述了怎
样对规则行为建模，并结合隐马尔可夫原理识别出运动人体行为。

针对人体轮
廓单通道图像对比的局限，提出了一种轮廓对比和质心跟踪相结合的方法改进
了算法，通过实验证明该改进的算法具有较好的性能。

关键词：行为模型 隐马尔可夫模型 质心 轮廓
中图法分类号:TP3文献分类标识码:C4
An Improved Method for Human Motion Recognition
Abstract:The Hidden Markov Models is widely used in forecasting the unknown sequence based on observation on outside system. In this paper, it is applied in human
motion recognition. With the human’s silhouettes, the paper deals with how to get the models
of regular actions and combine with HMM to recognize the motions of mobile human. As for
the localization on gray images of silhouettes, silhouettes contrasting and center of mass
tracking algorithm is put forward to solve this problem. The results show that the new
algorithm has better performance.
Key words:Motion models, HMM, Centroid, Silhouette
1引言
目前，“人的观察”（looking at people）向“理解人”（understanding people）转变是计算机视觉领域中最活跃的研究主题之一，其核心是利用计算机视觉技术从图像序列中检测、跟踪、识别人并对其行为进行理解与描述，其重要目标是摆脱传统的人机交互方式（如:键盘、鼠标等设备信息输入），让计算机系统具备自动分析，获取外部信息的能力，并通过分析做出相应的响应，让计算机系统更加智能化和人性化 。

动态现场视觉监控是计算机视觉领域一个新兴的应用方向。

视觉监控区别于传统意义上的监控系统在于其智能性[1]。

简单而言，不仅用摄像机代替人眼，而且用计算机代替人、协助人，来完成监视或控制任务，从而减轻人的负担.视觉监控具有广泛的应用前景和潜在的经济价值。

运动目标行为识别作为整个视觉监控的重点和难点，国内外提出了许多方法，比如区域分割[2]，关节点法等，但实现起来相当复杂。

针对一些常见的非规则行为（比如跳，爬行，打斗，偷窥等）本文采用了一种隐马尔可夫模型和质心理论相结合的方法，简单的运用自然语言理解，能够比较高效的识别出这些非规则行为，并且具有比较大的可扩展空间。

2相关知识
2.1
运动目标监测的一般步骤
图2.1 运动目标行为识别的一般步骤
本文所做工作属于行为判断，模板匹配法将图像序列转换为一组静态形状模式，然后在识别过程中和预先存储的行为标本相比较[3]，结合一定的统计算法，判断人体的行为。

2.2 运动人体行为的图像序列表示
人体在运动过程中动作都可以分解成以时间为线索的图像序列[4]，例如走路，跑，跳都可以作分解，我们将一些常见行为的一个周期用一组连续的图像帧来表示，并且对每一帧作图像的预处理，提取出灰度轮廓，将这一组图片建库，也就是本文所提到的标准行为库。

下面是行为的图像序列表（以正常行走为例）。

图 2.2 正常行走的动作分解
2.3隐马尔可夫模型HMM
隐马尔可夫模型（Hidden Markov Models）主要用于根据系统外部观测量来预测该事件的未知（隐含）序列[5]。

使用统计的方式来表示每一个可能的状态间跳转的转移概率，借此来描述一个复杂的系统。

它在学习和匹配行为模式方面非常有效。

假设对于一个随机事件，有一个观察值序列：,,...,，该事件隐含着一个状态序列：,, (6)
1O 2O t O 1X 2X t X 假设1：马尔可夫假设
（状态构成一阶马尔可夫链）P(|,,…)=P(|);
i X 1−i X 2−i X 1X i X 1−i X 假设2：不动性假设（状态与具体时间无关）P(|)=P(|)，对任意i, j 成立; 1+i X i X 1+j X j X 假设3：输出独立性假设（输出仅与当前状态有关）P(,,…|
,,…)=
P(|)； 1O 2O t O 1X 2X t X t O t X 隐马尔可夫模型的三个基本问题包括评估问题，解码问题，学习问题。

其中解码问题是指：对于给定的模型和观察值序列，求可能性最大的状态序列。

对应的算法有韦特比（Viterbi）算法。

2.4 运动人体行为的自然语言理解
自然语言处理就是研究如何能让计算机理解并生成人们日常所使用的语言，使得计算机懂
得自然语言的含义，并做出相应的反应。

自然语言理解技术大致可分为机器翻译、语义理解及人机会话技术几个方面。

其中语义理解通过将语言学的研究成果和计算机技术结合在一起，实现了对词语在语义层次上的理解[7]。

在本文所述系统中，通过相似度对比，计算机能简单的理解运动目标的状态，并以自然语言来描述，比如“在行走的人”，“拿着箱子走的人”等等。

3.系统实现流程及改进算法
在本智能安放系统中，我们规定规则行为有正常行走，慢跑，且允许携带物品（初步理想化为大皮箱），其它的行为，例如爬，跳，偷窥，打斗等均为非规则行为。

于是采用排除法，对规则行为建立标准库，由于慢跑和行走在轮廓形状上大致相同，将其建立一个库（设
为A 库）表示“正常行走或慢跑的人”
，将携带箱子的行为建立另外一个库（设为B 库）表示“提箱子走的人”。

实现流程如下：
3.1 算法实现步骤
（1）在结合背景减除法和差分法获得了人体轮廓后，我们用区域融合的办法加上形态学腐蚀和膨胀原理[8]进行处理，以保证轮廓的完整性。

（2）建立坐标，采用循环查找的方法，计算每帧轮廓图像中点的垂直和水平方向的最大值和最小值记为，从而找到纵坐标和横坐标最大和最小的点，，以这两个点的连线为对角线，利用OPENCV 中函数确定每帧图像中单个人的矩形框。

)2,1,2,1(X X Y Y )1,1(X Y )2,2(X Y （3）进出屏幕问题的解决，当运动人体进出屏幕的时候，捕获到的人体轮廓并不完整，因此形成误判，这时需要将进出屏幕的过程中经历的图像帧予以屏蔽不加判断。

（4）运用隐马尔可夫模型结合标准库进行行为判断：
用模型五元组),,,,(B A M N Π=λ用来描述HMM，
其中代表行为库的个数，N M 代表库中包含的图片数，Π表示初始时选择某行为库的概率，A 表示选择某个库的情况下选择另一个库的概率，B 代表每个库中图片分布。

问题就转化成对于给定的观察序列O =，以及模型T o o o ,...,21λ，如何选择一个对应的状态序列S = 使得S 能够最为合理的解释观察序列O 。

在这里对于解码问题我们采用Viterbi 算法，具体实现如下：
,,...,21T q q q 定义： 和分别为状态个数和序列长
度，我们要找的就是]|,...,,,,...,[)(21121,...,max 121λδt t t q q q t O O O i q q q q P i t ==
−−N T T 时刻最大的)(i T δ 所代表的那个状态序列。

首先初始化：
N i O b i i i ≤≤=1),()(11πδ
N i i ≤≤=1,0)(1ϕ
递归按照如下公式：
N j T t O b a i j i j ij t N j t ≤≤≤≤=−≤≤1,2),(])([)(11max δ
δmax arg 1)(N j t j ≤≤=
ϕN j T t a i ij t ≤≤≤≤−1,2],)([1δ 最后终结得： )]([max 1*i P T N j δ
≤≤=)]([max arg 1*i q T
N j T δ≤≤=求S序列：
1,...2,1),(*11*−−==++T T t q q t t t ϕ 该序列即为人体行为库中描述行为的图像序列，包括正常行走，慢跑等，我们通过行为库的不断扩展可以识别出更多正常的行为，反之，当我们对于一个观察序列进行计算，确定找不到对应的状态，则这个观察序列所代表的人体行为自然被系统判断成异常。

安防报警系统将自动报警。

3.2 算法改进
由于系统采用运动人体轮廓的形状相似度对比来判断人体的行为，这时出现了一个问题，比如人在侧面跳跃时的空中姿态和正常行走极其相似，这时候单纯运用相似度对比很难对这些非规则行为进行标记。

我们采用对比和质心突变相结合的办法来改进这一不足。

具体细节如下： （1）绝对距离
假设当前帧与上一帧人体的质心水平垂直变化分别为△X和△Y，这个我们称其为绝对距离，考虑目标不同运动方向的各种情况，特别的有，例如一个人相对摄像机侧着行走，那么其横坐标随着时间变化而纵坐标几乎不变，这时我们就只计算他的纵坐标的变化。

但如果目标在背景左右，前后两个方向都有移动，那么我们就需要综合考虑横纵坐标的变化情况。

运用统计学原理通过反复的实验，最终可以获得一个阈值，比较绝对距离和阈值，我们可以得到一个结果。

下面左边的图片显示的是一个侧着跳的人，其轮廓和正常的行走过程中某一时刻很相似。

右边表示的是他在跳跃的过程中质心随着时间的变化情况。

其中蓝色的点表示质心，横坐标代表时间，纵坐标代表高度。

（假设屏幕最左下方的点为原点）
图3.2 一个侧着跳的人和他的质心变化
（2）相对距离
计算当前帧和前面几帧横纵坐标的变化，这就是相对距离。

其比较原则和绝对距离相似，这里就不再累述。

通过反复实验并结合多个方向运动的实际情况采用统计学原理得出阈值。

将相对距离和阈值做比较，可以得到又一个结果。

（3）综合考虑绝对距离和相对距离比较的结果，结合隐马尔可夫模型，只有当两个条件都满足的时候，我们才可以判断运动人体的行为。

这样就成功的解决了不同行为但人体轮廓相似的问题。

4.原型系统实现和性能评价
4.1原型系统的实现
为了验证该算法的性能，作者在VC++6.0环境下，引进了OPENCV平台，开发了一个基于简单自然语言的运动人体行为识别系统。

在硬件配置为Pentium3.0G、1G RAM，实测网速为100kps，操作系统为Windows XP环境下，对算法进行了性能验证。

4.2原型系统的实验结果和性能评价
对于预先拍好的一段视频流文件，我们对算法进行了测试，当设定“走，跑”为合法行为后，其它不合法行为被准确的标识出来，下面是单人情况下的运行结果：
（a）（b）（c）
图4.1 单人情况下的实验结果
图a和图b所示均为一个侧面跳跃的人体，不同的是，图a是只用轮廓对比的方法得到的结果，而图b是结合隐马尔可夫模型和质心理论的方法得到的结果。

可以看出后者能够准确的识别出这种非规则行为。

在图c中的白色矩形框为包含人体轮廓的最小矩形框，矩形框中间的点为质心点。

以下是多人情况下的运行结果：
（d）（e）（f）(g)
图4.2 多人情况下的实验结果
图d和图f所示均为三个人沿不同方向的运动，其中图d中，三个人的行为都是正常行走，也就是我们所定义的规则行为，所以未被标注，而图f中中间和右边人物的行为是非规则行为，所以被矩形框标注出来了，而左方人物的行为属于规则行为，因此未被标注，实验结果符合我们的要求。

5.结论
我们结合隐马尔可夫模型和质心原理找到了一个检测运动人体行为的方法，能够识别出一些简单的运动人体行为。

在此基础上，可以构件一个智能安防系统，在一些特定的场景下，当摄像机捕获到运动目标以后对其实行跟踪，并且针对一些可疑的行为发出警报。

这样不但能节省人力财力，更重要的是能够避免犯罪的发生。

计算机及其外延设备将不仅是人类的眼睛，还能充当保安人员的助手，在安防领域具有一定的实用价值。

参考文献
[1]吕学刚 IPL和 OpenCV 在VC++环境下的应用[J]. 微型电脑应用,2003.19(1):1-2].
[2]C. Wren and A. Pent land. Dynamic modeling of human motion [C]. In Proc. of Third Face and Gesture Recognition Conf., pp: 22-27 April 1998.
[3] Gonzalez R, Woods R.数字图像处理[M].电子工业出版社，2002.
[4]郑南宁。

计算机视觉与模式识别[M]。

北京国防工业出版社，1998.
[5] Birney E．Hidden Markov Models in Biological sequence analysis[J].IBM Journal of Research and Development Volume 45.Numbers 3／4.2001.
[6]杜世平,李海．二阶隐马尔可夫模型及其在计算语言学中的应用[J]．四川大学学报(自然科学版)．2004.41(2)：284— 289．
[7] E. Bart and S. Ullman. Class-based matching of object parts [M]. In VideoRegister04, page 173, 2004.
[8] Intel Corporation. Open Source Computer Vision Reference Manual [EB/OL].
/research/mrl/research/opencv/.2000-15-08.。