基于图像处理的人群行为识别方法综述_高玄

总第３２２期

２０１６年第８期

计算机与数字工程

Ｃｏｍｐｕｔｅｒ　＆Ｄｉｇｉｔａｌ　Ｅｎｇｉｎｅｅｒｉｎｇ

Ｖｏｌ．４４Ｎｏ．８

１５５７

基于图像处理的人群行为识别方法综述＊

高　玄１　刘勇奎２　汪大峰１

（１．北方民族大学计算机科学与工程学院　银川　７５００２１）（２．大连民族学院计算机科学与工程学院　大连　１１６６００）

摘　要　基于图像处理的人体行为识别是计算机视觉中一个活跃的研究领域，目前大部分研究者主要针对个人行为识别展开研究。对人群的行为识别研究相对较少而人群行为识别在智能监控、虚拟现实、公共安全等方面有着广泛的应用前景。例如，恐怖活动、可疑事件、群体性暴力事件的实时监控等。人体行为识别对包含人的图像序列进行检测、跟踪、目标分类、异常检测以及对人的行为理解与识别。论文通过从一般的单人行为识别出发，介绍了人群识别方面近年来研究发展状况以及当前该研究方向亟待解决的问题，并展望了未来可能的发展方向。

关键词　图像处理；行为识别；智能监控；人群

中图分类号　ＴＰ３９３ ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１６７２－９７２２．２０１６．０８．０３４

Ｓｕｒｖｅｙｏｎ　ＧｒｏｕｐＢｅｈａｖｉｏｒ　Ｒｅｃｏｇｎｉｔｉｏｎ　Ｍｅｔｈｏｄ

Ｂａｓｅｄ　ｏｎ　Ｉｍａｇｅ　Ｐｒｏｃｅｓｓｉｎｇ

ＧＡＯ　Ｘｕａｎ１　ＬＩＵ　Ｙｏｎｇｋｕｉ　２　ＷＡＮＧ　Ｄａｆｅｎｇ１

（１．Ｃｏｌｌｅｇｅ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｅｎｇｉｎｅｅｒｉｎｇ，Ｎｏｒｔｈｅｒｎ　Ｕｎｉｖｅｒｓｉｔｙ　ｆｏｒ　Ｎａｔｉｏｎａｌｉｔｉｅｓ，Ｙｉｎｃｈｕａｎ　７５００２１）（２．Ｃｏｌｌｅｇｅ　ｏｆ　Ｃｏｍｐｕｔｅｒ　Ｓｃｉｅｎｃｅ　ａｎｄ　Ｅｎｇｉｎｅｅｒｉｎｇ，Ｄａｌｉａｎ　Ｎａｔｉｏｎａｌｉｔｉｅｓ　Ｕｎｉｖｅｒｓｉｔｙ，Ｄａｌｉａｎ　１１６６００）

Ａｂｓｔｒａｃｔ　Ｒｅｃｏｇｎｉｔｉｏｎ　ｏｆ　ｈｕｍａｎ　ａｃｔｉｏｎ　ｕｓｉｎｇ　ｉｍａｇｅ－ｂａｓｅｄ　ｐｒｏｃｅｓｓｉｎｇ　ｉｓ　ａｎ　ａｃｔｉｖｅ　ｒｅｓｅａｒｃｈ　ａｒｅａ　ｉｎ　ｃｏｍｐｕｔｅｒ　ｖｉｓｉｏｎ．Ａｔｐｒｅｓｅｎｔ　ｍｏｓｔ　ｏｆ　ｔｈｅ　ｒｅｓｅａｒｃｈｅｒｓ　ｍａｉｎｌｙ　ｓｔｕｄｙ　ｔｈｅ　ｒｅｃｏｇｎｉｔｉｏｎ　ｏｆ　ｉｎｄｉｖｉｄｕａｌ　ｂｅｈａｖｉｏｒ．Ｆｏｒ　ｒｅｃｏｇｎｉｔｉｏｎ　ｏｆ　ｇｒｏｕｐ　ａｃｔｉｖｉｔｉｅｓ　ｒｅ－ｓｅａｒｃｈ　ｉｓ　ｒｅｌａｔｉｖｅｌｙ　ｌｅｓｓ　ｗｈｉｌｅ　ｔｈｅ　ｒｅｃｏｇｎｉｔｉｏｎ　ｏｆ　ｇｒｏｕｐ　ｂｅｈａｖｉｏｒ　ｉｎ　ｉｎｔｅｌｌｉｇｅｎｔ　ｍｏｎｉｔｏｒｉｎｇ，ｖｉｒｔｕａｌ　ｒｅａｌｉｔｙ，ｐｕｂｌｉｃ　ｓｅｃｕｒｉｔｙ，ｅｔｃｈａｓ　ａ　ｂｒｏａｄ　ａｐｐｌｉｃａｔｉｏｎ　ｐｒｏｓｐｅｃｔ，ｓｕｃｈ　ａｓ　ＡＣＴＳ　ｏｆ　ｔｅｒｒｏｒｉｓｍ，ｓｕｓｐｉｃｉｏｕｓ　ｅｖｅｎｔ，ｍａｓｓ　ｖｉｏｌｅｎｃｅ　ｉｎ　ｒｅａｌ－ｔｉｍｅ　ｍｏｎｉｔｏｒｉｎｇ．Ｈｕ－ｍａｎ　ｂｅｈａｖｉｏｒ　ｒｅｃｏｇｎｉｔｉｏｎ　ｃｏｎｓｉｓｔｓ　ｏｆ　ｄｅｔｅｃｔｉｏｎ，ｔｒａｃｋｉｎｇ　ａｎｄ　ｏｂｊｅｃｔ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ　ｏｆ　ｉｍａｇｅ　ｓｅｑｕｅｎｃｅ，ａｎｄ　ｉｍａｇｅ　ｕｎｄｅｒｓｔａｎｄｉｎｇａｎｄ　ｒｅｃｏｇｎｉｔｉｏｎ　ｏｆ　ｈｕｍａｎ　ｂｅｈａｖｉｏｒ．Ｂｙ　ｉｎｔｒｏｄｕｃｉｎｇ　ｔｈｅ　ｒｅｃｏｇｎｉｔｉｏｎ　ｏｆ　ｉｎｄｉｖｉｄｕａｌ　ｂｅｈａｖｉｏｒ，ｔｈｉｓ　ｐａｐｅｒ　ａｎａｌｙｚｅｓ　ｔｈｅ　ｄｅｖｅｌｏｐ－ｍｅｎｔ　ａｎｄ　ｃｕｒｒｅｎｔ　ｓｔａｔｕｓ　ｏｆ　ｇｒｏｕｐ　ｂｅｈａｖｉｏｒ　ｉｎ　ｒｅｃｅｎｔ　ｙｅａｒｓ　ａｎｄ　ｔｈｅ　ｒｅｓｅａｒｃｈ　ｐｒｏｂｌｅｍｓ　ｔｏ　ｂｅ　ｓｏｌｖｅｄ．Ａｎｄ　ｐｏｓｓｉｂｌｅ　ｄｉｒｅｃｔｉｏｎｓ　ｏｆｆｕｔｕｒｅ　ａｒｅ　ｄｉｓｃｕｓｓｅｄ．

Ｋｅｙ　Ｗｏｒｄｓ　ｉｍａｇｅ　ｐｒｏｃｅｓｓｉｎｇ，ｂｅｈａｖｉｏｒ　ｉｄｅｎｔｉｆｉｃａｔｉｏｎ，ｉｎｔｅｌｌｉｇｅｎｔ　ｍｏｎｉｔｏｒｉｎｇ，ｔｈｅ　ｃｒｏｗｄ

Ｃｌａｓｓ　Ｎｕｍｂｅｒ　ＴＰ３９３

１　引言

当前，基于图像处理的人体行为识别是一个非常活跃的研究领域，人体行为识别是对包含人的图像序列进行检测［１］、跟踪、目标分类［２］、异常检测［３］以及对人的行为理解与识别，而图像处理技术是通过提取运动物体的颜色和形状等特征信息，用于背景检测和跟踪［４］。就目前而言，绝大部分的监控系统只局限于简单的图像处理，而无法进行人体异常识别，对于人群行为的识别以及在人群发生异常行为时能够实时报警的研究相对较少［５］。由于在公共安全等领域有着广泛的应用前景，人群行为识别

＊收稿日期：２０１６年２月１日，修回日期：２０１６年３月１９日

基金项目：辽宁省科技基金项目“图形图像处理中形状表示的压缩方法研究”（编号：２０１１０２０４２）；辽宁省自然科学基金项目“虚拟现实中三维图形的应用基础研究”（编号：２００８２１７５）；辽宁省教育厅科学基金项目（编号：Ｌ２０１４５４４）；中央高校基本科研业务费专项资金项目（编号：ＤＣ２０１５０２０３０２０１；ＤＣ２０１５０２０３０４０４）资助。

作者简介：高玄，男，硕士研究生，研究方向：计算机图像处理。刘勇奎，男，教授，研究方向：多媒体信息处理技术。

汪大峰，男，研究方向：计算机图像处理。

１５５８

　高　玄等：基于图像处理的人群行为识别方法综述第４４卷逐渐成为近几年研究热点。尤其在视频监控领域

应用范围广泛而且有着较大的市场空间，图１为

２０１２年我国智能监控在各行业在市场占有率

。

图１　２０１２年智能监控系统在各行业的占有比例

目前，人的行为识别理解和描述已经在国际期刊以及重要会议上得到关注，与其相关的论文也在逐年增多。在世界范围内已经展开了大量的人体行为识别研究。２０１２年Ｓａｒｖｅｓｈ等对人体行为识别研究方法进行分类［６］，阐述了人类活动的识别框架，还通过在四种不同的场景中对２５名测试者的六种行为（步行、慢跑、跑步、拳击、手挥舞着、鼓掌）进行测试，并利用数据集提供的行为识别方法作为基准进行分析。总结了近几年人体识别领域中简单规则的人体行为识别过程和方法，但基于图像的人群行为识别与理解的文献相对较少，而针对行为识别的具体整个流程的整理研究也比较少，本文从目标检测、目标分类、目标跟踪以及人体行为识别出发，详细介绍人体行为的整个流程及各个阶段的优缺点，进而对基于图像人群识别的方法进行了分析，并展望了未来发展趋势。

２　目标检测

运动人体检测是指从连续的视频图像序列中将运动目标区域从背景中提取出来，再按照一定规则对目标进行分类，进而确定出人体目标。目标检测作为行为识别中的低级处理层次已引起人们的关注，国内外的研究人员对目标检测的算法进行大量的研究，目前比较常用的检测算法主要有时间差分法、背景减除法。时间差分法［７］的实质就是将同一背景不同时刻两幅图像进行比较，可以反映出一个运动物体在此背景下运动的结果，时间差分法的优点是简单、容易实现、实时性强，对于动态环境具有较强的自适应性，当然时间差分法的缺点也是很明显的，一般不能得到完整的前景信息，影响行为识别的效果。背景减除法［８］则利用当前图像与背景图像的差分来检测运动目标，与时间差分法相比，基于背景减除法的运动目标检测方法可以提取

出更为完整的目标图像，但在实际应用中所采集到的背景图像随着时间的推移，会对光照和外部条件造成的场景变化比较敏感，会出现许多伪运动目标点，影响到目标检测的结果，为了解决上述两种问题，Ｋｉｍ提出的一种运动检测方法［９］，在利用连续两帧图像差的同时又加入了背景图像差，将两者结合起来，比较精确地提取了二值运动模板。

３　目标分类

运动目标分类是指区分出场景中的人和其他运动物体，目标分类的目的就是正确地从检测到的运动区域中将人体的运动区域提取出来［１０］。常用于行为识别的分类方法有：基于形状信息的分类、基于运动特征的分类。基于形状信息的分类是对所检测出来的运动目标，根据它们的形状轮廓信息来进行分类。该方法采用区域的宽高比、投影特性、轮廓变化、直方图、面积信息等特征作为物体分类的依据。基于运动特征的分类，人体的运动有时呈现出一定的周期性，同时也是非刚体运动。基于运动特征的分类通常使用人体运动的周期性，有效地区别出人与其他物体。

４　目标跟踪

目标跟踪实质就是在逐帧更新视频图像中找到感兴趣运动目标的位置。在研究领域，研究人员通常经过多次试验总结，选择较好的试验方法，进行目标跟踪试验，下面介绍常用的两种方法。一是基于特征匹配的目标跟踪方法包括特征提取和特征匹配两部分［１０］，特征提取是指在图像处理过程中提取运动目标的一些特征，比如纹理、颜色和形状等。特征匹配是指将当前帧中提取出的特征和上一帧的特征按照某种规则进行比较，满足规则要求的两个特征形成匹配。该方法［１１］主要适用于视频序列之间的时间间隔比较小，而且运动目标在短时间内的特征不会发生很大变化的情况。二是基于区域的目标跟踪方法的基本思路是：将运动目标划分成几个子区域，对各区域进行描述并做相邻帧间匹配，组合各子区域的跟踪结果从而得到整个运动目标的跟踪结果。

５　行为识别

与运动检测、目标分类和人的跟踪研究相比，越来越多的研究人员投入到对人体行为识别与理解的研究当中行为识别可以理解为从视频序列中抽取相关的视觉信息，用合适的方法进行表达，然