基于图像处理的人群行为识别方法综述

总第322期2016年第8期

计算机与数字工程

Computer &• Digital Engineering

Vol. 44 No. 8

1557

基于图像处理的人群行为识别方法综述$

高玄1刘勇查2汪大峰1

(1.北方民族大学计算机科学与工程学院银川750021) (2.大连民族学院计算机科学与工程学院大连116600)

摘要基于图像处理的人体行为识别是计算机视觉中一个活跃的研究领域，目前大部分研究者主要针对个人行为 识别展开研究。对人群的行为识别研究相对较少而人群行为识别在智能监控、虚拟现实、公共安全等方面有着广泛的应用 前景。例如，恐怖活动、可疑事件、群体性暴力事件的实时监控等。人体行为识别对包含人的图像序列进行检测、跟踪、目标 分类、异常检测以及对人的行为理解与识别。论文通过从一般的单人行为识别出发，介绍了人群识别方面近年来研究发展 状况以及当前该研究方向亟待解决的问题，并展望了未来可能的发展方向。

关键词图像处理；行为识别；智能监控；人群

中图分类号TP393 DOI：10. 3969/j. issa 1672-9722. 2016. 08. 034

Survey on Group Behavior Recognition Method

Based on Image Processing

GAO Xuan1LIU Yongkui2WANG Dafeng1

(1. College of Computer Science and Engineering, Northern University for Nationalities, Yinchuan 750021)

(2. College of Computer Science and Engineering, Dalian Nationalities University, Dalian 116600)

Abstract Recognition of human action using image-based processing is an active research area in computer vision At present most of the researchers mainly study the recognition of individual behavior. For recognition of group activities re­search is relatively less while the recognition of group behavior in intelligent monitoring, virtual reality, public security, etc has a broad application prospect, such as ACTS of terrorism, suspicious event, mass violence in real-time monitoring. Hu­man behavior recognition consists of detection, tracking and object classification of image sequence, and image understanding and recognition of human behavior. By introducing the recognition of individual behavior, this paper analyzes the develop­ment and current status of group behavior in recent years and the research problems to be solved. And possible directions of future are discussed.

Key Words image processing, behavior identification, intelligent monitoring, the crowd

Class Number TP393

i引言

当前，基于图像处理的人体行为识别是一个非 常活跃的研究领域，人体行为识别是对包含人的图 像序列进行检测[1]、跟踪、目标分类[2]、异常检测[3]以及对人的行为理解与识别，而图像处理技术是通过提取运动物体的颜色和形状等特征信息，用于背 景检测和跟踪[4]。就目前而言，绝大部分的监控系 统只局限于简单的图像处理，而无法进行人体异常 识别，对于人群行为的识别以及在人群发生异常行 为时能够实时报警的研究相对较少[5]。由于在公 共安全等领域有着广泛的应用前景，人群行为识别

*收稿日期=2016年2月1日，修回日期：2016年3月19日

基金项目：辽宁省科技基金项目“图形图像处理中形状表示的压缩方法研究”（编号:201102042);辽宁省自然科学基 金项目“虚拟现实中三维图形的应用基础研究”(编号:20082175);辽宁省教育厅科学基金项目（编号:L2014544);中央高校基本科研业务费专项资金项目（编号：DC201502030201;DC201502030404)资助。

作者简介:高玄，男，硕士研究生，研究方向:计算机图像处理。刘勇奎，男，教授,研究方向:多媒体信息处理技术。

汪大峰，男，研究方向:计算机图像处理。

1558高玄等:基于图像处理的人群行为识别方法综述第44卷

逐渐成为近几年研究热点。尤其在视频监控领域 应用范围广泛而且有着较大的市场空间，图1为 2012年我国智能监控在各行业在市场占有率。

图12012年智能监控系统在各行业的占有比例

目前，人的行为识别理解和描述已经在国际期 刊以及重要会议上得到关注，与其相关的论文也在 逐年增多。在世界范围内已经展开了大量的人体 行为识别研究。2012年Sarvesh等对人体行为识 别研究方法进行分类[6]，阐述了人类活动的识别框 架，还通过在四种不同的场景中对25名测试者的 六种行为(步行、慢跑、跑步、拳击、手挥舞着、鼓掌）进行测试，并利用数据集提供的行为识别方法作为 基准进行分析。总结了近几年人体识别领域中简 单规则的人体行为识别过程和方法，但基于图像的 人群行为识别与理解的文献相对较少，而针对行为 识别的具体整个流程的整理研究也比较少，本文从 目标检测、目标分类、目标跟踪以及人体行为识别 出发，详细介绍人体行为的整个流程及各个阶段的 优缺点，进而对基于图像人群识别的方法进行了分 析，并展望了未来发展趋势。

2目标检测

运动人体检测是指从连续的视频图像序列中 将运动目标区域从背景中提取出来，再按照一定规 则对目标进行分类，进而确定出人体目标。目标检 测作为行为识别中的低级处理层次已引起人们的 关注，国内外的研究人员对目标检测的算法进行大 量的研究，目前比较常用的检测算法主要有时间差 分法、背景减除法。时间差分法[7]的实质就是将同 一背景不同时刻两幅图像进行比较，可以反映出一 个运动物体在此背景下运动的结果，时间差分法的 优点是简单、容易实现、实时性强，对于动态环境具 有较强的自适应性，当然时间差分法的缺点也是很 明显的，一般不能得到完整的前景信息，影响行为 识别的效果。背景减除法[8]则利用当前图像与背 景图像的差分来检测运动目标，与时间差分法相 比，基于背景减除法的运动目标检测方法可以提取出更为完整的目标图像，但在实际应用中所采集到 的背景图像随着时间的推移，会对光照和外部条件 造成的场景变化比较敏感，会出现许多伪运动目标 点，影响到目标检测的结果，为了解决上述两种问 题，K im提出的一种运动检测方法M，在利用连续 两帧图像差的同时又加入了背景图像差，将两者结 合起来，比较精确地提取了二值运动模板。

3目标分类

运动目标分类是指区分出场景中的人和其他 运动物体，目标分类的目的就是正确地从检测到的 运动区域中将人体的运动区域提取出来[1°]。常用 于行为识别的分类方法有:基于形状信息的分类、基于运动特征的分类。基于形状信息的分类是对 所检测出来的运动目标，根据它们的形状轮廓信息 来进行分类。该方法采用区域的宽高比、投影特 性、轮廓变化、直方图、面积信息等特征作为物体分 类的依据。基于运动特征的分类，人体的运动有时 呈现出一定的周期性，同时也是非刚体运动。基于 运动特征的分类通常使用人体运动的周期性，有效 地区别出人与其他物体。

4目标跟踪

目标跟踪实质就是在逐帧更新视频图像中找 到感兴趣运动目标的位置。在研究领域，研究人员 通常经过多次试验总结，选择较好的试验方法，进 行目标跟踪试验，下面介绍常用的两种方法。一是 基于特征匹配的目标跟踪方法包括特征提取和特 征匹配两部分[1°]，特征提取是指在图像处理过程 中提取运动目标的一些特征，比如纹理、颜色和形 状等。特征匹配是指将当前帧中提取出的特征和 上一帧的特征按照某种规则进行比较，满足规则要 求的两个特征形成匹配。该方法[11]主要适用于视 频序列之间的时间间隔比较小，而且运动目标在短 时间内的特征不会发生很大变化的情况。二是基 于区域的目标跟踪方法的基本思路是:将运动目标 划分成几个子区域，对各区域进行描述并做相邻帧 间匹配，组合各子区域的跟踪结果从而得到整个运 动目标的跟踪结果。

5行为识别

与运动检测、目标分类和人的跟踪研究相比，越来越多的研究人员投入到对人体行为识别与理 解的研究当中行为识别可以理解为从视频序列中 抽取相关的视觉信息，用合适的方法进行表达，

然