基于高斯混合模型的人群异常检测

基于高斯混合模型的人群异常检测作者：于明郭团团来源：《软件导刊》2017年第11期摘要：近年来，公众场所安全问题得到了广泛关注，视频监控下的人群异常检测成为智能监控的研究热点。

现实场景中的人群异常检测具有容易受到光照亮度变化影响、可能存在大量遮挡以及人群密度大等研究难点。

提出一种基于高斯混合模型的人群异常检测方法，能有效应用于复杂的室外场景。

首先通过预处理阶段求得视频帧的感兴趣区域（ROI），再在感兴趣区域中计算人群光流，并在此基础上融合SIFT特征，利用图像分块提取特征。

对不同分块建立对应的高斯混合模型，进而用模型判断特征点是否属于异常事件。

实验结果证明，该方法对于UMN数据库中人群的四散奔跑以及UCSD数据库中人行横道上出现汽车和自行车等异常事件有较高的识别率。

关键词关键词：人群异常检测；感兴趣区域；SIFT特征；光流法；高斯混合模型DOIDOI：10.11907/rjdk.171847中图分类号：TP319文献标识码：A文章编号文章编号：16727800（2017）0110114070引言近年来，人群异常检测在智能监控视频中扮演着越来越重要的角色。

异常本身是指行为不规则、不寻常、偏离正常类型，例如摔倒、斗殴、逆行、闯入禁止区域等[1]。

因此，在不同应用上，异常定义方式不同。

本文在监控视频场景下对异常的定义是低概率发生的事件，或者是出现次数很少的事件[23]。

面对监控视频中的高密度人群场景，异常检测面临着3大挑战：①异常与正常定义比较模糊；②高密度人群中存在遮挡情况，行为动作难以分析；③视频监控场景具有多样性，以及视频监控角度不同造成区域运动大小不一致。

由于存在这些挑战，导致传统的行人动作分析技术不能直接用于人群异常检测，而人群异常检测又在保障公众场所人身安全上具有重要意义，所以异常检测成为热门的研究方向，一系列检测方法被不断提出。

大量相关方法都指出，现实场景具有时间和空间两个特性，异常也具有这两个特性，通常将异常分为时间异常事件和空间异常事件。

时间异常是指在一定时间内视频中物体的速度违背了正常规律的事件，其最明显的表现是视频前后帧的物体位置变化幅度较大。

对于时间异常，传统的检测方法有基于轨迹分析的、基于光流法的与基于能量的方法，它们都利用了异常的时间特性[47]。

基于轨迹的检测算法通过多目标跟踪算法跟踪行人运动，用运动轨迹表示人群场景，然后用概率模型对人群场景进行建模[8]；基于光流法的检测算法通过构建光流直方图判断异常；基于能量的方法通过提取人群的混沌不变量构建概率模型，以最大似然估计判断人群中是否发生异常。

空间异常是指出现在场景中未定义的形状，例如人行横道上出现汽车等。

形状在异常检测中也起着重要作用，可以利用目标轮廓、纹理特征等检测视频中出现的不规则物体[911]。

目前最流行的方法是结合视频的时空两方面特性，从时空块上提取特征表示基本事件，用机器学习的方法训练得到一个正常事件的模型，不满足该模型的事件则判断为异常事件[2]。

常用的机器学习方法有Principal Components Analysis（PCA）、Hidden Markov Model（HMM）、Support Vector Machine （SVM）等。

Weixin Li[11]通过整合时间和空间上的异常判断异常，并且这种时空结合的方法可以适用于不同场景。

对于视频监控场景下的人群异常检测，从规模上可以分为全局异常和局部异常。

全局异常是指场景中所有目标触发了低概率事件，例如人群四处逃散，即是智能监控系统中需求最迫切的一种应用，直接关系到人身安全。

通常将人群看作一个整体，通过分析整体运动趋势或能量检测异常。

由于在全局异常中，异常表现比较明显，相对于局部异常比较容易检测。

局部异常指场景中少数目标运动状态偏离周围正常状态的事件，其检测具有更大的挑战性。

检测出局部异常也意味着在视频中将异常定位，这也是人群异常检测中的一个重要研究方向。

局部异常的特点是相对于周围事件，该目标点与周围目标点特征相似度较低，例如穿梭在正常行走的人群中玩滑板的人，存在给周围目标带来威胁的可能性。

本文提出一种新方法来检测这两种异常，对于全局异常，在光流法的基础上结合Scale Invariant Feature Transform（SIFT）特征，SIFT 特征能对图像的旋转、尺度缩放、亮度变化保持不变性，对于存在遮挡的、稀疏或拥挤人群场景能起到很好的检测效果。

然后利用高斯混合模型对其进行建模，训练正常事件的高斯混合模型，不属于该模型的则判定为异常；对于局部异常，将视频图像分块，通过检测子块的异常，从而定位出视频的局部异常。

由于监控视频下不同区域行人的运动特征不同，提出一种基于混合高斯模型的方法。

首先通过预处理阶段求出视频的运动区域，减少了背景噪声对检测带来的干扰，同时提高了计算效率，利用光流法和SIFT算法求物体速度大小。

然后对图像进行网格化，对每个分块建立相应的混合高斯模型表示该块的正常运动信息，使每个图像块都有对应的高斯混合模型，以此检测相应图像分块是否属于异常。

本文方法能很好地适用于不同场景。

1异常检测研究现状近年来，智能视频监控中人群异常检测的研究取得了很大进展，现有大多数方法的基本检测过程可以归纳为：①基本事件表示；②模型建立。

目前已有很多成熟技术成功运用到了人群异常检测，例如行人检测、行人动作分析、背景建模、跟踪算法等都为基本事件表示提供了有力支持。

对于基本事件表示，大致可分为基于轨迹、基于光流、基于纹理特征等方法。

基于轨迹分析的算法有很多，Neil Johnson[12]较早提出的通过比较新轨迹和一系列典型轨迹的方法，先学习由图像序列产生的目标轨迹，再判断不规则行为；在此基础上，Weiming Hu[13]提出一种新的多目标跟踪算法，然后用层次聚类算法对轨迹建模，进而检测异常。

跟踪算法面临的挑战是目标易出现遮挡或者与周围目标差异较小，多目标跟踪算法的精确度将直接影响后续检测效果；HT Nguyen[8]通过整合时间空间上下文信息，提出了一种更具有鲁棒性的多目标跟踪算法；Ismail Haritaoglu[14]提出在运动轨迹的基础上，结合形状特征分析行人动作，实时监测异常。

由于基于轨迹的异常检测算法依赖于目标跟踪，所以这些算法都局限于稀疏场景下，很难适用于人群密度高的场景；Shandong Wu[4]提出一种新的方法，该方法克服了高密度人群给轨迹分析带来的困难，首先获得人群具有代表性的轨迹，然后通过提取代表性轨迹的混沌不变性特征构建概率模型来分析人群是否异常。

基于光流法的检测算法通常是将高密度人群看作一个整体加以分析[15]。

例如Yang Liu[6]通过光流法计算人群运动速度，以动态阈值的方式判断人群情况。

但人群异常种类多样，如人群恐慌、地铁口逆行、自行车或滑板穿梭于行人中，因此将光流法与其它模型结合成为研究热点；Ernesto L Andrade[16]克服了异常种类难以预测的困难，通过计算人群光流，结合HMM模型的方式进行异常判断；Ramin Mehran[7]采用将光流与社会力模型结合的方式分析人群整体，进行人群异常检测；在最近的研究方法中，蔡瑞初[17]利用光流直方图与时间递归神经网络结合的方式进行人群异常检测。

以上方法都依赖于运动信息而忽略了目标大小和形状信息等纹理特征，纹理特征在人群密度、行人检测、运动分割上起到重要作用，可为人群异常检测提供有力支持。

常用的纹理特征有目标轮廓、大小、边缘方向直方图、LBP以及灰度共生矩阵等[9，18]。

Antoni B Chan[19]在视频运动分割中较早提出了混合动态纹理特征MDT，该特征结合了运动信息和外貌信息，很好地将两种不同形态分割开，例如分割水、火这两种不同运动状态；Vijay Mahadevan[10]则将MDT（Mixture of Dynamic Textures）模型运用于视频监控中的人群异常检测。

受GMM背景建模思想启发，作者用MDT模型代替GMM（Gaussian Mixture Model）模型，从时间异常和空间异常两方面对监控视频进行分析，从而判断异常；Weixin Li[11]进一步改进和完善了混合动态纹理特征，提出HMDT（Hierarchical Mixture of Dynamic Texture）模型，克服了异常在不同人群规模下定义模糊的问题，同时还引入了条件随机场，但该方法计算耗时较长，实时性较差。

在人群异常检测模型建立阶段，目前使用比较广泛的有社会力模型、隐马尔可夫模型、马尔科夫随机场、SVM、神经网络等[7]。

Helbing[20]较早提出了社会力模型，以较高精确度模拟人群动态；Ramin Mehran[7]将社会力模型应用在人群异常检测上，通过计算人群场景运动粒子社会力提取相互力，将人群看作整体，用粒子平流的方法分析视频中人群是否存在异常，但该方法检测的异常种类受限。

HMM和MRF（Markov Random Filed）模型也是比较流行的模型。

岳猛[21]提出一种将狄利克雷多项式共轭模型与隐马尔科夫模型结合的方法进行异常检测；Tao Xiang[22]通过建立多目标的HMM模型进行异常判断。

虽然HMM模型能有效地检测异常，但模型建立阶段面临的挑战是场景中的人群在不间断地变化，模型也需要不断更新；为了克服这一困难，Jaechul Kim[23]提出一种基于时空的马尔科夫随机场模型，随着新目标进入场景，模型参数也会时时更新，从而能更好地适应真实的人群场景。

值得注意的是，大多数方法仍没有较好地解决监控视频下不同区域运动状态不同给检测带来的干扰。

本文通过分块构建高斯混合模型的方法，对不同区域训练对应的模型，很好地解决了异常检测问题。

2异常检测算法本文提出的异常检测算法用光流特征和SIFT特征表示人群运动，对图像进行分块，将特征划分到对应的子块中，对每个子块建立高斯混合模型，用高斯混合模型判断该子块是否属于异常。

2.1预处理预处理阶段的主要目的是缩小图像分析范围，减少噪声干扰。

人群异常检测主要是检测行人状态是否遵循正常规律变化，可见异常只发生在视频中的运动区域。

通过预处理可以把检测区域进一步定位到运动区域上，从而有效地减少背景等其它因素对异常检测带来的影响。

Yang Liu[6]在对视频处理前进行了前景提取，缩小了检测范围，但现有的前景提取方法存在漏检问题，会对后续处理造成一定影响。

本文在此基础上用形态学方法对检测结果进行处理，扩大范围使其能完全包含运动目标，减少漏检现象。

常见的运动目标检测方法有帧差法、光流法、背景差分法。

本文采用由Stauffer和Grimson提出的高斯混合模型（Gaussian Mixture Model，GMM），这是目前使用最为广泛的运动物体检测方法。