视频中移动目标检测综述

基于视频的移动目标检测

论文研读报告

苏航00748178

智能科学系信息科学技术学院

北京大学

摘要

基于视频的移动目标检测是一个重要且有挑战性的任务，在许多应用中都起到相当关键的作用。本次论文研读围绕该主题展开，深入阅读了十余篇论文，在本文总结了视频中移动目标检测的一些主要方法及各自的优劣，并将几个重要的方法大致分为了两个不同的类别：基于像素的移动目标检测和基于区域的移动目标检测。在基于像素的方法中，图像特征完全由各个像素的坐标及灰度值（或颜色值）确定，而在基于区域的方法中，各个像素属性之间的关联成为主要特征来用以提取移动目标。另外本文还讨论了以上两类之外的一些方法。

关键词

视频移动目标检测背景差分高斯混合模型直方图

正文

1 引言

基于视频的移动目标检测在许多实际应用中都担当着核心的任务。譬如视频监视、人机交互、视频编码等广泛的领域都需要有效地进行该工作。帧差法（Frame Differencing）12是视频中检测移动目标最简单直观的方法，其在视频片段中固定间隔的两帧之间计算绝对差，该差值大于一定阈限的像素就认为是运动物体可能存在的区域：

D t(x,y)=Abs.F t(x,y)−F t−k(x,y)/（1）

这种简单的方法有时十分有效，但在更多应用环境下并不能获得期望的效果。这主要是由于视频中各帧之间的差异并不仅仅来源于运动的物体，而同时可能来

1R. Jain and H. Nagel, “On the Analysis of Accumulative Difference Pictures from Image Sequences of Real World

S cenes”, IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 1, no. 2, pp. 206–214, 1979.

2为了避免混淆，本文中将作为主要研读对象的文章列在报告最后的“参考文献”一栏中，而其他引用的

文献则作为脚注注明。

源于很多别的因素。例如在室外道路监视中，由于太阳位置及云雾遮挡阳光的情况不断改变，路面整体的亮度并不固定而是不断改变的，甚至有可能出现大的变化。类似这样可能被错误识别成移动物体的因素还有很多，如移动物体产生的阴影、水面的波纹、摄像机的抖动等。另外，在特定的应用场景下还有其他一些至关重要的问题需要考虑。例如在道路监视中，车辆往往有复杂的遮挡现象，而且车辆的阴影很大程度加剧了这种现象的出现。当然这些困难也并不总是存在的，有些应用中并不会出现这些问题，如室内视频监视就没有大尺度光照变化的问题；也有些应用中并不需要考虑这些问题，如传统的视频编码中阴影、水波等本身并不能忽略所以可以一并视为运动物体。

以上这些分析可以简单看出，视频中的移动目标检测是一件非常有挑战性的工作，而且不同应用环境的需求存在很大的差异。在一个应用中性能很好的算法可能在另一个场景中完全不适用，所以很难使用单一的技术应对所有的应用环境，这也就导致相关的算法技术不断涌现。

Category Method Author and Time

Simplest Method Frame Differencing Jain and Nagel 1979

Pixel-based Methods Mean-threshold Method Wren et al. 1997

3 Gaussians N Friedman, S Russell 1997 Gaussian Mixture Model(GMM) Stauffer and Grimson 2000 Non-parametric Model Elgammal and Davis 2000

Region-based Methods LBP (texture) Heikkila, M. et al. 2006

Co-occurrence matrices (texture) Luo Di, Huang Xiangnian 2008 Covariance matrices Oncel Tuzel et al. 2006 Accumulated Histogram Fatih Porikli 2005

Other Methods Eigenspace decomposition Oliver et al. 2000 早期提出的移动目标检测方法大都单独地处理各个像素的灰度值或颜色而没有考虑较大尺度上的特征，故称它们为基于像素的方法。典型的方法包括均值-阈限方法、高斯混合模型[1]、非参数模型[2]等。由于这些方法没有充分利用局部像素之间的关系信息，很多有效的图像特征无法得到表示，从而导致移动目标检测精度及效度都受到影响。后期大量的检测方法都不同程度地利用了局部区域层次的信息，称为基于区域的方法。典型的基于区域的方法包括纹理方法[5][6]、直方图方法[7]等。

报告接下来的部分组织如下：第二节介绍一般问题的陈述及典型的应用，第三节与第四节分别介绍基于像素的移动目标检测方法与基于区域的移动目标检测方法，第五节进行简单的讨论与总结。

2 问题陈述及应用

一般而言移动目标检测并不单独地构成应用，而是作为一个组件出现在许多实际的应用之中。故移动目标检测的具体要求随着应用的改变而有很大的不同。例如对足球场上球员及足球的检测与跟踪就和对视频中用户手势的跟踪有所不同，前者的关键在于如何应对复杂的光照变化有效提取运动物体，后者的难点则在于如何从整个躯体大范围的运动背景中将手势的运动识别并提取出来。

尽管不同的应用可能提出不同的技术上的要求，但是相当一部分这类问题还是可以在同一的框架下进行探讨和比较的。以下就是本文讨论范围内一般问题的陈述(Figure1)：

a.高层次的模型一般具有检测、跟踪、识别三个模块，其中识别模块并不

必须；

b.检测模块可细分为移动目标区域检测与移动目标分组，其中前者是这个

模块能够顺利工作的保证，其目的是将各帧内移动目标所在的区域标出；

c.该模型的输入为连续的视频，输出为跟踪的物体（即轨迹）或分类的物

体。

Figure1 系统框架

图中即为一个典型的流程图，其中省略了分类模块并把运动目标区域检测规定为背景差分方法。

该模型的典型应用场景是室内\外的视频监视分析(Figure2)，特别是交通数据