序列图像中运动目标检测与跟踪方法分析

序列图像中运动目标检测与跟踪方法分析
罗志升;王黎;高晓蓉;王泽勇;赵全轲
【摘要】运动目标检测与跟踪是计算机视觉研究争图像编码研究的主要内容,有着广泛的应用领域.研究了目前运动对象检测与跟踪的一些常用方法,包括时域差分法、背景差分法、基于光流场的检测方法和卡尔曼滤波、特征光流法的跟踪方法,井对
各种方法进行了比较,指出其优缺点及适用范围,并给出了时域差分及背景差分方法
的实验结果.
【期刊名称】《现代电子技术》
【年(卷),期】2009(032)011
【总页数】4页(P125-128)
【关键词】运动目标;时域差分;背景差分;光流法;卡尔曼滤波;特征光流法
【作者】罗志升;王黎;高晓蓉;王泽勇;赵全轲
【作者单位】西南交通大学,理学院,四川,成都,610031;西南交通大学,理学院,四川,
成都,610031;西南交通大学,理学院,四川,成都,610031;西南交通大学,理学院,四川,
成都,610031;西南交通大学,理学院,四川,成都,610031
【正文语种】中文
【中图分类】TN919.8
0 引言
序列图像中运动目标检测与跟踪的主要工作可以分为两方面，即运动目标的检测和
运动目标的跟踪，这两方面工作是一个承接的关系，但同时也相互影响。

运动目标检测是序列图像运动目标检测与跟踪的第一部分，它就是实时的在被监视的场景中检测运动目标，并将其提取出来。

视频序列中的运动目标跟踪一直是计算机视觉、数字视频与处理和模式识别领域中一个重要的研究课题，运动目标跟踪同样也是衔接运动目标检测和目标行为分析和理解的一个重要环节[1,2]。

1 运动目标检测的基本方法
1.1 时域差分法
时域差分法主要利用视频序列中连续的两帧或几帧的差异进行目标检测和提取。

对于许多应用来说，检测序列中连续帧之间的差异是非常重要的。

因为场景中任何可观察的运动都会体现在场景序列的变化上，如果能检测这种变化，就可以分析其运动特性。

最基本的时域差分法的基本过程如图1所示。

图1 时域差分方法流程图
(1) 计算差分Dk
Dk(x,y)=|fk(x,y)-fk-1(x,y)|
(1)
式中:fk(x,y)为第k帧中点(x,y)处的灰度值;fk-1(x,y)为第k-1帧中点(x,y)处的灰度值。

(2) 对差分Dk二值化
(2)
取值为1和0的像素分别对应于前景(运动目标区域)和背景(非运动区域)。

在差分后的Dk中包含了连续两帧之间的场景的变化，这种变化由很多因素构成，包括目标的移动、光照、阴影、噪音等，可以认为移动目标的变化是明显的，给定一个阈
值T，当差分中某一像素值的差大于给定阈值T时，认为该像素为前景像素，反之则认为是背景像素。

(3) 对二值化Rk进行后处理
这里主要是移动目标的面积应大于某一给定的阈值，可以利用形态学滤波和去除噪声等方法来消除微小区域噪声。

(4) 对后处理结果进行判别
将面积大于给定阈值的区域标示为目标，并得到其完整的位置信息。

实验结果如下：
如图2将第K+1帧和第K帧图像进行差分，然后二值化，再进行后处理得到如图3所示图像。

图2 第K帧和第K+1帧图像
图3 目标检测结果
1.2 背景差分方法
基于背景差分法的原理非常简单，其基本过程如图4所示。

图4 背景差分法流程图
背景差分法假定背景是静止不变的，因此背景不随帧数而变。

首先利用式(3)，求出当前fk与背景bk的差值Dk。

Dk(x,y)=|fk(x,y)-bk(x,y)|
(3)
然后根据式(4)对差值进行二值化：
(4)
式中:T为阈值，阈值T选择得准确与否直接影响到二值的质量。

如果阈值T选得太高，二值中判定为运动目标的区域会产生碎化现象；相反，如果选得太低，又会
引入大量的噪声。

选择阈值T的最常用的方法是利用灰度直方图求双峰或多峰，
选择两峰之间谷底处的灰度值作为阈值。

实验结果如图5，图6所示。

1.3 光流法
尽管在运动对象检测方面，相对于背景差分等方法光流法计算复杂、耗时，但光流法不需要预先知道场景的任何信息，而只需要知道相邻视频帧之间的像素运动信息，因此基于光流的运动对象检测避免了依赖于背景模型和背景学习过程的问题。

另外，光流法属于基于运动的检测方法，它在处理跟踪问题时要比背景差分算法更容易一些。

图5 背景图像与第K帧图像
图6 背景差分检测结果
光流的概念是Gibson于1950年首先提出的。

视觉心理学家认为人与被观察物体发生相对运动时，被观察物体表面带光学特征部位的移动给人提供了运动及结构的信息。

当摄像机与场景目标间有相对运动时所观察到的亮度模式运动称为光流，或者说物体带光学特征部位的移动投影到视网膜平面也即平面上就形成光流。

光流表达了的变化，它包含了目标运动的信息，可用来确定观察者相对目标的运动情况。

光流有三个要素：一是运动(速度场)，这是光流形成的必要条件；二是带光学特征的部位(例如有灰度的像素点)，它能携带信息；三是成像投影(从场景到平面)，因
而能被观察到。

光流可以表达运动中的变化，光流中既包含了被观察物体的运动信息，也包含了与其有关的结构信息。

通过对光流的分析可以达到确定场景三维结构和观察者与运动物体之间相对运动的目的。

对光流的研究一直是计算机视觉的一个重要部分[3,4]。

1.4 小结
从以上可以看出时域差分方法、背景差分方法及光流法都有其各自的优缺点及适用范围，表1是对这三种方法进行比较的直观表。

2 运动目标的跟踪方法
运动目标跟踪是确定同一物体在图像序列不同帧中位置的过程,当运动物体被正确检测出来时，跟踪等价于在连续的图像帧间创建基于位置、速度、形状、纹理、色彩等有关特征的对应匹配问题。

目标跟踪的主要工作就是选择好的目标特征和采用适当的搜索方法[5]。

下面介绍两种比较典型的跟踪方法：基于卡尔曼滤波器和基于特征光流法的跟踪方法。

表1 运动目标检测方法比较运动目标检测方法优点缺点适用范围时域差分法(1) 算法实现简单,程序设计复杂度低;(2) 对于简单背景下的运动目标检测较为有效,基本能够检测出运动目标的位置;(3) 由于相邻帧的时间间隔一般较短,对场景光线的变化不太敏感。

(1) 检测和分割精度较低;(2) 目标灰度均匀时有可能无法准确检测出全部目标;(3) 依赖于运动物体的运动速度,如果运动速度较快,会造成两帧之间无覆盖区域,从而无法分割出运动物体而如果运动速度过慢,则会造成过度覆盖。

只适用于静止背景,由于该算法能够适应环境变化,可以在比较差的环境下检测目标。

背景差分法能够提供最完全的特征数据,可以提取出更为完整的目标对于动态场景的变化,如光照和外来无关时间的干扰等特别敏感固定背景,由于对环境变化比较敏感所以适用于环境较好的情况。

光流法摄像机运动存在的前提下也能检测出独立的运动目标计算方法相当复杂、抗噪声能力差、如果没有特定硬件的支持则不能被应用于全帧视频的实时处理。

适应于多目标检测,能检测重叠的运动目标,适用于干扰性较强的环境。

2.1 基于卡尔曼滤波器的跟踪方法[6]
线性卡尔曼滤波是美国工程师Kalman在线性最小方差估计的基础上,提出的在数学结构上比较简单的最优线性递推滤波方法,具有计算量小，存储量低，实时性高的优点。

特别是经历了初始滤波的过渡状态后,滤波效果非常好。

基于卡尔曼滤波器目标跟踪算法的实现步骤如下：
(1) 设置初始值
设置初始状态和R1的初始值。

(2) 预测下一时刻目标的位置
这里运用式(5)和式(6)，根据扩展的卡尔曼滤波器，预测目标在下一时刻可能出现的位置：
(5)
(6)
式中：Δpk+1表示预测的不准确程度，即提供了目标匹配的搜索范围；表示预测位置的坐标及搜索范围的中心坐标。

在实际应用中，往往扩大目标匹配的搜索范围为Δpk+1+ε，其中ε为预设正常数。

(3) 目标匹配搜索
在搜索中要使用目标检测的结果，即将检测到目标的运动区域作为模板。

在利用上一步计算得到的目标搜索区域范围内进行目标搜索。

若在搜索范围内搜索到运动目标，并且只有一个，那么不再进行目标匹配搜索，直接认为搜索到的目标就是被跟踪的目标。

若在搜索范围内搜索到不止一个目标时就需要进行目标匹配搜索，通常可以利用检测到的目标的邻接矩形作为搜索区域以缩小搜索范围。

使用基于像素点的亮度差的和作为匹配距离准则：
(7)
将找到的使匹配距离最小的目标区域作为被跟踪到的目标，将该区域的复制记为Tk+1，并把它的中心坐标复制给pk+1，则:
目标的测量速度为：
(8)
目标的测量加速度为：
(9)
(4) 卡尔曼滤波器参数的修正
主要根据每帧得到的测量值修正目标的参数，使用IRR(无限冲击响应)滤波器完成对和Δvk,Δak的修正，其公式为：
(10)
(11)
(12)
(13)
式中:a,γ为一常数,0≤a，γ≤1。

另外，通常还需要对Δpk+1进行修正，一种简单的修正方法是直接利用pk+1与之间的差代替Δpk+1，或者使用类似于修正Δvk+1的IRR滤波器方法对Δpk+1进行修正，即：
(14)
式中:β为一常数，0≤β≤1。

2.2 基于特征光流法的跟踪方法
光流分析可以分为连续光流法和特征光流法。

特征光流法是通过特征匹配求得特征点处的光流。

Weng等采用边缘和角点作为特征点,Cumani等在每个边缘点处提取三种属性用于解决特征匹配问题。

特征光流法的主要优点在于对目标在帧间的运动限制较小,可以处理大的帧间位移，对噪声的敏感性降低，只处理图像中很少数的特征点,计算量较小;主要缺点是:得到的是稀疏光流场,导致难于提取运动目标的精确形状,特征匹配问题尚未得到较好的解决[7,8]。

假设运动目标在序列首帧中的大概位置已经通过人工锁定或某种检测技术确定出来,所以跟踪中只处理目标及其附近部分的区域而非整幅。

本文方法的流程图如图7所示。

图7 跟踪算法流程图
首先,从首帧中提取角点,得到角点链。

对于以后各帧,不再提取角点,而是利用加权模板相关匹配算法求得上一帧中角点的匹配点,这样在得到本帧角点的同时,也得到了连续两帧图像间的特征光流和光流链;然后由“粗”到“精”对光流进行聚类,得到若干候选类。

对每个候选类,计算其参数值,包括:类平均光流、类重心、类的形状模型、类的形状用凸多边形表示，并与曲线图相对应;然后根据相似准则从这些候选类中找出目标类;最后得到目标的精确外轮廓[9]。

2.3 小结
运动目标跟踪是确定同一物体在图像序列不同帧中位置的过程,当运动物体被正确检测出来时,跟踪等价于在连续的图像帧间创建基于位置、速度、形状、纹理、色彩等有关特征的对应匹配问题。

目标跟踪的主要工作就是选择好的目标特征和采用适当的搜索方法。

卡尔曼滤波器的跟踪方法是一种经常被采用的方法，这种方法通常被用来对被跟踪目标运动状态进行预测,可以减少搜索区域的大小,提高跟踪的实时性。

所以经常被
用于和其他跟踪方法结合使用[10]。

特征光流法是一种新颖的跟踪方法，是处理一些目标遮挡和目标失锁等异常情况的有效方法。

表2是这两种方法优缺点及适用范围的对照表。

表2 运动目标跟踪方法比较运动目标跟踪方法优点缺点适用范围基于卡尔曼滤波计算量小,存储量小,目标搜索区域小,实时性高。

由于卡尔曼滤波是基于高斯分布的状态预测方法,不能有效地处理多峰模式的分布情况。

用于预测目标起始中心,在周围环境存在干扰时容易丢失目标。

基于特征光流法对目标在帧间的运动的限制较小,可以处理大的帧间位移;对噪声的敏感性降低;只处理图像中很少数的特征点,计算量较小。

得到的是稀疏光流场,导致难于提取运动目标的精确形状;特征匹配问题尚未得到较好的解决。

硬件设施要求较高,能在环境较差情况下跟踪目标可以处理目标重叠及目标失锁等异常情况。

3 结语
序列图像中的运动目标检测与跟踪是数字图像处理与识别以及计算机视觉领域研究的主要内容之一，在机器人导航、智能视觉监控系统、医学图像分析、工业检测以及视频图像分析等领域中都有应用。

本文介绍了目前运动目标检测与跟踪领域的一些常用方法，指出其优缺点。

随着对运动目标检测与跟踪的研究及发展，将会出现很多关于运动目标检测与跟踪的新方法，相信运动目标的检测与跟踪技术将会更加成熟。

参考文献
[1] 李艳波,张菁.序列图像中运动目标检测与跟踪算法研究[D].哈尔滨：黑龙江省计算机学会2007年学术交流年会论文集,2007.
[2] 李强，赵亦工，高永晶.基于背景差分的动目标检测算法研究[J].遥测遥
控,2007,28(6):68-70.
[3] 胡以静,李政访,胡跃明.基于光流的运动分析理论及应用[J].计算机测量与控制,2007,15(2):219-221.
[4] 朱克忠.基于光流法对移动目标的视频检测与应用研究[D].合肥:合肥工业大学,2007.
[5] 邵文坤，黄爱民，韦庆.目标跟踪方法综述[J].影像技术,2006(1):17-19.
[6] Stefano Messelodi,Carla Maria Modena,Nicola Segata,et al.A Kalman Filter Based Background Updating Algorithm Robust to Sharp Illumilation Changes[A].ICIAP 2005[C].Italy,2005:163-170.
[7] 安建虎.相关跟踪与特征匹配技术研究[D].沈阳:中国科学院自动化研究所,2002.
[8] 沈美丽,宋华军.基于角点检测的光流目标跟踪算法[J].电子器件,2007,30(4):1 397-1 399.
[9] 杨杨,张田文.一种基于特征光流的运动目标跟踪方法[J].宇航学报,2000,21(2):8-15.
[10] 栗素娟,王纪,阎保定,等.卡尔曼滤波在跟踪运动目标上的应用[M].现代电子技术,2007,30(13):110-112.。