多视频运动对象实时分割及跟踪技术

第42卷第9期2008年9月

浙　江　大　学　学　报(工学版)

Journal of Zhejiang University (Engineering Science )

Vol.42No.9

Sep.2008

收稿日期:2007204227.

浙江大学学报(工学版)网址:/eng

作者简介:孙志海(1981-),男,福建漳州人,博士生,主要从事视频运动对象分割的研究.E 2mail :eeszh @

通讯联系人:朱善安,男,教授,博导.E 2mail :zsa @

DOI :10.3785/j.issn.10082973X.2008.09.030

多视频运动对象实时分割及跟踪技术

孙志海,朱善安

(浙江大学电气工程学院,浙江杭州310027)

摘　要:利用帧间差异积累信息进行自适应背景建模,采用背景差的方法检测视频运动对象区域.设计了一种变系数的空域滤波器,有效地对背景差图像进行了增强,使获得的视频运动对象区域更具有空域连通特性.给出了一种改进的基于Otsu 法的自适应阈值化方法,能更准确地对背景差图像进行阈值化.采用形态学边界提取技术对视频运动对象轮廓进行提取.在获得视频运动对象轮廓的基础上,用区域生长法对视频运动对象进行定位,将矩形中心坐标视为视频运动对象的质心坐标.用基于空间欧氏距离最短的方法对每个视频运动对象质心进行关联跟踪并绘制轨迹.试验结果表明,该方法实时有效.

关键词:运动对象分割;运动对象跟踪;差异积累;空域滤波;背景更新

中图分类号:TP391.41 文献标识码:A 文章编号:10082973X (2008)0921631205

R eal 2time segmentation and tracking technique of multiple

moving objects in video sequence

SU N Zhi 2hai ,ZHU Shan 2an

(College of Elect rical Engineering ,Zhej iang Universit y ,H angz hou 310027,China )

Abstract :Effective background was modeled by accumulative f rame 2to 2frame differences ,and foregro und could be ext racted using background subtraction operation.A variable coefficient spatial filter was presen 2ted ,which could effectively enhance t he background subt raction image and make t he foreground region has much more spatial connectivity.An imp roved Ot su 2based segmentation met hod was presented to accurately t hreshold t he background difference image.Morp hological operation was used in extracting contours of moving object s.After getting t he contours of moving object s ,region growing segmentation met hod was applied to locate t he foreground region ,and t he rectangle cent re was seen as t he mass cent re of t he moving object s.Moving object s were t racked using minimal Euclidean distance and t he motion trajectories were also painted.Experimental result s showed t hat p roposed algorit hm was effective and efficient.

K ey w ords :moving object segmentation ;moving o bject tracking ;difference accumulation ;spatial filte 2ring ;background up date

视频运动对象分割及跟踪处于整个视觉监视系统的最底层,是各种后续高级处理如视频分析[1]、视频编码[2]、视频检索[3]以及视频监控[4]等的基础.运动对象分割是指从视频流中实时提取出运动对象,而运动对象跟踪则是指对目标进行连续的跟踪以确定其运动轨迹.尽管文献[5～7]报道了有关视

频运动对象分割的算法,但视频运动对象自动分割的问题还没完全解决.实时自动分割视频语义对象的难点有:对复杂场景快速准确的背景建模;环境变化及噪声影响算法的鲁棒性;算法通用性差,复杂的分割算法满足不了应用的实时性要求;多运动对象的分割及跟踪[627]对分割算法提出了更高的要求.

Bailo等人[8]从算法实时性角度出发,利用高斯分布特性构建自适应背景更新模型,实现了对视频运动对象的分割,此类算法需要估计镜头噪声或静止背景中由噪声所引起的方差,算法自适应程度较不理想.Yang等人[9]利用视频像素水平及帧水平特性有选择地更新背景模型,然后采用形态学后处理方法对视频运动对象进行分割,该算法对图像R G B颜色空间的三维数据均进行了处理,当视频窗口变大时,算法处理速度成倍下降,影响实时性.Chen等人[10]提出了一种采用背景记录技术恢复背景区域,结合背景差和邻帧差信息分割视频运动对象的算法,该算法如果没有准确的前景物体分割,背景记录技术得到的背景信息则不可靠,反而影响了下一帧运动对象分割的准确性.

本文结合实际视频运动对象的特点,针对实际拍摄的交通视频系列,给出了一种多视频运动对象实时分割及跟踪技术.

1　分割及跟踪技术框架

多视频运动对象实时分割及跟踪的技术框架如图1所示.主要有5部分:自适应背景建模;空域滤波、轮廓提取;目标定位、质心标记;运动对象质心关联;轨迹绘制.

利用每隔一段时间内每个像素的帧间积累差异信息自适应建立背景模型,利用背景差技术检测出运动物体区域;根据背景差图像的特点,设计了一种变系数的空域滤波器,结合形态学处理的方法对背景差图像进行空域滤波并提取出视频运动对象轮廓;采用区域生长法对视频运动对象进行定位和质心标记;在视频运动对象分割的基础上,利用运动对象质心建立视频运动对象帧间向量,并比较运动对象的帧间向量模值,对视频运动对象质心进行关联跟踪及轨迹绘制.

2　视频运动对象分割

2.1　自适应背景建模

设有M帧视频序列f(x,y,t1),f(x,y,t2),…,f(x,y,t M),取f(x,y,t1)为基准图像,则一幅差异积累图像是由将基准图像和视频序列后续图像进行对比得到的[11].当基准图像和序列中图像之间在某个像素位置上出现一次较小差异就令计数器计数一次,这种计数器在差异积累图像每个像素的位置上都有一个.当第k

帧图像与基准图像相比较

图1　多视频运动对象实时分割及跟踪技术框架Fig.1　Frame of real2time segmentation and tracking tech2 nique of multiple moving objects in video sequence

时,差异积累图像中一个给定像素的输入项给出在此位置上对应的像素与基准图像中同一位置的像素间灰度级变化的次数.随着时间的更新,差异积累图像可视为一个像素值在动态更新的矩阵D(x,y, t k),差异大小是根据某阈值T f设定好的.如取第k-r帧图像f(x,y,t k-r)为求取差异积累图像的参考帧,则当前帧f(x,y,t k)与参考帧f(x,y,t k-r)之间的差异图像F(x,y,t kγ)以及差异积累动态矩阵D(x,y,t k)分别如式(1)、(2)所示,通过分析差异积累动态矩阵来决定某像素属于前景或背景:

F(x,y,t kγ)=

1;|f(x,y,t k)-f(x,y,t k-r)|>T f,

0,其他,

(1) D(x,y,t k)=

D(x,y,t k-1)+1,F(x,y,t kγ)=

　0,D(x,y,t k-1)<λ,

0,其他.

(2)式(2)表示当某位置像素的帧间差异较小时,使D(x,y,t k)加1,否则D(x,y,t k)赋值为0,表示该像素的帧间差异比较大,λ记录每个像素差异积累

2361浙　江　大　学　学　报(工学版) 第42卷