复杂交通场景中的车辆检测与跟踪新方法

第32卷第2期光电工程V ol.32,No.2 2005年2月 Opto-Electronic Engineering Feb,2005文章编号：1003-501X(2005)02-0067-04复杂交通场景中的车辆检测与跟踪新方法郁梅1, 王圣男1, 蒋刚毅1,2（1.宁波大学信息科学与工程学院，浙江 宁波 315211；2.南京大学计算机软件新技术国家重点实验室，江苏 南京 210093）摘要：提出了复杂交通场景中的车辆检测新方法，采用背景差法进行运动对象分割，并结合运动边缘检测以提高检测的准确性，对提取出的感兴趣区域按一定规则进行区域融合以检测车辆。

提出基于区域特征匹配的车辆跟踪新方法，通过计算车辆链表中区域的特征向量与当前帧运动区域特征向量的距离确定匹配车辆，实现车辆跟踪。

同时利用“确定车辆”、“临时车辆”规则解决车辆遮挡和阴影问题。

实验结果表明该方法简单有效，能有效解决车辆遮挡和阴影问题，实时提取交通信息。

关键词：车辆检测；车辆跟踪；图像分割；背景差法中图分类号：U491.1 文献标识码：AMethod for detecting and tracking vehicles in complex traffic sceneYU Mei1, WANG Sheng-nan1, JIANG Gang-yi1,2(1. College of Information Science and Engineering, Ningbo University, Ningbo 315211, China;2. State Key Laboratory for Novel Software Technology, Nanjing University, Nanjing 210093, China)Abstract: A new method for detecting and tracking vehicles in complex traffic scene is proposed. The method based on motion object segmentation by means of background difference and background subtraction from motion edge detection, identifies the vehicles through regional fusion of the interested regions which are respect to the vehicles or not in terms of some proposed rules. A new vehicle detection method based on regional characteristic matching is proposed, by which the distance between characteristic vectors of regions in vehicle list and the characteristic vectors of current frame motion regions can be calculated and used to match current motion regions and track the vehicles. Experimental results show that the method, with the aid of proposed concepts of ‘confirmed vehicle’ and ‘temporary vehicle’ for recovering momentarily missed vehicles or distinguishing obscured vehicles, can extract traffic information at real time.Key words: Vehicle detection; Vehicle tracking; Image segmentation; Background difference method引言智能交通系统是解决城市化与汽车工业的迅猛发展使道路通行能力与使用者需求之间的矛盾的有效途径。

针对视频图像检测器得到的交通序列图像，人们提出了多种车辆检测与跟踪技术，例如帧差法、背景差法、边缘检测法等[1-3]车辆检测方法，以及基于区域[4]、动态轮廓[5]、特征[6]等车辆跟踪方法。

基于视频的车辆检测与跟踪方法的准确性受环境因素影响很大，其中车辆的运动阴影和车辆间的遮挡是两个重要因素。

前者会使相邻车辆在检测过程中粘连在一起造成误检测，而后者会导致重叠的多辆车辆被检测为一光电工程 第32卷第2期 68辆。

相对于高速公路等简单交通场景，十字路口处的复杂交通场景中这一问题尤为严重。

为了克服重叠和阴影造成的影响，本文在采用背景差和基于区域跟踪方法的基础上，提出了一种临时车辆和确定车辆的跟踪策略，利用时域上的车辆累积跟踪信息来纠正由于重叠和阴影所造成的单帧误分割情况。

1 复杂交通场景中的车辆检测与跟踪基于视频的车辆检测与跟踪监测系统包含感兴趣区域（ROI ，region of interesting ）提取、车辆检测和车辆跟踪三个模块。

ROI 提取的目的是将可能为车辆的区域从交通场景中分割出来，以便进行后续的检测与跟踪。

本文采用背景差法并结合边缘信息来检测车辆，将运动物体边缘图像与背景差图像进行逻辑与得到ROI 图像。

ROI 图像中的每个四连通域对应一个外接框，表示“疑似车辆”。

这些外接框可能相互重叠。

重叠的情况分两种：两辆或多辆车辆的重叠，或者是同一辆车辆的不同部分的重叠。

前者不需要融合，而后一种情况则需要融合，以免将一辆车检测为多辆车。

令两重叠外接框面积分别为S 1，S 2，重叠区域面积为s ，则两个外接框的重叠率分别为α =s /S 1，β =s /S 2。

可用以下规则判断两区域是否需要融合：规则1：若α≥t 1或β≥t 1，则融合两区域。

这里t 1为阈值，其经验值取0.7。

规则2：若t 2<α<t 1或t 2<β<t 1，判断重叠区域中属于感兴趣区域的有效像素集合A 与两外接框中有效像素集合B ，C 的包含关系。

集合A 可以表示为：A =A 1∪A 2，其中A 1⊆B ，A 2⊆C 。

若A 1，A 2任一为空，或者包含元素个数小于某阈值，则不进行融合，反之进行融合。

t 2 亦为一阈值，其经验值为0.1。

规则3：若α≤t 2且β≤t 2，不进行融合。

区域融合后，提取每个ROI 的区域信息，包括质心点坐标(V x , V y )、平均灰度V g 、方向V d 、面积V s 以及表示区域形状的坐标集V c ，以便为跟踪模块进行区域匹配和恢复误检漏检车辆提供依据。

可以按照重要程度将上述特征划分为基本特征和辅助特征，前者包括(V x , V y )和V s ，后者包括V g 和V d 。

可采用主成分法来得到区域外接框方向V d 。

这里像素坐标为二维坐标，只有两个主成分，取第一主成分为外接框的方向。

区域的协方差矩阵表示为⎥⎦⎤⎢⎣⎡=02111120M M M M M ，其中，j i R ij y y x x M )()(−∑−=是第ij 阶矩，对角化M ，得到[][]21212100v v e e v v T ⎥⎦⎤⎢⎣⎡=M 。

[v 1 v 2]为特征向量，v 1=[v 11 v 12]，v 2=[v 21 v 22]，e 1、e 2为特征值。

若e 1>e 2，则 V d =v 1，区域方向与水平方向的夹角θ为arctg(v 12/v 11)，反之V d =v 2，θ为arctg(v 22/v 21)。

区域特征信息提取后，每个区域都对应两个特征向量，基本特征向量V =(V x , V y , V s )和辅助特征向量W =(V g , V d )，以及一个位置坐标集V c 。

经过ROI 区域提取和车辆检测处理，输入图像序列的每一帧都对应了一系列表示运动物体的区域，车辆的跟踪通过时域上区域间的匹配来实现，最相似的两个区域即可判断为同一运动物体。

匹配在两个链表间进行，即车辆链表和临时链表，链表的每个节点对应一个区域。

临时链表中每个节点表示一辆“疑似车辆”，由当前帧图像区域所组成。

而车辆链表中的每个节点表示一辆车辆，初始值为第一帧图像的临时链表，在其后与临时链表逐帧匹配过程中，其节点不断得到更新。

车辆链表保存了时域上表示车辆的区域块的演化过程。

匹配依据是两区域特征向量的空间距离，令V k ，W k 分别为车辆链表中第k 个区域的基本特征向量和辅助特征向量，V n ，W n 为当前帧图像临时链表中第n 个区域的基本和辅助特征向量，则两空间距离D Vkn ，D Wkn 分别为D Vkn =(V k −V n )T (V k −V n )和D Wkn =(W k −W n )T (W k −W n )。

匹配过程如下：先逐个计算区域k 与临时链表中每个区域的D Vkn ，记下所有D Vkn 小于某一阈值的临时链表区域，若满足条件的临时链表区域个数为0，则表示区域k 在当前帧中没有找到匹配区域；若个数为1，则表示区域k 与这个临时链表区域匹配成功；若个数大于1，则再计算区域k 与这些区域的D Wkn ，使得D Wkn 最小的临时链表区域即为与区域k 匹配的区域。

遍历车辆链表，重复以上过程，车辆链表中匹配成功的区域由与其对应的临时链表中的区域进行更新，临时链表中未匹配的区域作为新出现的车辆插入车辆链表。

复杂交通场景中，车辆之间相互遮挡以及车辆间的阴影等会造成车辆在图像中的粘连。

因此，在时域2005年2月 郁 梅 等：复杂交通场景中的车辆检测与跟踪新方法 69跟踪过程中车辆链表中的区域需要融合或分裂：融合的情况发生在稳定跟踪多帧的车辆在行驶过程中与周围车辆发生遮挡，分裂则发生在进入摄像机场景时相互遮挡的车辆在行驶过程中分离。

为保证跟踪的正确性，我们提出了一种确定车辆和临时车辆的算法流程。

在车辆链表中为每个节点设置匹配成功和失败计数器m s 和m f 。

第一次出现在车辆链表中的区域都标记为临时车辆，m s 与m f 分别置1和0。

每匹配成功一次此区域的m s 加1，失败则m f 加1。

若m f 累加至阈值n /2（n 的选取由图像采样频率决定），则表示此区域为误检测车辆，将其从车辆链表中去除。

若m s 累加至n ，则标记此区域为确定车辆，同时总车辆数加1。