面向广域视频监控的无重叠视域多摄像机目标跟踪_CCPR07

面向广域视频监控的无重叠视域
多摄像机目标跟踪
孔庆杰 刘允才
上海交通大学 图像处理与模式识别研究所 上海 200240
摘 要：随着视频监控技术的快速发展，多监控摄像机信息融合的研究逐渐被重视起来，作为核心技术之一的无重叠视域多摄像机目标跟踪也成为了研究的焦点。

这个研究焦点是计算机视觉研究领域的一个新兴的、多学科交叉的研究方向。

文章对国际上关于此方向从开始到现在的重要研究成果，做出了比较详细的论述，把对该问题的研究归纳为三个主要的组成部分，并依次介绍了这三部分的研究进展，最后简要分析了这个方面研究的难点和未来的发展趋势。

关键字：视频监控、无重叠视域多摄像机、持续跟踪、目标匹配、拓扑估计、数据关联
Non-Overlapping Multi-camera Objects Tracking for Wide Area Visual Surveillance
Qing-Jie Kong and Yun-Cai Liu
Institute of Image Processing and Pattern Recognition,
Shanghai Jiao Tong University, Shanghai 200240, China
Abstract:With the rapid development of visual surveillance technology, the research about multi-camera information fusion is gradually paid more attention to. Thus, as one of the core techniques, objects tracking across non-overlapping multi-camera become the focus. This focus is a rising direction of computer vision, which crosses several subjects. This paper discusses the important achievements of this topic all over the world from beginning to present in detail. All of them are clustered into three parts and introduced orderly. Finally, some difficulties and future directions are analyzed concisely.
Keywords:visual surveillance, non-overlapping multi-camera, persistent tracking, objects matching, topology estimation, data association
1 引言
由于具有直观性等特点，视频检测器被广泛用来对各种环境、区域和场所进行实时监控。

例如：社区和重要建筑物内部的安全监控，城市路网交通状况的监控，地铁站和飞机场的监控，以及停车场和超市的监控等等。

受单个摄像机视域范围的限制，为了适应广域监控的需要，大量的视频检测器被广泛安置在整个监控区域中。

随着视频检测器数量的急剧增加，传统的人工被动监控已经远远无法满足监控任务的需要。

因此，实现可以代替人眼的智能的自动的监控功能成为视频监控研究的目标，大量的研究成果也随之出现[1, 2]。

在作为基础的单摄像机智能监控算法逐渐成熟的同时，近年来，多摄像机之间的信息关联和融合的研究也逐渐被重视起来。

由于被监控区域的广阔和摄像机视域的有限之间的矛盾，以及经济和计算量等方面的原因，不可能用摄像机把所有被监控区域全部覆盖；这样，在无重叠视域多摄像机（Non-Overlapping Multi-camera）监控环境下的目标跟踪就成为了广域视频监控研究中的重要研究内容之一。

目前，国际上的许多研究机构包括学校、研究所和公司都陆续开始了这个方向的研究，并在许多重要的国际期刊（IEEE Transaction on Pattern Analysis and Machine Intelligence; International Journal of Computer Vision; Computer Vision and Image Understanding; Pattern Recognition; Pattern Recognition Letters; Machine Vision and Applications; IEE Proceedings – Vision, Image and Signal Processing; etc.）和重要的国际会议
（IJCAI; ICCV; CVPR; ECCV; ICPR; ICIP; ICME; BMVC; VS-PETS; A VSS; etc.）上发表了许多关于这个方面的研究成果，由此揭开了无重叠视域多摄像机目标跟踪研究的序幕。

无重叠视域多摄像机目标跟踪问题不同于单摄像机和重叠视域多摄像机跟踪问题，是一类有其特殊性的新问题。

这个问题的研究既包含了计算机视觉和信息融合的知识，也涉及到模式识别以及人工智能的理论，是一个多学科交叉的研究方向。

由于观测视域的不重叠和不连续，解决传统视频跟踪问题的技术方法和研究框架大都不再适用。

所以，本文通过全面分析国际上的研究成果和最新进展，把对该问题的研究归纳为三个主要的组成部分：目标匹配（Objects Matching）、拓扑估计（Topology Estimation）和数据关联（Data Association），并对这三部分的研究依次进行详细地介绍；而且，文章还对此方面问题研究的难点和未来的发展趋势做出了简要说明。

另外，需要强调的是对本问题的研究是建立在单摄像机目标跟踪问题已经得到很好解决的假设前提下进行的；因此，关于解决单摄像机目标跟踪问题所需要的技术方法（例如：摄像机标定、阴影去除、目标检测等等）不在本文的讨论范围之内。

2 研究内容与研究现状
无重叠视域多摄像机目标跟踪问题的研究主要集中在不同摄像机中相同目标之间的匹配，监控摄像机之间拓扑关系的估计，以及目标的关联对应和持续跟踪三个方面，下面将详细地介绍这三个方面问题的研究内容与研究现状。

2.1 目标匹配
目标匹配是指把在不同时刻出现在不同摄像机前的目标进行匹配，从而识别出相同的目标，实现不同摄像机中同一目标的对应。

这里的匹配不同于传统单目摄像机跟踪理论中的目标匹配，由于目标物体在不同摄像机前的颜色、形状和摄像机的观测距离、观测角度等方面的巨大的差异，以及各个摄像机的内部参数和监控区域中光照等环境条件的不同等种种复杂的原因，传统计算机视觉理论中关于单目摄像机跟踪匹配的很多方法都不再适用。

所以，无重叠视域摄像机之间的目标匹配需要建立适合自己特殊问题的新的理论体系。

目前已有的匹配方法主要包括对目标建立表现模型（Appearance Model），目标在不同摄像机中的表现模型之间的转移模型（Transfer Model）的估计，以及表现模型相似度的估计等研究内容。

表现模型是指利用目标物体在不同摄像机前出现时表现出的特征所建立的模型。

这些特征主要包括颜色特征、点特征、线特征、区域特征、几何特征、模型特征等等。

在已有的研究成果中，研究者往往选取这些特征中的一种或几种联合建立表现模型来参与匹配。

在特征提取的过程中，某些特征需要先对摄像机进行标定，例如：点特征、几何特征等[3]；然而，考虑到随着摄像机数量的急剧增加，对每个摄像机都进行标定和对应变得愈发困难，所以现有的研究工作大都采用不事先标定摄像机的方法进行特征抽取与匹配。

另外，为了弥补不同检测视频中同一目标的表现模型之间的变化差异，转移模型的估计就显得非常重要。

而且，在衡量表现模型之间相似度的过程中，针对不同表现模型的相似度度量方法也同时被提出。

2.1.1基于线特征的方法
由于刚体目标的线特征比较容易抽取，而且对光照、时间、地点等环境变化不敏感，因此，线特征在车辆目标匹配方面得到了较多使用。

Shan[4-6]和Guo[7-10]等人的研究组近几年一直在研究高速公路环境中多摄像机监控下的车辆匹配和跟踪问题。

他们针对车辆的刚体特征采用了以线特征为基础，其它特征为辅助的表现模型建构方法。

文献[4, 6]提出了一个非监督学习的方法来提取视频中车辆的线特征，然后基于线特征来匹配车辆，这个方法在两个视频中车辆的形状差别很小的情况下取得了不错的效果。

同样基于线特征，文献[5]不直接对车辆的表现模型进行匹配，而是首先对不同的摄像机建立各自的关于观测目标的内嵌原型（Embedding Prototype）, 然后通过内嵌原型间接地进行匹配，这样做在某种程度上提高了算法对目标形状和姿态变化的鲁棒性。

文献[7-9]在基于线特征的方法基础上，首次融合点
特征、区域特征等特征共同建立表现模型对车辆进行匹配。

由于多种特征的融合匹配，这使得她们的算法可以在小于30度的姿态变化条件下取得大于90%的匹配准确率。

在[5]的研究基础上，文献[10]把原型内嵌和内嵌转移相结合，提出了更加适应目标姿态、光照条件和分辨率等大幅度变化的匹配算法。

2.1.2基于颜色特征的方法
颜色特征由于具有很好的区分性，因此成为众多特征中被研究最多的一种。

Cheng[11-13]和Madden[14, 15]等人研究室内监控环境下行人的匹配跟踪。

他们通过在线k均值聚类的方法建立了一种最大颜色光谱直方图表示模型（MCSHR）来构建表现模型，并给出了针对这种模型的相似度估计算法；而且，他们还进一步利用相邻的3-5桢图像建立累积的最大颜色光谱直方图表示模型（IMCSHR）来克服短期内目标的小幅度姿态变化。

除此之外，在文献[14]中，他们还尝试采用监控视频中人的身高作为匹配的特征要素，并给出了身高的估计算法。

在利用颜色特征方面，还有许多研究者做出了有意义的工作。

例如：Orwell等人[16]采用两种方法对目标的颜色直方图进行建模，一种是混合高斯参数化和交叉熵距离测量相结合
χ距离测量相结合的方法，实验表明这两种方法都具有的方法，另一种则是最大熵编码和2
不错的效果。

Bowden[17]和Gilbert[18, 19]等人先把目标的颜色直方图进行芒赛尔颜色空间的一致颜色转换（CCCM），然后进行匹配，这种方法对于低解析度目标的匹配体现了很好的效果；其中，文献[19]还利用对颜色直方图转移矩阵的估计来提高匹配的准确性。

Park等人[20]把目标行人的前景图像从上到下分为三部分，用下两部分颜色的色调作为主要颜色特征，再结合目标身高等特征来参与匹配计算。

在处理不同摄像机之间的颜色变化的问题上，Porikli和Divakaran[21, 22]提出了基于颜色直方图的非参数非线性颜色转移函数模型和相关的距离度量，并给出了简化算法。

Javed等人[23-25]也针对目标的颜色直方图建立了不同视频之间的亮度转移函数（BTF），他们的函数包含光照、场景几何，以及摄像机的焦距、光圈和曝光时间等参数。

他们还证明了这些参数可以用低维空间参数来表示，并使用概率主成分分析（PPCA）的方法实现了降维计算。

同样是估计颜色转移函数，Jeong和Jaynes[26]却采用目标的色度而不是亮度，他们的算法体现了更好的匹配性能。

2.1.3其它方法
除以上两种最主要的方法之外，还有研究者抽取其他特征来参与建立表现模型，希望能获得更好的匹配效果。

Motamed和Wallart[27]通过目标的颜色直方图和3D尺寸信息共同实现高速公路上汽车的匹配，为了获得车辆的尺寸信息，必须提前对监控摄像机进行标定。

Kang等人[28-29]不但采用了在目标前景区域内建立颜色分布模型的方法和特征点的颜色建模方法，而且还结合了边特征描述来进行匹配建模；在相似度估计方面，他们采用Kullback-Leibler距离作为量度。

Gheissari等人在文献[30]中分别探讨了模型匹配和特征点匹配的方法，并进行了实验比较。

在建立人身体模型的过程中，他们提出了一种借助于时空关系来去除前景目标上冗余边的方法，有效实现了前景目标的区域分隔。

Yu等人[31]利用了颜色特征和路径长度特征来建立表现模型，其中路径长度特征是指目标前景轮廓中的像素点到轮廓最高点的距离，实验证明这种特征对姿态变化不敏感；另外，他们还提出在匹配前先对监控视频提取关键桢，从而提高匹配算法的精确度。

Gandhi和Trivedi[32, 33]提出了一个新的基于全景表现映射（PAM）的方法，他们先用多个重合视域的摄像机提取目标的全局特征（包括衣服颜色、纹理，还有目标高度等），然后再根据其全局特征进行匹配跟踪。

目标匹配是无重叠视域多摄像机跟踪问题的研究基础，匹配算法的效果会直接影响到整个持续跟踪算法的性能，所以，这部分研究是主要的研究方向之一，也是目前的研究热点。

2.2 拓扑关系估计
随着视频监控应用领域的迅速拓广和监控区域的不断扩大，通过人工手段确定摄像机之间的拓扑关系已经渐渐不能满足广域监控的需要。

而且，即使使用事先标定好的摄像机来进行监控，摄像机之间的目标出入位置关系，事件连接关系和转移时间关系等拓扑关系也往往需要之后通过学习或其他手段来得到。

因此，自动地获取监控摄像机之间的拓扑关系就成为
广域视频跟踪研究的一个重要组成部分。

Javed等人[23-25]提出了一个基于Parzen窗和高斯核的混合概率密度估计器，来估计由时间间隔、进出观测视域的位置和进出视域时的运动速度等量组成的概率密度函数，整个估计过程通过学习训练集数据的方法实现。

Gilbert和Bowden[18, 19]用一种非监督累加学习的方法估计不同摄像机之间的时间关系和目标在摄像机之间的出现关系，由于完全的自动性和非监督性，使得该方法更加适应环境变化，从而更加贴近实际应用。

Motamed和Wallart[27]在时域约束方面采用一种模糊时间间隔来表示已观测目标在下一摄像机中出现的可能性，这种可能性则通过运动方程估计得到。

Ellis等人的课题组[34-36]利用大量的目标观测数据，通过非监督学习的方法，为一个多摄像机监控网络自动地建立起摄像机之间的时间空间拓扑关系；在此基础上，他们还给出了验证算法性能的方法并实现了目标在该网络中的跟踪。

由于该算法只考虑了时间和空间的信息，因此不受摄像机本身特性和观测方向等因素的限制。

Tieu[37]和Niu[38]等人的课题组进一步推广了Makris和Ellis等人[35]的方法，利用一个关于统计信任的更一般的信息论思想，把不确定对应和贝叶斯方法相结合，减少了假设条件并体现了更好的性能。

Hengel等人[39]先假设所有的摄像机都存在潜在的连接关系，然后通过观测把不可能的连接去掉，实验证明他们的方法在学习大规模摄像机网络拓扑关系方面，尤其是在学习样本较少的情况下，具有很好的效率和效果。

如果建立了多摄像机之间的时间、空间、事件发生等拓扑关系，广域视频跟踪算法就能获得时间、空间等关系约束，这样可以使算法的准确性得到大幅度的提高；因此，为了得到了较为准确的跟踪结果，无重叠视域多摄像机持续跟踪算法需要把摄像机的拓扑关系与目标表现模型的匹配算法相结合，具体的结合方法将在下一节进行详细地介绍。

2.3数据关联方法
在目标的匹配算法和摄像机之间拓扑关系建立之后，剩下的问题就是如何进行数据关联，从而实现目标在整个监控区域内的持续跟踪。

实际上，这个问题从根本上讲是一个信息融合问题，目的是把目标的表现特征和摄像机的拓扑关系特征相融合，最终实现对目标在整个监控环境下的持续跟踪。

因此，许多经典的信息融合框架和方法已经被用来解决这个问题，并取得了不错的效果。

其中，基于贝叶斯估计模型的方法是最主要的方法；此外，卡尔曼滤波器、粒子滤波器和模糊逻辑等方法也被许多研究者进行了研究和探讨。

2.3.1基于贝叶斯估计的方法
Huang和Russell[40, 41]建立了一个贝叶斯估计框架来匹配识别高速公路上相邻两个摄像机检测到的车辆，框架中的出现概率由目标出现时的观测特征得到，这些特征包括出现和离开视域时的时间、位置、速度，目标车辆颜色中的平均色调、饱和度、强度和各颜色的分布直方图等。

由于检测摄像机的位置已经事先固定，因此，在他们的研究中，车辆的运动方向也被限制在路段的延伸方向上。

相似地，Kettnaker和Zabih[42, 43]也用贝叶斯估计的方法实现目标的匹配和识别，不同的是，他们的研究对象是在走廊中活动的人。

他们建立了一个由4个摄像机组成的监控系统，在这个系统中，目标对象可以任意地选择路径。

在建立模型之后，他们把这个最大后验概率估计问题近似成了一个线性规划问题。

除此之外，他们还利用这个系统成功地实现了人数的计算。

在此之后，Pasula等人[44]把Huang和Russell[40, 41]的方法拓展到用多个摄像机估计多个目标的情况；在最大后验概率估计方面，他们用马尔科夫链蒙特卡罗仿真的方法实现了多项式时间的近似计算。

基于以上的研究，Javed等人[23-25]不但更加深入细致地给出了表现模型和拓扑关系的估计方法（在前两小节已经介绍），而且使用有向图的方法计算最优解，计算过程同样符合多项式时间的要求。

另外，他们的方法不需要事先标定摄像机，对目标的运动方向也没有特殊要求，所有这些信息都通过对训练数据集的监督学习得到。

2.3.2其它方法
Chilgunde等人[45]采用卡尔曼滤波器来持续跟踪高速公路上行驶的车辆。

除了在摄像机视域内使用卡尔曼滤波器跟踪目标之外，在视域之间的盲区，他们同样使用卡尔曼滤波器
来预测目标的运动轨迹，最后通过对目标的形状、运动、位置等特征进行高斯建模来实现目标轨迹在摄像机之间的匹配。

Dick和Brooks[46]通过建立一个马尔科夫模型实现了人在不同摄像机之间的实时跟踪。

其中，他们使用一个随机转移矩阵来描述人的运动模式，整个模型的参数都通过学习得到。

Rahimi等人[47, 48]把运动目标的动态模型作为一个马尔科夫过程进行建模，对目标的位置和速度建模之后，他们用一个非线性最优化的算法计算最相似的目标轨迹，最后得到目标在监控环境下完整的运动轨迹。

Leoputra等人[49]采用粒子滤波器技术实现目标的跟踪。

借助于事先已知的摄像机的分布地图和连接路径信息，他们成功地应用粒子滤波器预测出目标在摄像机间的运动状况。

Loke[50]等人则尝试采用模糊逻辑理论建立关联框架，把目标的运动、形状和摄像机的拓扑关系等信息进行结合，也取得了不错的效果。

Motamed和Wallart[27]提出了一个基于时间推理机制的实时车辆广域跟踪框架。

其中，一个多假设测试策略的引入使他们的框架不但能够控制目标在跟踪机制中的生命周期，而且可以通过不确定性的管理从而提高跟踪决策的质量。

3研究难点和展望
作为一个新兴的研究方向，无重叠视域多摄像机的目标跟踪问题已经得到了各国研究者的关注，他们在之前的研究中已经提出了基本的研究框架和研究路线，并取得了初步的成果；但是，要真正解决这个问题还面临着许多困难。

（1） 增强特征的鲁棒性。

目前，用来建立表现模型所提取的特征主要有点特征、线特征、区域特征、颜色特征、几何特征等。

其中，线特征由于对光照、地点等环境变化具有一定的鲁棒性，所以被大量用于刚体目标的匹配；然而，对于行人这样的非刚体来说，他们运动时衣服褶皱的不断变化，为线特征的提取和匹配创造了极大的困难。

除此之外，由于线特征对方向非常敏感，因此，当刚体目标的运动方向发生很大变化时，基于线特征匹配方法的准确性将会大幅度下降。

颜色特征是用来建模的最主要特征，它不受目标种类的影响，但是受光照条件、摄像机内部参数等因素的影响。

相似地，其它的特征也都有各自的缺陷。

因此，设法提高特征的鲁棒性成为当前应该解决的问题。

一种有效的思路是把具有不同方面鲁棒性的多种特征进行融合建模，这样就可以克服多个方面条件变化的影响；然而，寻找较好的融合算法就成为一个新的问题。

（2） 多摄像机之间转移模型的估计
由于摄像机的内部参数、观测角度、目标的出现位置以及环境变化等因素的影响，目标出现在不同摄像机视域内时所建立的表现模型之间会有较大差别。

通过估计表现模型在两个摄像机之间的转移模型，可以在一定程度上弥补这一差别，从而提高匹配的精度。

然而，目标从摄像机A运动到摄像机B的转移模型和从B运动到A的转移模型是不一致的，这样每两个摄像机之间就存在两个转移模型。

在监控的区域不断扩大，监控摄像机的数目不断增多的情况下，对每两个摄像机之间转移模型的估计就成为非常困难的工作；而且，转移模型在不同时间中会随着光照条件、观测角度等环境变化而变化。

因此，问题的关键在于找到能够自动估计转移模型的自学习算法，以及提出能够适应不同环境变化的通用的转移模型，或者能随着时间变化自己调整模型参数来适应环境变化的转移模型。

（3） 提出更适合视频检测器的数据关联算法
在传统的跟踪领域研究中，面向多目标跟踪的数据关联算法已经相对比较成熟[51, 52]，而且在基于雷达传感器的空中多目标跟踪问题中得到了广泛的应用。

基于无重叠视域多摄像机的数据关联和传统的数据关联问题比较相似，可以借鉴传统的数据关联方法来帮助解决基于多视频传感器的目标跟踪问题[53]；但是，这两种问题还存在着一些差异，这为传统的跟踪方法在此问题上的应用增加了许多困难。

首先，视频传感器的噪音很大、不可预知，而且随着时间、地点和传感器的不同而变化；其次，视频传感器的
观测变量是高维的；再次，对目标的连续观测在时空范围内广泛地分布，而且是不同步的；最后，目标的运动轨迹是高度相关的。

所有这些问题都仍未得到很好地解决。

（4） 多目标跟踪
现有的研究工作还大都集中在对某一个目标在多个摄像机下的匹配跟踪，而对同时出现在某一个摄像机视域中的多个目标进行多摄像机跟踪依旧是非常困难的问题。

这牵扯到多个目标的分割，目标之间遮挡的处理；而且，在目标增多的情况下，跟踪算法的复杂性会大幅度提高，因此有效降低算法复杂性的方法也亟待研究。

（5） 实验系统与数据库的建立
为了更好地进行算法研究，一些研究机构建立了针对此问题的专门的实验系统与实验数据库[54-56]。

但是，针对广域视频监控目标跟踪的研究，需要在大范围的区域内设施大量的视频传感器，而且需要大量的目标出现轨迹作为研究对象，还要涵盖多种环境变化的情况。

建立这样的数据库需要大量的人力、物力、财力和时间，这对于一般的研究机构来说是很难做到的。

所以，目前所建立的实验系统和数据库，只是针对该问题研究的一个或几个方面进行数据的采样。

由于数据的缺乏，这些系统自然无法涵盖多种客观条件和环境变化，所提出的算法也很难被推广到实际的广域监控环境中去。

因此，建立能够真正体现广域监控特点的具有代表性的实验系统和样本库是这一领域进一步发展的基础，也是今后亟需解决的问题。

4结束语
无重叠视域多摄像机目标跟踪是广域视频监控研究的核心问题之一，是一个多学科交叉的新兴的研究方向，具有广泛的应用前景。

目前，各国的研究机构已经陆续把目光投向了这一研究领域，并取得了一定的研究成果。

然而，由于这个问题本身的特殊性和困难性，该方向的研究仍然处于初级阶段，还有很多亟待解决的问题摆在研究者面前。

参考文献
[1] Hu W, Tan T, Wang L, et al. A Survey on Visual Surveillance of Object Motion and Behaviors. IEEE Trans. Syst., Man, Cybern. C, 2004 (34): 334-352.
[2] Valera M, V elastin S A. Intelligent distributed surveillance systems: a review. IEE Proc.-Vis. Image Signal Process., 2005 (152): 192-204.
[3] Cai Q, Aggarwal J K. Tracking human motion in structured environments using a distributed-camera system. IEEE Trans. Pattern Anal. Machine Intell., 1999 (21): 1241-1247.
[4] Shan Y, Sawhney H S, Kumar R. Unsupervised Learning of Discriminative Edge Measures for Vehicle Matching between Non-Overlapping Cameras. In CVPR. 2005, 894-901.
[5] Shan Y, Sawhney H S, Kumar R. Vehicle Identification between Non-Overlapping Cameras without Direct Feature Matching. In ICCV. 2005, 378-385.
[6] Shan Y, Sawhney H S, Kumar R. Unsupervised Learning of Discriminative Edge Measures for Vehicle Matching between Non-Overlapping Cameras. IEEE Trans. Pattern Anal. Machine Intell., 2007, to be published. [7] Guo Y, Hsu S, Shan Y, et al. Vehicle Fingerprinting for Reacquisition & Tracking in Videos. In CVPR. 2005, 761-768.
[8] Guo Y, Sawhney H S, Kumar R, et al. Robust Object Matching for Persistent Tracking with Heterogeneous Features. In Joint IEEE Int. Workshop VS-PETS. 2005, 81-88.
[9] Guo Y, Hsu S, Sawhney H S, et al. Robust Object Matching for Persistent Tracking with Heterogeneous Features. IEEE Trans. Pattern Anal. Machine Intell., 2007 (29): 824-839.
[10] Guo Y, Shan Y, Sawhney H, et al. PEET: Prototype Embedding and Embedding Transition for Matching Vehicles over Disparate Viewpoints. In CVPR. 2007, 1-8.
[11] Cheng E D, Madden C, Piccardi M. Mitigating the Effects of Variable Illumination for Tracking across。