第五章 运动目标接力跟踪极其调试

第五章多摄像机接力跟踪的研究与调试

5.1引言

“摄像头接力跟踪”属于智能监控技术中一个比较难的问题，同时也是很多用户感兴趣的一种特殊需求，这种需求在一些比较特殊的监控场合或监控要求下效果相当抢眼。

近年来，人们对多摄像机的视频监控问题也进行了深入的研究，分别从不同的角度对该问题进行了讨论，如摄像机的数目和种类不同(全景摄像机或普通摄像机，灰度或者彩色摄像机等)，摄像机应用的环境不同(室内或室外)，摄像机覆盖的区域范围不同(大厅或走廊等)，摄像机的安装方式不同(有重叠区域和无重叠区域)等。多摄像机之间的交互方式、摄像机的选择和多摄像机间的数据融合是多摄像机接力跟踪中的关键性问题。

本章主要对多摄像机接力跟踪中的一些关键问题与技术进行分析与研究，着重介绍了基于视野分界线的目标交接算法，并进行了仿真实验，结果表明该算法具有较高的鲁棒性，同时能够满足实时性要求。

5．2多摄像机之间的协调与同步

多摄像机之间的协调与同步是多摄像机接力跟踪中的两个重要问题。多摄像机之间的协调，就是保证多摄像机网络中的各个组成部分共同合作，统一作业，充分发挥多摄像机网络的优势。目前，许多的多摄像机系统并没有充分发挥其网络优势，即没有充分利用相邻摄像机之间的信息，仅仅是单个摄像机在运行。因此如何使每一个摄像机都发挥作用，如何提高整个摄像机网络协调合作的利用率，是亟待解决的一个重要问题。同时，如果各个摄像机之间的同步性很差，就会导致同一个被跟踪目标在不同的摄像机视野中被认为是两个不同的目标，从而导致接力跟踪失败，因此保持各个摄像机之间的同步也是一个很重要的问题。5．2．1多摄像机问的协调

多摄像机之间的协调主要体现在以下两个方面：

(1)多摄像机的分布是实现多摄像机之间协调的前提。对于多摄像机网络来讲，摄像机的分布原则是：每个摄像机要与其周围相邻的摄像机之间有部分重叠区域，于是必须要保证相邻摄像机之间有充分的视野重叠区域；所有摄像机的视

野区域总和应该能够满足要求监控的区域范围；在满足前两个条件下，尽可能减少摄像机的数目，节约成本。

(2)在满足多摄像机分布原则的条件下，多摄像机协调跟踪主要有两个关键问题：1)被跟踪目标何时在两个摄像机之间进行交接。由于本系统就用两个摄像机，当被跟踪目标进入到第1个摄像机与第2个摄像机的重叠区域并且目标的运动方向是朝向第2个摄像机时，可以认为被跟踪目标正在离开第1个摄像机进入到第2个摄像机，此时要进行目标的交接操作；2)如何进行交接。所谓目标的交接，就是将被跟踪目标在一个场景中的信息转换到另一个场景中。在交接过程中，被跟踪目标交接的正确性以及实时性，是决定交接成功的重要因素。

5．2．2多摄像机间的同步

在实际应用中，多摄像机间的视频同步是一个必须的步骤，往往采用人工标记和鉴别的方法，如通过在多路视频中加入特殊标记等，然后用人工识别的方法记录各个摄像机之间的同步偏移量。目前解决多摄像机同步问题的方法可以归结为两种：一种方法是基于帧同步的方法，该方法适用于摄像机初始化设置简单易行且各摄像机之间的采样率相同，然后按照同步帧进行相应的处理，这种方法不会有累计误差，只是由于起始时间的不同而引入误差，但是这个误差不能消除；另一种方法是基于系统时间同步的方法，该方法在摄像机不容易设置时优先考虑，使系统的起始时间一样，按照系统的单位时间进行相应的处理，这种方法对摄像机的采样率要求不敏感，但是由于系统时钟频率的不同会带来累计误差。

在实际视频采集过程中，通常采用摄像机和视频采集卡相结合的方法。假设相邻的2个摄像机分别是Cl 和C2，对应的采集卡分别是1K 和2K 。采集的过程为：摄像机间隔固定的采样周期进行采样，在某一时刻采集卡启动，开始采集视频图像。记两个采集卡的采样周期分别为1T 和2T ，采集卡启动时间分别为1t 和2

t ，那么在采集到的视频序列中，第Ⅳ帧图像所对应的采样时刻分别为11T N t t *+=和22'

T N t t *+=。多摄像机间的同步问题就是得到同一时刻不同摄像机采到的图像帧之间的对应关系，也就是说在某一时刻摄像机1c 中采集到的视频帧1N ，与在同一时刻摄像机2C 中采集到的视频帧1N 之间的对

应关系。因此，可以用公式表示为：

1121112222122T t t t N T t N T N N T T -+*=+*⇒=*+ （5.1）

在实际的多摄像机系统中，一般采用同一种型号的视频采集卡，也就是它们的采样周期是相同的，即互=互，因此摄像机的同步问题就转化为两个摄像机的起始时间一致的问题。针对这个问题，若每一台摄像机都有一块采集卡相连，可以采用软硬件的方法设置同步时钟，同时驱动所有摄像机进行图像的采集和处理；如果采用一块采集卡连接多个摄像机时，可以采用先采集，后存储，再处理的方法达到同步的要求。

5．3多摄像机之间的目标交接

用单摄像机对目标进行持续跟踪时，实质上也可以理解为目标的交接问题，是在帧与帧之间的目标交接；用多摄像机对目标进行跟踪时，是在不同的场景下对目标进行交接。在多摄像机跟踪系统中，当一个目标从一个摄像机视野中进入或者走出另一个摄像机视野的时候，就会产生目标交接问题。此时必须确定出此目标是否也存在于其它摄像机视野范围之内，若是则给它分配相同的标识．否则就分配一个新的标识。如图4．1所示场景下，有2个摄像机1C 、2C ，在某一时

刻目标在摄像机1C 的视野范围内，但不在摄像机2C 的视野范围内，如图5.l(a)

和5.1(b)所示。过了一段时间后，在摄像机2C ，视野范围内出现了一个目标，

如图5.1(d)所示。

(a) 0t 时刻摄像机1C 的视野范围 （b ）0t 时刻摄像机2C 的视野范围

（c ）1t 时刻摄像机1C 的视野范围 （d ）1t 时刻摄像机2C 的视野范围

图5.1目标交接问题示意图

目标交接是多摄像机人体跟踪中的关键问题，是多摄像机系统进行后续操作的必经阶段，因此它在整个系统中的地位非常重要。目前，在多摄像机目标交接方面，国内外研究者做出了大量的研究，根据采用特征的不同、匹配策略的不同以及是否采用摄像机标定，分别提出了不同的算法．主要有以下几种：

(1)基于特征融合的目标交接算法

该算法是解决多摄像机间目标交接问题的主要且是最原始的匹配算法。在研究最初阶段，学者选用的是目标的一些简单特征，如颜色、轮廓和位置信息等，然后利用贝叶斯置信网络【56】或者卡尔曼滤波框架‘591等方法得出目标的对应关系。由于摄像机内部参数(如对比度、颜色平衡等)以及光学方面的差异，往往同一个物体在不同的摄像机中显示不同的颜色特征。同时由于摄像机安装方位的差异，会使物体的外部轮廓特征等发生变化，因此仅仅依靠其中某个特征进行目标交接是不可靠的。随着数字图像处理技术的发展，目标特征的提取更加容易可靠，使用大量不同特征相结合的方法，使得目标交接的成功率得到大大提高。文献[56】中使用基于几何学特征和目标外在特征相结合的方法，几何学特征主要从摄像机标定信息中获得，而目标外在特征主要是目标的高度和颜色特征，然后利用贝叶斯置信网络融合各个特征，最终得出正确的对应关系。

(2)基于三维信息的目标交接算法

由于基于特征融合的目标交接算法存在目标特征易随环境变化的缺陷，因此提出了基于摄像机标定信息的目标交接算法。若摄像机的标定信息和三维环境坐