静止背景下的多目标追踪(附matlab程序)

静止背景下的多目标追踪

随着计算机技术以及智能汽车行业的发展，多目标的检测与追踪的实用性与研究价值逐渐提高。在计算机视觉的三层结构中，目标跟踪属于中间层，是其他高层任务，例如动作识别以及行为分析等的基础。其主要应用可包括视频监控，检测异常行为人机交互，对复杂场景中目标交互的识别与处理，以及虚拟现实及医学图像。

目标跟踪又包括单目标跟踪和多目标跟踪。单目标跟踪可以通过目标的表观建模或者运动建模，以处理光照、形变、遮挡等问题，而多目标跟踪问题则更加复杂，除了单目标跟踪回遇到的问题外，还需要目标间的关联匹配。另外在多目标跟踪任务中经常会碰到 目标的频繁遮挡、轨迹开始终止时刻未知、目标太小、表观相似、目标间交互、低帧率等等问题。

静止背景下的多目标追踪可分为两步来实现，第一步是在视频文件的每帧中检测出移动的目标，第二步是将检测到的目标与跟踪轨迹实时匹配。在本次实验中，利用混合高斯模型进行背景减除，使用形态学操作消除噪声，通过卡尔曼滤波预测目标位置，最后利用匈牙利算法进行匹配，实现静止背景下的多目标追踪。

1 实验原理

1.1 混合高斯模型

单高斯模型是利用高维高斯分布概率来进行模式分类：

11()exp[(x )(x )]

2T x N C μσμ-=--- 其中μ用训练样本均值代替，σ用样本方差代替，X 为d 维的样本向量。通过高斯概率公式就可以得出类别C 属于正（负）样本的概率。

而混合高斯模型就是数据从多个高斯分布中产生，每个GMM 由k 个单高斯分布线性叠加而成。相当于对各个高斯分布进行加权，权系数越大，那么这个数据属于这个高斯分布的可能性越大。

(x)(k)*p(x |k)P p =∑

利用混合高斯模型(GMM)可以进行背景减除，将前后景分离，得到移动的目标。对每个像素点建立由k 个单高斯模型线性叠加而成的模型，在这些混合高斯背景模型中，认为像素之间的颜色信息互不相关，对各像素点的处理都是相互独立的。单个像素点在t 时刻服从混合高斯分布概率密度函数：

,,,1

(x )(x ,,)k

t i t t i t i t i p w ημτ==∑

其中k 为分布模式总数，

,,(x ,,)t i t i t ημτ为t 时刻第i 个高斯分布，,i t μ为其均值，,i t τ为其协方差矩阵。

在获得新一帧图像后更新混合高斯模型。用图像中的每个像素点与混合高斯模型匹配,如果成功则判定该点为背景点, 否则为前景点。当背景更新完成后，高

斯模型与背景相关程度越大，标准差就越小，权值越大。按照权值与标准差的比值从大到小进行排序，取前B 个模型作为背景。

1arg min b k k B w T =⎛⎫⎛⎫=> ⎪ ⎪⎝⎭⎝

⎭∑

1.2 卡尔曼滤波

卡尔曼滤波是一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法。其核心思想是，根据当前的测量值、上一时间的预测值以及误差，计算得到当前值，并可以持续预测下一时间的值。

试验中利用卡尔曼滤波计算并预测每个轨迹在下一帧中的位置，建立帧间轨迹的关系。卡尔曼滤波将跟踪分为5种状态：新目标出现、目标匹配、目标遮挡、目标分离以及目标消失。其状态方程如下所示:

(k 1)(k 1,)(k)(k)(k)[x(k),y(k),w(k),h(k),v(k)]

X A k X c X +=++= 其中x,y,w,h 分别表示目标外接矩形的横纵坐标以及长、宽，c(k),(k)v 为不相关的高斯白噪声。

定义其观测方程为(k)H(k)X(k)(k)Z v =+。

定义好了观测方程与状态方程之后就可以用卡尔曼滤波器实现运动目标的跟踪，步骤如下： 1）计算运动目标的特征信息（运动质心，以及外接矩形）。

2）用得到的特征信息初始化卡尔曼滤波器。

3）用卡尔曼滤波器对下一帧中对应的目标区域进行预测，当下一帧到来时，在预测区域内进行目标匹配。

4）如果匹配成功，则更新卡尔曼滤波器。

1.3 匈牙利匹配算法

匈牙利匹配算法是一种利用增广路径求取二分图最大匹配的算法。匈牙利树一般由宽度优先搜索（BFS ）构成。从一个未匹配点出发运行 BFS ，且必须走交替路，直至不能再扩展为止。交替路指的是，从一个未匹配点出发，依次经过非匹配边、匹配边...循环往复，形成的路径称为交替路。

示意图如图1所示：

图1 匈牙利树匹配

匈牙利算法的要点如下：

1）从左边第一个顶点开始，挑选未匹配点进行搜索，寻找增广路。

2）如果经过一个未匹配点，则寻找成功。更新路径信息，匹配变数+1，停

止搜索。

3）如果一直没有找到增广路，则不再从这个点开始搜索。

4）找到增广路之后需要沿着路径更新匹配，通过prev 数组来记录路径上的

点。

在实验中，用匈牙利算法将新一帧图片中检测到的运动物体匹配到对应的轨

迹。匹配的过程是通过最小化卡尔曼预测得到的质心与检测到的质心之间的欧氏

距离之和实现的。

通过卡尔曼滤波计算并预测每个轨迹在下一帧中的位置，然后计算预测的轨

迹位置和每个新检测到的目标之间的欧几里得距离，将度量结果作为损失函数矩

阵。损失矩阵的大小为（M,N），其中M是轨迹数目，N是检测到的运动物体数

目。

2 实验内容

2.1 目标检测

要实现目标检测，首先利用混合高斯模型区分前景背景。通过调用函数

vision.ForegroundDetector设置检测子为混合高斯模型，其中参数分别为高斯

核数目、训练背景帧数以及背景阈值。函数的返回值为一个二进制掩码，其中1

的像素值对应前景，0的像素值对应背景。在实验中，选取前150帧图像作为背

景帧，并设置阈值为0.6，高斯核数目为3。

完成背景减除后，通过设置blob分析子来寻找连通域，函数设置的参数为最

小区域面积，返回值为目标面积、质心和边界框。实验中，设置最小区域面积为400，代码如下所示：

obj.detector = vision.ForegroundDetector('NumGaussians', 3, ...

'NumTrainingFrames', 150, 'MinimumBackgroundRatio', 0.6);

obj.blobAnalyser = vision.BlobAnalysis('BoundingBoxOutputPort', true,'AreaOutputPort', true, 'CentroidOutputPort', true,

'MinimumBlobArea', 400);

完成混合高斯混合模型以及blob分析子后，逐帧读取视频，为后续目标检

测以及追踪的过程做准备：

frame = obj.reader.step();