图像处理算法5_目标跟踪及遮挡处理算法

基于粒子滤波算法的目标跟踪及遮挡处理算法
1.1引言
对运动目标物的跟踪也是视觉监控系统中的基础算法之一。

目标跟踪的任务是通过对图像序列的处理，准确估计出感兴趣目标物在每个时刻的运动参数，包括位置、大小、速度、加速度以及运动轨迹等，为行为理解等更高层的任务打下基础。

本章首先概述目标跟踪算法的基本步骤和难点，并对现有算法作分类简介；然后对实现鲁棒跟踪所必需的工具——在线贝叶斯估计算法作详细介绍；在此基础上详细论述本文使用的跟踪方法，该方法将已有的多种先进算法有机结合，使计算量显著降低，鲁棒性增强；最后对提出的算法进行总结和分析。

1.2 目标跟踪算法概述
目标跟踪算法主要由两个部分组成：（1）目标物表示；（2）运动状态估计。

下面对它们分别介绍。

1.2.1目标物表示
目标物表示的核心在于特征的选择和提取，即用什么特征来描述和表示感兴趣目标物。

一个好的目标物表示方法应该能够将被跟踪的目标物和背景中的物体以及其它物体区别开来，这正是目标物表示的难点所在。

运动目标物所在的环境通常是很杂乱的，其中存在许多与目标物有相似特征的物体。

例如：房间内的窗帘、家具等往往与人的皮肤颜色相近；当监控视野中存在多个行人的时候，跟踪器容易将目标行人与其他行人相混淆。

下面介绍几种常用的特征。

1.2.1.1颜色特征
颜色是人类辨识物体的重要特征，也是视觉跟踪中最常用的特征之一。

颜色特征通常是在一块区域中提取出来的，因此它具有对目标平面旋转、非刚性形变、远离或靠近镜头的尺度变化以及部分遮挡等情形较为鲁棒的优点。

另外，由于图像直接由一个个像素的颜色值所表示，因此颜色特征还具有容易提取、计算简单的优点。

最常用的颜色特征是颜色直方图。

Comaniciu等人提出了基于颜色直方图的跟踪算法[1][2]。

在他们的方法中，颜色直方图受到了核函数的空间加权。

这样区域内中心附近的像素对颜色直方图有更大的贡献，使跟踪更加精确，因为区域边
缘的像素可能来自背景或其它物体，其可信度较低。

具体的操作流程主要包括：（1）将目标物初始时刻的颜色直方图保存起来作为模型，并在后面的跟踪过程中作增量平均式更新。

（2）以上一帧中估计出的目标物所在位置为初始候选区域，计算颜色直方图，并计算它与模型直方图的Bhattacharrya系数，Bhattacharrya 系数越大，说明二者的相似度越高。

（3）使用均值位移（Mean Shift）算法迭代式地移动候选区域的位置，最终在Bhattacharrya系数关于位置坐标的一个局部最大值处收敛，该位置即当前帧的估计值。

该方法计算简单，跟踪效果较好，最大的优点是可以跟踪非刚性目标物。

但是该方法求得的是一个局部最优解，在一些场景中不够精确。

尤其是当目标物的运动速率较快以至它在前后两帧中的位置之差大于目标物本身的尺寸时，以及目标物被严重遮挡时，该方法将会失效。

为了克服Comaniciu方法的缺点，K.Nummiaro等人将颜色直方图融入粒子滤波器（Particel Filter）的框架中[3]，P. Pérez等人也提出了类似的方法[4]。

上面提到的均值位移和粒子滤波器两种算法将分别在本文的后续章节中中介绍。

颜色特征除了用直方图来表达之外，还可以用连续密度函数来表达。

McKenna等人提出用混合高斯模型来描述目标物的颜色分布[5]。

该模型可由期望最大化（Expectation-Maximization）算法进行初始化，在跟踪过程中用在线期望最大化方法进行更新。

由于混合高斯模型的组件数目有限且固定，有时不能精确地描述目标物的颜色分布。

为此，Bohyung[6]提出序列核密度近似（Sequential Kernel Density Approximation，SKDA）算法。

该方法充分利用了高斯函数的平滑性以及良好的导数性质，用数目可灵活变动的高斯函数的加权和来近似颜色的密度函数。

其中每个高斯函数的均值对应密度函数的一个局部峰值，该峰值由均值位移算法求得。

每个高斯函数的协方差矩阵则通过对峰值处的曲率拟合来估计。

当不同高斯函数的均值可由均值位移算法收敛到同一个峰值处时，这些高斯函数可以由一个高斯函数来近似，因此当观测样本越来越多时，高斯函数的数目不会无限地增多。

序列核密度近似算法对颜色分布的描述非常精确，但计算量大是它的一个缺点。

1.2.1.2 轮廓特征
轮廓特征是对物体形状的描述，和颜色特征一样，也是人眼辨识物体的重要依据。

轮廓特征具有不受光照变化影响、可表示外形复杂的物体等优点。

Isard将轮廓特征与概率方法结合起来，实现了对任意形状的目标物的跟踪，也由此奠定了用概率方法进行视觉跟踪的基础框架[7-9]。

他们描述物体轮廓的工具是B样条曲线。

B样条曲线可以表示成一系列控制点坐标对相应B样条基函数的加权和，因此可由这些控制点的坐标值构成的向量—控制点向量来表示。

控
制点向量构成的空间称为样条空间。

对于具有复杂几何形状的目标，样条空间的维数很高，如果对其变化不加任何限制，则难以表达跟踪目标。

为此，首先建立好目标物的控制点向量模板，再将目标物的运动限定为平移、尺度变化、平面旋转等几种有限的形式，就可获得样条空间的一个子空间，称为形状空间。

形状空间的维数比样条空间低得多，因此可将其中的每一个向量线性映射为一个低维的形状向量来表示，这样可使轮廓跟踪的性能更稳定，计算量也大大减小。

1.2.1.3其它特征
颜色和轮廓可以说是两种最常用的特征。

除此之外，还存在其它的一些特征，例如光流[10]和局部二元图[11]。

光流是一种有效的特征，其缺点是计算量大，难以满足实时性要求。

局部二元图是对图像纹理的一种有效表示，相比于颜色特征，具有光照不变性的优点。

1.2.2 运动状态估计
目标跟踪过程中需要处理一些复杂的情形，例如：目标物经历较大的外形变化，目标物被其他物体暂时遮挡，跟踪丢失后需要重新恢复等，因此要求运动状态估计方法有较好的鲁棒性。

此外，由于监控系统的实时性要求，对计算量有严格的限制，这也对运动状态估计算法提出了挑战。

确定性跟踪方法本质上是一个优化问题。

这种方法的思想是：首先通过手动或目标检测获得目标模板，建立代价函数（Cost Function）来表达目标候选位置和目标模板的相似程度，然后利用最优化方法找到代价函数的最大值，认为最大值对应的位置就是目标在图像序列中的位置。

基于均值位移（Mean Shift）算法的跟踪方法是确定性跟踪方法的典型代表[1][2]。

均值位移跟踪方法简单有效，在一些跟踪场景取得了较满意的跟踪效果。

但其缺点在于没有利用图像数据以外的先验信息，不能跟踪快速运动的物体，不能很好地处理遮挡问题。

概率跟踪方法将目标跟踪转换为在贝叶斯滤波框架下推理目标状态（如位置、速度）后验概率密度的过程。

首先选择状态变量，通过状态转移方程进行预测，然后利用最新观测值对预测作出修正。

当过程噪声和观测噪声都是高斯分布且状态转移方程和观测方程是线性的，常规的卡尔曼滤波（Kalman Filter）能给出最优解[12]；当状态方程和观测方程是非线性函数时，扩展卡尔曼滤波（Extended Kalman Filter）或者无迹卡尔曼滤波（Unscented Kalman Filter）[13,14]能近似求解后验概率。

如果状态空间是由有限的离散值组成，隐马尔科夫模型（HMM）[15]可以实现跟踪。

但是在实际场景中，状态方程和观测方程往往都是非线性的，同时噪声也是非高斯的，而且状态分布是多模态的，在这种情况下，常常利用近似方法求解后验概率密度，一个很好的方法就是粒子
滤波器。

粒子滤波器不需要线性、高斯、单模态假设，特别适用于图像跟踪领域，已经成为图像跟踪的研究热点。

本文所提出的视觉跟踪方法的主体框架也是粒子滤波器，本文将对包括粒子滤波器在内的贝叶斯估计理论在下节中作详细的介绍。

1.2.2.1 贝叶斯递归状态估计
在视频跟踪方法中，跟踪问题可以看成是在线的贝叶斯估计问题，其基础为运动模型和观测模型，可用以下两个方程来描述：
()11,k k k k x f x v --= （4-1）
(),k k k k z h x n = （4-2）
式中，:x v x n n n k f R R R ⨯→和:x n z n n n k h R R R ⨯→可分别为非线性函数，k v 和
k n 分别为过程噪声和观测噪声，且相互独立。

x n 和v n 分别为状态向量和过程噪
声向量的维数，z n 和n n 分别为观测向量和观测噪声向量的维数。

从贝叶斯估计角度来看，跟踪问题就是从所有的历史观测数据{}1:1,
,k k z z z =中推理出k 时刻
状态k x 的值，即：估计()1:|k k p x z 。

状态变量可以包含目标物在图像中的位置、大小及运动速度等分量。

假设状态变量初始概率密度函数()0p x 作为先验知识已知，那么()1:|k k p x z 可以通过下面两式递推得到：
()()()1:1111:11|||t k k k k k k p x z p x x p x z dx -----=⎰ （4-3）
()()()
()
1:11:1:1||||k k k k k k k k p z x p x z p x z p z z --=
（4-4）
式中，()1|k k p x x -由目标的运动状态方程，即式（4-4）定义，()|t t p z x 由目标的观测方程，即式（4-2）定义，()1:1|k k p z z -为归一化常数，具有如下形式：
()()()1:11:1|||k k k k k k k p z z p z x p x z dx --=⎰ （4-5）
以上过程可以用图4-1中的概率图模型来描述，图中k x 和,1,2,k z k =分别
为第k 时刻的目标状态和观测。

图0-1 贝叶斯跟踪图模型
在得到
()1:|t t p x z 之后，
可以计算出最小均方意义下的最优估计和估计方差：
()1:|t t t t t x x p x z dx =⎰ （4-6）
()()
()()
()1:|T
T
t
t
t t
t t
t
t
t t t E x x x x x x
x x p x z dx ⎛⎫--=-- ⎪⎝
⎭
⎰ （4-7）
式（4-3）和式（4-4）构成了最优贝叶斯估计的基础，分别称之为预测和更新方程。

由于在计算此二式时，存在高维积分运算，因此实际中很难解出状态最佳估计的解析形式，利用（4-3）和式（4-4）得到的状态解仅仅是概念上的，在实际中，必须利用一些数学工具来近似求解。

1.2.2.2 重要性采样
重要性采样是一种普适的蒙特卡洛积分方法。

但是，上述最简单的表示形式还不能在迭代估计中使用，因为在估计后验密度函数()0:1:|k k p x z 之前，必需保存好所有的历史数据1:k z ；又因为在每个新的时刻，获得一个新的观测数据1k z +后，必须对状态的历史轨迹0:k x 重新仿真以计算新的重要性权值，这样计算量将随时间的推移而无限增长。

从前一小节可知，后验概率密度可以由来自该密度的独立同分布粒子近似，粒子数越多，近似的后验密度就越逼近真实后验密度。

然而遗憾的是，往往不可能直接从后验密度采样粒子，需要引入一个已知的、易于采样的概率密度
()0:1:|k k q x z 并从中采样粒子，这个概率密度称为重要性采样分布，或建议分布。

()0:k f x 关于后验密度的条件期望可表示为：
()()()()()()()0:1:0:0:0:1:0:0:|0:0:1:0:||t t
k
k
k
k
k
k
p x z k
k
k
k
f x x q x z dx E f x x q x z dx
ωω⎡⎤=
⎣⎦⎰
⎰ （4-8）
其中()0:k ωx 被称为重要性权重：
()()
()
0:1:0:0:1:||k k k k k p x z x q x z ω= （4-9）
接下来，如果能够根据()0:1:|k k q x z 采样产生N 个独立同分布的粒子
0:{,1
,,}i
k x k N =，那么。

()0:k f x 关于后验密度的条件期望的蒙特卡洛近似为： ()()
()()
()
()0:1:0:0:1|0:0:1
0:111t t N
i i
N
k k i i i
p x z k k k N
i
i k i E N f x x f x f x N x ωωω===⎡⎤⎣⎦
==∑∑∑（4-10） 其中i
k ω为归一化重要性权重：
()
()
0:0:1i
k i
k N
i
k
i x x ωωω==
∑ （4-11）
为方便起见，以后直接用i
k ω表示归一化重要性权重。

对于N 个有限数目的粒子，式（4-10）是有偏估计（两个估计值之比），但仍然是渐进收敛的[16]，即
()()()()0:1:0:1:..
|0:0:|t t t t a s p x z k k p x z N E f x E f x →∞⎡⎤⎡⎤−−−→⎣⎦⎣⎦ （4-12）
显然，式（4-10）可看作是直接由蒙特卡洛方法得到的，即后验概率密度可近似为：
()()0:1:0:0:1
1ˆ|N i i
k k k k k i p x z x x N ωδ=≈-∑ （4-13）
重要性采样是一种普适的蒙特卡洛积分方法。

但是，上述最简单的表示形式还不能在迭代估计中使用，因为在估计后验密度函数()0:1:|k k p x z 之前，必需保
存好所有的历史数据1:k z ；又因为在每个新的时刻，获得一个新的观测数据1k z +后，必须对状态的历史轨迹0:k x 重新仿真以计算新的重要性权值，这样计算量将随时间的推移而无限增长。

1.2.2.3 序贯重要性采样
如果修改采样方法，使得无需改变上一时刻已经仿真好的状态轨迹样本
0:1{,1
,,}i
k x i N -=，就能计算后验密度函数()0:1:|k k p x z 的估计()0:1:ˆ|k k p x z ，那么就意味着k 时刻的重要性函数()0:1:|k k q x z 的边缘分布即是1k -时刻的重要性函数()0:11:1|k k q --x z ，即
()()()0:1:0:11:10:11:|||,k k k k k k k q x z q x z q x x z ---= （4-14）
进一步可得
()()()0:1:00:11:1
||,k
k k t t t t q x z q x q x x z -==∏ （4-15）
容易看出这样的重要性函数可以迭代计算重要性权重：
()()
()
11
0:1
1:|||,i
i i k k k k i i k k i
i k
k k p z x p x x q x x
z ωω---∝ （4-16）
进一步，如果()()
0:11:1|,|,i i i i k k k k k k q x x z q x x z --=，那么重要性函数只依赖于
1k x -和k z 。

这个假设非常有用，因为通常情况下，只需估计后验分布()
0:1:|k k p x z 的边缘分布()1:|k k p x z 。

今后，本文将这种情况视为默认情况。

那么，只需保存
样本i
k x 而将轨迹样本0:1i k x -和历史观测数据1:1k z -舍弃，则重要性权重递推公式变
为
()()
()
11
1
|||,i
i i k k k k i i k k i
i k
k k p z x p x x q x x z ωω---∝ （4-17）
且后验密度()1:|k k p x z 可估计为
()()1:1ˆ|N
i i
k k k k k i p x z x x ωδ==-∑ （4-18）
因此只要选择合适的建议分布，就可以根据式（4-17）迭代计算粒子重要性权重，这就是序贯重要性采样算法。

序贯重要性采样算法中有一个重要的特殊情况是直接用转移概率密度函数作为重要性函数：
()()11|,|i i
k k k k k q x x z p x x --= （4-19）
将式（4-19）代入式（4-17），得到
()1|i i i
k k k k p z x ωω-∝ （4-20）
这是最常用的一种重要性函数，因为这种情况下的计算最容易。

1.2.2.4 重采样
序贯重要性算法有一个致命的缺陷，经过若干次递推后，除了少数粒子外，其余粒子的权值可忽略不计，从而使得大量计算浪费在几乎不起任何作用的粒子更新上，甚至最后只剩下一个权值很大（几乎接近1）的有效粒子，而其他粒子的权值几乎为零。

这就是粒子退化问题，当退化现象发生时，粒子集不能有效地表达后验概率密度。

为了避免这个问题，可以采用重采样（Re-Sampling ）策略。

重采样的核心思想是繁殖加权大的粒子，淘汰加权小的粒子。

重采样算法从已有的粒子集1{}i N k i =x 中采样
N 次，产生一个新的粒子集1{}i N k i *=x ，每次采样服从离散分布
()Pr ,,1,
,i j j k k k x x i j N ω*
=== （4-21）
因此重采样的输出1{}i N
k i x *=实际上是多项分布()1;,,N M N ωω的一个样本，
当然新粒子集1{}i N
k i x *=中极可能存在相同的粒子。

经过重采样后，每个粒子的权重相等，即1i k N ω=。

重采样的一种常用的具体实现算法如表4-1所示。

表4-1 粒子重采样算法
1）初始化累积概率：1
0c =
（2）依次计算从2到N 的累积概率： FOR 2:i N = 计算累积概率：1i i i k
c c ω-=+ END FOR
（3）初始化待选粒子在旧粒子集1{}i N
k i x =中的序号 （4）由均匀分布1
[0,]U N -生成一个随机样本：11~[0,]u U N -
（5）重采样：
FOR
1:j N =
按累积概率递增：11(1)j u u N j -=+-
WHILE
j i u c >
1i i =+ END WHILE 分配粒子：j i k
k
x x *= 分配权重：1j
k N ω-=
END FOR
1.2.2.5粒子滤波算法
前面各部分讨论了序贯重要性采样算法以及粒子重采样算法，本节给出粒子滤波的完整算法，如表4-2所示。

表4-2 粒子滤波算法
（1）初始化：
0k =，根据先验分布()0p x ，采样初始粒子集()010{}~i N
i x p x =。

（2）FOR
1,2,
k =
a) 重要性采样：从建议分布采样粒子集()1~|,i
i
k
k k t x q x x z -。

b) 重要性加权：根据式（4-17）计算重要性权重1{}i N
k i ω=，且对它们归一化。

c) 最小均方误差估计：
1N
i i
k k k i x x ω==∑
d) 重采样：按照表4-1所示重采样算法得到新粒子集1{,1}j N k
j x N *
=
图4-2展示了粒子滤波的一个实例。

首先，在1t -时刻，滤波器已经由重
要性采样获得了粒子集()
1
1{,}i t x N --，它是先验分布()11:2|t t p x z --的近似表示。

接
着计算粒子集的重要性加权，获得()
11{,}i
i t t x w --，它是后验分布()11:1|t t p x z --的近
似表示。

然后通过重采样获得()
11{,}i t x N --，它也是后验分布()11:1|t t x p z --的近似表示。

此时，1t -时刻的流程已全部走完。

来到t 时刻，再通过重要性采样获得
()
1{,}i t x N -，接下来的流程就和图中1t -时刻开始时一样了。

图4-2 粒子滤波示意图
粒子滤波器是一种强大的目标跟踪方法，它最大的优点就在于不受具体分布的限制，适用于任何非线性、非高斯条件下的目标跟踪。

在很多情况下视觉跟踪的观测模型都是非线性的，有时甚至无法显式地写出观测方程，在这种情况下运动状态估计的问题更像是一个搜索问题，但即使在这种情况下粒子滤波器也能派上用场。

Isard 等人提出的条件概率密度传递[9]（Conditional Density Propagation ， CONDENSATION ）就是标准粒子滤波器的一个变体，随后该方法在视觉跟踪领域得到了广泛的应用和研究。

尽管如此，粒子滤波器也存在不少缺点，除了前面提到的粒子退化问题，另一个比较明显的缺点是维度问题。

由于粒子滤波器的核心思想在于利用一个随机样本及其相应的重要性权重来近似密度函数，因此如果粒子的数量不够多，就不能精确地近似密度函数。

随着状态变量维度的增加，所需的粒子数量呈指数增长趋势。

粒子数越大，计算量也越大，这就给实时跟踪增加了难度。

事实上，序贯蒙特卡洛方法正是随着计算和存储设备性能的提高才得到了足够的重视，进而得到长足的发展和越来越广泛的应用。

1.3使用多特征融合的粒子滤波器的视觉跟踪
通过前几节的分析，可知视觉跟踪方法主要由目标物表示和运动状态估计方法两部分组成。

本文分别对这两部分提出改进的算法。

目标物表示的关键在于特征的选择和提取，各种特征都存在固有的优缺点，为了实现鲁棒的目标跟踪，本文将颜色和形状特征结合起来共同表示运动目标物。

在运动状态估计方面，粒子滤波器凭借其优良的性能和通用性已成为视觉跟踪领域的研究热点，然而其计算量大的缺点对实时跟踪提出了很大的挑战。

为了克服这一困难，本文将粒子滤波器与均值位移算法相结合，并根据多特征融合的方法对标准均值位移算法作了修改。

在每次求取重要性权重之前，均值位移操作被独立地施加在每个粒子上面，使得粒子更加靠近后验密度函数的局部最大值处，因而能够更加有效地近似后验密度函数，相比于传统方法，所需粒子数显著下降，大大减轻了计算负担。

另外，由于所用的均值位移操作依赖于颜色特征，而颜色特征在跟踪过程中由于目标物外形的变化很可能失效，因此本文根据颜色特征的可靠度来限制均值位移算法的迭代次数，防止粒子受到误导，而且进一步减少了计算量，还有助于保持粒子多样性。

下面对本文所使用的视觉跟踪方法作详细论述。

1.3.1运动模型
本文使用的跟踪方法主要用于跟踪人的头部，因此将目标物建模为一个直立的椭圆。

状态变量表示为
{},,,x y x x y h h = （4-22）
其中(),x y 表示目标物的中心位置，x h 和y h 分别表示当前时刻椭圆的横半轴和纵半轴相对于固定半轴长0x H 和0y H 的比值，0x H 和0y H 分别为初始跟踪时刻的半轴长度。

用随机游走（Random Walk ）模型对目标物的运动状态建模：
11t t t x x v --=+ （4-23）
其中1t v -是一个多维零均值高斯噪声，假设其各分量相互独立，协方差矩阵为
()
2222diag ,,,x y v x y h h Q σσσσ= （4-24） 本文使用的运动模型是零阶模型，没有引入目标物的速度以及横竖半轴的变化速度。

这主要是基于两个方面的考虑：一是为了使计算量尽量小，避免粒子滤波器使用大量粒子在高维空间近似密度函数；二是为了使粒子滤波器能够捕捉到不规则的运动，因而使用了随机游走模型。

1.3.2观测模型
本节阐述本文所使用的具体观测模型——颜色特征和边缘特征的融合模型。

其中颜色特征和边缘特征分别在4.3.2.1节和4.3.2.2节中介绍，然后在4.3.3中介绍二者的融合算法。

1.3.
2.1颜色观测模型
最常用的颜色特征是颜色直方图，因为它具有计算简单、不受物体尺度变化影响、可用于描述非刚性物体以及对部分遮挡情形具有鲁棒性等优点。

本文使用的颜色特征是受到核函数空间加权的颜色直方图[1,3]，首先为目标物建立一个颜色直方图模型，并用归一化直方图1,
,{}u u m q q ==来表示它，其中m 是直方图的格子数目。

令1,,{}i i n x *=表示目标物每个像素相对于它的中心的位置向量，且该向量的横坐标和纵坐标分别受到当前时刻的横半轴x H 和纵半轴y H 的归一化。

模型直方图按下式进行计算： ()()21n u i i i q C k x b x u δ*
*=⎡⎤=-⎣⎦∑ （4-25）
其中()
i b x *表示i x *处的颜色向量在直方图q 里的格子序号，()k x 是核函数()K x 的轮廓函数，C 是归一化常数： ()2
11n i
i C k x *==∑ （4-26） 在跟踪过程中，需要将候选区域的颜色直方图与模型直方图进行比较。

候选区域的颜色直方图的计算方法与模型直方图相似。

用()p y *表示中心位于y *处的候选区域内的颜色直方图，注意此处y *的横纵坐标也分别受到x H 和y H 的归一化，则()
p y *的计算方法为
()()()21n u i i i p y C k y x b x u δ***
*=⎡⎤=--⎣⎦∑ （4-27）
目标物的模型直方图与候选区域的直方图之间的相似度由二者的Bhattacharyya 系数给出：
()
,m
u q p y ρ*
=⎡⎤⎣⎦= （4-28） 再定义二者的距离为
(
)*,d q p y ⎡⎤=⎣⎦ （4-29） 用Bhattacharyya 系数定义的距离有诸多好处。

首先它满足三角不等式，且具有非常直观的几何意义：它是两个m 维单
位向量T )m
p 与T )m q 的夹角的余弦值，这里p 和
q 为概率分布的本质也由单位向量体现出来了。

另一方面，式(4-28)可以解释为向量T )m
p 与T )m q 之间的相关函数。

假设候选区域的直方图与模型直方图之间的Bhattacharyya 距离呈零均值高斯分布（当候选区域即是目标物时距离为0），则可定义颜色似然函数为：
()()22,|2c c c d q p y p z x σ*⎡⎤⎡⎤⎣
⎦⎢⎥=-⎢⎥⎣⎦
（4-30） 其中2c σ为高斯分布的方差。

1.3.
2.2形状观测模型
在跟踪的过程中，目标物的颜色特征可能发生突然的变化，比如人突然转身的情形，此时候选区域的颜色直方图将与模型直方图极不匹配，但目标物的形状却通常不会发生这么剧烈的变化。

而且形状特征不受光照变化的影响。

因此形状观测模型可以弥补颜色模型的一些不足。

下面介绍本文使用的形状观测模型。

假设被跟踪的物体呈椭圆形，那么其形状信息可由边缘处的亮度梯度来表示，定义形状特征为椭圆边缘的梯度平均值[17]：
()()1
1,s N i i i s G y g x y N ==∑ （4-31） 其中y 是候选区域的中心坐标向量，(),i i g x y 是椭圆边缘上(),i i x y 处的梯度，s N 是椭圆边缘上的像素总个数。

通常情况下椭圆不能精确地描述目标物的轮廓。

Xu 等人提出了一种改进的基于梯度的建模方法[18]。

在椭圆边缘(),i i x y 处，沿着一条过该点且垂直于椭圆切线的线段搜索梯度最大的点，并用该点处的梯度替换式(4-31)中椭圆边缘上的梯度(),i i g x y ，如下式所示：
()()(),,m a x ,n n n
i i n n x y L g x y g x y ∈⎡⎤=⎣⎦ （4-32） 其中n L 表示垂直于椭圆切线，且中心在(),i i x y 处的线段。

与颜色观测模型相似，定义形状似然函数为
(
)()221|2s g p z x G x σ⎡⎤=-⎢⎥⎢⎥⎣⎦ （4-33） 其中2g σ为方差。

1.3.3 特征融合算法
将来自多个模态、特征或传感器的信息融合在一起是视觉系统中的经常会遇到的问题，融合策略用自适应和自组织的方式将这些不同的信息融合到同一个结果中，而且根据单个信息与最终结果的一致程度对不同信息赋以不同的权重，因此那些与最近的结果不相符的信息将被抑制，反之，与结果非常一致的信息将得到较大的权重。

Shen [19]等人将融合策略应用于基于粒子滤波器的多特征融合，在一些场景中起到了很好的效果。

前面的章节中已经分析了颜色特征和形状特征各自的优缺点，如果将二者结合，可以实现优势互补，使目标跟踪更具鲁棒性。

颜色特征和形状特征的融合体现为最终的似然函数是二者各自似然函数的加权乘积：
()()()12
|||c s p z x p z x p z x αα⎡⎤⎡⎤=⎣⎦⎣⎦ (4-34) 其中，1α和2α被分别定义为颜色特征和形状特征的可靠度，它们满足。