视觉跟踪

三、与均值移位（Mean-Shift)视觉跟踪算法对比
在稳健性方面：复杂场景下，粒子滤波有显著优势
在实时性方面：均值移位的梯度下降搜索有优势
基于粒子滤波的视觉跟踪算法性能探讨
一、基于粒子滤波视觉跟踪算法的稳健性探讨
在粒子滤波理论框架下，影响视觉跟踪稳健性因素主要有： 1.状态转移模型的精确性 ；2.采样策略的有效性 ；3.视觉特征的区分性 和稳定性 1.状态转移模型的精确性 视觉目标的状态转移可以和状态采样统一起来，状态转移模型的精确性 可以部分地归结于采样策略的有效性问题 2.采样策略的有效性 从定性上来说，如果采样策略应使得新采样的粒子更具有代表性，那么 该采样策略就是有效的
颜色特征的区分能力分析 在不同场景下，不同视觉特征（颜色、形状、纹理、运动 等） 有着不同的区分性，且有着不同的稳健性
基于粒子滤波的视觉跟踪算法性能探讨
二、基于粒子滤波视觉跟踪稳健性提高途径
1.针对采样策略的有效性 通过提高采样策略的有效性，实现视觉跟踪稳健性提高 讨论范畴为：单特征、单目标视觉跟踪
概率化，两个条件独立假设 实现目标跟踪的贝叶斯状 态估计描述
贝叶斯状态估计意义下的视觉跟踪定义
三、贝叶斯状态估计意义下的视觉跟踪定义
1. 界定何谓“视觉跟踪”
2. 在贝叶斯状态估计理论框架下描述视觉跟踪
四、该视觉跟踪定义下的研究着眼点
在该视觉跟踪定义下，根据视觉目标状态 将视觉跟踪分为： 单特征、单目 标视觉跟踪
单特征、单目标视觉跟踪稳健性提高
卡尔曼预测采样的采样粒子分布
三、基于MCMC采样粒子滤波视觉跟踪
动机：对于重要性采样策略，“退化”现象和“样贫”问题仍是降低其采 样性能的且很难避免的因素。MCMC采样能避免“退化”现象和“样品”问题， 是非常有效的采样策略 提高视觉跟踪稳健性 MCMC采样的核心：在状态空间上构造不变分布为状态后验分布 p X k Z1:k 的马尔科夫链，蒙特卡罗模拟通过该马尔科夫链转移实现。
多视觉特征融合跟踪
2.基于粒子滤波理论框架的多视觉特征融合跟踪
在粒子滤波理论框架下，多视觉特征融合跟踪的实现途径有两种：
多视觉特征合成观测概率融合：通过直接求解多视觉特征的合成观测
概率，实现多视觉特征下的采样粒子概率加权 i i
结论：在复杂场景中，单视觉特征的区分性是动态变化的，很难具有长期 的稳定区分性，采用单视觉特征的视觉跟踪性能会随着视觉特征的区分能力下 降而下降。
视觉目标的视觉特征是冗余的，且一些视觉特征是互补的，也就是说在视 觉目标运动过程中，虽然在某时间段某个视觉特征的区分性下降，但总会有一 个或几个具有较稳定区分能力的视觉特征用于描述视觉目标。因此，在复杂场 景下，多视觉特征融合跟踪是改善视觉跟踪性能的有效途径
复杂场景下， 视觉跟踪往往 是非高斯、非 线性的
X 和视觉观测 Z 的不同特性，
多视觉目 标跟踪
多视觉特征 融合跟踪
粒子滤波理论框架构建其算法框架
基于粒子滤波的视觉跟踪基本理论框架
一、基于粒子滤波的视觉跟踪算法应包含的三个基本步骤
1.视觉目标状态采样与转移 2.状态样本（粒子）加权
3.状态估计输出
多视觉特征融合跟踪
3.纹理特征
统计描述：差平方和（SSD）方法 优势：1）描述方法简单，易于执行；
2）通过仿射变换，该方法能减弱视觉目标的尺度变化、旋转对跟踪性能的
影响 不足：1）对于平滑、均匀的视觉目标描述能力较差； 2）视觉目标的遮挡和剧烈旋转变化将严重影响算法性能； 3）抗干扰能力差。
4.运动特征
基于贝叶斯滤波的视觉跟踪理论
贝叶斯状态估计与粒子滤波
★ ★ ★ ★ 贝叶斯状态估计 卡尔曼系滤波 粒子滤波 粒子滤波采样策略
基于粒子滤波的视觉跟踪理论框架 及单特征、单目标视觉跟踪
★ ★ ★ ★ ★ 视觉跟踪定义 基于粒子滤波视觉跟踪基本理论框架 基于标准粒子滤波视觉跟踪 基于粒子滤波的视觉跟踪性能分析 单特征、单目标视觉跟踪稳健性提高
卡尔曼系滤波 粒子滤波
卡尔曼系滤波器
卡尔曼系滤波器
经典卡尔曼滤波器 扩展卡尔曼滤波器 Unscented卡尔曼滤波器
高斯、线性情况下 的最优滤波
高斯、非线性情况 下的局部次优滤波
高斯、非线性情况 下的渐近最优滤波
核心：局部线性化
核心：Unscented变换
粒子滤波
一、粒子滤波机理
解决非高斯、非线性贝叶斯递推滤波问题，其本质：以Monte Carlo随机 模拟理论为基础，将状态后验分布用一组加权随机样本（称为粒子）近似表 示，新的状态分布通过这些随机样本的贝叶斯递推估计 核心理论：1. Monte Carlo随机模拟理论；2. 贝叶斯状态滤波
MCMC采样关键：接受概率计算：
w X pa X, X min 1, w X



视觉跟踪实验结论：与基于标准粒子滤波视觉跟踪算法相比，在稳健性 方面有显著提高
多视觉特征融合跟踪
一、问题提出
评价视觉特征的特性指标：区分性和稳定性 复杂场景下，各视觉特征的区分性是时变的，是不稳定 对于视觉跟踪，视觉特征是冗余的，且一些视觉特征对场景的动态变化又 是互补的 单一视觉特征的跟踪稳健性较差 多视觉特征融合跟踪
红外目标跟踪
★ 基于粒子滤波的单红外目标跟踪 ♪ 基于标准粒子滤波的红外目标跟踪 ♪ 基于EKF预测采样粒子滤波的红外 目标跟踪 ★ 其它两方面视觉跟踪的应用探讨
贝叶斯状态估计
一、最优估计与估计准则
1.最小二乘估计；2.极大似然估计；3.贝叶斯估计
二、贝叶斯意义下的状态估计
贝叶斯滤波的两个过程： 1.预测过程 2.更新过程
基于标准粒子滤波的视觉跟踪及实验对比
一、动机
标准粒子滤波是经典的粒子滤波算法 单特征、单目标视觉跟踪
说明基于粒子滤波的视觉跟 踪的优越性和前景
二、基于标准粒子滤波的视觉跟踪实现
1.视觉目标状态采样与转移： p X k X k 1 2.采用核（kernel）概率密度估计方法实现颜色特征的统计描述 3.用颜色概率分布直接加权采样粒子
算法
贝叶斯状态估计意义下的视觉跟踪定义
一、问题提出
视觉跟踪的本质就是在视频序列中递推估计感兴趣的具有某种显著图像 特征（比如颜色、形状、纹理、运动等）的目标位置。
视觉跟踪问题可视为一种递推的状态估计问题 （论文构建的基础）
二、目标跟踪定义
一般信号处理领域（特别在雷达信号处理领域），在状态空间意义下目 标跟踪问题的定义


单特征、单目标视觉跟踪稳健性提高
MCMC采样方法：Metropolis-Hastings（M-H）算法 实现途径：Random-Walk Metropolis （RWM）算法 Metropolis Independent Sampler （MIS）算法 MIS算法是一种简单有效且易于实现的M-H算法
2）采样建议分布：EKF预测的重要性建议分布
3）视觉特征及其统计描述：颜色特征、基于核的概率密度估计 视觉跟踪实验结论：与基于标准粒子滤波的视觉跟踪算法相比，在稳健性方面有 显著提高（在较少采样粒子下）
2.基于UKF预测采样粒子滤波的视觉跟踪
算法构建：
采样建议分布：UKF预测的重要性建议分布
（其它与EKF预测采样同） 视觉跟踪实验结论：与基于标准粒子滤波的视觉跟踪和基于EKF预测采样粒子滤 波的视觉跟踪相比，在稳健性方面有显著提高（在较少采样粒子下）；而实时性较差
2.针对视觉特征的区分性和稳定性 复杂场景下，各视觉特征的区分性和稳定性都是不同的，单一的视觉特征 很难实现稳健的视觉跟踪 讨论范畴为：多视觉特征融合跟踪
基于粒子滤波的视觉跟踪算法性能探讨
三、基于粒子滤波视觉跟踪算法的实时性探讨
一般地，粒子滤波算法的计算复杂度与采样粒子数成线性关系。若采样粒 子数较少，则算法的实时性较高（减少采样粒子数将会影响到跟踪的稳健性）
从定量上来说，两种采样策略针对同一个估计问题，如果两个粒子集的 重要性权值方差满足：
var w1
那么，第一种采样策略更有效
var w
i i
2
基于粒子滤波的视觉跟踪算法性能探讨
3.视觉特征的区分性和稳定性：
视觉特征的区分性是指该视觉特征能否具有显著区分被跟踪视觉目标与背景、被 跟踪视觉目标与其它相似视觉目标的能力 视觉特征的稳定性是指该视觉特征能否在整个跟踪过程中都保持较好的区分性
统计描述：基于活动轮廓思想的轮廓离散观测概率
优势：在视觉目标跟踪中能获得视觉目标轮廓 不足：1）需确定视觉目标的先验形状模型，要求对视觉目标有充分的先 验知识； 2）若要获得比较精确的视觉目标轮廓，则需高维的状态变量，增 加了视觉跟踪的计算复杂度； 3）易受图像杂波干扰，在较杂乱的场景中稳健性较低； 4）一些参数需要通过特定的训练图像序列学习，算法适用较差。
二、标准粒子滤波
ቤተ መጻሕፍቲ ባይዱ
i i p X 以重要性采样为基础，且重要性建议分布为状态先验分布 ： k Xk 1


三、退化现象与“样贫”问题
重要性采样
退化现象 重采样 样贫问题
减轻样贫的采样：重采样移动法、正则化法和马尔科夫链-蒙特卡罗法
粒子滤波
四、粒子滤波收敛性
标准粒子滤波：收敛前提比较宽松，只需似然函数是连续有界的，且收敛 速度与状态的维数无关 其它重要性采样粒子滤波：若重要性权值是连续有界的 ，且重采样算法满足：
由于退化现象 4. 重采样步骤
二、视觉目标状态转移模型
状态转移模型刻画了视觉目标在两帧之间的运动特性：越精确越有利于视觉跟 踪，但很难建立精确的模型。因此，建立近似状态转移模型： 1.从特定的训练图像序列中学习：很难有普遍适应性 2.选择特定的统计模型：自回归模型
三、建立视觉目标观测概率分布
是实现粒子权值计算的关键 特定视觉特征的统计描述 建立观测概率分布
二、视觉特征特性及统计描述
常用的视觉特征：颜色、形状、纹理和运动 1. 颜色特征 统计描述：基于核的颜色直方图的统计描述 优势：对部分遮挡、旋转和尺度变化都是稳定的
多视觉特征融合跟踪
不足：1）当视觉目标颜色在场景中没有明显的区分性时，视觉跟踪性能 将下降；2）当场景中出现一些颜色相近视觉目标时，视觉跟踪将受到较大干 扰，甚至引起误跟踪 2.形状轮廓特征
2 N i i i i 2 E N k Nwk r Ck N max r i 1 N i 1


那么该粒子滤波算法将在均方误差意义下收敛
五、粒子滤波采样策略
拒绝采样法 重要性采样法：最优重要性建议分布准则（重要权值方差最小）
马尔科夫链-蒙特卡罗采样法 ：Metropolis-Hastings（M-H）算法和Gibbs采样
多视觉特征融合跟踪
★ ★ ★ ★ 视觉特征统计描述及其观测概率 基于粒子滤波的多视觉特征融合跟踪 多视觉特征自组织融合跟踪 基于粒子滤波的多视觉特征自组织融 合跟踪及性能提高
多视觉目标跟踪
★ 多目标跟踪与数据联想 ★ 基于粒子滤波的简单多视觉目标跟踪 ★ 基于粒子滤波与联合概率数据联想的 多视觉目标跟踪
二、基于卡尔曼预测采样粒子滤波视觉跟踪
动机：通过卡尔曼预测构建重要性建议分布（近似高斯分布）
q Xk Xk 1 , Zk

i
i
N X
i
k
, Pk
i

途径：局部线性化的EKF预测法和UKF预测法
单特征、单目标视觉跟踪稳健性提高
1.基于EKF预测采样粒子滤波的视觉跟踪
算法构建： 1）状态转移模型：二阶自回归模型
统计描述：帧间差直方图 优势：在视频监控场景，有很好区分性 不足：1）运动特征不稳定，易受光照变化干扰，特别是剧烈的光照变化； 2）在复杂场景下，场景中的运动是视觉传感器和目标运动的合成，很难区 分目标的运动。
多视觉特征融合跟踪
三、基于粒子滤波的多视觉特征融合跟踪 1.单一视觉特征跟踪困境
复杂场景下单一视觉特征的跟踪实验
自适应确定采样粒子数
1.基于似然比方法 N i 非归一化权值（由观测似然比确定）的和 w 可反映该采样粒子集对 i 1 状态后验分布的估计能力 2.基于KLD采样方法 核心：KLD采样 概率估计为基础
单特征、单目标视觉跟踪稳健性提高
一、研究着眼点
通过提高采样有效性入手，提高视觉跟踪的稳健性 1.重要性采样 2.MCMC采样 建立一个有效的重要性建议分布