目标跟踪综述

• 2.自适应单线索观察 f函数：抽取一个合适的特征向量
Democratic integration 方法局限性的分析
• 颜色突变的情况
Soccer sequence
Two person sequence
Integration with CONDENSATION
• 单纯利用感兴趣特征进行目标跟踪，当所选特征 突变时，权值的调整会产生误操作，因此有着很 大的局限性 • 可以利用当前帧以及当前帧前一帧做观测模型， 充分利用视频信息，并结合多线索特征融合两个 方法，建立新的算法。
贝叶斯跟踪
• • • • 卡尔曼滤波 粒子滤波 隐马尔科夫模型 动态贝叶斯模型
卡尔曼滤波
• 基本思想：从本质上讲，卡尔曼滤波器就是一个有噪声线 性动态系统状态预估的递归算法，它是一个不断地预测与 校正的过程。当假设系统状态模型和观测模型都是线性且 符合高斯分布，同时假设噪声也是高斯分布时，线性卡尔 曼滤波器是最优的滤波器。 • 局限性：但是，常规的卡尔曼滤波算法要求系统是线性高 斯型的，对于非线性、非高斯环境而言，不能直接用来解 决目标的估计问题。为此，人们开发出各种非线性滤波算 法，一种是扩展卡尔曼算法(EKF)，它对非线性系统进行 局部线性化，从而间接利用卡尔曼算法进行滤波与估算。 但是只适用于滤波误差和预测误差很小的情况，否则，滤 波初期估计协方差下降太快会导致滤波不稳定甚至发散。 修正增益的推广卡尔曼滤波算法(UKF)虽然通过改善增益 矩阵，相应改善了状态协方差的估计性能，但该方法对测 量误差有一定限制。若测量误差较大，则算法在收敛精度、 收敛时间及稳定性等方面表现得很不理想。
参考文献
• 7.蔡荣太，吴元昊，王明佳，吴庆祥,视频目标跟踪算法综 述,2010年第34 卷第12 期 • 8.周娜，基于视觉的运动目标跟踪算法的研究与实现，东 北大学硕士论文，2008 • 9.薛建儒, 郑南宁, 钟小品, 平林江，视感知激励——多视 觉线索集成的贝叶斯方法与应用,2008 • 10.M. Spengler and B. Schiele, “Towards Robust MultiCue Integration for Visual Tracking,” Machine Vision and Applications,2003 • 11.NOGUER M F，SANFELIU A，SAMARAS D. Dependent multiple cue integration for robust tracking [J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2008
基于上下文跟踪的方法
• 除了联合使用目标的多特征之外， 还可以充分采 用上下文、背景和辅助目标等信息来实现稳健的 目标跟踪 • 如文献[12]设计了一种考虑上下文的跟踪算法。 该算法采用数据挖掘技术在视频中获取辅助目标， 并将辅助目标用在跟踪中。对目标和这些辅助目 标的协作跟踪可以获得有效的跟踪性能。这里的 辅助目标是至少在一小段时间内和目标同时出现， 和目标具有相同的相关性运动并且比目标更容易 跟踪的视频内容。文献[13]在跟踪算法中，同时 采用目标和目标周围背景的特征点，将目Fra Baidu bibliotek特征 点用于跟踪，将背景特征点用于鉴别目标是否被 遮挡。
多线索融合模型
• 模型建立
• 模型估计
• 引入反馈 调整参数rc(t)和rj(t)
Democratic integration
• 算法思想：对五个线索建立一个共同估计，这个 估计用来评定每个线索，并确定下一时刻该线索 的权值。同时每个线索都有自适应性，提高其性 能，从而提高整个系统的性能。但是必须满足两 个假设：首先，各个线索的共同估计必须占主导 地位。其次，环境的变化对视觉线索的影响很小。 • 将输入量S(t)分成五个线索：强度特征，颜色特征， 运动特征，形变特征，对比度特征，每个特征都 有其自适应性。
基于运动检测的目标跟踪算法
• 基本思想：通过检测序列图像中目标和背景的不同运动来 发现目标存在的区域， 实现跟踪。 • 光流法：光流算法是基于运动检测的目标跟踪的代表性算 法。光流是空间运动物体在成像面上的像素运动的瞬时速 度，光流矢量是图像平面坐标点上的灰度瞬时变化率。光 流的计算利用图像序列中的像素灰度分布的时域变化和相 关性来确定各自像素位置的运动， 研究图像灰度在时间 上的变化与景象中物体结构及其运动的关系。将二维速度 场与灰度相联系，引入光流约束方程，得到光流计算的基 本算法。 • 优缺点：光流场的方法能够很好的用于二维运动估计，它 也可以同时给出全局点的运动估计，但其本身还存在着一 些问题：需要多次迭代，运算速度慢，不利于实时应用。
粒子滤波
• 两种变形扩展了KF 的应用范围，但是不能处理非 高斯非线性模型，这个时候就需要用粒子滤波 （PF）。由于运动变化，目标的形变、非刚体、 缩放等问题，定义一个可靠的分布函数是非常困 难的，所以在PF 中存在例子退化问题，于是引进 了重采样技术。
• 除了KF 和PF 之外，隐马尔科夫模型 （HMMs）和动态贝叶斯模型（DBNs）也是 贝叶斯框架下重要的视觉跟踪方法。HMMs 和DBNs 将运动目标的内部状态和观测量用 状态变量（向量）表示，DBNs 使用状态随 机变量（向量）集，并在它们之间建立概率 关联。HMMs 将系统建模为马尔科夫过程。
2.国内外研究现状
视频目标跟踪算法
基于对比度分析
基于匹配
核方法
运动检测
其它方法
特征匹配
贝叶斯 跟踪
光流法
Mean shift方法
基于对比度分析的方法
• 算法思想：基于对比度分析的目标跟踪算法利用 目标与背景在对比度上的差异来提取、识别和跟 踪目标。 • 分类：边缘跟踪，型心跟踪，质心跟踪。 • 优缺点：不适合复杂背景中的目标跟踪，但在空 中背景下的目标跟踪中非常有效。
核方法
• 算法思想：对相似度概率密度函数或者后验概率密度函数采用直接的 连续估计。 • Mean shift ：均值偏移方法。采用彩色直方图作为匹配特征。Mean Shift 跟踪算法反复不断地把数据点朝向MeanShift 矢量方向进行移动， 最终收敛到某个概率密度函数的极值点。在Mean Shift 跟踪算法中， 相似度函数用于刻画目标模板和候选区域所对应的两个核函数直方图 的相似性，采用的是Bhattacharyya 系数。因此，这种方法将跟踪问 题转化为Mean Shift 模式匹配问题。核函数是Mean Shift 算法的核心， 可以通过尺度空间差的局部最大化来选择核尺度，若采用高斯差分计 算尺度空间差，则得到高斯差分Mean Shift 算法。 • 优缺点：Mean Shift 算法假设特征直方图足够确定目标的位置，并且 足够稳健，对其他运动不敏感。该方法可以避免目标形状、外观或运 动的复杂建模，建立相似度的统计测量和连续优化之间的联系。但是， Mean Shift 算法不能用于旋转和尺度运动的估计。为克服以上问题， 人们提出了许多改进算法，如多核跟踪算法、多核协作跟踪算法和有 效的最优核平移算法等。
目标跟踪综述
东北大学-模式识别与智能系统 -田维tw415087321@163.com
目录
• • • • • 1.课题背景与研究意义 2.国内外研究现状 3.存在的问题 4.总结，发展与展望 5.参考文献
1课题背景与研究意义
• 运动目标的跟踪就是在视频图像的每一幅图像中 确定出我们感兴趣的运动目标的位置，并把不同 帧中同一目标对应起来。 • 智能视频监控(IVS: Intelligent Video Surveillance) 是计算机视觉领域近几年来发展较快，研究较多 的一个应用方向。它能够利用计算机视觉技术对 采集到的视频信号进行处理、分析和理解，并以 此为基础对视频监控系统进行控制，从而使视频 监控系统具备更好的智能性和鲁棒性。智能视频 监控系统主要涉及到图像处理、计算机视觉、模 式识别、人工智能等方面的科学知识，它的用途 非常广泛，在民用和军事领域中都有着极大的应 用前景。
4 总结，发展与展望
由于目标跟踪任务的复杂性，应该根据不同的应 用场合选用不同的跟踪方法。在系统设计中，应 该跟据具体的精度要求、稳健性要求、计算复杂 度要求和实性要求等采用不同的算法。多种技术 的联合应用可以有效克服单一技术的局限性。因 此，目标跟踪算法的方向发展为多模跟踪、多特 征融合跟踪、基于目标所在的上下文跟踪。
多特征融合跟踪
• 基本思想：利用多特征刻画目标是一种非常有效 的实现稳健跟踪的方法。不同的特征可以从相同 的或者不同的传感器获得，如彩色和轮廓，彩色 和梯度，Haar-Like 特征和边缘，角点、彩色和轮 廓，彩色和边缘，彩色和Wi-Fi三角化等。 • 在贝叶斯框架下，有两种方法可以集成多个特征： 1） 假设特征之间是统计独立的，可以将多个特 征以加权和的形式组合起来；2） 假设多个特征 之间的条件关联服从线性约束， 可以将相似度概 率密度分布表示为各个特征相似度概率密度分布 的线性组合；
参考文献
• 1.邵文坤,黄爱民,韦庆，动态场景下的运动目标跟踪方法 研究，2006 • 2.杨静宇，一种基于直方图模式的运动目标实时跟踪算法, 胡明昊，任明武，2004.3 • 3.蔡荣太. 非线性自适应滤波器在电视跟踪中的应用[D].北 京：中国科学院，2008. • 4.SOTO D A，REGAZZONI M C S. Bayesian tracking for video analytics[J].IEEE Signal Processing Magazine， 2010，27（5） • 5.王宇. 基于Mean Shift 的序列图像手势跟踪算法[J].电视 技术，2010，34（6） • 6.WU Ying，FAN Jialue. Contextual flow [C]//Proc. 2009 IEEE International Conference on Computer Vision， Miami，FL，USA：IEEE Press，2009
基于特征匹配的目标跟踪算法
• 算法思想：基于匹配的目标跟踪算法需要提取目标的特征， 并在每一帧中寻找该特征。 寻找的过程就是特征匹配过 程。 • 目标跟踪中用到的特征主要有几何形状、子空间特征、外 形轮廓和特征点等。其中，特征点是匹配算法中常用的特 征。特征点的提取算法很多， 如Kanade Lucas Tomasi （KLT）算法、Harris 算法、SIFT 算法以及SURF 算法等。 • 优缺点：特征点一般是稀疏的，携带的信息较少，可以通 过集成前几帧的信息进行补偿。目标在运动过程中，其特 征（如姿态、几何形状、灰度或颜色分布等）也随之变化。 目标特征的变化具有随机性，这种随机变化可以采用统计 数学的方法来描述。直方图是图像处理中天然的统计量， 因此彩色和边缘方向直方图在跟踪算法中被广泛采用。
一般的系统框架
• 目标：用多维的时间序列表示，本文中，用 90*72的M维时间序列表示目标。 • 单一线索观察模型：在时间上排序，估计目 标在单一线索下n维状态向量产生的视觉线 索的概率图序列，每个空间矢量是到n维概 率分布P(j)的预测。 例如：如果要估计目标在二维空间的运动。 M(j)表示映射，r(j)表示映射参数
3.存在的问题
• 1.运动目标的准确分割 动态环境下，光照，阴影等因素对帧图像影响 • 2.运动目标的相互遮挡 目标丢失后如何重新获取目标的引导方法。 • 3.运动目标的稳定特征提取 提取目标的哪些特征，能够取得更好的跟踪效果 • 4.三维坐标下运动模型的建立 鉴于2维模型对角度和遮挡处理的薄弱性。 • 5.实时性问题 提高目标的准确性和实时性
• 根据前面各特征的影响度，调整各自的权值Wi， 使他们能够对不断变化的环境产生反应，集成 为一个多状态显示的预估方案
•估计目标位置定义为合并后的概率分布的最 大响应
feed back
• 自适应的权值调整在两个层面上 • 1.自组织的多线索融合
其中qi(t)指观测量与平均响应的概率密度差， τ用来调节权值，权值Wi为自适应。
Towards robust multi-cue integration for visual tracking
• 基于强大的多线索融合技术的目标跟踪 • Perceptual Computing and Computer Vision Group, ETH Zurich, Switzerland • Machine Vision and Applications (2003) 14