TLD目标跟踪算法
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
作者相关文章：
Zdenek Kalal
• Z. Kalal, K. Mikolajczyk, and J. Matas, “Tracking-Learning-Detection,” Pattern Analysis and Machine Intelligence 2011.
• Z. Kalal, K. Mikolajczyk, and J. Matas, “Face-TLD: Tracking-Learning-Detection Applied to Faces,”International Conference on Image Processing, 2010.
正样本，并将其添加到正样本集中； • N专家（N-expert）
改正误检（false positive，负样本被误分为正样本）的 正样本，并将其添加到正样本集中。
P-N学习的主要思想：检测器的错误能够被两种类型的专家（Pexperts和N-experts）标识出。P-experts仅识别错误的负样本， N-experts仅识别错误的正样本。
P-N学习包含四个部分：
1.待学习的分类器
2.已标注的 训练集
3.从训练样本集训 练分类器的方法
P-N学习结构图
4.学习过程中产生 正、负样本的函数
三、P-N学习
• P-N学习的公式化（略） • P-N学习的稳定性证明（略） • P-N学习的仿真验证（略）
详细内容请参考：
• Z. Kalal, K. Mikolajczyk, and J. Matas, “Tracking-Learning-Detection,” Pattern Analysis and Machine Intelligence 2011.
Tracking-Learning-Detection
目标跟踪算法
主要内容
一、TLD算法简介 二、TLD框架结构 三、P-N 学习 四、TLD算法实现
一、TLD算法简介
TLD(Tracking-Learning-Detection) 是 英国萨里大学的一个捷克籍博士生Zdenek Kalal在其攻读博士学位期间提出的一种新 的单目标长时间（long term tracking）跟 踪算法。
P-N experts 的设计：
a）中展示了覆盖有扫描窗格的三帧图片，每个方框定义一个图像片，图b)和c) 中的红点表示正样本标签。 b）中待检测目标在一个视频帧中可能同时出现在好几个区域，并且待检测目 标在相邻视频帧之间的运动没有连续性。 c）中每个视频帧中，目标只可能出现在一个区域，并且，相邻视频帧之间检 测到的目标区域是连续的，构成了一个目标的运动轨迹。这种性质，我们称 之为“结构性”。
假设每一个视帧都是彼此独立的，并且根据以往检测和学习 到的目标模型，对每一帧图片进行全局搜索以定位目标可能出 现的区域。 • 学习模块
根据跟踪模块的结果对检测模块的错误进行评估，并根据评 估结果生成训练样本，对检测模块的目标模型及相关参数进行 更新。 • 检测模块和跟踪模块互补干涉的并行进行处理。
主要内容
• Z. Kalal, J. Matas, and K. Mikolajczyk, “P-N Learning: Bootstrapping Binary Classifiers by Structural Constraints,” Conference on Computer Vision and Pattern Recognition, 2010.
• Z. Kalal, K. Mikolajczyk, and J. Matas, “Forward-Backward Error: Automatic Detection of Tracking Failures,” International Conference on Pattern Recognition, 2010, pp. 23-26.
主要内容
一、TLD算法简介 二、TLD框架结构 三、P-N 学习 四、TLD算法实现
二、TLD框架结构
TLD算法框架主要由三部分组成：跟踪模块、检测模块、 学习模块。
TLD架构结构图
二、TLD框架结构
TLD算法运行机制：
• 跟踪模块 假设相邻视频帧之间物体的运动是有限的，且被跟踪目标是
可见的，以此来估计目标的运动。如果目标在相机视野中消失， 将造成跟踪失败。 • 检测模块
一、TLD算法简介 二、TLD框架结构 三、P-N 学习 四、TLD算法实现
三、P-N学习
P-N 学习：TLD的学习模块，是一种半监督的机器学习算法， 目的是在线更新检测器，提高检测器的性能。它针对检测器 对样本分类时产生的两种错误提供了两种“专家”进行纠正：
• P专家（P-expert） 检出漏检（false negative，正样本被误分为负样本）的
一、TLD算法简介
长时间跟踪的一个关键的问题：
目标重新出现
重新检测
重新跟踪
：形变、光照变化、尺度变化、遮挡、消失等情况
TLD与传统跟踪算法的显著区别：
• 将传统的跟踪算法和传统的检测算法相结合，来解决被 跟踪目标在被跟踪过程中发生的形变、部分遮挡、消失 等问题。
• 同时，通过一种改进的在线学习机制不断更新检测模块 的目标模型及相关参数，从而使得跟踪效果更加稳定、 鲁棒、可靠。
P-N专家的关键就是找到这种结构性的数据，从而来判别 检测模块所产生的错误标签。
P-N experts 的设计：
P-experts寻找视频序列中的时域上的结构性特征，并且假设ห้องสมุดไป่ตู้ 标是沿着轨迹线移动的。P-experts记录目标在上一帧中的位置， 并根据帧与帧之间的跟踪算法来预测目标在当前帧中的位置。如果 检测模块将目标在当前帧中的位置标记为负标签，那么P-experts 就产生一个正样本。
• Z. Kalal, J. Matas, and K. Mikolajczyk, “P-N Learning: Bootstrapping Binary Classifiers by Structural Constraints,” Conference on Computer Vision and Pattern Recognition, 2010.
Zdenek Kalal
• Z. Kalal, K. Mikolajczyk, and J. Matas, “Tracking-Learning-Detection,” Pattern Analysis and Machine Intelligence 2011.
• Z. Kalal, K. Mikolajczyk, and J. Matas, “Face-TLD: Tracking-Learning-Detection Applied to Faces,”International Conference on Image Processing, 2010.
正样本，并将其添加到正样本集中； • N专家（N-expert）
改正误检（false positive，负样本被误分为正样本）的 正样本，并将其添加到正样本集中。
P-N学习的主要思想：检测器的错误能够被两种类型的专家（Pexperts和N-experts）标识出。P-experts仅识别错误的负样本， N-experts仅识别错误的正样本。
P-N学习包含四个部分：
1.待学习的分类器
2.已标注的 训练集
3.从训练样本集训 练分类器的方法
P-N学习结构图
4.学习过程中产生 正、负样本的函数
三、P-N学习
• P-N学习的公式化（略） • P-N学习的稳定性证明（略） • P-N学习的仿真验证（略）
详细内容请参考：
• Z. Kalal, K. Mikolajczyk, and J. Matas, “Tracking-Learning-Detection,” Pattern Analysis and Machine Intelligence 2011.
Tracking-Learning-Detection
目标跟踪算法
主要内容
一、TLD算法简介 二、TLD框架结构 三、P-N 学习 四、TLD算法实现
一、TLD算法简介
TLD(Tracking-Learning-Detection) 是 英国萨里大学的一个捷克籍博士生Zdenek Kalal在其攻读博士学位期间提出的一种新 的单目标长时间（long term tracking）跟 踪算法。
P-N experts 的设计：
a）中展示了覆盖有扫描窗格的三帧图片，每个方框定义一个图像片，图b)和c) 中的红点表示正样本标签。 b）中待检测目标在一个视频帧中可能同时出现在好几个区域，并且待检测目 标在相邻视频帧之间的运动没有连续性。 c）中每个视频帧中，目标只可能出现在一个区域，并且，相邻视频帧之间检 测到的目标区域是连续的，构成了一个目标的运动轨迹。这种性质，我们称 之为“结构性”。
假设每一个视帧都是彼此独立的，并且根据以往检测和学习 到的目标模型，对每一帧图片进行全局搜索以定位目标可能出 现的区域。 • 学习模块
根据跟踪模块的结果对检测模块的错误进行评估，并根据评 估结果生成训练样本，对检测模块的目标模型及相关参数进行 更新。 • 检测模块和跟踪模块互补干涉的并行进行处理。
主要内容
• Z. Kalal, J. Matas, and K. Mikolajczyk, “P-N Learning: Bootstrapping Binary Classifiers by Structural Constraints,” Conference on Computer Vision and Pattern Recognition, 2010.
• Z. Kalal, K. Mikolajczyk, and J. Matas, “Forward-Backward Error: Automatic Detection of Tracking Failures,” International Conference on Pattern Recognition, 2010, pp. 23-26.
主要内容
一、TLD算法简介 二、TLD框架结构 三、P-N 学习 四、TLD算法实现
二、TLD框架结构
TLD算法框架主要由三部分组成：跟踪模块、检测模块、 学习模块。
TLD架构结构图
二、TLD框架结构
TLD算法运行机制：
• 跟踪模块 假设相邻视频帧之间物体的运动是有限的，且被跟踪目标是
可见的，以此来估计目标的运动。如果目标在相机视野中消失， 将造成跟踪失败。 • 检测模块
一、TLD算法简介 二、TLD框架结构 三、P-N 学习 四、TLD算法实现
三、P-N学习
P-N 学习：TLD的学习模块，是一种半监督的机器学习算法， 目的是在线更新检测器，提高检测器的性能。它针对检测器 对样本分类时产生的两种错误提供了两种“专家”进行纠正：
• P专家（P-expert） 检出漏检（false negative，正样本被误分为负样本）的
一、TLD算法简介
长时间跟踪的一个关键的问题：
目标重新出现
重新检测
重新跟踪
：形变、光照变化、尺度变化、遮挡、消失等情况
TLD与传统跟踪算法的显著区别：
• 将传统的跟踪算法和传统的检测算法相结合，来解决被 跟踪目标在被跟踪过程中发生的形变、部分遮挡、消失 等问题。
• 同时，通过一种改进的在线学习机制不断更新检测模块 的目标模型及相关参数，从而使得跟踪效果更加稳定、 鲁棒、可靠。
P-N专家的关键就是找到这种结构性的数据，从而来判别 检测模块所产生的错误标签。
P-N experts 的设计：
P-experts寻找视频序列中的时域上的结构性特征，并且假设ห้องสมุดไป่ตู้ 标是沿着轨迹线移动的。P-experts记录目标在上一帧中的位置， 并根据帧与帧之间的跟踪算法来预测目标在当前帧中的位置。如果 检测模块将目标在当前帧中的位置标记为负标签，那么P-experts 就产生一个正样本。
• Z. Kalal, J. Matas, and K. Mikolajczyk, “P-N Learning: Bootstrapping Binary Classifiers by Structural Constraints,” Conference on Computer Vision and Pattern Recognition, 2010.