视频目标对象检测与跟踪方法概述
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
目标的轮廓特征，算法速度较快，并且在目标有小部分遮挡的情况下同样有较好的效果。 目标的纹理特征，纹理特征较轮廓特征跟踪效果会有所改善。
14
视频目标跟踪方法-粒子滤波跟踪算法
基于粒子滤波的目标跟踪，每次通过当前的跟踪结果重采样粒子的分布，然后根据粒子 的分布对粒子进行扩散，再通过扩散的结果来重新观察目标的状态，最后归一化更新目 标的状态。此算法的特点是跟踪速度特别快，而且能解决目标的部分遮挡问题，在实际 工程应用过程中越来越多的被使用。
缺点：得到的是稀疏光流场， 导致难以提取运动目标的精 确形状，且特征匹配问题尚未 得到较好的解决。
采用基于帧间图像强度守衡的梯
通过特征匹配求得特征点处的光流
度算法来计算光流
10
视频目标检测方法-背景减除法
背景减除法是将视频帧与背景模型进行比较，通过判定灰度等特征的变化，或用直方图等统计 信息的变化来判断异常情况的发生和分割出运动目标。如果当前图像的象素点和背景图像的象 素点灰度值差别很大，就认为此象素点有目标存在；相反，如果当前图像的象素点和背景图像 的象素点灰度值差别较小，在一定的阈值范围内，就认为此象素点为背景象素点。
视频目标对象检测 与跟踪方法概述
CONTENTS
介绍 01
视频目标跟踪方法
02 视频目标检测方法
03
04 总结与展望
01 介绍
现状
视频目标检测与跟踪是在基于动态图像分析 的基础上结合图像模式识别和图像跟踪方法 对图像序列中的目标进行检测—识别—跟 踪的过程。
目标检测与跟踪
在最近二十几年间，随着计算机技术、CLSI 技术与高分辨率传感技术，图像处理技术的 迅速更新，人们对视频运动目标检测与跟踪 系统的稳定性、鲁棒性提出了很高的要求。
4
应用
军事
军事公安方面的应用： 在军事方面主要用于导 弹的精确制导，可疑目 标的检测与跟踪公安业 务图片的判读分析，指 纹识别，人脸识别，不 完整图片的复原，以及 智能交通监控、事故分 析等。
工业
工业方面的应用：具备 视觉、听觉和触觉功能 的智能机器人的成功应 用。
智能交通
智能交通方面：通过对 道路交通情况的实时监 控，利用图像处理技术 对各种情况作出准确的 判断。
体育
体育方面的应用：对运 动员在比赛或者是训练 中的技术动作的视频进 行分析，得出精确的运 动参数进行分析。
5
02 视频目标检测方法
视频目标检测方法
1 2 3
帧差法 光流法 背景减除法
7
视频目标检测方法-帧差法
帧差法主要是利用视频序列中连续两帧间的变化来检测静态场景下的运动目标。如图 可见，由目标运动引起的运动变化区域包括运动目标在前后两帧中的共同位置(图中 黑色区域)、在当前帧中新显露出的背景区域和新覆盖的背景区域三部分。
相减
二值化
后处理
结果
11
03 视频目标跟踪方法
视频目标跟踪方法
1
粒子滤波跟踪算法
2
基于轮廓的目标跟踪
3 基于特征匹配目标跟踪
4
摄像头运动下目标跟踪
13
视频目标跟踪方法-一般的目标跟踪算法
一般将目标跟踪分为两个部分：特征提取、目标跟踪算法。其中提取的目标特征大致可 以分为以下几种：
以目标区域的颜色直方图作为特征，颜色特征具有旋转不变性，且不受目标物大小和形状 的变化影响，在颜色空间中分布大致相同。
16
视频目标跟踪方法-基于特征匹配的目标跟踪
基于特征匹配的跟踪方法不考虑运动目标的整体特征，只通过目标图像的一些显著特征 来进行跟踪。假定运动目标可以由惟一的特征集合表达，搜索到该相应的特征集合就认 为跟踪上了运动目标。除了用单一的特征来实现跟踪外，还可以采用多个特征信息融合 在一起作为跟踪特征。
特征提取
特征匹配
常见的基于wenku.baidu.com征匹配
目标跟踪中常用的运
有基于二值化目标图
动目标的特征主要包
像匹配、基于边缘或
括颜色、纹理、边缘
角点特征匹配的跟踪
、块特征、光流特征
、基于目标灰度特征
、周长、面积、质心
匹配、基于目标颜色
、角点等。
特征匹配的跟踪等。
17
视频目标跟踪方法-摄像头运动下目标跟踪
摄像头运动时就没法通过背景相减法获取目标的具体位置和大小描述， 这种情况下对目 标的特征描述和目标跟踪算法的就要求较高。常用的方法有以下几种：
9
视频目标检测方法-光流法
光流法通过计算三维运动场投影到二维图像平面内的速度场来区分运动目标和背景， 一般包括连续光流法和特征光流法。
连续光流法
▪ 优点：能得到连续的光流场 ▪缺点：计算量大
特征光流法
优点：对目标在帧间的运动限 制较小，可以检测帧间移动较 大的运动目标；对噪声敏感性 降低；只处理图像中很少的特 征点，计算量较小。
初始化提取 运动目标特
征
特征搜索阶 段
决策阶段
粒子重采样
15
视频目标跟踪方法-基于轮廓的目标跟踪
形状复杂的目标是很难用简单的几何形状来描述的。基于轮廓的目标跟踪方法提供了更 准确的形状描述。该方法的基本思想是使用一组封闭的轮廓曲线来表征目标，将曲线作 为模板，在相邻帧的边缘图像中匹配并跟踪该模板。该方法与基于区域的跟踪方法相类 似，都存在目标模板匹配和目标模板更新两个环节，但是该方法是在二值化图像中匹配 目标的轮廓模板，大大减小了计算量，提高了匹配的速度。模型可以是目标区域的颜色 直方图、边缘或轮廓。
质心跟踪法
边缘跟踪法
场景锁定法
组合跟踪法
这种跟踪方式主要用 于跟踪有界目标，如 飞机，目标和背景的 差异较大。目标完全 在视频画面内，跟踪 时，常常需要用一些 图像预处理算法，如 对比度增强、图像去 噪、双极性增强等。
当要跟踪的目标有一 个或多个边缘并且同 时具有不确定的边缘 ，此时边缘跟踪的效 果最好。典型的跟踪 对象是发射中的火箭 ，它有很好的前边缘 ，但是尾部边缘却由 于喷气而不确定。
因为相邻视频帧间时间间隔很小，目标位置变化也很小，所以运动目标的运动所经过 的区域也就代表了当前帧中运动目标所在的区域
8
视频目标检测方法-光流法
光流的概念是由Gibson 在1950 年首先提出的，它是空间运动物体在观察成像平面上的像素运动的瞬时 速度，是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存 在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。外界物体由于运动在人的视网膜上 产生一系列连续变化的信息，这些信息就如同是光的流一样不断从眼中流过，故此称之为光流。
14
视频目标跟踪方法-粒子滤波跟踪算法
基于粒子滤波的目标跟踪，每次通过当前的跟踪结果重采样粒子的分布，然后根据粒子 的分布对粒子进行扩散，再通过扩散的结果来重新观察目标的状态，最后归一化更新目 标的状态。此算法的特点是跟踪速度特别快，而且能解决目标的部分遮挡问题，在实际 工程应用过程中越来越多的被使用。
缺点：得到的是稀疏光流场， 导致难以提取运动目标的精 确形状，且特征匹配问题尚未 得到较好的解决。
采用基于帧间图像强度守衡的梯
通过特征匹配求得特征点处的光流
度算法来计算光流
10
视频目标检测方法-背景减除法
背景减除法是将视频帧与背景模型进行比较，通过判定灰度等特征的变化，或用直方图等统计 信息的变化来判断异常情况的发生和分割出运动目标。如果当前图像的象素点和背景图像的象 素点灰度值差别很大，就认为此象素点有目标存在；相反，如果当前图像的象素点和背景图像 的象素点灰度值差别较小，在一定的阈值范围内，就认为此象素点为背景象素点。
视频目标对象检测 与跟踪方法概述
CONTENTS
介绍 01
视频目标跟踪方法
02 视频目标检测方法
03
04 总结与展望
01 介绍
现状
视频目标检测与跟踪是在基于动态图像分析 的基础上结合图像模式识别和图像跟踪方法 对图像序列中的目标进行检测—识别—跟 踪的过程。
目标检测与跟踪
在最近二十几年间，随着计算机技术、CLSI 技术与高分辨率传感技术，图像处理技术的 迅速更新，人们对视频运动目标检测与跟踪 系统的稳定性、鲁棒性提出了很高的要求。
4
应用
军事
军事公安方面的应用： 在军事方面主要用于导 弹的精确制导，可疑目 标的检测与跟踪公安业 务图片的判读分析，指 纹识别，人脸识别，不 完整图片的复原，以及 智能交通监控、事故分 析等。
工业
工业方面的应用：具备 视觉、听觉和触觉功能 的智能机器人的成功应 用。
智能交通
智能交通方面：通过对 道路交通情况的实时监 控，利用图像处理技术 对各种情况作出准确的 判断。
体育
体育方面的应用：对运 动员在比赛或者是训练 中的技术动作的视频进 行分析，得出精确的运 动参数进行分析。
5
02 视频目标检测方法
视频目标检测方法
1 2 3
帧差法 光流法 背景减除法
7
视频目标检测方法-帧差法
帧差法主要是利用视频序列中连续两帧间的变化来检测静态场景下的运动目标。如图 可见，由目标运动引起的运动变化区域包括运动目标在前后两帧中的共同位置(图中 黑色区域)、在当前帧中新显露出的背景区域和新覆盖的背景区域三部分。
相减
二值化
后处理
结果
11
03 视频目标跟踪方法
视频目标跟踪方法
1
粒子滤波跟踪算法
2
基于轮廓的目标跟踪
3 基于特征匹配目标跟踪
4
摄像头运动下目标跟踪
13
视频目标跟踪方法-一般的目标跟踪算法
一般将目标跟踪分为两个部分：特征提取、目标跟踪算法。其中提取的目标特征大致可 以分为以下几种：
以目标区域的颜色直方图作为特征，颜色特征具有旋转不变性，且不受目标物大小和形状 的变化影响，在颜色空间中分布大致相同。
16
视频目标跟踪方法-基于特征匹配的目标跟踪
基于特征匹配的跟踪方法不考虑运动目标的整体特征，只通过目标图像的一些显著特征 来进行跟踪。假定运动目标可以由惟一的特征集合表达，搜索到该相应的特征集合就认 为跟踪上了运动目标。除了用单一的特征来实现跟踪外，还可以采用多个特征信息融合 在一起作为跟踪特征。
特征提取
特征匹配
常见的基于wenku.baidu.com征匹配
目标跟踪中常用的运
有基于二值化目标图
动目标的特征主要包
像匹配、基于边缘或
括颜色、纹理、边缘
角点特征匹配的跟踪
、块特征、光流特征
、基于目标灰度特征
、周长、面积、质心
匹配、基于目标颜色
、角点等。
特征匹配的跟踪等。
17
视频目标跟踪方法-摄像头运动下目标跟踪
摄像头运动时就没法通过背景相减法获取目标的具体位置和大小描述， 这种情况下对目 标的特征描述和目标跟踪算法的就要求较高。常用的方法有以下几种：
9
视频目标检测方法-光流法
光流法通过计算三维运动场投影到二维图像平面内的速度场来区分运动目标和背景， 一般包括连续光流法和特征光流法。
连续光流法
▪ 优点：能得到连续的光流场 ▪缺点：计算量大
特征光流法
优点：对目标在帧间的运动限 制较小，可以检测帧间移动较 大的运动目标；对噪声敏感性 降低；只处理图像中很少的特 征点，计算量较小。
初始化提取 运动目标特
征
特征搜索阶 段
决策阶段
粒子重采样
15
视频目标跟踪方法-基于轮廓的目标跟踪
形状复杂的目标是很难用简单的几何形状来描述的。基于轮廓的目标跟踪方法提供了更 准确的形状描述。该方法的基本思想是使用一组封闭的轮廓曲线来表征目标，将曲线作 为模板，在相邻帧的边缘图像中匹配并跟踪该模板。该方法与基于区域的跟踪方法相类 似，都存在目标模板匹配和目标模板更新两个环节，但是该方法是在二值化图像中匹配 目标的轮廓模板，大大减小了计算量，提高了匹配的速度。模型可以是目标区域的颜色 直方图、边缘或轮廓。
质心跟踪法
边缘跟踪法
场景锁定法
组合跟踪法
这种跟踪方式主要用 于跟踪有界目标，如 飞机，目标和背景的 差异较大。目标完全 在视频画面内，跟踪 时，常常需要用一些 图像预处理算法，如 对比度增强、图像去 噪、双极性增强等。
当要跟踪的目标有一 个或多个边缘并且同 时具有不确定的边缘 ，此时边缘跟踪的效 果最好。典型的跟踪 对象是发射中的火箭 ，它有很好的前边缘 ，但是尾部边缘却由 于喷气而不确定。
因为相邻视频帧间时间间隔很小，目标位置变化也很小，所以运动目标的运动所经过 的区域也就代表了当前帧中运动目标所在的区域
8
视频目标检测方法-光流法
光流的概念是由Gibson 在1950 年首先提出的，它是空间运动物体在观察成像平面上的像素运动的瞬时 速度，是利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存 在的对应关系，从而计算出相邻帧之间物体的运动信息的一种方法。外界物体由于运动在人的视网膜上 产生一系列连续变化的信息，这些信息就如同是光的流一样不断从眼中流过，故此称之为光流。