目标检测目标跟踪报告课件(PPT 85页)
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
22
分片跟踪
•为什么引入分片跟踪：
在目标跟踪领域，一个重要的难题就是目标的遮 挡问题，因为遮挡发生时目标可能部分或全部不可见。
模拟人眼跟踪目标的方式，发生遮挡时，人眼会关 注目标的可见部分来继续跟踪。受这一思想启发，我们 将目标分成多个小片，目标被遮挡时，利用“可见片” 来跟踪。
23
分片跟踪
•主要思想：
27
• 利用有效片的概念，我们为每个目标建立两种模板， 临时模板和参考模板。
• 临时模板—实时更新的模板，在无遮挡情况下跟
踪，可以解决目标外观缓慢变化的问题。
• 参考模板—能够很好的表示目标的模板，用于遮
14
• 另外，MRF参数 选取的好坏会直接影响到分
割结果，Smits等研究雷达图像分割时表明，马尔 可夫参数如果较大容易形成较长的边缘，较小容易 形成微边缘，而固定的马尔可夫参数则使目标的轮 廓模糊，对分割出的目标准确判断产生不利影响。
15
• 因此，我们提出一种基于自适应权值的区域马尔可
夫随机场的分割方法，结合分水岭预分割算法，并 利用形态滤波对分割结果进行修正，较好地解决了 分割不准确，目标信息丢失的问题。
被遮挡的区域 片基本丢失
25
• 模板更新
由上可见这种分片方法已经可以很好的解决遮挡 问题。
但是在跟踪过程中，目标的外观模型可能发生变 化（例如目标转身、尺寸变化等等）。那么刚开始 为目标建立的模板就不能很好的表示目标，这将影 响跟踪效果。
26
• 目标外观变化时片匹配的情况
外观缓慢变化 时，丢失的片 很少
p(z)1
U(zw)
e T(zw)
Fra Baidu bibliotek
Qw
图像上每一点的概率分布
U(z)Vc(z(x)|xC) cC
18
• 对于一帧CIF图像，存在一系列的像素点 ，对于
这些点存在一标记场和事先观察场 ，这样马尔可 夫随机场的运动目标分割的问题可以归结为在事先 观察场和其它一系列约束条件下，确定运动目标区 域和背景区域的二值标记问题。
• 采用了3层金字塔进行多分辨率计算,而且在每层迭
代计算中,将基于块的外点去除算法与特征点提取 算法相结合,这样既加快了算法的速度,又提高了计 算结果的准确性。
8
基本步骤如下：
• 用高斯图像构造法构造图像金字塔； • 对金字塔顶层图像进行全局运动估计，求得运动参数； • 将顶层金字塔求得的参数集隐射到金字塔的中间层，并对
16
基于MRF的运动目标分割
• 马尔可夫随机场是把一维因果马尔可夫链扩展成二 维的结果，Hammersley-Clifford定理指出了 MRF和Gibbs分布之间的等价性，每个MRF都可 以用一个Gibbs分布来描述，这样就解决了MRF 概率难求的问题。
17
• Gibbs分布可定义成如下公式：
视频监控
1
报告内容
1 全局运动估计 2 马尔可夫随机场分割 3 运动目标分片跟踪 4 车辆检测与跟踪 5 图像超分辨率重建
2
动态场景的运动检测
• 视频图像中的目标检测与跟踪，是计算机视觉的基础课题，
同时具有广泛的应用价值。
• 依照目标与摄像头之间的关系：
静态场景 目标检测相对简单，研究渐趋成熟 动态场景 相对复杂，成为当前研究领域的热点 静态场景帧差的一个例子
19
MRF运动目标分割结果一
（a）实验序列1
（b）固定阈值二值化
（c）高斯模型分割
20
（d）自适应值 MRF分割
MRF运动目标分割结果二
（a）实验序列2
（b）固定阈值二值化
（c）高斯模型分割
21
（d）自适应值 MRF分割
报告内容
1 全局运动估计 2 马尔可夫随机场分割 3 运动目标分片跟踪 4 车辆检测与跟踪 5 图像超分辨率重建
12
• Ohlander等提出了一种多维直方图阈值化分割方
法，该方法直方图阈值法不需要先验信息，计算量 较小,但缺点是单独基于颜色分割得到的区域可能 是不完整的，而且没有利用局部空间信息，分割不 准确。
13
马尔可夫随机场分割
• 目前基于马尔可夫随机场随机场（MRF）运动
目标分割的方法在图像分割领域影响越来越大，该 方法与传统方法和阈值法相比，由于基于MRF的 运动目标分割方法同时考虑了图像颜色信息和空间 关联信息，因此分割效果较好。
该层进行全局运动估计，求得相应的运动参数；
• 将金字塔中间层的参数集映射到金字塔的底层, 对该层进行
全局运动估计，求得该层的运动参数集,即最终求得的参数 集。
• 利用求得的最终参数集，对图像进行运动补偿，将运动补
偿后的图像与前一帧图像进行差值。
9
下图给出了运动补偿与直接帧差的结果比较
图1 Coastguard序列图像
图2 直接帧差和运动补偿后的差值图比较
10
报告内容
1 全局运动估计 2 马尔可夫随机场分割 3 运动目标分片跟踪 4 车辆检测与跟踪 5 图像超分辨率重建
11
目标分割的意义与现状
• 运动目标的准确分割，对于获取目标的特征信
息非常重要，直接影响到进一步的运动目标跟踪的 处理，传统的运动目标分割的算法主要有背景差分， 相邻帧间差分，光流场的方法，这些方法都有各自 的缺点和不足，不能满足准确分割运动目标的要求。
前一帧图像 提取特征点 后一帧图像 提取特征点
运动补偿
帧差法
特征点匹配
最小二乘求 运动参数
运动目标
5
求特征 点并匹
配 前 一 帧
后 一 帧
6
运动补 偿
求解全局运动 参数
补偿后的帧差图像
实验结果与普通帧差法的比较
原序列
帧差法
特征匹配的方法
第
5 帧
第
50 帧
第 80 帧
7
基于图像金字塔分解的全局运动估计
将目标分片，建立目标分片表现模型（模板）。在目 标上一帧的位置周围遍历搜索，找到与目标模板相似度最 高的候选目标作为跟踪结果。
目标 分片
当前帧
24
候选目标位置
上一帧目标位置
搜索窗口
分片跟踪
其中相似度的度量是通过各片的空间直方图匹配来实现的。 确定目标位置后，判断目标中各片的有效性，我们仅利用 有效片进行下一帧的跟踪。
3
视频序列运动检测
• 对于动态场景，由于目标与摄像头之间存在复杂的
相对运动，运动检测富有挑战性。传统的帧差方法 已经不再适用，如何能对全局的运动进行估计和补 偿，成为问题的关键。
第一帧
4
帧差图像
解决思路
• 要检测动态场景中的运动目标，关键在于对场景的
运动进行估计，通过估计出的运动参数补偿其运动， 最后使用帧差法得到运动目标。
分片跟踪
•为什么引入分片跟踪：
在目标跟踪领域，一个重要的难题就是目标的遮 挡问题，因为遮挡发生时目标可能部分或全部不可见。
模拟人眼跟踪目标的方式，发生遮挡时，人眼会关 注目标的可见部分来继续跟踪。受这一思想启发，我们 将目标分成多个小片，目标被遮挡时，利用“可见片” 来跟踪。
23
分片跟踪
•主要思想：
27
• 利用有效片的概念，我们为每个目标建立两种模板， 临时模板和参考模板。
• 临时模板—实时更新的模板，在无遮挡情况下跟
踪，可以解决目标外观缓慢变化的问题。
• 参考模板—能够很好的表示目标的模板，用于遮
14
• 另外，MRF参数 选取的好坏会直接影响到分
割结果，Smits等研究雷达图像分割时表明，马尔 可夫参数如果较大容易形成较长的边缘，较小容易 形成微边缘，而固定的马尔可夫参数则使目标的轮 廓模糊，对分割出的目标准确判断产生不利影响。
15
• 因此，我们提出一种基于自适应权值的区域马尔可
夫随机场的分割方法，结合分水岭预分割算法，并 利用形态滤波对分割结果进行修正，较好地解决了 分割不准确，目标信息丢失的问题。
被遮挡的区域 片基本丢失
25
• 模板更新
由上可见这种分片方法已经可以很好的解决遮挡 问题。
但是在跟踪过程中，目标的外观模型可能发生变 化（例如目标转身、尺寸变化等等）。那么刚开始 为目标建立的模板就不能很好的表示目标，这将影 响跟踪效果。
26
• 目标外观变化时片匹配的情况
外观缓慢变化 时，丢失的片 很少
p(z)1
U(zw)
e T(zw)
Fra Baidu bibliotek
Qw
图像上每一点的概率分布
U(z)Vc(z(x)|xC) cC
18
• 对于一帧CIF图像，存在一系列的像素点 ，对于
这些点存在一标记场和事先观察场 ，这样马尔可 夫随机场的运动目标分割的问题可以归结为在事先 观察场和其它一系列约束条件下，确定运动目标区 域和背景区域的二值标记问题。
• 采用了3层金字塔进行多分辨率计算,而且在每层迭
代计算中,将基于块的外点去除算法与特征点提取 算法相结合,这样既加快了算法的速度,又提高了计 算结果的准确性。
8
基本步骤如下：
• 用高斯图像构造法构造图像金字塔； • 对金字塔顶层图像进行全局运动估计，求得运动参数； • 将顶层金字塔求得的参数集隐射到金字塔的中间层，并对
16
基于MRF的运动目标分割
• 马尔可夫随机场是把一维因果马尔可夫链扩展成二 维的结果，Hammersley-Clifford定理指出了 MRF和Gibbs分布之间的等价性，每个MRF都可 以用一个Gibbs分布来描述，这样就解决了MRF 概率难求的问题。
17
• Gibbs分布可定义成如下公式：
视频监控
1
报告内容
1 全局运动估计 2 马尔可夫随机场分割 3 运动目标分片跟踪 4 车辆检测与跟踪 5 图像超分辨率重建
2
动态场景的运动检测
• 视频图像中的目标检测与跟踪，是计算机视觉的基础课题，
同时具有广泛的应用价值。
• 依照目标与摄像头之间的关系：
静态场景 目标检测相对简单，研究渐趋成熟 动态场景 相对复杂，成为当前研究领域的热点 静态场景帧差的一个例子
19
MRF运动目标分割结果一
（a）实验序列1
（b）固定阈值二值化
（c）高斯模型分割
20
（d）自适应值 MRF分割
MRF运动目标分割结果二
（a）实验序列2
（b）固定阈值二值化
（c）高斯模型分割
21
（d）自适应值 MRF分割
报告内容
1 全局运动估计 2 马尔可夫随机场分割 3 运动目标分片跟踪 4 车辆检测与跟踪 5 图像超分辨率重建
12
• Ohlander等提出了一种多维直方图阈值化分割方
法，该方法直方图阈值法不需要先验信息，计算量 较小,但缺点是单独基于颜色分割得到的区域可能 是不完整的，而且没有利用局部空间信息，分割不 准确。
13
马尔可夫随机场分割
• 目前基于马尔可夫随机场随机场（MRF）运动
目标分割的方法在图像分割领域影响越来越大，该 方法与传统方法和阈值法相比，由于基于MRF的 运动目标分割方法同时考虑了图像颜色信息和空间 关联信息，因此分割效果较好。
该层进行全局运动估计，求得相应的运动参数；
• 将金字塔中间层的参数集映射到金字塔的底层, 对该层进行
全局运动估计，求得该层的运动参数集,即最终求得的参数 集。
• 利用求得的最终参数集，对图像进行运动补偿，将运动补
偿后的图像与前一帧图像进行差值。
9
下图给出了运动补偿与直接帧差的结果比较
图1 Coastguard序列图像
图2 直接帧差和运动补偿后的差值图比较
10
报告内容
1 全局运动估计 2 马尔可夫随机场分割 3 运动目标分片跟踪 4 车辆检测与跟踪 5 图像超分辨率重建
11
目标分割的意义与现状
• 运动目标的准确分割，对于获取目标的特征信
息非常重要，直接影响到进一步的运动目标跟踪的 处理，传统的运动目标分割的算法主要有背景差分， 相邻帧间差分，光流场的方法，这些方法都有各自 的缺点和不足，不能满足准确分割运动目标的要求。
前一帧图像 提取特征点 后一帧图像 提取特征点
运动补偿
帧差法
特征点匹配
最小二乘求 运动参数
运动目标
5
求特征 点并匹
配 前 一 帧
后 一 帧
6
运动补 偿
求解全局运动 参数
补偿后的帧差图像
实验结果与普通帧差法的比较
原序列
帧差法
特征匹配的方法
第
5 帧
第
50 帧
第 80 帧
7
基于图像金字塔分解的全局运动估计
将目标分片，建立目标分片表现模型（模板）。在目 标上一帧的位置周围遍历搜索，找到与目标模板相似度最 高的候选目标作为跟踪结果。
目标 分片
当前帧
24
候选目标位置
上一帧目标位置
搜索窗口
分片跟踪
其中相似度的度量是通过各片的空间直方图匹配来实现的。 确定目标位置后，判断目标中各片的有效性，我们仅利用 有效片进行下一帧的跟踪。
3
视频序列运动检测
• 对于动态场景，由于目标与摄像头之间存在复杂的
相对运动，运动检测富有挑战性。传统的帧差方法 已经不再适用，如何能对全局的运动进行估计和补 偿，成为问题的关键。
第一帧
4
帧差图像
解决思路
• 要检测动态场景中的运动目标，关键在于对场景的
运动进行估计，通过估计出的运动参数补偿其运动， 最后使用帧差法得到运动目标。