(完整版)目标检测、目标跟踪报告
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
这些点存在一标记场和事先观察场 ，这样马尔可
夫随机场的运动目标分割的问题可以归结为在事先
观察场和其它一系列约束条件下，确定运动目标区 域和背景区域的二值标记问题。
19
HFUT-TI DSP United Lab
MRF运动目标分割结果一
（a）实验序列1
（b）固定阈值二值化
（c）高斯模型分割
20
（d）自适应值 MRF分割
22
HFUT-TI DSP United Lab
分片跟踪
•为什么引入分片跟踪：
在目标跟踪领域，一个重要的难题就是目标的遮 挡问题，因为遮挡发生时目标可能部分或全部不可见。
求特征 点并匹
配 前 一 帧
后 一 帧
6
运动补 偿
求解全局运动 参数
补偿后的帧差图像
HFUT-TI DSP United Lab
实验结果与普通帧差法的比较
原序列
帧差法
特征匹配的方法
第
5 帧
第
50 帧
第
80 帧
7
HFUT-TI DSP United Lab
基于图像金字塔分解的全局运动估计
• 采用了3层金字塔进行多分辨率计算,而且在每层迭
该层进行全局运动估计，求得相应的运动参数；
• 将金字塔中间层的参数集映射到金字塔的底层, 对该层进行
全局运动估计，求得该层的运动参数集,即最终求得的参数
集。
• 利用求得的最终参数集，对图像进行运动补偿，将运动补
偿后的图像与前一帧图像进行差值。
9
HFUT-TI DSP United Lab
下图给出了运动补偿与直接帧差的结果比较
• 依照目标与摄像头之间的关系：
静态场景 目标检测相对简单，研究渐趋成熟 动态场景 相对复杂，成为当前研究领域的热点
静态场景帧差的一个例子
3
HFUT-TI DSP United Lab
视频序列运动检测
• 对于动态场景，由于目标与摄像头之间存在复杂的
相对运动，运动检测富有挑战性。传统的帧差方法 已经不再适用，如何能对全局的运动进行估计和补 偿，成为问题的关键。
代计算中,将基于块的外点去除算法与特征点提取 算法相结合,这样既加快了算法的速度,又提高了计 算结果的准确性。
8
HFUT-TI DSP United Lab
基本步骤如下：
• 用高斯图像构造法构造图像金字塔； • 对金字塔顶层图像进行全局运动估计，求得运动参数； • 将顶层金字塔求得的参数集隐射到金字塔的中间层，并对
HFUT-TI DSP United Lab
MRF运动目标分割结果二
（a）实验序列2
（b）固定阈值二值化
（c）高斯模型分割
21
（d）自适应值 MRF分割
HFUT-TI DSP United Lab
报告内容
1 全局运动估计 2 马尔可夫随机场分割 3 运动目标分片跟踪 4 车辆检测与跟踪 5 图像超分辨率重建
第一帧
4wenku.baidu.com
帧差图像
HFUT-TI DSP United Lab
解决思路
• 要检测动态场景中的运动目标，关键在于对场景的
运动进行估计，通过估计出的运动参数补偿其运动， 最后使用帧差法得到运动目标。
前一帧图像 提取特征点 后一帧图像 提取特征点
运动补偿
帧差法
特征点匹配
最小二乘求 运动参数
运动目标
5
HFUT-TI DSP United Lab
图1 Coastguard序列图像
图2 直接帧差和运动补偿后的差值图比较
10
HFUT-TI DSP United Lab
报告内容
1 全局运动估计 2 马尔可夫随机场分割 3 运动目标分片跟踪 4 车辆检测与跟踪 5 图像超分辨率重建
11
HFUT-TI DSP United Lab
目标分割的意义与现状
• 运动目标的准确分割，对于获取目标的特征信
息非常重要，直接影响到进一步的运动目标跟踪的 处理，传统的运动目标分割的算法主要有背景差分， 相邻帧间差分，光流场的方法，这些方法都有各自 的缺点和不足，不能满足准确分割运动目标的要求。
12
HFUT-TI DSP United Lab
• Ohlander等提出了一种多维直方图阈值化分割方
• 因此，我们提出一种基于自适应权值的区域马尔可
夫随机场的分割方法，结合分水岭预分割算法，并
利用形态滤波对分割结果进行修正，较好地解决了 分割不准确，目标信息丢失的问题。
16
HFUT-TI DSP United Lab
基于MRF的运动目标分割
• 马尔可夫随机场是把一维因果马尔可夫链扩展成二 维的结果，Hammersley-Clifford定理指出了 MRF和Gibbs分布之间的等价性，每个MRF都可 以用一个Gibbs分布来描述，这样就解决了MRF 概率难求的问题。
17
HFUT-TI DSP United Lab
• Gibbs分布可定义成如下公式：
p(z) 1
U ( zw)
e T (z w)
Qw
图像上每一点的概率分布
U (z) Vc (z(x) | xC) c C
18
HFUT-TI DSP United Lab
• 对于一帧CIF图像，存在一系列的像素点 ，对于
法，该方法直方图阈值法不需要先验信息，计算量 较小,但缺点是单独基于颜色分割得到的区域可能 是不完整的，而且没有利用局部空间信息，分割不 准确。
13
HFUT-TI DSP United Lab
马尔可夫随机场分割
• 目前基于马尔可夫随机场随机场（MRF）运动
目标分割的方法在图像分割领域影响越来越大，该 方法与传统方法和阈值法相比，由于基于MRF的 运动目标分割方法同时考虑了图像颜色信息和空间 关联信息，因此分割效果较好。
视频监控小组工作报告
报告人：蒋老师 09.11.17
报告内容
1 全局运动估计 2 马尔可夫随机场分割 3 运动目标分片跟踪 4 车辆检测与跟踪 5 图像超分辨率重建
2
HFUT-TI DSP United Lab
动态场景的运动检测
• 视频图像中的目标检测与跟踪，是计算机视觉的基础课题，
同时具有广泛的应用价值。
14
HFUT-TI DSP United Lab
• 另外，MRF参数 选取的好坏会直接影响到分
割结果，Smits等研究雷达图像分割时表明，马尔 可夫参数如果较大容易形成较长的边缘，较小容易
形成微边缘，而固定的马尔可夫参数则使目标的轮 廓模糊，对分割出的目标准确判断产生不利影响。
15
HFUT-TI DSP United Lab
夫随机场的运动目标分割的问题可以归结为在事先
观察场和其它一系列约束条件下，确定运动目标区 域和背景区域的二值标记问题。
19
HFUT-TI DSP United Lab
MRF运动目标分割结果一
（a）实验序列1
（b）固定阈值二值化
（c）高斯模型分割
20
（d）自适应值 MRF分割
22
HFUT-TI DSP United Lab
分片跟踪
•为什么引入分片跟踪：
在目标跟踪领域，一个重要的难题就是目标的遮 挡问题，因为遮挡发生时目标可能部分或全部不可见。
求特征 点并匹
配 前 一 帧
后 一 帧
6
运动补 偿
求解全局运动 参数
补偿后的帧差图像
HFUT-TI DSP United Lab
实验结果与普通帧差法的比较
原序列
帧差法
特征匹配的方法
第
5 帧
第
50 帧
第
80 帧
7
HFUT-TI DSP United Lab
基于图像金字塔分解的全局运动估计
• 采用了3层金字塔进行多分辨率计算,而且在每层迭
该层进行全局运动估计，求得相应的运动参数；
• 将金字塔中间层的参数集映射到金字塔的底层, 对该层进行
全局运动估计，求得该层的运动参数集,即最终求得的参数
集。
• 利用求得的最终参数集，对图像进行运动补偿，将运动补
偿后的图像与前一帧图像进行差值。
9
HFUT-TI DSP United Lab
下图给出了运动补偿与直接帧差的结果比较
• 依照目标与摄像头之间的关系：
静态场景 目标检测相对简单，研究渐趋成熟 动态场景 相对复杂，成为当前研究领域的热点
静态场景帧差的一个例子
3
HFUT-TI DSP United Lab
视频序列运动检测
• 对于动态场景，由于目标与摄像头之间存在复杂的
相对运动，运动检测富有挑战性。传统的帧差方法 已经不再适用，如何能对全局的运动进行估计和补 偿，成为问题的关键。
代计算中,将基于块的外点去除算法与特征点提取 算法相结合,这样既加快了算法的速度,又提高了计 算结果的准确性。
8
HFUT-TI DSP United Lab
基本步骤如下：
• 用高斯图像构造法构造图像金字塔； • 对金字塔顶层图像进行全局运动估计，求得运动参数； • 将顶层金字塔求得的参数集隐射到金字塔的中间层，并对
HFUT-TI DSP United Lab
MRF运动目标分割结果二
（a）实验序列2
（b）固定阈值二值化
（c）高斯模型分割
21
（d）自适应值 MRF分割
HFUT-TI DSP United Lab
报告内容
1 全局运动估计 2 马尔可夫随机场分割 3 运动目标分片跟踪 4 车辆检测与跟踪 5 图像超分辨率重建
第一帧
4wenku.baidu.com
帧差图像
HFUT-TI DSP United Lab
解决思路
• 要检测动态场景中的运动目标，关键在于对场景的
运动进行估计，通过估计出的运动参数补偿其运动， 最后使用帧差法得到运动目标。
前一帧图像 提取特征点 后一帧图像 提取特征点
运动补偿
帧差法
特征点匹配
最小二乘求 运动参数
运动目标
5
HFUT-TI DSP United Lab
图1 Coastguard序列图像
图2 直接帧差和运动补偿后的差值图比较
10
HFUT-TI DSP United Lab
报告内容
1 全局运动估计 2 马尔可夫随机场分割 3 运动目标分片跟踪 4 车辆检测与跟踪 5 图像超分辨率重建
11
HFUT-TI DSP United Lab
目标分割的意义与现状
• 运动目标的准确分割，对于获取目标的特征信
息非常重要，直接影响到进一步的运动目标跟踪的 处理，传统的运动目标分割的算法主要有背景差分， 相邻帧间差分，光流场的方法，这些方法都有各自 的缺点和不足，不能满足准确分割运动目标的要求。
12
HFUT-TI DSP United Lab
• Ohlander等提出了一种多维直方图阈值化分割方
• 因此，我们提出一种基于自适应权值的区域马尔可
夫随机场的分割方法，结合分水岭预分割算法，并
利用形态滤波对分割结果进行修正，较好地解决了 分割不准确，目标信息丢失的问题。
16
HFUT-TI DSP United Lab
基于MRF的运动目标分割
• 马尔可夫随机场是把一维因果马尔可夫链扩展成二 维的结果，Hammersley-Clifford定理指出了 MRF和Gibbs分布之间的等价性，每个MRF都可 以用一个Gibbs分布来描述，这样就解决了MRF 概率难求的问题。
17
HFUT-TI DSP United Lab
• Gibbs分布可定义成如下公式：
p(z) 1
U ( zw)
e T (z w)
Qw
图像上每一点的概率分布
U (z) Vc (z(x) | xC) c C
18
HFUT-TI DSP United Lab
• 对于一帧CIF图像，存在一系列的像素点 ，对于
法，该方法直方图阈值法不需要先验信息，计算量 较小,但缺点是单独基于颜色分割得到的区域可能 是不完整的，而且没有利用局部空间信息，分割不 准确。
13
HFUT-TI DSP United Lab
马尔可夫随机场分割
• 目前基于马尔可夫随机场随机场（MRF）运动
目标分割的方法在图像分割领域影响越来越大，该 方法与传统方法和阈值法相比，由于基于MRF的 运动目标分割方法同时考虑了图像颜色信息和空间 关联信息，因此分割效果较好。
视频监控小组工作报告
报告人：蒋老师 09.11.17
报告内容
1 全局运动估计 2 马尔可夫随机场分割 3 运动目标分片跟踪 4 车辆检测与跟踪 5 图像超分辨率重建
2
HFUT-TI DSP United Lab
动态场景的运动检测
• 视频图像中的目标检测与跟踪，是计算机视觉的基础课题，
同时具有广泛的应用价值。
14
HFUT-TI DSP United Lab
• 另外，MRF参数 选取的好坏会直接影响到分
割结果，Smits等研究雷达图像分割时表明，马尔 可夫参数如果较大容易形成较长的边缘，较小容易
形成微边缘，而固定的马尔可夫参数则使目标的轮 廓模糊，对分割出的目标准确判断产生不利影响。
15
HFUT-TI DSP United Lab