目标检测、目标跟踪报告

图2 直接帧差和运动补偿后的差值图比较
报告内容
1
全局运动估计 马尔可夫随机场分割
2
3 4 5
运动目标分片跟踪 车辆检测与跟踪 图像超分辨率重建
目标分割的意义与现状
•
运动目标的准确分割，对于获取目标的特征信 息非常重要，直接影响到进一步的运动目标跟踪的 处理，传统的运动目标分割的算法主要有背景差分， 相邻帧间差分，光流场的方法，这些方法都有各自 的缺点和不足，不能满足准确分割运动目标的要求。
• 利用有效片的概念，我们为每个目标建立两种模板，
临时模板和参考模板。 • 临时模板—实时更新的模板，在无遮挡情况下跟 踪，可以解决目标外观缓慢变化的问题。 • 参考模板—能够很好的表示目标的模板，用于遮 挡情况下的跟踪。
•
该层进行全局运动估计，求得相应的运动参数； 将金字塔中间层的参数集映射到金字塔的底层, 对该层进行 全局运动估计，求得该层的运动参数集,即最终求得的参数 集。 利用求得的最终参数集，对图像进行运动补偿，将运动补 偿后的图像与前一帧图像进行差值。
•
下图给出了运动补偿与直接帧差的结果比较
图1
Coastguard序列图像
•
另外，MRF参数 选取的好坏会直接影响到分 割结果，Smits等研究雷达图像分割时表明，马尔 可夫参数如果较大容易形成较长的边缘，较小容易 形成微边缘，而固定的马尔可夫参数则使目标的轮 廓模糊，对分割出的目标准确判断产生不利影响。
• 因此，我们提出一种基于自适应权值的区域马尔可
夫随机场的分割方法，结合分水岭预分割算法，并 利用形态滤波对分割结果进行修正，较好地解决了 分割不准确，目标信息丢失的问题。
分片跟踪
•为什么引入分片跟踪：
在目标跟踪领域，一个重要的难题就是目标的遮 挡问题，因为遮挡发生时目标可能部分或全部不可见。 模拟人眼跟踪目标的方式，发生遮挡时，人眼会关 注目标的可见部分来继续跟踪。受这一思想启发，我们 将目标分成多个小片，目标被遮挡时，利用“可见片” 来跟踪。
分片跟踪
•主要思想：
被遮挡的区域 片基本丢失
• 模板更新
由上可见这种分片方法已经可以很好的解决遮挡 问题。 但是在跟踪过程中，目标的外观模型可能发生变 化（例如目标转身、尺寸变化等等）。那么刚开始 为目标建立的模板就不能很好的表示目标，这将影 响跟踪效果。
• 目标外观变化时片匹配的情况
外观缓慢变化 时，丢失的片 很少
静态场景帧差的一个例子
视频序列运动检测
• 对于动态场景，由于目标与摄像头之间存在复杂的
相对运动，运动检测富有挑战性。传统的帧差方法 已经不再适用，如何能对全局的运动进行估计和补 偿，成为问题的关键。
第一帧
帧差图像
解决思路
• 要检测动态场景中的运动目标，关键在于对场景的
运动进行估计，通过估计出的运动参数补偿其运动， 最后使用帧差法得到运动目标。
视频监控小组工作报告
报告内容
1
全局运动估计 马尔可夫随机场分割
2
3 4 5
运动目标分片跟踪 车辆检测与跟踪 图像超分辨率重建
动态场景的运动检测
• 视频图像中的目标检测与跟踪，是计算机视觉的基础课题，
•
同时具有广泛的应用价值。 依照目标与摄像头之间的关系：
静态场景 动态场景 目标检测相对简单，研究渐趋成熟 相对复杂，成为当前研究领域的热点
将目标分片，建立目标分片表现模型（模板）。在目 标上一帧的位置周围遍历搜索，找到与目标模板相似度最 高的候选目标作为跟踪结果。
目标 分片
当前帧
候选目标位置 搜索窗口 上一帧目标位置
分片跟踪
其中相似度的度量是通过各片的空间直方图匹配来实现的。 确定目标位置后，判断目标中各片的有效性，我们仅利用 有效片进行下一帧的跟踪。
图像上每一点的概率分布
U ( z ) Vc ( z ( x) | x C )
c C
• 对于一帧CIF图像，存在一系列的像素点 ，对于
这些点存在一标记场和事先观察场 ，这样马尔可 夫随机场的运动目标分割的问题可以归结为在事先 观察场和其它一系列约束条件下，确定运动目标区 域和背景区域的二值标记问题。
• 采用了3层金字塔进行多分辨率计算,而且在每层迭
代计算中,将基于块的外点去除算法与特征点提取 算法相结合,这样既加快了算法的速度,又提高了计 算结果的准确性。
基本步骤如下：
ห้องสมุดไป่ตู้
• 用高斯图像构造法构造图像金字塔； • 对金字塔顶层图像进行全局运动估计，求得运动参数； • 将顶层金字塔求得的参数集隐射到金字塔的中间层，并对
运动补偿
前一帧图像
帧差法
提取特征点 特征点匹配 最小二乘求 运动参数 运动目标
后一帧图像
提取特征点
求特征 点并匹 配 前 一 帧
运动补 偿
后 一 帧
求解全局运动 参数
补偿后的帧差图像
实验结果与普通帧差法的比较
原序列 帧差法 特征匹配的方法
第 5 帧
第 50 帧
第 80 帧
基于图像金字塔分解的全局运动估计
基于MRF的运动目标分割
• 马尔可夫随机场是把一维因果马尔可夫链扩展成二
维的结果，Hammersley-Clifford定理指出了 MRF和Gibbs分布之间的等价性，每个MRF都可 以用一个Gibbs分布来描述，这样就解决了MRF 概率难求的问题。
•
Gibbs分布可定义成如下公式：
U ( z w) 1 T p( z ) e ( z w) Q w
MRF运动目标分割结果一
（a）实验序列1
（b）固定阈值二值化
（c）高斯模型分割
（d）自适应值 MRF分割
MRF运动目标分割结果二
（a）实验序列2
（b）固定阈值二值化
（c）高斯模型分割
（d）自适应值 MRF分割
报告内容
1
全局运动估计 马尔可夫随机场分割
2
3 4 5
运动目标分片跟踪 车辆检测与跟踪 图像超分辨率重建
• Ohlander等提出了一种多维直方图阈值化分割方
法，该方法直方图阈值法不需要先验信息，计算量 较小,但缺点是单独基于颜色分割得到的区域可能 是不完整的，而且没有利用局部空间信息，分割不 准确。
马尔可夫随机场分割
•
目前基于马尔可夫随机场随机场（MRF）运动 目标分割的方法在图像分割领域影响越来越大，该 方法与传统方法和阈值法相比，由于基于MRF的 运动目标分割方法同时考虑了图像颜色信息和空间 关联信息，因此分割效果较好。