目标检测目标跟踪报告

基于码本模型的运动目标检测方法
➢ Kim K ， Proceedings of IEEE International
Conference on Image Processing ；2004
➢ 算法是利用量化和聚类技术来构建背景模型；
➢ 针对彩色监控视频,对背景中的每一个像素点进行
一段时间的采样，采样值聚类成码本的形式，码 本就代表了背景模型。 运动检测时，对新输入的像素值与其对应码本做 比较,如果能找到与其匹配的码字，则认为该像素 点为背景点，否则为前景点。
静态场景 目标检测相对简单，研究渐趋成熟 动态场景 相对复杂，成为当前研究领域的热点
静态场景帧差的一个例子
视频序列运动检测
• 对于动态场景，由于目标与摄像头之间存在复杂的
相对运动，运动检测富有挑战性。传统的帧差方法 已经不再适用，如何能对全局的运动进行估计和补 偿，成为问题的关键。
第一帧
帧差图像
解决思路
➢ 对原算法进行改进，直接在YUV空间做运
动检测及阴影处理，省去了大量的浮点型运 算，提高了算法的效率。
➢ 检测步骤：
（1）初始码本的建立
（2）前景运动目标检测
（3） 阴影和高亮问题的解决
（4）目标检测过程的码本实时更新
车辆跟踪方法的实现
➢ 基于Kalman 滤波的车辆跟踪 ➢ 通过运动估计和目标匹配两个模块实现对车
• 被遮挡的区域 •片基本丢失
• 模板更新
由上可见这种分片方法已经可以很好的解决遮挡 问题。
但是在跟踪过程中，目标的外观模型可能发生变 化（例如目标转身、尺寸变化等等）。那么刚开始 为目标建立的模板就不能很好的表示目标，这将影 响跟踪效果。
• 目标外观变化时片匹配的情况
•外观缓慢变化 时，丢失的片 很少
目标检测目标跟踪报告
2020年7月22日星期三
报告内容
•1 •全局运动估计 •2 •马尔可夫随机场分割 •3 •运动目标分片跟踪 •4 •车辆检测与跟踪 •5 •图像超分辨率重
建
动态场景的运动检测
• 视频图像中的目标检测与跟踪，是计算机视觉的基础课题
，同时具有广泛的应用价值。
• 依照目标与摄像头之间的关系：
法，该方法直方图阈值法不需要先验信息，计算量 较小,但缺点是单独基于颜色分割得到的区域可能 是不完整的，而且没有利用局部空间信息，分割不 准确。
马尔可夫随机场分割
• 目前基于马尔可夫随机场随机场（MRF）运动
目标分割的方法在图像分割领域影响越来越大，该 方法与传统方法和阈值法相比，由于基于MRF的 运动目标分割方法同时考虑了图像颜色信息和空间 关联信息，因此分割效果较好。
集。
• 利用求得的最终参数集，对图像进行运动补偿，将运动补
偿后的图像与前一帧图像进行差值。
下图给出了运动补偿与直接帧差的结果比较 图1 Coastguard序列图像
图2 直接帧差和运动补偿后的差值图比较
报告内容
•1 •全局运动估计 •2 •马尔可夫随机场分割 •3 •运动目标分片跟踪 •4 •车辆检测与跟踪 •5 •图像超分辨率重
将目标分片，建立目标分片表现模型（模板）。在目 标上一帧的位置周围遍历搜索，找到与目标模板相似度最 高的候选目标作为跟踪结果。
•当前 帧
•目 标分 片
•候选目标位置
•上一帧目标位置
•搜索窗口
分片跟踪
其中相似度的度量是通过各片的空间直方图匹配来实现的 。确定目标位置后，判断目标中各片的有效性，我们仅利 用有效片进行下一帧的跟踪。
• 利用有效片的概念，我们为每个目标建立两种模板 ，临时模板和参考模板。
• 临时模板—实时更新的模板，在无遮挡情况下跟
踪，可以解决目标外观缓慢变化的问题。
• 参考模板—能够很好的表示目标的模板，用于遮
挡情况下的跟踪。
ຫໍສະໝຸດ Baidu
分片跟踪
•多组实验结果：
1.可以有效的解决目标遮挡 2.在目标表现模型缓慢变化的情况下，实时更新模板 3.在背景较为简单的情况下实现目标尺度的更新
车辆检测与跟踪概述
车辆检测：改进的码本算法
解决车辆检测中的阴影问题;
车辆跟踪: Kalman预测的方法
解决车辆跟踪中的遮挡问题;
基于改进码本的车辆检测方法 运动检测方法：
• 帧间差分方法 • 光流场方法 • 背景减法
构建较为理想的背景模型
常用背景建模和更新算法
➢混合高斯模型(Mixture of Gaussians,MOG)
建
目标分割的意义与现状
• 运动目标的准确分割，对于获取目标的特征信
息非常重要，直接影响到进一步的运动目标跟踪的 处理，传统的运动目标分割的算法主要有背景差分 ，相邻帧间差分，光流场的方法，这些方法都有各 自的缺点和不足，不能满足准确分割运动目标的要 求。
• Ohlander等提出了一种多维直方图阈值化分割方
标可以认为是一个独立的连通域，本文采用基于连
辆的跟踪。
➢ 利用前一帧获得的参数作为Kalman滤波的状态变
量，当前帧获得的参数作为观测值，通过Kalman 滤波推导获得估计值。
以估计值为中心进行目标匹配，如果能匹配上则 认为是当前运动目标，如果匹配不上则认为出现 了遮挡，使用Kalman对其位置进行预测。
算法步骤
➢ Step1 背景模型训练，得到表示初始背景模型的码 本。
• Gibbs分布可定义成如下公式：
•图像上每一点的概率分布
• 对于一帧CIF图像，存在一系列的像素点 ，对于
这些点存在一标记场和事先观察场 ，这样马尔可
夫随机场的运动目标分割的问题可以归结为在事先
观察场和其它一系列约束条件下，确定运动目标区 域和背景区域的二值标记问题。
MRF运动目标分割结果一
：
能处理复杂、非静止的多模态背景，但它不能适应快速的 背景变化,对噪声变化比较敏感；
➢基于内核密度估计( kernel density
estimation,KDE)的非参数背景模型：
需要大量内存来存储先前的数据，需要很高的计算开销；
➢基于Bayes 决策的方法：
在场景比较复杂或前景与背景颜色比较接近时，提取的前 景目标很不完整
➢ Step6 在预测区域周围对各个车辆进行匹配跟踪。 转Step2，进行下一轮跟踪。
夜晚车辆检测结果
普通路面检测结果
• （a）序列某一帧
（b）混合高斯模型检测结果
• （c）Bayes 决策检测结果 （d）本方法检测结果
高速公路检测结果
• （a）序列某一帧
（b）混合高斯模型检测结果
• （c）Bayes 决策检测结果 （d）本方法检测结果
建
分片跟踪
•为什么引入分片跟踪：
在目标跟踪领域，一个重要的难题就是目标的遮 挡问题，因为遮挡发生时目标可能部分或全部不可见。
模拟人眼跟踪目标的方式，发生遮挡时，人眼会关 注目标的可见部分来继续跟踪。受这一思想启发，我们 将目标分成多个小片，目标被遮挡时，利用“可见片” 来跟踪。
分片跟踪
•主要思想：
利用形态滤波对分割结果进行修正，较好地解决了 分割不准确，目标信息丢失的问题。
基于MRF的运动目标分割
• 马尔可夫随机场是把一维因果马尔可夫链扩展成二 维的结果，Hammersley-Clifford定理指出了 MRF和Gibbs分布之间的等价性，每个MRF都可 以用一个Gibbs分布来描述，这样就解决了MRF 概率难求的问题。
基于码本模型的运动目标检测方法
➢ 码本方法：
计算聚类均值和样本与它的距离,不涉及概 率运算,运算速度较快；
码本方法能处理高亮和阴影问题，而且训练 时允许有前景运动目标。
该算法具有较强的鲁棒性，能实现对运动目 标较好的检测。
基于码本模型的运动目标检测方法
原码本算法对RGB空间的视频序列， 已具有较好的检测效果，有一些不足 之处：
➢ Step2 输入像素点和码本做比较判断，得到可能的 前景像素点，同时更新码本。
➢ Step3 去除可能前景像素点中阴影和高亮区域，得 到真实的前景点，同时更新码本。
➢ Step4 去噪，连通区域分析，根据检测出的运动目 标的长宽消除非车辆目标，将运动车辆分割出来 。
➢ Step5 使用卡尔曼滤波器预测车辆在下一帧中的 可能位置。
基本步骤如下：
• 用高斯图像构造法构造图像金字塔； • 对金字塔顶层图像进行全局运动估计，求得运动参数； • 将顶层金字塔求得的参数集隐射到金字塔的中间层，并对
该层进行全局运动估计，求得相应的运动参数；
• 将金字塔中间层的参数集映射到金字塔的底层, 对该层进行
全局运动估计，求得该层的运动参数集,即最终求得的参数
•求解全局运动 •参数
•补偿后的帧差图像
实验结果与普通帧差法的比较
•原序列
•帧差法
•特征匹配的方法
•第 5 帧
•第 50 帧
•第 80 帧
基于图像金字塔分解的全局运动估计
• 采用了3层金字塔进行多分辨率计算,而且在每层迭
代计算中,将基于块的外点去除算法与特征点提取 算法相结合,这样既加快了算法的速度,又提高了计 算结果的准确性。
➢ 视频采集设备，如网络摄像机、DV和图像采集卡
等采集的视频序列大多是YUV格式的，如果要在 RGB空间做运动检测，则需要进行从YUV空间到 RGB空间的转换，而该转换运算为浮点型运算， 运算量大；
➢ 原算法在RGB空间进行阴影处理时，需要做浮点
型运算，进一步加大了运算量。
基于改进码本的车辆检测实现
• 遮挡下的跟踪
分片跟踪
分片跟踪
• 目标表现模型的变化时的跟踪
• 目标尺度发生变化
报告内容
•1 •全局运动估计 •2 •马尔可夫随机场分割 •3 •运动目标分片跟踪 •4 •车辆检测与跟踪 •5 •图像超分辨率重
建
车辆检测与跟踪
包括以下两方面内容：
• 基于码本更新的检测与跟踪方法 • 基于轮廓匹配的检测与跟踪方法
跟踪结果比较
（a）本文方法第40帧 （b）本文方法第60帧
（c）本文方法第88帧
（d）本文方法第100帧
车辆检测与跟踪
包括以下两方面内容：
• 基于码本更新的检测与跟踪方法 • 基于轮廓匹配的检测与跟踪方法
背景
传统视频检测车流量统计主要采用车辆检测和跟踪技 术相结合的方法，算法复杂且容易受到外界干扰影响，
车辆检测与跟踪概述
智能交通系统： ( Intelligent Transport Systems, ITS)
车辆检测与跟踪概述
影响车辆检测和跟踪的主要因素： （1）车辆自身阴影； （2）车辆间相互遮挡或车辆被背景中物体遮
挡； （3）同车型车辆之间具有较大的相似性； （4）光线突变； （5）夜晚和雨、雪等恶烈天气等。 主要针对（1）、（2）两种情况开展研究
• 另外，MRF参数 选取的好坏会直接影响到分
割结果，Smits等研究雷达图像分割时表明，马尔 可夫参数如果较大容易形成较长的边缘，较小容易
形成微边缘，而固定的马尔可夫参数则使目标的轮 廓模糊，对分割出的目标准确判断产生不利影响。
• 因此，我们提出一种基于自适应权值的区域马尔可
夫随机场的分割方法，结合分水岭预分割算法，并
跟踪结果
（a）序列第168帧跟踪结果（b）序列第182帧跟踪结果 （c）目标质心在x方向的坐标 （d）目标质心在y方向的坐标
跟踪结果与粒子滤波方法比较
（a）粒子滤波第40帧 （b）粒子滤波第60帧
（c）粒子滤波第88帧
（d）粒子滤波第100帧
跟踪结果与经典CamShift方法比较
（a）CamShift第40帧（b）CamShift第60帧 （c）CamShift第88帧 （d）CamShift第100帧
（a）实验序列1
（b）固定阈值二值化
（c）高斯模型分割
（d）自适应值 MRF分割
MRF运动目标分割结果二
（a）实验序列2
（b）固定阈值二值化
（c）高斯模型分割
（d）自适应值 MRF分割
报告内容
•1 •全局运动估计 •2 •马尔可夫随机场分割 •3 •运动目标分片跟踪 •4 •车辆检测与跟踪 •5 •图像超分辨率重
本文建立若干车辆遮挡模型，利用分层轮廓匹配法将 运动目标与车辆遮挡模型进行轮廓匹配识别出遮挡车辆。 为了提取运动目标完整外部轮廓，提出一种基于连通域的 两轮扫描法来标记各个运动车辆，并利用YUV彩色空间对 阴影进行检测和抑制，提高车流量统计精度。
•
一、基于连通域的两轮扫描法
•
通过背景减法得到运动区域后，各个运动目
• 要检测动态场景中的运动目标，关键在于对场景的
运动进行估计，通过估计出的运动参数补偿其运动 ，最后使用帧差法得到运动目标。
•前一帧图像 •提取特征点 •后一帧图像 •提取特征点
•运动补偿
•帧差法
•特征点匹配
•最小二乘求 •运动参数
•运动目 标
•求特征 点并匹
配 •前 一 帧
•后 一 帧
•运动补 偿