基于视频的运动目标检测与跟踪(演讲版)
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
连通域处理、孔洞填充
在使用形态学滤波处理完图像后，一些小的干扰区域已 经被除去，小的间隙被连接上，小的孔洞被填充上，但是仍 然会有相对较大的孔洞存在于检测目标内部。因此，我们使 用连通性检测的方法进行处理，来去除检测到的运动目标内
部的孔洞。
运动目标跟踪
Mean Shift算法（均值偏移）
通过视频图像中运动物体的颜色信息来达到跟踪的目的
•kalman滤波器实现 的主要五个方程为：
总结
主要讲述了目标检测和跟踪的一些常用方法 ，目标检测和跟踪的困难主要来自于光照的变化、 目标的非线性形变、遮挡以及背景噪声和干扰等众 多因素的影响。
谢谢大家！！！
Kalman滤波器
利用反馈控制系统估计运动状，用当前的状态和误差 协方差估计下一时刻的状态
•Mean Shift算法
•Mean shift ：均值偏移方法。采用彩色直方图作为匹配特征。Mean Shift 跟踪 算法反复不断地把数据点朝向MeanShift 矢量方向进行移动，最终收敛到某个概 率密度函数的极值点。
•Mean Shift算法过程
(1)选择窗口的大小和初始位置
(2)计算此时窗口内的质心 (3)调整窗口的中心到质心 (4)重复2和3，直到每次窗口移动的距离小于一定 的阈值
•Kalman滤波器
基本思想：从本质上讲，卡尔曼滤波器就是一个有噪声线 性动态系统状态预估的递归算法，它是一个不断地预测与校正 的过程。当假设系统状态模型和观测模型都是线性且符合高斯 分布，同时假设噪声也是高斯分布时，线性卡尔曼滤波器是最 优的滤波器。 •局限性：但是，常规的卡尔曼滤波算法要求系统是线性高斯 型的，对于非线性、非高斯环境而言，不能直接用来解决目标 的估计问题。
颜色都可由R、G、B三原色按一定的比 例构成，而阴影区域中的像素亮度值一 般比非阴影区域要小，特别是R、G 颜色 分量一般都较小，所以依据这种差别可 进行阴影消除。
HSV色彩空间的阴影消除算法 在HSV色彩空间进行图像处理时，并不是将
H、S、V这3个值作为判断的参数Leabharlann Baidu主要考虑参 数V(图像的亮度)，并依次进行阴影消除，其对于 图像中极亮和极暗的物体能够很好地反映出相应 的信息。
ICA：独立分量分析 PSO：粒子群优化算法
•光流法
•光流法是通过计算图像的光流场实现运动目标检测的一种 方法。所谓光流场是指空间运动物体被观测表面上的像素点 运动产生的瞬时速度场,一个二维的速度场，包含了物体表 面结构和动态行为的重要信息。
•原理：给图像中的每一个像素点赋予一个光流矢量(即速度 矢量)，当物体和图像背景存在相对运动时，运动物体所形成 的速度矢量必然和邻域背景速度矢量不同，通过对序列图像 光流场的分析，计算出运动场后，对场景进行分割，从而检 测出运动目标。
•光流法的核心是求解出运动目标的光流，即速度。
•邻帧差分法
将连续的两帧或三帧图像对应像素点的灰度值相减， 当环境亮度变化不大时，如果对应像素值相差很小，则认为 此处是静止的，标记为背景；如果对应像素值相差较大，则 认为这是由目标运动引起的，该处像素标记为运动目标。
第n-1帧
第n帧
•背景相减法
原理：建立一个无运动目标的背景图像(第一帧无运 动目标的图像或前N帧无运动目标的图像的均值或中 值)，然后将当前图像的像素值与背景图像的像素值 相减，通过设置一定的阈值，分割运动目标。
优点：算法简单、实时性较高
缺点：对背景的依赖性较高
•均值滤波法
均值滤波法采用当前帧之前的L帧的平均值作 为背景，首先创建一个可以存储L帧图像的存储空 间，之后求这L帧图像的相同位置的像素值的平均，
即
b(x, y,t) 1 L1 f (x, y,t i)
L i0
优点：运算量低，速度快，在有实时性要求 且对准确性要求不高时得到广泛的应用；
缺点：对存储空间需求较高，速度慢的物体 时可能出现空洞。
W4模型
将背景中的每个像素用最大灰度值MAX(x，y，t) 、最小 灰度值MIN(x，y，t)和最大邻间差分值DMAX(x，y，t)描述。 其中DMAX(x，y，t)是相邻帧对应位置像素灰度差的最大值， 这三个参数可以用图像序列的前L帧估计，之后新观测值f(x， y，t)与背景模型的三个值比较，若满足下列两式，则认为该 像素是背景，否则就是前景点。
基于视频的运动目标检测与跟踪
2013.06.05
研究应用背景
视频运动目标检测与目标跟踪具有很强的实用 价值，主要应用在视频监控、视频图像压缩、智能 交通、人机交互、机器人导航、医学图像分析、工 业检测等领域。
光流法
帧差法
背景减法
视频图像
运动目标检测
预处理 运动目标跟踪
阴影去除 后处理
视频图像的预处理
对均值和方差的学习，采取不同的学习机制, 将直接影响到模型的稳定性、精确性和收敛性 ； 由于我们是对运动目标的背景提取建模，因此需要对高斯模型 中方差和均值两个参数实时更新；为提高模型的学习能力,改 进方法对均值和方差的更新采用不同的学习率;为提高在繁忙 的场景下,大而慢的运动目标的检测效果,引入权值均值的概念； 建立背景图像并实时更新,然后结合权值、权值均值和背景图 像对像素点进行前景和背景的分类
• 阴影不会显著改变背景点的色
度，但通常会降低其亮度和饱
和度。 1 0
| Ht (i, j) Hbg (i, j) | Th 且 (St (i, j) Sbg (i, j)) Ts 且 Vt (i, j)
Vbg (i, j)
其他
检测后处理
形态学处理：腐蚀、膨胀
运动目标由于颜色和背景接近或者其他噪声的干扰，可 能导致检测的结果出现镂空或者称为空洞现象。采用形态学滤 波方法解决这一问题。形态学滤波是一种以形态为基础的分析 图像的数学工具。其基本思想是采用一些具有特定形态的结构 元素提取图像中的对应形状从而实现图像分析的目的。
缺点：当场景比较复杂时，模型会变得不稳定，而且抗噪声干扰 的能力较差。
•混合高斯法
• 混合高斯模型使用K（基本为3到5个）个高斯模型来表 征图像中各个像素点的特征；用当前图像中的每个像素点与 混合高斯模型匹配,如果成功则判定该点为背景点, 否则为前 景点； 获得后更新混合高斯模型；通观整个高斯模型，主要 是有方差和均值两个参数决定。
| It It1 | T | It It1 | T
由 二值 图像 ft 更新背景图像 Bt1
Bt
1
(
x,
y)
Bt
(
x, y) (1 Bt (x, y),
)
It
,
ft 0 ft 1
•单高斯法
•对每一个像素利用高斯函数建模，每一像素点都认为服从均值和标准方 差的分布，且每一点的高斯分布是独立的。每一个像素处理的都是一系 列在相应时间内(从起始时间到当前时间)的该点值的集合，即在任意时
优点 ： (1)混合高斯模型可以模拟复杂的多峰背景(如摇 动的树枝，摆动的旗帜等)， (2)不仅能准确的检测出大面积目标还能检测出小 面积的目标， (3)运算量不是非常大，能够满足实时性需要。 缺点 ：
(1) 能够有效的解决光线渐变的问题，但是对于 光线突变非常敏感；
阴影去除
RGB色彩空间的阴影消除算法 在RGB色彩模型空间中，任何一种
•在Mean Shift 跟踪算法中，相似度函数用于刻画目标模板和候选区域所对应的 两个核函数直方图的相似性，采用的是Bhattacharyya 系数。因此，这种方法将 跟踪问题转化为Mean Shift 模式匹配问题。 •优缺点：Mean Shift 算法假设特征直方图足够确定目标的位置，并且足够稳健 ，对其他运动不敏感。该方法可以避免目标形状、外观或运动的复杂建模，建立 相似度的统计测量和连续优化之间的联系。但是，Mean Shift 算法不能用于旋转 和尺度运动的估计。
优点：同均值滤波法相比检测 效果较好，运算量也不大，能够满 足实时性要求，而且对目标比较敏 感。
缺点：当运动目标面积小且与 背景对比度低或者目标颜色深时分 割效果较差。
•自适应背景模型
将 第 一 帧 （无运动物体的图像） I0 作为背景
； B0 选 取 阈值T ；
求 当前 帧 的差 分 图 像
1, ft 0,
间t像素点 的值应该是以时间为轴的点的集合中的一个,可由下式
表示：
其中，表示这一个图像序列，也就是这个集合；表示第 帧。那么从时间轴上看，这些点的集合符合高斯分布，即，
这里，a称为更新参数，表示背景变化的速度。 优点：单高斯分布背景模型在室内(或其他简单场景)进行运动目
标检测可以得到较好的效果，由于运算量小，处理速度非常快，而且 检测到的目标比较完整。
•彩色图像灰度化
GRAY 0.114• R 0.587•G 0.299• B
•图像的平滑滤波 (1)中值滤波 (2)邻域均值滤波 (3)高斯滤波
运动目标检测
•光流法
•帧间差分法 •背景减除法
• 背景相减法 • 均值滤波法 • W4模型 • 自适应背景模型 • 单高斯模型 • 混合高斯模型
在使用形态学滤波处理完图像后，一些小的干扰区域已 经被除去，小的间隙被连接上，小的孔洞被填充上，但是仍 然会有相对较大的孔洞存在于检测目标内部。因此，我们使 用连通性检测的方法进行处理，来去除检测到的运动目标内
部的孔洞。
运动目标跟踪
Mean Shift算法（均值偏移）
通过视频图像中运动物体的颜色信息来达到跟踪的目的
•kalman滤波器实现 的主要五个方程为：
总结
主要讲述了目标检测和跟踪的一些常用方法 ，目标检测和跟踪的困难主要来自于光照的变化、 目标的非线性形变、遮挡以及背景噪声和干扰等众 多因素的影响。
谢谢大家！！！
Kalman滤波器
利用反馈控制系统估计运动状，用当前的状态和误差 协方差估计下一时刻的状态
•Mean Shift算法
•Mean shift ：均值偏移方法。采用彩色直方图作为匹配特征。Mean Shift 跟踪 算法反复不断地把数据点朝向MeanShift 矢量方向进行移动，最终收敛到某个概 率密度函数的极值点。
•Mean Shift算法过程
(1)选择窗口的大小和初始位置
(2)计算此时窗口内的质心 (3)调整窗口的中心到质心 (4)重复2和3，直到每次窗口移动的距离小于一定 的阈值
•Kalman滤波器
基本思想：从本质上讲，卡尔曼滤波器就是一个有噪声线 性动态系统状态预估的递归算法，它是一个不断地预测与校正 的过程。当假设系统状态模型和观测模型都是线性且符合高斯 分布，同时假设噪声也是高斯分布时，线性卡尔曼滤波器是最 优的滤波器。 •局限性：但是，常规的卡尔曼滤波算法要求系统是线性高斯 型的，对于非线性、非高斯环境而言，不能直接用来解决目标 的估计问题。
颜色都可由R、G、B三原色按一定的比 例构成，而阴影区域中的像素亮度值一 般比非阴影区域要小，特别是R、G 颜色 分量一般都较小，所以依据这种差别可 进行阴影消除。
HSV色彩空间的阴影消除算法 在HSV色彩空间进行图像处理时，并不是将
H、S、V这3个值作为判断的参数Leabharlann Baidu主要考虑参 数V(图像的亮度)，并依次进行阴影消除，其对于 图像中极亮和极暗的物体能够很好地反映出相应 的信息。
ICA：独立分量分析 PSO：粒子群优化算法
•光流法
•光流法是通过计算图像的光流场实现运动目标检测的一种 方法。所谓光流场是指空间运动物体被观测表面上的像素点 运动产生的瞬时速度场,一个二维的速度场，包含了物体表 面结构和动态行为的重要信息。
•原理：给图像中的每一个像素点赋予一个光流矢量(即速度 矢量)，当物体和图像背景存在相对运动时，运动物体所形成 的速度矢量必然和邻域背景速度矢量不同，通过对序列图像 光流场的分析，计算出运动场后，对场景进行分割，从而检 测出运动目标。
•光流法的核心是求解出运动目标的光流，即速度。
•邻帧差分法
将连续的两帧或三帧图像对应像素点的灰度值相减， 当环境亮度变化不大时，如果对应像素值相差很小，则认为 此处是静止的，标记为背景；如果对应像素值相差较大，则 认为这是由目标运动引起的，该处像素标记为运动目标。
第n-1帧
第n帧
•背景相减法
原理：建立一个无运动目标的背景图像(第一帧无运 动目标的图像或前N帧无运动目标的图像的均值或中 值)，然后将当前图像的像素值与背景图像的像素值 相减，通过设置一定的阈值，分割运动目标。
优点：算法简单、实时性较高
缺点：对背景的依赖性较高
•均值滤波法
均值滤波法采用当前帧之前的L帧的平均值作 为背景，首先创建一个可以存储L帧图像的存储空 间，之后求这L帧图像的相同位置的像素值的平均，
即
b(x, y,t) 1 L1 f (x, y,t i)
L i0
优点：运算量低，速度快，在有实时性要求 且对准确性要求不高时得到广泛的应用；
缺点：对存储空间需求较高，速度慢的物体 时可能出现空洞。
W4模型
将背景中的每个像素用最大灰度值MAX(x，y，t) 、最小 灰度值MIN(x，y，t)和最大邻间差分值DMAX(x，y，t)描述。 其中DMAX(x，y，t)是相邻帧对应位置像素灰度差的最大值， 这三个参数可以用图像序列的前L帧估计，之后新观测值f(x， y，t)与背景模型的三个值比较，若满足下列两式，则认为该 像素是背景，否则就是前景点。
基于视频的运动目标检测与跟踪
2013.06.05
研究应用背景
视频运动目标检测与目标跟踪具有很强的实用 价值，主要应用在视频监控、视频图像压缩、智能 交通、人机交互、机器人导航、医学图像分析、工 业检测等领域。
光流法
帧差法
背景减法
视频图像
运动目标检测
预处理 运动目标跟踪
阴影去除 后处理
视频图像的预处理
对均值和方差的学习，采取不同的学习机制, 将直接影响到模型的稳定性、精确性和收敛性 ； 由于我们是对运动目标的背景提取建模，因此需要对高斯模型 中方差和均值两个参数实时更新；为提高模型的学习能力,改 进方法对均值和方差的更新采用不同的学习率;为提高在繁忙 的场景下,大而慢的运动目标的检测效果,引入权值均值的概念； 建立背景图像并实时更新,然后结合权值、权值均值和背景图 像对像素点进行前景和背景的分类
• 阴影不会显著改变背景点的色
度，但通常会降低其亮度和饱
和度。 1 0
| Ht (i, j) Hbg (i, j) | Th 且 (St (i, j) Sbg (i, j)) Ts 且 Vt (i, j)
Vbg (i, j)
其他
检测后处理
形态学处理：腐蚀、膨胀
运动目标由于颜色和背景接近或者其他噪声的干扰，可 能导致检测的结果出现镂空或者称为空洞现象。采用形态学滤 波方法解决这一问题。形态学滤波是一种以形态为基础的分析 图像的数学工具。其基本思想是采用一些具有特定形态的结构 元素提取图像中的对应形状从而实现图像分析的目的。
缺点：当场景比较复杂时，模型会变得不稳定，而且抗噪声干扰 的能力较差。
•混合高斯法
• 混合高斯模型使用K（基本为3到5个）个高斯模型来表 征图像中各个像素点的特征；用当前图像中的每个像素点与 混合高斯模型匹配,如果成功则判定该点为背景点, 否则为前 景点； 获得后更新混合高斯模型；通观整个高斯模型，主要 是有方差和均值两个参数决定。
| It It1 | T | It It1 | T
由 二值 图像 ft 更新背景图像 Bt1
Bt
1
(
x,
y)
Bt
(
x, y) (1 Bt (x, y),
)
It
,
ft 0 ft 1
•单高斯法
•对每一个像素利用高斯函数建模，每一像素点都认为服从均值和标准方 差的分布，且每一点的高斯分布是独立的。每一个像素处理的都是一系 列在相应时间内(从起始时间到当前时间)的该点值的集合，即在任意时
优点 ： (1)混合高斯模型可以模拟复杂的多峰背景(如摇 动的树枝，摆动的旗帜等)， (2)不仅能准确的检测出大面积目标还能检测出小 面积的目标， (3)运算量不是非常大，能够满足实时性需要。 缺点 ：
(1) 能够有效的解决光线渐变的问题，但是对于 光线突变非常敏感；
阴影去除
RGB色彩空间的阴影消除算法 在RGB色彩模型空间中，任何一种
•在Mean Shift 跟踪算法中，相似度函数用于刻画目标模板和候选区域所对应的 两个核函数直方图的相似性，采用的是Bhattacharyya 系数。因此，这种方法将 跟踪问题转化为Mean Shift 模式匹配问题。 •优缺点：Mean Shift 算法假设特征直方图足够确定目标的位置，并且足够稳健 ，对其他运动不敏感。该方法可以避免目标形状、外观或运动的复杂建模，建立 相似度的统计测量和连续优化之间的联系。但是，Mean Shift 算法不能用于旋转 和尺度运动的估计。
优点：同均值滤波法相比检测 效果较好，运算量也不大，能够满 足实时性要求，而且对目标比较敏 感。
缺点：当运动目标面积小且与 背景对比度低或者目标颜色深时分 割效果较差。
•自适应背景模型
将 第 一 帧 （无运动物体的图像） I0 作为背景
； B0 选 取 阈值T ；
求 当前 帧 的差 分 图 像
1, ft 0,
间t像素点 的值应该是以时间为轴的点的集合中的一个,可由下式
表示：
其中，表示这一个图像序列，也就是这个集合；表示第 帧。那么从时间轴上看，这些点的集合符合高斯分布，即，
这里，a称为更新参数，表示背景变化的速度。 优点：单高斯分布背景模型在室内(或其他简单场景)进行运动目
标检测可以得到较好的效果，由于运算量小，处理速度非常快，而且 检测到的目标比较完整。
•彩色图像灰度化
GRAY 0.114• R 0.587•G 0.299• B
•图像的平滑滤波 (1)中值滤波 (2)邻域均值滤波 (3)高斯滤波
运动目标检测
•光流法
•帧间差分法 •背景减除法
• 背景相减法 • 均值滤波法 • W4模型 • 自适应背景模型 • 单高斯模型 • 混合高斯模型