第五章运动目标检测.pptx
合集下载
运动目标检测
运动目标检测在计算机视觉领域中，运动目标检测是一项重要的研究任务，它的目标是通过算法自动检测图像或视频中的运动目标，并给予其正确的分类。
运动目标检测在许多应用中都有重要的作用，例如视频监控、智能交通系统和自动驾驶汽车等领域。
运动目标检测的挑战主要在于克服背景干扰、光照变化和目标遮挡等问题。
为了解决这些问题，研究者们提出了许多不同的方法和算法。
其中一种常见的运动目标检测方法是基于光流的方法。
光流是指物体在连续帧之间的像素移动信息。
这种方法通过计算相邻帧之间的光流来检测运动目标。
然后，通过对光流进行分析和处理，可以提取出运动目标的轮廓和位置信息。
另一种常见的方法是基于背景建模的方法。
这种方法假设背景是静止的，而目标是运动的。
通过对连续帧中的像素进行建模，可以提取出运动目标的位置和轮廓信息。
背景建模方法主要分为静态背景建模和自适应背景建模两种。
静态背景建模将整个场景作为背景进行建模，而自适应背景建模会根据场景的变化自动调整背景模型。
这些方法通常结合了像素差分和像素匹配等技术来检测运动目标。
近年来，深度学习技术的快速发展也为运动目标检测提供了新的解决方案。
基于深度学习的方法通过训练神经网络来学习特征表示，并使用这些特征表示来检测和分类运动目标。
其中，卷积神经网络（CNN）是最常用的深度学习模型之一，已经在许多图像和视频任务中取得了令人瞩目的成果。
此外，还有一些基于循环神经网络（RNN）和长短期记忆（LSTM）的方法也被用于处理序列数据，如视频中的运动目标。
总体而言，运动目标检测是一个非常复杂和多样的问题。
随着计算机硬件和算法的不断改进，运动目标检测的性能也在不断提高。
未来，我们可以期待更多创新的方法和技术被应用于运动目标检测任务中，以提高准确性和效率。
第五章光电信息处理技术成像目标探测与跟踪技术.pptx
器
光光光光光光光光光 光光光光光光光光光
光光光光光
一、成像探测与跟踪系统概述
研究现状（国际）
1997年，美国国防高级研究项目署设立了以卡内基梅隆大学牵头，麻省理工 学院等高校参与的视觉监控重大项目VSAM，主要研究用于战场及普通民用 场景监控的自动视频理解技术。
1999年，美国康奈尔大学计算机系设计了一套航拍视频检测与持续跟踪系 统，该系统能够对多运动目标实现长时间的准确跟踪，即使发生短时间内 目标被遮挡或目标时静时动的情况 。
一、成像探测与跟踪系统概述
红外监控系统
一、成像探测与跟踪系统概述
什么是视频(成像)目标跟踪？
一、成像探测与跟踪系统概述
什么是视频(成像)目标跟踪？
一、成像探测与跟踪系统概述
成像跟踪系统流程及框图
监视器
摄像头 伺候机构
图像预处理
目标特性分析、
数
特征提取
字
信
号
处
自动跟踪
目标识别
目标检测
理
图像分割
主要内容
成像探测与跟踪系统概述 运动目标检测方法 成像目标跟踪方法 目标跟踪技术应用及发展
二、运动目标检测
1、静止背景下的目标检测
帧差分法：
g x, y ft1 x, y ft x, y
g x, y
ft1 x, y
ft x, y
=
-
静态场景帧差的一个例子
二、运动目标检测
视频序列运动检测
该系统在运动背景估计与补偿中所涉及的主要技术是基于KanadeLucas-Tomasi算法的特征点跟踪和基于M估计的鲁棒性仿射参数估计。然后 利用三帧差减的方法检测目标运动，利用形态学操作分割图像并定位运动目 标。对多目标进行标记之后，利用Hausdorff距离匹配和模板更新的方法对目 标进行长时间的跟踪。
运动估计-运动检测ppt课件
Gmm方法
• 在一段较长时间内，对图像中同一位置的像素点 进行采集，该像素点作为背景图像上的一点，在 理想状态下，采样值应该是某一个固定值，但是 由于光照等自然因素的影响存在偏差。在统计意 义下，这些采样值是服从单高斯分布模型的， • 它们主要集中在概率大的高斯模型的中心位置上， 而在该点上出现的运动目标则是属于发生概率小 的远离高斯模型中心的部分。
• 如果没有任何高斯模型与当前亮度值匹配， 则将权重最小的高斯分量以一个新 • 的高斯模型替代。新高斯模型的内核密度 均值为It ，偏差为最大初始偏差，权重为 • 最小初始权重。其他高斯分布模型不变， 只降低它们的权重，即
• 混合高斯法在背景建模过程中由于允许运动目标 存在，因此尤其适合室外有光线和天气变化的小 而速度快的运动目标的检测。它的缺点首先是计 算复杂，不仅对背景建模，实际上也对前景建模， 其计算复杂度与高斯模型的个数成正比，而且模 型参数难调。其次，它对大而慢的目标检测效果 也不好，特别是会将纹理少或对比度低的目标当 作背景。第三就是它对全局亮度的突然变化非常 敏感，如果场景很长时间没变，则背景分量的变 化就非常小，但是全局亮度的突然变化会将 • 整个视频帧认为是前景。
中值滤波器法
• 通常在背景模型提取阶段，运动目标可以在监视 区域运动，但不会长时间停留在某一个位置上。 对视频画面中某一像素进行一段时间的观测，可 以发现，只有在前景目标通过该点时，它的亮度 值才发生大的变化。中值滤波法的思想是先建 • 立一个视频流滑窗用来缓存L张视频帧，然后把缓 存中所有视频帧同位置像素的中值作为背景中该 处像素的值。 • L值的大小由运动目标通过的速度和摄像机拍摄时 的采样速率等因素决定。
引起背景变化的原因
• ①光照变化：包括连续的光照变化，通常是室外环境；突然的光 照变化，通常是室内环境中关灯或者室外晴天出现乌云等情况； 投影到背景中的阴影，这既可能是背景自己产生的阴影，如大楼、 树，也可能是前景目标自身的阴影。 • ②背景扰动：背景中存在的如风中树叶的摇动、水面波光的闪动、 车窗玻璃的反光以及天气变化等许多细微活动，都会影响到运动 目标的检测。再如室外摄像机受风吹而抖动同样会影响运动目标 的检测。 • ③背景变化：运动目标引起的背景变化包括人将某个东西带入或 带出背景，汽车驶入或驶出，或者人或物在场景中停留一阵后又 运动的情况。 • ④遮挡问题：遮挡也是运动目标检测过程中一个难以解决的问题， 在运动目标前方的遮挡物能会作为目标的一部分被提取出来，从 而造成检测目标变形严重，甚至还会检测目标的失败。这些因素 都会大大提高背景建模及背景更新的难度，影响到检测的效果。
运动目标检测与跟踪知识讲解
? Color Orientation ? CEnotdreospy
移动平台下的目标跟踪
先前帧
特征熵
抽取的特征区域
Approach
? Covariance Matching
R (x, y)
G ( x, y)
B (x, y)
I xy ( x, y )
Covariance matrices
d ( x, y)
D
t
(x,
y)
=
??1,
? ?
0,
I(t x, y)- It-1 otherwise
(x,
y) > T
Default:T=60
优点：鲁棒性好，运算量小，易于软件实现 缺点：对噪声有一定的敏感性，运动实体内部也容易产生空洞现 象，阈值 T缺乏自适应性，当光照变化时，检测算法难以适应环境 变化
背景相减法
检测实例：
（a）第 1帧图像
（b）第 2帧图像
（ c）变化区域图像
（d）提取出的背景图像 （e）变化区域与背景差分图像 （f）运动目标检测结果
国内外对此类问题的解决办法：
基于目标建模定位：
目标建模
相似度度量
目标定位
基于滤波、数据关联： Kalman Filter , Particle Filter, PDAF
帧间差分法
这种方法就是将前后两帧图像对应像素点的灰度值相减 ，在环境亮度变化不大的情况下，如果对应像素灰度相差很 小，可以认为此处景物是静止的，如果图像区域某处的灰度 变化很大，可以认为这是由于图像中运动物体引起的，将这 些区域标记下来，利用这些标记的像素区域，就可以求出运 动目标在图像中的位置。
2020/6/11
形状上下文（shape context):
移动平台下的目标跟踪
先前帧
特征熵
抽取的特征区域
Approach
? Covariance Matching
R (x, y)
G ( x, y)
B (x, y)
I xy ( x, y )
Covariance matrices
d ( x, y)
D
t
(x,
y)
=
??1,
? ?
0,
I(t x, y)- It-1 otherwise
(x,
y) > T
Default:T=60
优点：鲁棒性好，运算量小，易于软件实现 缺点：对噪声有一定的敏感性，运动实体内部也容易产生空洞现 象，阈值 T缺乏自适应性，当光照变化时，检测算法难以适应环境 变化
背景相减法
检测实例：
（a）第 1帧图像
（b）第 2帧图像
（ c）变化区域图像
（d）提取出的背景图像 （e）变化区域与背景差分图像 （f）运动目标检测结果
国内外对此类问题的解决办法：
基于目标建模定位：
目标建模
相似度度量
目标定位
基于滤波、数据关联： Kalman Filter , Particle Filter, PDAF
帧间差分法
这种方法就是将前后两帧图像对应像素点的灰度值相减 ，在环境亮度变化不大的情况下，如果对应像素灰度相差很 小，可以认为此处景物是静止的，如果图像区域某处的灰度 变化很大，可以认为这是由于图像中运动物体引起的，将这 些区域标记下来，利用这些标记的像素区域，就可以求出运 动目标在图像中的位置。
2020/6/11
形状上下文（shape context):
运动场景中目标检测与跟踪技术研究课程(PPT 61页)
图像分割与目标检测：利用图像分割技术从图像 中检测出可能的运动目标。
特征提取和目标跟踪：对检测出的目标提取可识 别的特征，依据这些特征在后续的视频图像序列中 对目标进行跟踪。
针对视频图像目标检测与跟踪技术，根据三维场景中目标距离 成像传感器的探测距离，可划分为三种情况：
①微弱点状目标的检测，即当目标距离成像传感器很远时，目 标在图像平面上只占几个像素，呈现为微弱点状目标，信噪比较 低；
Khaled Kaâniche, Benjamin Champion, Claude Pégard, Pascal Vasseur “A Vision Algorithm for Dynamic Detection of Moving Vehicles with a UAV” IEEE International Conference on Robotics and Automation 2005 (ICRA’05), April 2005, Barcelone （University of Picardie Amiens France）
VSAM
针对机载航空摄像机所拍摄的视频图像，萨尔诺夫戴维研究中心研发 了检测和跟踪独立地面车辆目标的视频图像理解技术。该技术的关键在于 对航空摄像机的自运动补偿，对经过补偿的图像，利用三帧差减的方法检 测目标。
美国康奈尔大学计算机系设计的航拍视频图像目标检测与持续跟踪系统 的特色在于，能够对多运动目标实现较长时间的准确跟踪，即使在短时间内 目标被遮挡或移出视场以及目标时静时动。
VSAM
VSAM系统是在1997年至1999年间，美国国防高级研究计划局资助卡内 基梅隆大学和萨尔诺夫戴维研究中心等著名大学和公司合作联合研制的视频监 视与监控系统。目标是开发自动视频理解技术，并用于实现未来战争、人力 费用昂贵、非常危险或者人力无法实现等场合的监控。
特征提取和目标跟踪：对检测出的目标提取可识 别的特征，依据这些特征在后续的视频图像序列中 对目标进行跟踪。
针对视频图像目标检测与跟踪技术，根据三维场景中目标距离 成像传感器的探测距离，可划分为三种情况：
①微弱点状目标的检测，即当目标距离成像传感器很远时，目 标在图像平面上只占几个像素，呈现为微弱点状目标，信噪比较 低；
Khaled Kaâniche, Benjamin Champion, Claude Pégard, Pascal Vasseur “A Vision Algorithm for Dynamic Detection of Moving Vehicles with a UAV” IEEE International Conference on Robotics and Automation 2005 (ICRA’05), April 2005, Barcelone （University of Picardie Amiens France）
VSAM
针对机载航空摄像机所拍摄的视频图像，萨尔诺夫戴维研究中心研发 了检测和跟踪独立地面车辆目标的视频图像理解技术。该技术的关键在于 对航空摄像机的自运动补偿，对经过补偿的图像，利用三帧差减的方法检 测目标。
美国康奈尔大学计算机系设计的航拍视频图像目标检测与持续跟踪系统 的特色在于，能够对多运动目标实现较长时间的准确跟踪，即使在短时间内 目标被遮挡或移出视场以及目标时静时动。
VSAM
VSAM系统是在1997年至1999年间，美国国防高级研究计划局资助卡内 基梅隆大学和萨尔诺夫戴维研究中心等著名大学和公司合作联合研制的视频监 视与监控系统。目标是开发自动视频理解技术，并用于实现未来战争、人力 费用昂贵、非常危险或者人力无法实现等场合的监控。
《运动目标检测》课件
多目标跟踪与识别
多目标跟踪
研究多目标跟踪算法，实现多个运动目标的连 续跟踪和轨迹生成。
目标识别
利用深度学习技术，提高目标识别的准确率， 降低误检率。
跨摄像头跟踪
实现跨摄像头下的多目标跟踪，提高监控系统的实时性和准确性。
实时性与准确性
实时性
01
优化算法和模型，提高运动目标检测的实时性，满足实际应用
运动目标检测
目录 CONTENTS
• 引言 • 运动目标检测的基本方法 • 运动目标检测的常用算法 • 运动目标检测的实践案例 • 运动目标检测的未来展望
01
引言
什么是运动目标检测
运动目标检测是计算机视觉领域的一 个重要分支，旨在从视频中自动识别 和提取运动对象，为后续的目标跟踪 、行为分析等任务提供基础。
运动分析
在体育比赛中，通过运动目标检 测技术对运动员的动作、速度等 进行实时分析和评估，提高训练 效果和比赛成绩。
运动目标检测的挑战与难点
光照变化
动态背景
不同时间、不同角度的光照变化会对运动 目标的检测产生干扰，如何消除光照变化 对检测结果的影响是一个挑战。
在实际应用中，常常存在动态背景，如树 叶摇摆、人流涌动等，这会增加运动目标 检测的难度。
05
运动目标检测的未来展望
算法优化与改进
深度学习算法
利用深度学习技术，如卷积神经网络（CNN），对 目标检测算法进行优化，提高准确率和鲁棒性。
数据增强
通过数据增强技术，如旋转、缩放、翻转等操作，扩 充训练数据集，提高模型的泛化能力。
轻量级模型
研究轻量级的目标检测模型，降低计算复杂度，提高 实时性。
基于机器学习的方法
总结词
运动目标检测ppt课件
基于MATLAB的背景减法实验
用事先存储或者实时得到的背景图像序列作为背景模型，将当前含运动 目标的图像帧和背景模型相减，其次，将计算结果在一定阈值T限制下 进行二值化，判断出当前图像中出现的偏离背景模型值较大的像素，则 为出现的运动目标像素。
相减后的图像，一般要进行连通性分析，判断此区域是否 为运动前景或者为噪声。去噪，剔除过小噪声。
图4-7 二值化后
图4-8 检测结果
帧差法与背景减法的比较分析
帧差法与背景减法都比较简单，普遍应用的运动目标检测方法。但是对于 帧差法，运动过快或者运动过慢的目标，检测的准确率大大降低，甚至检 测不出，在动态背景下也不适用，易受外界环境变化的干扰。背景减法的 关键在于背景模型，最简单的背景模型获取方法是在场景没有运动目标时 采集图像作为背景，但这种背景存在局限性。目前很多人致力于不同背景 模型，减少动态场景变化对运动目标检测的影响，如，W4模型、均值滤 波法和高斯背景模型等建模方法，获取良好的背景与背景模型不断更新能 保证基于背景减法检测出更精确的目标。背景减法越来越受到重视，逐渐 成为主流的运动目标检测，有广泛的研究前景。
此课件下载可自行编辑修改，供参考！ 感谢您的支持，我们努力做得更好！
原理
背景减法
定义
背景减法，或称背景差法，是目前运动检测中的主流方法，它是利用含有运动目标的当前图像与
背景图像的差分来检测运动区域的一种技术，将当前帧与背景图像进行差分比较实现对运动区域 的检测，其中区别较大的像素区域被认为是运动区域，而区别较小的像素区域被认为是背景区域。
步骤
首先，用事先存储或者实时得到的背景图像序列作为背景模型，将当前含运动目标的图像帧和 背景模型相减，其次，将计算结果在一定阈值T限制下进行二值化，判断出当前图像中出现的
基于视频的运动目标检测概述ppt课件
dy
u v
dt
dt
经过dt后对应点为I(x+dx,y+dy,t+dt)，当dt 0
，灰度I保持
不 二阶变无，穷得小到，I(整x,理y,得t)到= 基I(本x+的dx光,y流+d约y,束t+方dt程)。:此式由Taylor展开，忽略x
I I I u v
t x y
适用于摄像机静止情形，其关键是背景建模，性 能与监控场景复杂情况和系统要求有关，典型算法有中值、 自适应模型、高斯模型、多模态均值等。
光流法
光流法主要通过对序列图像光流场的分析， 计算出运动场后，对场景进行分割，从而检 测出运动目标。
光流法的核心是求解出运动目标的光流，即 速度。
简要介绍传统光流法的典型代表Hom&Schunck 算法、Lucas&Kanade算法和块匹配算法。
运动目标检测问题分类
按不同标准将运动目标检测方法分类： （1）摄像机数目：单摄像机、多摄像机 （2）摄像机是否运动：摄像机静止、摄像机
运动 （3）场景中运动目标数目：单目标、多目标 （4）场景中运动目标类型：刚体、非刚体 主要讨论：静止单摄像机，多运动目标检测
问题。
运动目标检测方法
光流法（Optical flow）
(1)
y
表示灰度对时间的变化率等于灰度的空间梯度与光流速度的点积。 从不同角度对式(1) 引入不同约束条件，产生不同的光流分析方法。
Barron等人将光流计算分为4种:微分法、频域法、块匹配法和能量法， 其中微分法与块匹配法最为常用。下面介绍Hom&schiinck(简称HS)算法 与Lucas&Kanade(简称LK)算法，其后介绍块匹配法。
运动目标检测原理
运动目标检测原理运动检测（移动侦测）原理一、引言随着技术的飞速发展，人们对闭路电视监控系统的要求越来越高，智能化在监控领域也得到越来越多的应用。
在某些监控的场所对安全性要求比较高，需要对运动的物体进行及时的检测和跟踪，因此我们需要一些精确的图像检测技术来提供自动报警和目标检测。
运动检测作为在安防智能化应用最早的领域，它的技术发展和应用前景都受到关注。
运动检测是指在指定区域能识别图像的变化，检测运动物体的存在并避免由光线变化带来的干扰。
但是如何从实时的序列图像中将变化区域从背景图像中提取出来，还要考虑运动区域的有效分割对于目标分类、跟踪等后期处理是非常重要的，因为以后的处理过程仅仅考虑图像中对应于运动区域的像素。
然而，由于背景图像的动态变化，如天气、光照、影子及混乱干扰等的影响，使得运动检测成为一项相当困难的工作。
二、运动检测（移动侦测）原理早期的运动检测如MPEG1是对编码后产生的I帧进行比较分析，通过视频帧的比较来检测图像变化是一种可行的途径。
原理如下：MPEG1视频流由三类编码帧组成，它们分别是：关键帧（I 帧），预测帧（P帧）和内插双向帧（B帧）。
I帧按JPEG标准编码，独立于其他编码帧，它是MPEG1视频流中唯一可存取的帧，每12帧出现一次。
截取连续的I帧，经过解码运算，以帧为单位连续存放在内存的缓冲区中，再利用函数在缓冲区中将连续的两帧转化为位图形式，存放在另外的内存空间以作比较之用，至于比较的方法有多种。
此方法是对编码后的数据进行处理，而目前的MPEG1/MPEG4编码都是有损压缩，对比原有的图像肯定存在误报和不准确的现象。
目前几种常用的方法：1.背景减除（Background Subtraction ）背景减除方法是目前运动检测中最常用的一种方法，它是利用当前图像与背景图像的差分来检测出运动区域的一种技术。
它一般能够提供最完全的特征数据，但对于动态场景的变化，如光照和外来无关事件的干扰等特别敏感。
运动目标检测
大者表示有较小的方差与较大的出现概率，说明这些点在1~t时 间段内出现的概率较大，因此这些分布可以作为背景的描述。
从由首权部重选wi取,t 和前阈B值t 个T高斯(0分,1)布决作定为：该B点t 处ar的g背m景in模(型b w，i,t时变T )参数 Bt
b
i 1
运动目标检测的方法
背景相减法 背景相减法是目前运动检测中最常用的一种方法，
帧间图像补偿
全局运动参数矩阵M代表的是背景的运动，即 摄像系统的旋转、水平和垂直偏移运动。对当 前帧的像素坐标利用M矩阵进行变换，得到新 的坐标，并将原图中像素赋给该新坐标，即可 获取补偿后的结果图像，实现对帧间背景运动 的校正。
混合高斯模型建模
假设图像中的每一点的像素观测值和其他像素
点的观测值相互独立，在某时刻t，设像素点 的观测值为 Xt ，则时刻t观测值为Xt的概率可 以用具有K个高斯分布的混合高斯模型建模：
滑函数
是高斯平
得到一个二阶实对称矩阵M=[A,C;C,B],必然存在两个特征值
代表2 自相关的主曲率。
和1
，
提取特征点
如果特征值1和2是极大值时，则点(x,y)是一个特征点。
即满足：R det(M ) k • trace2 (M ) T ，其
中，det M 1 2，traceM 1 ，2 这里T是
运动目标检测的简介 运动目标检测的预处理
帧间背景校正 混合高斯模型建模
运动目标检测的方法 卡尔曼滤波 粒子滤波
运动目标检测的简介
运动目标检测是指在序列图像中检测出变化区 域并将运动目标从背景图像中提取出来。
通常情况下，目标分类、跟踪和行为理解等后 处理过程仅仅考虑图像中对应于运动目标的像 素区域，因此运动目标的正确检测与分割对于 后期处理非常重要。
目标的检测.ppt
相关工作
第二类方法是从过去的一组观测图像当中按照 一定的假设选择像素灰度构成当前的背景图像， 这类方法的优点在于背景的初始化与场景中是否 存在运动的前景无关，同时能够有效避免混合现 象。但是，由于这类方法是从过去的一段图像序 列中重构背景图像，因此不如第一类方法能够适 应迅速的场景变化，而是产生一定的时间延迟， 但这个问题对于长时间图像监视和跟踪系统的影 响不大。本文的背景重构算法属于第二类方法。
运动目标检测、提取
主 讲：刘 龙
2020年10月6日
研究现状
已经出现了众多的视觉跟踪算法。 ▲视觉跟踪问题进行分类
●摄像机的数目：单摄像机Vs多摄像机 ●摄像机是否运动：摄像机静止Vs摄像机运动 ●场景中运动目标的数目：单运动目标Vs多运动目标 ●场景中运动目标的类型：刚体Vs非刚体 ●传感器的种类：可见光图像Vs红外图像
小结
问题的提出
在视频监视系统中，运动目标的检测与分割是 个非常重要的问题，尤其在复杂环境中对运动目 标进行检测时，由于受到环境噪声的影响，往往 很难检测到完整的或者真实的运动目标。运动检 测的方法很多，这些方法可以分为三类：
基于光流的运动检测。 基于相邻帧图像差分的运动检测。 基于背景差的运动检测。
步骤4：选择频率最大的灰度值作为该像素点的 背景灰度值。
将灰度值一致区间中最大像素数与所对应的平均灰度值
分别记为 nbackground w 和 background ，有下式 nbackground max( n1, n2 ,, nq )
w ( background x, y) w ( background x, y) 即像素点(x,y)所对应的背景像素点的灰度值为w ( background x, y)
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Ø （5）树叶摆动等干扰 当背景中有很多并非绝对静止 的背景物体时，在检测结果中将会产生很多噪声。若场 景中有风，背景中大部分树叶都在晃动，在检测结果中 出现很多树叶。
Ø （6）运动物体的阴影 由于运动物体存在着阴影，而 这些阴影往往与背景不同，在背景相减过程中，这些阴 影会与前景物体连在一起，不利于前景物体的跟踪与识 别。
第三次上机安排：
时间：11月24日（周一）8:00-11:50（1-4节） 地点：计算中心T07 内容：对第二次上机保存的关键帧先进行灰度化，然后利 用阈值分割算法对其进行图像分割（至少编程实现一种算 法），并分析实验结果。 方式：自行完成 要求：上机时带上存好的关键帧图像，可带自己的电脑。
第五章 运动目标检测技术
Ø 优点是计算简单、速度快。差分的两幅图像的时间
间隔较短，受光线变化影响小，非常适合于动态变
化场景。 Ø 缺点有三个方面，首先它不能完全提取出运动物体
所有相关的特征像素点；其次是对噪声非常敏感，
而且检测出的物体位置不精确；再次必须根据目标
的运动速度选择合适的差分时间间隔，否则将错检 或漏检。
1 f d (x, y, t1, t2 ) 0
Ø 首先对背景模型进行初始化，建立原始的背景图像 ；背景模型更新是根据当前输入的图像修正背景模 型，及时反映环境的变化；背景差分是将当前帧和 背景模型进行差值运算，然后与阈值相比较提取出 运动目标。
背景更新
建立 背景模型
背景差分
提取 运动目标
运动目标
Ø 对于场景的动态变化，光照和外部噪声等干扰会影响处 理结果：
运动目标检测的定义
Ø 运动目标检测是指在视频图像序列中判断是 否有前景目标的运动，如果有则对目标进行 初始定位的检测过程，运动目标检测是实现 目标识别跟踪的基础。
Ø 常用的运动目标检测方法包括时间差分法、 背景差分法、光流法。
1、时间差分法(P.170)
Ø 直接比较图像序列相邻帧对应像素点发生的相对变 化，是一种直接简单的运动检测方法。
Ø 对于（4）背景中物体运动，引起虚静止物体 ， 由于虚物体被检测出来都是静止的，可以用上述 解决（3）的方法来处理，不过这种方法需要一 定长的时间。或通过基于内容的方法来解决。
Ø 对于（5）树叶摆动等干扰 ，可以借助一些去除 噪声的方法。
Ø 对于（6）运动物体的阴影 ，可以使用隐式马尔 可夫模型来解决该问题。
基本原理:用最小灰度值 Min(x, y) 、最大灰度值 Max(x, y) 和邻间差分最大值Dif (x, y) 来描述背景模型，其中邻间 差分最大值是相邻两帧图像之间灰度差分最大值。算法 检测原理如以下公式所示。
B(x)
0,(Min( x, y)kDif ( x, y ))I ( x, y )(Max( x, y )kDif ( x, y )) 1,else
Ø （1）光照条件变化 一是光照缓慢变化，可以通过更 新背景解决；另一种是光照条件变化很快，背景模型的 更新速度跟不上光照变化速度。会将大面积的背景当作 前景目标。
Ø （2）遮挡与运动目标混淆 当两个运动物体相互靠近重 叠时，简单的背景相减会将其当作一个目标而不是两个 不同目标。而如果一个运动物体的一部分被背景遮挡， 则背景相减后可能会将其当作两个分开的运动物体。
v运动目标检测——相邻三帧差分
相邻三帧算法流程图
运动目标检测——差分相乘法
差分相乘算法流程图
运动目标检测——背景差分法
背景差分算法流程图
运动目标检测——背景差分与边缘检测结合算法（BSED）
BSED算法流程图
运动目标检测——三帧差分和边缘检测结合算法（TFED）
TFED算法流程图
v 运动目标检测—— W4算法
v 运动目标检测—— W4算法
待检测图像
k=1
k=3
k=5
第45帧图像不同k值检测结果对比图
例1：运动目标实时监控及报警系统开发
v 研究内容
远程视频监控及 报警系统
运动目标检测模 块：W4运动目标 检测算法
远程报警模块：
GPRS MODEM 发送短信和彩信 报警
| f (x, y,t1 ) f (x, y,t2 ) | T else
图像Ik-1
图像Ikபைடு நூலகம்
图像Ik+1
帧差
帧差
差分图像 IZ（k-1,k)
差分图像 IZ（k,k+1)
与运算
三帧时间差分图像 IZk
三帧时间差分法
2、背景差分法(P.172)
Ø 是目前运动分割中最常用的一种方法，利用当前图 像与背景图像进行差分，从而检测出运动区域。
Ø （3）物体停止或者运动过慢 当运动物体停止时，需 要考虑是否将该物体当作背景；而运动过慢物体会产生 拖尾以及中间产生空洞。
Ø （4）背景中物体运动，引起虚静止物体 当初始背景 中存在运动物体时，该运动物体的初始图像在背景中将 长期存在，在检测结果中出现虚的静止目标，用一般的 背景更新算法很难将该区域去除。
Ø 对于（1）光照条件变化 ，必须对所有像素点进 行全局统计，以判断是否有光照条件的变化。依 据前景物体所占比例小的假设，可以通过判断像 素点中前景点占的百分比来判断光照条件是否变 化，以决定是否要提高背景的更新率。
Ø 对于（2）遮挡与运动目标混淆 ，目前的解决方 法是基于模板匹配。
Ø 对于（3）物体停止或者运动过慢 ，如果停止的 物体将长期静止，则应该将其视为背景；如果它 只是短期停留，则应该还是将其作为前景目标。
光流法
包含目标运动信息和三维 结构信息，可以在场景信 息未知的情况下进行检测
缺点
噪声较多，检测精度不高，易 出现重叠和空洞现象，对目标 描述不完整
易受到背景变化的干扰，如树 叶摇动、雨雪天气等
算法复杂耗时，抗噪声能力比 较差，需要特定的硬件支持， 实用性较差
v运动目标检测——相邻两帧差分
相邻两帧算法流程图 差分图像二值化公式
v 教材补充内容
空域法 运动目标检测
时域法
背景减法 光流法
基本背景建模法 统计背景建模法
均值滤波法 W4法
单高斯模型 混合高斯模型
帧差法
两帧差分法 三帧差分法
运动目标测方法总结示意图
v 运动目标检测
常见时域法优缺点对比表
算法名称
优点
帧差法
算法简单易于实现实时监 控，对场景光线变化不敏 感
背景减法 算法简单易于实现，检测 结果完整，适合实时处理
Ø （6）运动物体的阴影 由于运动物体存在着阴影，而 这些阴影往往与背景不同，在背景相减过程中，这些阴 影会与前景物体连在一起，不利于前景物体的跟踪与识 别。
第三次上机安排：
时间：11月24日（周一）8:00-11:50（1-4节） 地点：计算中心T07 内容：对第二次上机保存的关键帧先进行灰度化，然后利 用阈值分割算法对其进行图像分割（至少编程实现一种算 法），并分析实验结果。 方式：自行完成 要求：上机时带上存好的关键帧图像，可带自己的电脑。
第五章 运动目标检测技术
Ø 优点是计算简单、速度快。差分的两幅图像的时间
间隔较短，受光线变化影响小，非常适合于动态变
化场景。 Ø 缺点有三个方面，首先它不能完全提取出运动物体
所有相关的特征像素点；其次是对噪声非常敏感，
而且检测出的物体位置不精确；再次必须根据目标
的运动速度选择合适的差分时间间隔，否则将错检 或漏检。
1 f d (x, y, t1, t2 ) 0
Ø 首先对背景模型进行初始化，建立原始的背景图像 ；背景模型更新是根据当前输入的图像修正背景模 型，及时反映环境的变化；背景差分是将当前帧和 背景模型进行差值运算，然后与阈值相比较提取出 运动目标。
背景更新
建立 背景模型
背景差分
提取 运动目标
运动目标
Ø 对于场景的动态变化，光照和外部噪声等干扰会影响处 理结果：
运动目标检测的定义
Ø 运动目标检测是指在视频图像序列中判断是 否有前景目标的运动，如果有则对目标进行 初始定位的检测过程，运动目标检测是实现 目标识别跟踪的基础。
Ø 常用的运动目标检测方法包括时间差分法、 背景差分法、光流法。
1、时间差分法(P.170)
Ø 直接比较图像序列相邻帧对应像素点发生的相对变 化，是一种直接简单的运动检测方法。
Ø 对于（4）背景中物体运动，引起虚静止物体 ， 由于虚物体被检测出来都是静止的，可以用上述 解决（3）的方法来处理，不过这种方法需要一 定长的时间。或通过基于内容的方法来解决。
Ø 对于（5）树叶摆动等干扰 ，可以借助一些去除 噪声的方法。
Ø 对于（6）运动物体的阴影 ，可以使用隐式马尔 可夫模型来解决该问题。
基本原理:用最小灰度值 Min(x, y) 、最大灰度值 Max(x, y) 和邻间差分最大值Dif (x, y) 来描述背景模型，其中邻间 差分最大值是相邻两帧图像之间灰度差分最大值。算法 检测原理如以下公式所示。
B(x)
0,(Min( x, y)kDif ( x, y ))I ( x, y )(Max( x, y )kDif ( x, y )) 1,else
Ø （1）光照条件变化 一是光照缓慢变化，可以通过更 新背景解决；另一种是光照条件变化很快，背景模型的 更新速度跟不上光照变化速度。会将大面积的背景当作 前景目标。
Ø （2）遮挡与运动目标混淆 当两个运动物体相互靠近重 叠时，简单的背景相减会将其当作一个目标而不是两个 不同目标。而如果一个运动物体的一部分被背景遮挡， 则背景相减后可能会将其当作两个分开的运动物体。
v运动目标检测——相邻三帧差分
相邻三帧算法流程图
运动目标检测——差分相乘法
差分相乘算法流程图
运动目标检测——背景差分法
背景差分算法流程图
运动目标检测——背景差分与边缘检测结合算法（BSED）
BSED算法流程图
运动目标检测——三帧差分和边缘检测结合算法（TFED）
TFED算法流程图
v 运动目标检测—— W4算法
v 运动目标检测—— W4算法
待检测图像
k=1
k=3
k=5
第45帧图像不同k值检测结果对比图
例1：运动目标实时监控及报警系统开发
v 研究内容
远程视频监控及 报警系统
运动目标检测模 块：W4运动目标 检测算法
远程报警模块：
GPRS MODEM 发送短信和彩信 报警
| f (x, y,t1 ) f (x, y,t2 ) | T else
图像Ik-1
图像Ikபைடு நூலகம்
图像Ik+1
帧差
帧差
差分图像 IZ（k-1,k)
差分图像 IZ（k,k+1)
与运算
三帧时间差分图像 IZk
三帧时间差分法
2、背景差分法(P.172)
Ø 是目前运动分割中最常用的一种方法，利用当前图 像与背景图像进行差分，从而检测出运动区域。
Ø （3）物体停止或者运动过慢 当运动物体停止时，需 要考虑是否将该物体当作背景；而运动过慢物体会产生 拖尾以及中间产生空洞。
Ø （4）背景中物体运动，引起虚静止物体 当初始背景 中存在运动物体时，该运动物体的初始图像在背景中将 长期存在，在检测结果中出现虚的静止目标，用一般的 背景更新算法很难将该区域去除。
Ø 对于（1）光照条件变化 ，必须对所有像素点进 行全局统计，以判断是否有光照条件的变化。依 据前景物体所占比例小的假设，可以通过判断像 素点中前景点占的百分比来判断光照条件是否变 化，以决定是否要提高背景的更新率。
Ø 对于（2）遮挡与运动目标混淆 ，目前的解决方 法是基于模板匹配。
Ø 对于（3）物体停止或者运动过慢 ，如果停止的 物体将长期静止，则应该将其视为背景；如果它 只是短期停留，则应该还是将其作为前景目标。
光流法
包含目标运动信息和三维 结构信息，可以在场景信 息未知的情况下进行检测
缺点
噪声较多，检测精度不高，易 出现重叠和空洞现象，对目标 描述不完整
易受到背景变化的干扰，如树 叶摇动、雨雪天气等
算法复杂耗时，抗噪声能力比 较差，需要特定的硬件支持， 实用性较差
v运动目标检测——相邻两帧差分
相邻两帧算法流程图 差分图像二值化公式
v 教材补充内容
空域法 运动目标检测
时域法
背景减法 光流法
基本背景建模法 统计背景建模法
均值滤波法 W4法
单高斯模型 混合高斯模型
帧差法
两帧差分法 三帧差分法
运动目标测方法总结示意图
v 运动目标检测
常见时域法优缺点对比表
算法名称
优点
帧差法
算法简单易于实现实时监 控，对场景光线变化不敏 感
背景减法 算法简单易于实现，检测 结果完整，适合实时处理