运动目标检测

I (x,y) 2
d 3
c c B ( x , y ) 3
I (x,y) 3
基于视频分析的运动目标检测技术
v 阴影去除（SR）
基于视频分析的运动目标检测技术
v 边缘检测
基于视频分析的运动目标检测技术
v 运动目标提取
演示：室内人流量统计原型系统
第四次上机安排：
时间：12月1日（周一）8:00-11:50（1-4节） 地点：计算中心T07 内容：任选一种方法检测视频中的运动目标，并分析实验 结果。 方式：自行完成 要求：上机时带上选好的有运动目标（建议单个目标，如 车，行人）的视频，可带自己的电脑。
v运动目标检测——相邻三帧差分
相邻三帧算法流程图
运动目标检测——差分相乘法
差分相乘算法流程图
运动目标检测——背景差分法
背景差分算法流程图
运动目标检测——背景差分与边缘检测结合算法（BSED）
BSED算法流程图
运动目标检测——三帧差分和边缘检测结合算法（TFED）
TFED算法流程图
v 运动目标检测—— W4算法
|f(x,y,t1)f(x,y,t2)|T else
图像Ik-1
图像Ik
图像Ik+1
帧差
帧差
差分图像 IZ（k-1,k)
差分图像 IZ（k,k+1)
与运算
三帧时间差分图像 IZk
三帧时间差分法
2、背景差分法(P.172)
Ø 是目前运动分割中最常用的一种方法，利用当前图 像与背景图像进行差分，从而检测出运动区域。
带阴影的 运动目标
基于c1c2c3颜色 空间的阴影检测
基于GMSM 的 阴影验证并去除
边缘二值化
轮廓提取
SR算法流程图
1. 基于颜色的阴影去除 2. 引入边缘检测 3. 轮廓提取
去除阴影的 运动目标
基于视频分析的运动目标检测技术
v 阴影去除（SR）——基于颜色的阴影去除
基于颜色不变特征的阴影检测
USB接口GPRS MODEM
硬件设备连接效果图
运动目标实时监控及报警系统的设计与开发
v 系统界面设计
运动目标检测 模块
报警模块
系统界面设计效果图
数据库 管理模块
运动目标实时监控及报警系统
v 系统测试结果
系统测试结果
运动目标实时监控及报警系统的设计与开发
• 测试结果
用户接收报警信息结果
演示：运动目标检测系统
光流法
包含目标运动信息和三维 结构信息，可以在场景信 息未知的情况下进行检测
缺点
噪声较多，检测精度不高，易 出现重叠和空洞现象，对目标 描述不完整
易受到背景变化的干扰，如树 叶摇动、雨雪天气等
算法复杂耗时，抗噪声能力比 较差，需要特定的硬件支持， 实用性较差
v运动目标检测——相邻两帧差分
相邻两帧算法流程图 差分图像二值化公式
基本原理:用最小灰度值 Min(x, y) 、最大灰度值 Max(x, y) 和邻间差分最大值Dif (x, y) 来描述背景模型，其中邻间 差分最大值是相邻两帧图像之间灰度差分最大值。算法 检测原理如以下公式所示。
B( x)
0 , ( M i n ( x ,y ) k D i f( x ,y ) ) I ( x ,y ) ( M a x ( x ,y ) k D i f( x ,y ) ) 1 , e l s e
Ø （1）光照条件变化 一是光照缓慢变化，可以通过更 新背景解决；另一种是光照条件变化很快，背景模型的 更新速度跟不上光照变化速度。会将大面积的背景当作 前景目标。
Ø （2）遮挡与运动目标混淆 当两个运动物体相互靠近重 叠时，简单的背景相减会将其当作一个目标而不是两个 不同目标。而如果一个运动物体的一部分被背景遮挡， 则背景相减后可能会将其当作两个分开的运动物体。
Ø 首先对背景模型进行初始化，建立原始的背景图像 ；背景模型更新是根据当前输入的图像修正背景模 型，及时反映环境的变化；背景差分是将当前帧和 背景模型进行差值运算，然后与阈值相比较提取出 运动目标。
背景更新
建立 背景模型
背景差分
提取 运动目标
运动目标
Ø 对于场景的动态变化，光照和外部噪声等干扰会影响处 理结果：
第三次上机安排：
时间：11月24日（周一）8:00-11:50（1-4节） 地点：计算中心T07 内容：对第二次上机保存的关键帧先进行灰度化，然后利 用阈值分割算法对其进行图像分割（至少编程实现一种算 法），并分析实验结果。 方式：自行完成 要求：上机时带上存好的关键帧图像，可带自己的电脑。
第五章 运动目标检测技术
关于实验作业（40%） 1）考试（暂定12月22日）前上传至ftp:
ftp://211.71.149.41 (只上传上机报告附源代码和
注释）不要上传视频； 2）验机：机房或上课展示
关于期末考试（60%）
1）考试时间地点另行通知（班长） 2）考试方式：闭卷 3）考试题型（填空题，简答题，计算题， 分析应用题，编程题）
v 运动目标检测—— W4算法
待检测图像
k=1
k=3
k=5
第45帧图像不同k值检测结果对比图
例1：运动目标实时监控及报警系统开发
v 研究内容
远程视频监控及 报警系统
运动目标检测模 块：W4运动目标 检测算法
远程报警模块：
GPRS MODEM 发送短信和彩信 报警
运动目标实时监控及报警系统的设计与开发
运动目标检测的定义
Ø 运动目标检测是指在视频图像序列中判断是 否有前景目标的运动，如果有则对目标进行 初始定位的检测过程，运动目标检测是实现 目标识别跟踪的基础。
Ø 常用的运动目标检测方法包括时间差分法、 背景差分法、光流法。
1、时间差分法(P.170)
Ø 直接比较图像序列相邻帧对应像素点发生的相对变 化，是一种直接简单的运动检测方法。
Ø 优点是计算简单、速度快。差分的两幅图像的时间
间隔较短，受光线变化影响小，非常适合于动态变 化场景。
Ø 缺点有三个方面，首先它不能完全提取出运动物体 所有相关的特征像素点；其次是对噪声非常敏感，
而且检测出的物体位置不精确；再次必须根据目标 的运动速度选择合适的差分时间间隔，否则将错检
或漏检。
1 fd(x,y,t1,t2) 0
v 教材补充内容
空域法 运动目标检测
时域法
背景减法 光流法
基本背景建模法 统计背景建模法
均值滤波法 W4法
单高斯模型 混合高斯模型
帧差法
两帧差分法 三帧差分法
运动目标测方法总结示意图
v 运动目标检测
常见时域法优缺点对比表
算法名称
优点
帧差法
算法简单易于实现实时监 控，对场景光线变化不敏 感
背景减法 算法简单易于实现，检测 结果完整，适合实时处理
例2：基于视频分析的运动目标检测系统
v 运动目标检测
视频帧 图像
预处理
背景初始化及更新 目标检测
后处理
运动 目标
算法流程图
预处理: 去噪和亮度归一化 背景建模: 改进的均值滤波背景建模法 目标检测: 差分图像分割 后处理: 涂抹去噪和填充空洞
基于视频分析的运动目标检测技术
v 背景建模
步骤1：建立一个视频流滑窗用来缓存前L帧视频图像;
Bt(x,y)m 1m i 01Iti(x,y)
基于视频分析的运动目标检测技术
v 背景建模
背景建模
基于视频分析的运动目标检测技术
v 目标检测
背景和 当前帧
背景减
N
∑>T
Y 差分图像
阈值分割
带阴影的运动目标
目标检测算法流程图
基于视频分析的运动目标检测技术
v 阈值分割
最小分离度阈值: D (k)i k0ip ilo g (m 0i(k))i k L 1ip ilo g (m 1i(k))
Ø （3）物体停止或者运动过慢 当运动物体停止时，需 要考虑是否将该物体当作背景；而运动过慢物体会产生 拖尾以及中间产生空洞。
Ø （4）背景中物体运动，引起虚静止物体 当初始背景 中存在运动物体时，该运动物体的初始图像在背景中将 长期存在，在检测结果中出现虚的静止目标，用一般的 背景更新算法很难将该区域去除。
Ø 对于（4）背景中物体运动，引起虚静止物体 ， 由于虚物体被检测出来都是静止的，可以用上述 解决（3）的方法来处理，不过这种方法需要一 定长的时间。或通过基于内容的方法来解决。
Ø 对于（5）树叶摆动等干扰 ，可以借助一些去除 噪声的方法。
Ø 对于（6）运动物体的阴影 ，可以使用隐式马尔 可夫模型来解决该问题。
• 路线图
存储彩信图像
视频 序列
W4算法检测 目标
显示检测结果
初始化数据库 报警信息
GPRS MODEM 利用数据库接
口发送信息
用户接收报警 信息
系统反馈报警 情况
运动目标实时监控及报警系统技术 路线图
运动目标实时监控及报警系统的设计与开发
v 远程报警模块
移动通信技术中使用时间最长、用户最多的网络是2G/2.5G网络。 GSM全球移动通信系统/GPRS通用分组无线服务
步骤2：将图像的颜色值的变化范围0-255划分为n个区间：[0, N], [N, 2N], … [(n-1)N, 255], N = 255/n；
步骤3：对于每个像素点的每一个颜色通道，先统计滑窗时间里每个区间 内颜色分量值在帧视频图像中出现的次数，然后计算出现次数最多的区 间内所有值的平均值，并用它来作为背景模型在该点的颜色值：
Ø 对于（1）光照条件变化 ，必须对所有像素点进 行全局统计，以判断是否有光照条件的变化。依 据前景物体所占比例小的假设，可以通过判断像 素点中前景点占的百分比来判断光照条件是否变 化，以决定是否要提高背景的更新率。
Ø 对于（2）遮挡与运动目标混淆 ，目前的解决方 法是基于模板匹配。
Ø 对于（3）物体停止或者运动过慢 ，如果停止的 物体将长期静止，则应该将其视为背景；如果它 只是短期停留，则应该还是将其作为前景目标。
差分图像
2D交叉熵分割
交叉熵分割
基于视频分析的运动目标检测技术
v 阴影去除（SR）
◦ 实现了基于颜色不变特征等经典的SR算法
◦ 结合颜色不变特征、混合高斯阴影模型和边缘检测 提出了一种阴影去除方法
基于视频分析的运动目标检测技术
v 阴影去除（SR）
当前背景 当前帧
边缘检测 边缘检测
边缘差分二值化

R
c1
a rc ta n ( m
a x (G
,B
) )
c2
a rc ta n ( m
G ax(R , B
) )
c3
a rc ta n ( m
B ax(R
,G
) )
基于高斯混合阴影模型的阴影验证
d d
1 2
c c B ( x , y ) 1
I (x,y) 1
c c B ( x , y ) 2
Ø （5）树叶摆动等干扰 当背景中有很多并非绝对静止 的背景物体时，在检测结果中将会产生很多噪声。若场 景中有风，背景中大部分树叶都在晃动，在检测结果中 出现很多树叶。
Ø （6）运动物体的阴影 由于运动物体存在着阴影，而 这些阴影往往与背景不同，在背景相减过程中，这些阴 影会与前景物体连在一起，不利于前景物体的跟踪与识 别。