一种基于背景减法和帧差的运动目标检测算法
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
variance ratio method； morphological filtering
运动目标检测是通过找到图像序列中的运动像素点和 和背景图像的像素点灰度值差别很大，就认为此像素点有车
静止像素点，从而找到前景中的变化区域，进而将运动的目 辆通过；相反，就认为此像素点为背景点，该方法优点是对于
差法相结合的运动目标检测算法。 首先利用连续两帧图像进行背景减法得到两种差分图像，并用最大类间与类内方
差比法得到合适的阈值将这两种差分图像二值化，然后将得到的两种二值化图像进行或运算，最后利用图像形态学
滤波得到准确的运动目标。 实验结果表明，该算法简单、易实现、实时性强。
关键词： 运动目标检测； 背景差分； 帧差法； 最大类间与类内方差比法； 形态学滤波
Σ Σ 5）选 择 最 佳 阈 的 Th=Th*，Th*=max
σ2 b
σ2 in
，使得图像按
照该阈值分为 C0 和 C1 两类。
3 实验结果及分析
为了验证算法的有效性， 实验视频资料来自自己拍摄 的 一 段 视 频 ，对 帧 速 为 30 帧/s 的 序 列 图 像 （480*640，8 bit） 进行仿真。 将第一帧图像设为初始背景， 取渐消记忆因子 α=0.98，采 用 Kalman 时 域 递 归 低 通 滤 波 来 对 背 景 进 行 实 时 的更新。 图 2（a）为原始视频中任一帧图像 ，图 2（b）是 利用 Kalman 滤 波 提 取 背 景 图 像 ，当 前 帧 图 像 、背 景 预 测 图 像 转 换 成灰度后，二者做差分得到运动目标，并采用最大类间与类 内方差比法阈值分割得到的运动目标。 图 2（c）是用帧差法、 最大类间与类内方差比法阈值分割后得到的运动车辆。 从 图中可以看到， 分割后的车辆很不完整， 边界信息丢失较 多。 图 2（d）是本文算法分割得到的运动目标。 从图 2（d）可 以 看 出 ， 对 连 续 两 帧 图 像 用 Kalman 滤 波 得 到 的 背 景 做 差 分， 再用最大类间与类内方差比法阈值分割得两二值图像 做或运算，可以准确地将车辆分割出来。 该方法克服了帧差 分法易产生的空洞以及背景减法不能检测出与背景灰度接 近的目标的问题，检测到比较完整的目标边界信息，但是不 足在于，没有对阴影以及远处小目标进行处理，在后期将针 对这一问题开展研究工作。
YO（i，j，k）是 差 值 图 像 O（i，j，k）二 值 化 以 后 的 每 一 像 素 的 灰
度值；T 是阈值，它的大小决定识别目标的灵敏度。
1.3 二值图像或运算
一般用背景减法就能获得运动目标的区域， 但是如果运
动目标的灰度与背景图像灰度相近， 背景减法就不能完整地
检测出运动目标的信息。 对连续两帧图像进行背景差分[9]、二
差值越大，说明目标和背景间的区别越大。类内的方差越小越
好，表明类内具有一定的相似性 。 最大类间、类内方差比法[10]
的基本思想就是寻找一个最佳分割阈值， 以使目标和背景间
的区别较大，同时类内的区别较小。 其算法步骤如下：
设 图 像 的 灰 度 值 分 级 为 L，灰 度 值 i 的 像 素 数 为 ni，则 总
Y軒 （i，j，k+1）=Y軒 （i，j，k）+K（k+1）*[Y（i，j，k+1）-Y軒 （i，j，k）] （1）
K（k+1）=1/B（k+1）
（2）
B（k+1）=αβ（k）+1， B（1）=1
（3）
其中 i，j 代表一个象素点的坐标，k 为帧号。 K（k+1）是第
k+1 帧的时变增益因子，取值介于 0~1 之间。 可以看作是一个
通 过 式 （1）可 以 完 成 背 景 的 递 归 估 计 ，实 现 背 景 图 像 的 实 时 重 建 和 更 新 。 利 用 Kalman 滤 波 器 可 获 得 与 实 际 背 景 图 像 近似的初始背景，同时达到了滤除颗粒噪声、消除摄像机抖动 的目的，为下一步提取感兴趣的运动目标创造了有利条件，而 且获得的初始背景的质量不依赖起始时间。 1.2 差分图像二值化
中图分Hale Waihona Puke Baidu号： TP391.4
文献标识码： A
文 章 编 号 ：1674－6236（2013）03-0024-03
A method based on background subtraction and frame difference algorithm
for moving target detection
L-1
Σ 像素数为：N= ni i=0
1）求出图像中所有像素的概率（Pi=ni /N，i=0：L-1）
2）给定一个初始阈值 Th=Th0，将图像分为 C0 和 C1 两类，
C0={0，1，…Th}、C1={Th+1，Th+2，…L-1}。
3）计算两类的的发生概率
w0
和
w1、 方 差
σ2 0
和
σ2 1
得到背景图像后， 将当前帧图像与背景图像进行背景减 法运算，所得差值图像中的像素灰度值如大于设定阈值，则为 运动目标。 其数学表达为：
O（i，j，k）=|Y（i，j，k）-Y軒 （i，j，k）|
（4）
）255 （O（i，j，k）≥T）
YO（i，j，k）=
（5）
0 （O（i，j，k）＜T）
式中：O（i，j，k）是提取出的目标图像每一像素的灰度值 ；
值化，最后求或运算，就可以解决这一问题。
对相邻两帧的二值图像做或运算，即
∪1 YO（i，j，k）∪YO（i，j，k-1）=1
D（i，j）=
（6）
0 YO（i，j，k）∪YO（i，j，k-1）=0
1.4 图像后处理 噪声会使一些属于前景运动目标的点被错误地检测为背
景点，也会使背景点被错误地检测为前景运动目标点。同时由 于背景上物体的轻微扰动也会使这些背景点被错误地识别为
CHEN Wen-hui， ZHANG Jing， FAN Yang-yu， MA Shuang （School of Electronics and Information，Northwestern Polychechnical University， Xi’an 710072， China）
Abstract: For the frame difference method is easy to produce the hollow and background subtraction is not detected if background is close to the target problem， a method of detection combining background subtraction and frame difference is presented. The first use of two successive frames of image background subtraction from the two image difference， and the maximum between class and within class variance ratio method to obtain the proper threshold will be the two difference images of the two values， and then obtained the two values of the two image or operation， finally using image morphological filtering to obtain accurate moving target. The experimental results show that， the algorithm is simple， easy to realize and strong real-time performance. Key words: moving target detection； background subtraction； frame difference； maximum between class and within class
按照运动检测信号（帧差信号）来调整的参数。
Y（i，j，k）表示第 k 帧 i，j 位置的输入图象值。 Y軒 （i，j，k）表 示第 k 帧 i，j 位置的背景预测值。 α 是渐消记忆因子，α 值的 选择与背景的变化快慢有关，当背景变化较快时，α 值应选得 小一些；反之，当背景变化较慢时，α 值应选得大一些。 一般取 值在 0.95~1.00 之间。
i=Th+1
（12）
－25－
《电子设计工程》2013 年第 3 期
L-1
Σ μ= iPi=w0 μ0 +w1 μ1 i=0
（13）
4）计算类间方差
σ2 b
，
类内方差
σ2 in
；
σ2 in
=w0
σ2 0
+w1
σ2 1
（14）
σ2 b
=w0（μ0-μ）2+w1（μ1-μ
）2=w0
w1（μ1-μ0）2
（15）
第 21 卷 第 3 期 Vol.21 No.3
电子设计工程 Electronic Design Engineering
2013 年 2 月 Feb. 2013
一种基于背景减法和帧差的运动目标检测算法
陈文会， 张 晶， 樊养余， 马 爽 （西北工业大学 电子信息学院， 陕西 西安 710072）
摘要： 针对帧差分法易产生空洞以及背景减法不能检测出与背景灰度接近的目标的问题，提出了一种将背景减和帧
差 。 帧 间 差 分 法[3-4]是利用视频序列中连续两帧或几帧图像的 度 接 近 的目 标 的 问题 ，文 中 提出 一 种 基于 背 景 减 法 和 帧 差 的
差异来检测和提取目标，该方法的优点是算法简单，易于实 运动目标检测的新算法， 该方法既克服两种方法各自的不
现，程序计算复杂度低，由于连续帧图像之间间隔较短，受光 足，又能获得更全面的运动物体信息，还可对背景进行实时
智能传感器与数据融合等。
－24－
陈文会， 等 一种基于背景减法和帧差的运动目标检测算法
一个观察模型测得一组与参数相对应的不同时刻的参数值。 用 Kalman 滤 波 来 预测 缓 变 的背 景 图 像 也 可 以 看 作 是 一
种基于运动检测的多帧降噪方法。 当图象序列通过滤波器 时，图象序列的缓变部分可以与图象中的快速变化部分区别 出来。 把运动目标看作是对背景图像的均值为零的随机扰 动 ，应 用 Kalman 滤 波 [6，7-8]的 退 化 公 式 ，即 时 域 递 归 低 通 滤 波 来预测背景。 若认为图像点在空间是独立的，时域递归低通 滤波的表达式如下：
、灰度均
值 μ0 和 μ1，以及图像的总均值 μ 的具体公式如下：
Th
Σ w0 = Pi
（7）
i=0
Th
Σ μ0= i=0
iPi w0
（8）
Th
Σ σ2 0
=
（i-μ0）2
（9）
i=0
L-1
Σ w1= Pi i=Th+1
（10）
L-1
Σ μ1= i=Th+1
iPi w1
（11）
L-1
Σ σ2 1
=
（i-μ1）2
变化的光流特性， 它能有效地实现运动目标检测和跟踪，在 变化、噪声和外物入侵等因素的影响，需要实时的更新背景，
摄像机运动存在的前提下也能检测出独立的运动目标，该方 并且对于与背景灰度接近的目标不能够完全地检测出来。 针
法可以达到很好的精度，但计算量较大，实时性和实用性较 对帧差分法易产生空洞以及背景减法不能检测出与背景灰
运动目标点。为了消除这些影响，需要对获得前景和背景的初 步检测结果做一些处理， 采用形态学滤波对检测结果进行处 理，得到精确的前景目标。
经以上分析，得到算法的流程图如图 1 所示。
图 1 算法流程图 Fig. 1 Flow chart of algorithm
2 阈值的选择
由于方差是衡量图像中像素分布均匀性的一个量度，方
照、镜头抖动等环境因素的影响小，能够适应各种动态环境； 的更新。
缺点是它不能检测出静止或运动速度过慢的物体，对于高速 运动的物体又会使得分割区域远远大于真实目标，容易在运
1 算法介绍
动实体内部产生空洞现象。 背景减法[5-7]是通过图像序列和参 1.1 背景预测
考模型相减来实现运动目标的检测。 如果当前图像的像素点
Kalman 滤 波 器 实 际 上 是 对 随 时 间 改 变 参 数 估 计 的 一 种
收 稿 日 期 ：2012-09-11
稿 件 编 号 ：201209065
最小二乘逼近，它考虑一个随时间变化的状态矢量，并通过
作者简介：陈文会（1963—），男，陕西西安人，副教授。 研究方向：传感器信息获取处理与传输技术，智能信息处理与检测技术，
标物体从背景图像中提取出来。 面前，常用的运动目标检测 复杂背景下运动物体检测效果较好，实现简单、计算量小，并
方法主要有 3 种：光流法、帧间差分法、背景减法。
且能够精确的检测运动目标的位置及轮廓等信息。 但是在实
基 于 光 流 法[1-2]的 运 动 目 标 检 测 采 用 了 运 动 目 标 随 时 间 际 应 用 中 ，背 景 往 往 会 由 于 拍 摄 时 间 的 不 同 ，容 易 受 到 光 照
运动目标检测是通过找到图像序列中的运动像素点和 和背景图像的像素点灰度值差别很大，就认为此像素点有车
静止像素点，从而找到前景中的变化区域，进而将运动的目 辆通过；相反，就认为此像素点为背景点，该方法优点是对于
差法相结合的运动目标检测算法。 首先利用连续两帧图像进行背景减法得到两种差分图像，并用最大类间与类内方
差比法得到合适的阈值将这两种差分图像二值化，然后将得到的两种二值化图像进行或运算，最后利用图像形态学
滤波得到准确的运动目标。 实验结果表明，该算法简单、易实现、实时性强。
关键词： 运动目标检测； 背景差分； 帧差法； 最大类间与类内方差比法； 形态学滤波
Σ Σ 5）选 择 最 佳 阈 的 Th=Th*，Th*=max
σ2 b
σ2 in
，使得图像按
照该阈值分为 C0 和 C1 两类。
3 实验结果及分析
为了验证算法的有效性， 实验视频资料来自自己拍摄 的 一 段 视 频 ，对 帧 速 为 30 帧/s 的 序 列 图 像 （480*640，8 bit） 进行仿真。 将第一帧图像设为初始背景， 取渐消记忆因子 α=0.98，采 用 Kalman 时 域 递 归 低 通 滤 波 来 对 背 景 进 行 实 时 的更新。 图 2（a）为原始视频中任一帧图像 ，图 2（b）是 利用 Kalman 滤 波 提 取 背 景 图 像 ，当 前 帧 图 像 、背 景 预 测 图 像 转 换 成灰度后，二者做差分得到运动目标，并采用最大类间与类 内方差比法阈值分割得到的运动目标。 图 2（c）是用帧差法、 最大类间与类内方差比法阈值分割后得到的运动车辆。 从 图中可以看到， 分割后的车辆很不完整， 边界信息丢失较 多。 图 2（d）是本文算法分割得到的运动目标。 从图 2（d）可 以 看 出 ， 对 连 续 两 帧 图 像 用 Kalman 滤 波 得 到 的 背 景 做 差 分， 再用最大类间与类内方差比法阈值分割得两二值图像 做或运算，可以准确地将车辆分割出来。 该方法克服了帧差 分法易产生的空洞以及背景减法不能检测出与背景灰度接 近的目标的问题，检测到比较完整的目标边界信息，但是不 足在于，没有对阴影以及远处小目标进行处理，在后期将针 对这一问题开展研究工作。
YO（i，j，k）是 差 值 图 像 O（i，j，k）二 值 化 以 后 的 每 一 像 素 的 灰
度值；T 是阈值，它的大小决定识别目标的灵敏度。
1.3 二值图像或运算
一般用背景减法就能获得运动目标的区域， 但是如果运
动目标的灰度与背景图像灰度相近， 背景减法就不能完整地
检测出运动目标的信息。 对连续两帧图像进行背景差分[9]、二
差值越大，说明目标和背景间的区别越大。类内的方差越小越
好，表明类内具有一定的相似性 。 最大类间、类内方差比法[10]
的基本思想就是寻找一个最佳分割阈值， 以使目标和背景间
的区别较大，同时类内的区别较小。 其算法步骤如下：
设 图 像 的 灰 度 值 分 级 为 L，灰 度 值 i 的 像 素 数 为 ni，则 总
Y軒 （i，j，k+1）=Y軒 （i，j，k）+K（k+1）*[Y（i，j，k+1）-Y軒 （i，j，k）] （1）
K（k+1）=1/B（k+1）
（2）
B（k+1）=αβ（k）+1， B（1）=1
（3）
其中 i，j 代表一个象素点的坐标，k 为帧号。 K（k+1）是第
k+1 帧的时变增益因子，取值介于 0~1 之间。 可以看作是一个
通 过 式 （1）可 以 完 成 背 景 的 递 归 估 计 ，实 现 背 景 图 像 的 实 时 重 建 和 更 新 。 利 用 Kalman 滤 波 器 可 获 得 与 实 际 背 景 图 像 近似的初始背景，同时达到了滤除颗粒噪声、消除摄像机抖动 的目的，为下一步提取感兴趣的运动目标创造了有利条件，而 且获得的初始背景的质量不依赖起始时间。 1.2 差分图像二值化
中图分Hale Waihona Puke Baidu号： TP391.4
文献标识码： A
文 章 编 号 ：1674－6236（2013）03-0024-03
A method based on background subtraction and frame difference algorithm
for moving target detection
L-1
Σ 像素数为：N= ni i=0
1）求出图像中所有像素的概率（Pi=ni /N，i=0：L-1）
2）给定一个初始阈值 Th=Th0，将图像分为 C0 和 C1 两类，
C0={0，1，…Th}、C1={Th+1，Th+2，…L-1}。
3）计算两类的的发生概率
w0
和
w1、 方 差
σ2 0
和
σ2 1
得到背景图像后， 将当前帧图像与背景图像进行背景减 法运算，所得差值图像中的像素灰度值如大于设定阈值，则为 运动目标。 其数学表达为：
O（i，j，k）=|Y（i，j，k）-Y軒 （i，j，k）|
（4）
）255 （O（i，j，k）≥T）
YO（i，j，k）=
（5）
0 （O（i，j，k）＜T）
式中：O（i，j，k）是提取出的目标图像每一像素的灰度值 ；
值化，最后求或运算，就可以解决这一问题。
对相邻两帧的二值图像做或运算，即
∪1 YO（i，j，k）∪YO（i，j，k-1）=1
D（i，j）=
（6）
0 YO（i，j，k）∪YO（i，j，k-1）=0
1.4 图像后处理 噪声会使一些属于前景运动目标的点被错误地检测为背
景点，也会使背景点被错误地检测为前景运动目标点。同时由 于背景上物体的轻微扰动也会使这些背景点被错误地识别为
CHEN Wen-hui， ZHANG Jing， FAN Yang-yu， MA Shuang （School of Electronics and Information，Northwestern Polychechnical University， Xi’an 710072， China）
Abstract: For the frame difference method is easy to produce the hollow and background subtraction is not detected if background is close to the target problem， a method of detection combining background subtraction and frame difference is presented. The first use of two successive frames of image background subtraction from the two image difference， and the maximum between class and within class variance ratio method to obtain the proper threshold will be the two difference images of the two values， and then obtained the two values of the two image or operation， finally using image morphological filtering to obtain accurate moving target. The experimental results show that， the algorithm is simple， easy to realize and strong real-time performance. Key words: moving target detection； background subtraction； frame difference； maximum between class and within class
按照运动检测信号（帧差信号）来调整的参数。
Y（i，j，k）表示第 k 帧 i，j 位置的输入图象值。 Y軒 （i，j，k）表 示第 k 帧 i，j 位置的背景预测值。 α 是渐消记忆因子，α 值的 选择与背景的变化快慢有关，当背景变化较快时，α 值应选得 小一些；反之，当背景变化较慢时，α 值应选得大一些。 一般取 值在 0.95~1.00 之间。
i=Th+1
（12）
－25－
《电子设计工程》2013 年第 3 期
L-1
Σ μ= iPi=w0 μ0 +w1 μ1 i=0
（13）
4）计算类间方差
σ2 b
，
类内方差
σ2 in
；
σ2 in
=w0
σ2 0
+w1
σ2 1
（14）
σ2 b
=w0（μ0-μ）2+w1（μ1-μ
）2=w0
w1（μ1-μ0）2
（15）
第 21 卷 第 3 期 Vol.21 No.3
电子设计工程 Electronic Design Engineering
2013 年 2 月 Feb. 2013
一种基于背景减法和帧差的运动目标检测算法
陈文会， 张 晶， 樊养余， 马 爽 （西北工业大学 电子信息学院， 陕西 西安 710072）
摘要： 针对帧差分法易产生空洞以及背景减法不能检测出与背景灰度接近的目标的问题，提出了一种将背景减和帧
差 。 帧 间 差 分 法[3-4]是利用视频序列中连续两帧或几帧图像的 度 接 近 的目 标 的 问题 ，文 中 提出 一 种 基于 背 景 减 法 和 帧 差 的
差异来检测和提取目标，该方法的优点是算法简单，易于实 运动目标检测的新算法， 该方法既克服两种方法各自的不
现，程序计算复杂度低，由于连续帧图像之间间隔较短，受光 足，又能获得更全面的运动物体信息，还可对背景进行实时
智能传感器与数据融合等。
－24－
陈文会， 等 一种基于背景减法和帧差的运动目标检测算法
一个观察模型测得一组与参数相对应的不同时刻的参数值。 用 Kalman 滤 波 来 预测 缓 变 的背 景 图 像 也 可 以 看 作 是 一
种基于运动检测的多帧降噪方法。 当图象序列通过滤波器 时，图象序列的缓变部分可以与图象中的快速变化部分区别 出来。 把运动目标看作是对背景图像的均值为零的随机扰 动 ，应 用 Kalman 滤 波 [6，7-8]的 退 化 公 式 ，即 时 域 递 归 低 通 滤 波 来预测背景。 若认为图像点在空间是独立的，时域递归低通 滤波的表达式如下：
、灰度均
值 μ0 和 μ1，以及图像的总均值 μ 的具体公式如下：
Th
Σ w0 = Pi
（7）
i=0
Th
Σ μ0= i=0
iPi w0
（8）
Th
Σ σ2 0
=
（i-μ0）2
（9）
i=0
L-1
Σ w1= Pi i=Th+1
（10）
L-1
Σ μ1= i=Th+1
iPi w1
（11）
L-1
Σ σ2 1
=
（i-μ1）2
变化的光流特性， 它能有效地实现运动目标检测和跟踪，在 变化、噪声和外物入侵等因素的影响，需要实时的更新背景，
摄像机运动存在的前提下也能检测出独立的运动目标，该方 并且对于与背景灰度接近的目标不能够完全地检测出来。 针
法可以达到很好的精度，但计算量较大，实时性和实用性较 对帧差分法易产生空洞以及背景减法不能检测出与背景灰
运动目标点。为了消除这些影响，需要对获得前景和背景的初 步检测结果做一些处理， 采用形态学滤波对检测结果进行处 理，得到精确的前景目标。
经以上分析，得到算法的流程图如图 1 所示。
图 1 算法流程图 Fig. 1 Flow chart of algorithm
2 阈值的选择
由于方差是衡量图像中像素分布均匀性的一个量度，方
照、镜头抖动等环境因素的影响小，能够适应各种动态环境； 的更新。
缺点是它不能检测出静止或运动速度过慢的物体，对于高速 运动的物体又会使得分割区域远远大于真实目标，容易在运
1 算法介绍
动实体内部产生空洞现象。 背景减法[5-7]是通过图像序列和参 1.1 背景预测
考模型相减来实现运动目标的检测。 如果当前图像的像素点
Kalman 滤 波 器 实 际 上 是 对 随 时 间 改 变 参 数 估 计 的 一 种
收 稿 日 期 ：2012-09-11
稿 件 编 号 ：201209065
最小二乘逼近，它考虑一个随时间变化的状态矢量，并通过
作者简介：陈文会（1963—），男，陕西西安人，副教授。 研究方向：传感器信息获取处理与传输技术，智能信息处理与检测技术，
标物体从背景图像中提取出来。 面前，常用的运动目标检测 复杂背景下运动物体检测效果较好，实现简单、计算量小，并
方法主要有 3 种：光流法、帧间差分法、背景减法。
且能够精确的检测运动目标的位置及轮廓等信息。 但是在实
基 于 光 流 法[1-2]的 运 动 目 标 检 测 采 用 了 运 动 目 标 随 时 间 际 应 用 中 ，背 景 往 往 会 由 于 拍 摄 时 间 的 不 同 ，容 易 受 到 光 照