一种基于OpenCV实现的三帧差分运动目标检测算法研究

＊
徐卫星 王兰英 李秀娟
（ ） 河南工业大学电气工程学院 郑州 ４ ５ ０ ０ ０ ７ 摘 要 运动目标检测在视觉监控系统 、 医学图像分析 、 工业检 测 和 军 事 等 领 域 有 着 广 泛 的 应 用 。 运 动 目 标 检 测 处 于 这些应用的最前端 ， 检测结果的准 确 精 度 对 后 续 处 理 有 很 大 的 影 响 。 文 中 提 出 了 一 种 三 帧 差 分 运 动 目 标 检 测 算 法 ， 利用 并与基本帧间差分算法进行对 比 分 析 ， 结果表明该 算 法 准 确 率 高， 运 算 速 度 快， 能满足实 Ｏ ｅ ｎ Ｃ Ｖ 函数库进行了仿真测试 ， ｐ 时要求 。 关键词 三帧差分 ；运动目标检测 ； Ｏ ｅ ｎ Ｃ Ｖ ｐ 中图分类号 Ｔ Ｐ ３ ０ １． ６
，ｍ ， Ａ ｂ ｓ ｔ ｒ ａ ｃ ｔ ｏ ｖ ｉ ｎ ｔ ａ ｒ ｅ ｔ ｄ ｅ ｔ ｅ ｃ ｔ ｉ ｏ ｎ ｉ ｓ ｗ ｉ ｄ ｅ ｌ ｕ ｓ ｅ ｄ ｉ ｎ ｖ ｉ ｄ ｅ ｏ ｓ ｕ ｒ ｖ ｅ ｉ ｌ ｌ ａ ｎ ｃ ｅ ｅ ｄ ｉ ｃ ａ ｌ ｉ ｍ ａ ｅ ｒ ｏ ｃ ｅ ｓ ｓ ｉ ｎ ｉ ｎ ｄ ｕ ｓ ｔ ｒ ｉ ａ ｌ ｄ ｅ ｔ ｅ ｃ ｔ ｉ ｏ ｎ Ｍ ｇ ｇ ｙ ｇ ｐ ｇ ， ， ａ ｎ ｄ ｍ ｉ ｌ ｉ ｔ ａ ｒ ｆ ｉ ｅ ｌ ｄ ｅ ｔ ｃ ． Ｄ ｅ ｔ ｅ ｃ ｔ ｉ ｏ ｎ ｏ ｆ ｍ ｏ ｖ ｉ ｎ ｏ ｂ ｅ ｃ ｔ ｉ ｓ ｔ ｈ ｅ ｆ ｉ ｒ ｓ ｔ ｓ ｔ ａ ｅ ｆ ｏ ｒ ｔ ｈ ｅ ｓ ｅ ａ ｌ ｉ ｃ ａ ｔ ｉ ｏ ｎ ｓ ｓ ｏ ｔ ｈ ｅ ａ ｃ ｃ ｕ ｒ ａ ｃ ｏ ｆ ｒ ｏ ｃ ｅ ｓ ｓ ｉ ｎ ｒ ｅ ｓ ｕ ｌ ｔ ｙ ｇ ｊ ｇ ｐ ｐ ｙ ｐ ｇ ｉ ｎ ｆ ｌ ｕ ｅ ｎ ｃ ｅ ｏ ｎ ｔ ｈ ｅ ｆ ｏ ｌ ｌ ｏ ｗ ｕ ｔ ｒ ｅ ａ ｔ ｍ ｅ ｎ ｔ ． Ｔ ｈ ｉ ｓ ａ ｔ ｈ ｒ ｅ ｅ ｆ ｒ ａ ｍ ｅ ｄ ｉ ｆ ｆ ｅ ｒ ｅ ｎ ｃ ｅ ａ ｌ ｏ ｒ ｉ ｔ ｈ ｍ ｆ ｏ ｒ ｍ ｏ ｖ ｉ ｎ ｔ ａ ｒ ｅ ｔ ｄ ｅ ｔ ｅ ｃ ｒ ｅ ａ ｔ ｌ ａ ｅ ｒ ｒ ｅ ｓ ｅ ｎ ｔ ｓ － － － ｐ ｇ ｇ ｇ ｇ ｙ ｐ ｐ ｐ ， ，ｍ ｔ ｉ ｏ ｎ ． Ｓ ｏ ｍ ｅ ｓ ｉ ｍ ｕ ｌ ａ ｔ ｉ ｏ ｎ ｔ ｅ ｓ ｔ ｓ ａ ｒ ｅ ｃ ａ ｒ ｒ ｉ ｅ ｄ ｏ ｕ ｔ ｂ ｔ ｈ ｅ ａ ｌ ｏ ｒ ｉ ｔ ｈ ｍ ａ ｎ ｄ ｔ ｈ ｅ ｂ ａ ｓ ｉ ｃ ｆ ｒ ａ ｍ ｅ ｄ ｉ ｆ ｆ ｅ ｒ ｅ ｎ ｃ ｅ ｍ ｅ ｔ ｈ ｏ ｄ ｒ ｅ ｓ ｅ ｃ ｔ ｉ ｖ ｅ ｌ ｏ ｒ ｅ ｏ ｖ ｅ ｒ ｙ ｇ ｐ ｙ ，ｗ ｔ ｈ ｅ ｒ ｏ ｏ ｓ ｅ ｄ ｒ ｅ ｓ ｕ ｌ ｔ ｓ ａ ｒ ｅ ａ ｎ ａ ｌ ｚ ｅ ｄ ｃ ｏ ｍ ａ ｒ ａ ｔ ｉ ｖ ｅ ｌ ．Ｔ ｈ ｅ ｒ ｅ ｓ ｕ ｌ ｔ ｓ ｉ ｌ ｌ ｕ ｓ ｔ ｒ ａ ｔ ｅ ｔ ｈ ａ ｔ ｔ ｈ ｅ ａ ｌ ｏ ｒ ｉ ｔ ｈ ｍ ｉ ｓ ｍ ｏ ｒ ｅ ａ ｃ ｃ ｕ ｒ ａ ｔ ｅ ａ ｎ ｄ ｒ ａ ｉ ｄ ｈ ａ ｔ ｐ ｐ ｙ ｐ ｙ ｇ ｐ ｆ ｕ ｌ ｆ ｉ ｌ ｌ ｔ ｈ ｅ ｒ ｅ ａ ｌ ｔ ｉ ｍ ｅ ｒ ｅ ｕ ｉ ｒ ｅ ｍ ｅ ｎ ｔ ． ｃ ａ ｎ ｑ ， ， Ｋ ｅ Ｗｏ ｒ ｄ ｓ ｔ ｈ ｒ ｅ ｅ ｆ ｒ ａ ｍ ｅ ｄ ｉ ｆ ｆ ｅ ｒ ｅ ｎ ｔ ｉ ａ ｌ ｄ ｅ ｔ ｅ ｃ ｔ ｉ ｏ ｎ ｏ ｆ ｍ ｏ ｖ ｉ ｎ ｏ ｂ ｅ ｃ ｔ Ｏ ｅ ｎ Ｃ Ｖ － ｇ ｊ ｐ ｙ Ｃ ｌ ａ ｓ ｓ Ｎ ｕ ｍ ｂ ｅ ｒ Ｐ ３ ０ １． ６ Ｔ
１ ５］ 。背景差分的基本操 比较从而分割出 运 动 目 标 ［
作是 ： 首先需要 有 一 张 背 景 图 像 ， 然后对视频图像 和此背景图像进行差分运算 ， 用一张新的图像保存 差分结果的绝对值 。 背景差分法的应用需要有一定的限制和约束 。
＊
收稿日期 ： 修回日期 ： ２ ０ １ １年５月１ ０日， ２ ０ １ １年６月２ ３日 作者简介 ： 徐卫星 ， 男， 研究方向 ： 运动目标的在线检测 。 王兰英 ， 女， 硕士研究生 ， 研究方向 ： 嵌入式系统与图像处 理 。 李秀娟 ， 女， 教授 ， 硕士生导师 ， 研究方向 ： 图像信息处理与智能控制 。
Ｔ ｈ ｒ ｅ ｅ ｉ ｍ ａ ｅ Ｄ ｉ ｆ ｆ ｅ ｒ ｅ ｎ ｃ ｅ Ａ ｌ ｏ ｒ ｉ ｔ ｈ ｍ ｆ ｏ ｒ Ｍ ｏ ｖ ｉ ｎ ａ ｒ ｅ ｔ Ｄ ｅ ｔ ｅ ｃ ｔ ｉ ｏ ｎ － ｇ ｇ ｇＴ ｇ ｏ ｎ Ｏ ｅ ｎ Ｃ Ｖ Ｂ ａ ｓ ｅ ｄ ｐ
Ｘ ｕ Ｗ ｅ ｉ ｘ ｉ ｎ ａ ｎ Ｌ ａ ｎ ｉ ｎ ｉ Ｘ ｉ ｕ ｕ ａ ｎ Ｗ Ｌ ｇ ｇ ｙ ｇ ｊ （ ，Ｈ ， ） Ｃ ｏ ｌ ｌ ｅ ｅ ｏ ｆ Ｅ ｌ ｅ ｃ ｔ ｒ ｉ ｃ ａ ｌ Ｅ ｎ ｉ ｎ ｅ ｅ ｒ ｉ ｎ ｅ ｎ ａ ｎ Ｕ ｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ ｏ ｆ Ｔ ｅ ｃ ｈ ｎ ｏ ｌ ｏ Ｚ ｈ ｅ ｎ ｚ ｈ ｏ ｕ ５ ０ ０ ０ ７ ４ ｇ ｇ ｇ ｙ ｇ ｙ ｇ
克服帧间差分法所存在的问题 ， 本文采用了一种改 进的帧间 差 分 法 — 三 帧 差 分 来 检 测 运 动 目 标 。 三 帧差分法是在帧间差分的基础上进行改进 ， 将相邻 能较好的检测出 的三帧图像作为一组进行再差分 ， 中间帧运动目标的形状轮廓 。 三帧 差 分 的 实 现 原 理 如 图 １ 所 示。 箭 头 的 方向 代 表 目 标 运 动 的 方
究运动目标的 检 测 具 有 重 要 意 义 。 在 背 景 静 止 的
６］ ： 情况 下 ， 常 用 的 运 动 目 标 检 测Байду номын сангаас方 法 主 要 有 三 种［
帧间差分法 、 背景减除法 、 光流法 ， 三种方法各有优 缺点 ， 各有适用的场合 。 ）背景差分法通过 输 入 图 像 与 背 景 图 像 进 行 １
总第 ２ ６ ５期 ２ ０ １ １ 年第 １ １期
计算机与数字工程 Ｃ ｏ ｍ ｕ ｔ ｅ ｒ ＆Ｄ ｉ ｉ ｔ ａ ｌ Ｅ ｎ ｉ ｎ ｅ ｅ ｒ ｉ ｎ ｐ ｇ ｇ ｇ
Ｖ ｏ ｌ ． ３ ９Ｎ ｏ ． １ １ １ ４ １
一种基于 Ｏ ｅ ｎ Ｃ Ｖ 实现的三帧差分运动 ｐ 目标检测算法研究
［ ９］
通过差 邻两帧图像之间的差值来获得运动区域的 ， 值图像能快速 地 检 测 出 相 邻 图 像 中 运 动 目 标 所 引 但是它提取的运动目标比实际的要 起的运动范围 ， 大， 往往出现 “ 双影 ” 现象 ； 另外 ， 由于检测出来的物 无法检测到重叠部 体是前后两帧相对变化的部分 ，
１ ２］ 。为了 导致 检 测 到 的 目 标 发 生 “ 空洞” 现 象［ 分，
１ 引言
现实生活中 ， 大量有意义的视觉信息都包括在 运动之中 。 尽管 人 类 的 视 觉 即 能 看 见 运 动 物 体 又 能看到静止的 物 体 ， 但 是 在 许 多 场 合， 比如重要场 汽 车 的 自 动 驾 驶 和 辅 助 驾 驶、 交通 所的保安监控 、 流量的控制 、 航 空 和 军 用 飞 行 器 的 制 导， 人们往往 只对运动目标 物 体 感 兴 趣 。 运 动 目 标 检 测 是 目 标 跟踪 、 目标分类 、 目标行为理解的基础 ， 获取准确的 运动目标对于 后 面 的 处 理 具 有 重 要 意 义 ， 因 此， 研
［ ７］
向， Ａ Ｂ 部分代表第一帧 图 像， Ｂ Ｃ 部分代表第二
帧图像 ， Ｃ Ｄ 部分 代 表 第 三 帧 图 像。 帧 间 差 分 法 能 够检测出相邻两帧间发生了变化的区域 ， 这个区域 实际上包括运 动 物 体 在 前 一 帧 所 覆 盖 的 区 域 即 显 露区 Ａ 和运动物体现在所覆盖的区域 Ｂ 即图中 Ｃ， 显然这比运动目标的实际轮廓要 画左斜线的部分 ， 大 。 同样 ， 第三帧图像减去第二帧图像的结果是 即 图 中 画 右 斜 线 的 部 分。 本 文 的 三 Ｂ Ｃ Ｄ 三部分 ， 帧差 分 法 就 是 将 两 个 差 分 图 像 Ａ Ｂ Ｃ和Ｂ Ｃ Ｄ做 “ 与” 运算 ， 结果为 Ｂ 刚好为完整的运动目标 。 Ｃ， ２． ２ 三帧差分算法 ）从视 频 图 像 序 列 中 选 取 连 续 的 三 帧 图 像 ， １ ， ， 其中第一帧图像Ｉ 第二帧 图 像 Ｉ ｘ， ｘ， ｙ） ｙ） ｋ－１ （ ｋ（ ； 第三帧图像ｌ ｘ， ｙ） ｋ＋１ （ ）计算第一帧与第二帧的差值图像 Ａ（ ， ２ ｘ， ｙ） 得到目标的变化量 ； ）计算第二帧与第三帧的差值图像 Ｂ（ ， ３ ｘ， ｙ） 得到目标的变化量 ； ）求帧差 Ａ（ 与 Ｂ（ 的交集得到运动 ４ ｘ， ｘ， ｙ） ｙ） 目标粗糙的运动区域图像 ； ）运用数学形态学运算去掉背景中噪声 。 ５ ２． ３ 帧间差分计算 ， 设图像序列 表 示 为 Ｉ 其中（ 表示 ｘ， ｘ， ｙ） ｙ） ｉ（ 图像中像素点的位置坐标 ， 或 ｉ 表示第ｉ 帧的图像 （ 。选取图像序列中连续的三 者称为ｉ 时刻的图像 ） ， ， ， 帧图像Ｉ 分别计算 ｘ， Ｉ ｘ， Ｉ ｘ， ｙ） ｙ） ｙ） ｉ －１ （ ｉ（ ｉ ＋１ （ ） 差值图像用式 （ 表示 ： 相邻两帧图像的差值图像 ， １
图 １ 三帧差分运动 目标检测过程示意图
。 帧间差分算 法 对 背 景 或 者 光 线 的 缓 慢 变 化 不
对动态 环 境 有 很 强 的 适 应 性 ， 能够快速有 太敏感 ， 效地从背景中 检 测 出 运 动 目 标 。 但 是 在 检 测 结 果 中， 却不能完全提取出所有的属于运动对象的特征 像素点 ， 在运动物体内部容易产生空洞 。 而且由于 包含了当前帧中由于运动引 在运动方向上被拉伸 ， 这样提取的目标信息并不准 起的背景 显 露 部 分 ， 确， 而在实际应用中 ， 特别是目标识别 、 跟踪中总是 而不包含背景 希望尽可能提取出目标的完整信息 ， 信息 。 ）用光流检测运动 目 标 的 基 本 原 理 是 给 图 像 ３ 中的每一个像素赋予一个速度矢量 ， 这就形成了一 在 运 动 的 一 个 特 定 时 刻， 图像上的 个图像运动场 ， 点与三维物体上的点一一对应 ， 这种对应关系可由 根 据 各 个 像 素 的 速 度 矢 量 特 征， 可 投影关系得到 ， 以对图像进行动态分析 。 光流法计算 的 优 点 在 于 光 流 不 仅 携 带 了 运 动 目标的运动信息 ， 而且还携带了有关景物三维结构 的丰富信息 ， 它 能 够 检 测 独 立 运 动 的 目 标， 不需要 并且能够适用于静止背 预先知道场景的任何信息 ， 景和运动 背 景 两 种 环 境 ， 可用于摄像机运动的情 况， 有较好的适应性
１ ４ ２
徐卫星等 ：一种基于 Ｏ ｅ ｎ Ｃ Ｖ 实现的三帧差分运动目标检测算法研究 ｐ
第３ ９卷
要求前景 （ 运 动 物 体） 像素的灰度值和背景像素的 同时要求摄像机是静止 灰度值存 在 一 定 的 差 别 ， 的 。 再者背景差分法作用于像素 ， 在这个低层次的 处理中 ， 操作的 对 象 是 单 个 的 像 素 ， 由于缺乏对图 ， 理解 ” 检测结果很容易受噪声和各种突 像的足够 “ 使检测结果的准确度大大下降 。 但由于 变的影响 ， 背景差分法具 有 实 现 简 单 ， 运 算 速 度 快， 在大多数 所以背景差分 情况下检测结果能完整的突出优点 ， 法已成为应用最广泛的运动检测方法 。 ）帧间差 分 法 同 背 景 差 分 一 样 ， 也是一种基 ２ 于像素的运动检测方法 ， 它通过对视频图像序列中 相邻的两帧图 像 进 行 差 分 运 算 来 获 得 运 动 物 体 轮 廓