融合光流速度与背景建模的目标检测方法_张水发

运动目标检测得到的二值图像 , 白色部分表示运动
目标 。 从检测结果看出 , 在检测目标物体的同时 , 把
运动背景也检测为运动目标检测带来的影响 ,
我们提出了融合光流速度的背景建模方法 。
图 1 光流法运动目标检测 Fig.1 Objectdetectingbasedonopticalflow
本文试图跳出传统的基于像素背景建模方法 , 提出融合光流速度的背景建模算法 。 利用灰度值的 统计信息描述背景 , 综合利用像素的灰度信息 、空间 信息 、时间信息 , 以及光流速度在时间域上的统计信 息 , 从像素运动速度入手 , 对背景进行像素级建模 。 用基于梯度的方法计算光流速度 , 然后利用其在时 间域上的统计信息建立背景的光流速度场 [ 7] 模型 , 最后用于运动目标检测 ;同时在检测过程中实时更 新背景模型 , 适应背景变化 。本文算法利用光流速 度准确地描述了背景运动 , 克服了树叶晃动等背景 不规则运动对建模造成的不利影响 , 同时具有较好 的自适应性 , 当背景中光照变化 、物体被移走或遗留 时 , 算法均能自适应背景变化 。
背景减除法[ 1-6] 是目前最常用的运动目标检测 方法 , 通过对背景的学习得到背景模型 , 通过当前帧 与背景模型比较 , 将不符合背景模型分布的部分判 定为运动目标 。理想情况下 , 背景完全静止 , 可表示 为一帧背景图像 ;但大多数情况下 , 由于边缘像素抖
收稿日期 :2009-09-08;修回日期 :2009-12-11 基金项目 :国家基础研究发展计划项目 (973)(2004CB318103);国家高技术研究发展计划项目 (863)(2007AA012138578); 国家自然科学基金项目 (60033020);中国科学院海外杰出人才研究计划项目 (06S3011S01);软件工程国家重点实验室开放 基金 支持项目 (SKLSE2008-07-19)。 第一作者简介 :张水发 (1985— ), 男 。 现为中国科学院自动化研究所复杂系统与智能 科学重点实验室 模式识别与智 能系 统专业硕士研究生 , 主要研究方向为图像处理、行为识别 。 E-mail:zhangsf85@。
变化 , 即相邻的图像像素点之间具有相似的速度矢
量 。 速度矢量逐像素的变化可以通过速度矢量分量 的空间梯度的模平方和 (用 E2c表示 )来定 量给出 , 可以证明图像的速度场越平滑 , 梯度值就越小 。 因 此附加的光流平滑约束条件就是要求 E2c最小 。
定义像素点光流误差为
Eb = f(x, xy, t)u(x, y, t)+ f(x, yy, t)v(x, y, t)+
融合光流速度与背景建模的目标检测方法
张水发 , 张文生 , 丁欢 , 杨柳
(中国科学院自动化研究所 , 北京 100190)
摘 要 :为了克服传统基于像素的背景建模方法不能很好地描述 背景运动 的问题 , 提出了一 种融合光 流速度与背 景建模的目标检测方法 。结合像 素的灰度信息 、空间信 息和时 间信息计 算出每 个像素 的光流 速度 , 利用光 流速度 在时间域上的统计信息 为背景建立光流速度场模型 。 利用建立的背景模型快速 、准确地实 现运动目 标的检测 。 实 验结果表明 , 融合光流速度的背景建模方法能有效地描述背景的运动 , 显著降低运动 背景产生的 噪音 , 鲁棒地实现 运动目标检测 。 关键词 :背景建模 ;光流法 ;目标检测 ;混 合高斯
f(x, ty, t), n是迭代次数 。
通过 Gauss-Seidel迭代得到了每个像素 x方向
和 y方向的光流速度 , 通过判断该速度大小可以把
每个像素划分为前景点或背景点 , 实现运动目标检
测 。如图 1所示 , 图 1(a)是从 Vssn06 video4中截取 的一帧 , 图 1(b)是用 Horn-Schunck基于梯度的方法
第 2期
张水发等 :融合光流速 度与背景建模的目标检测方法
2 37
动 、光照变化 、设备噪音等因素 , 背景中的物体自身 存在或多或少的运动 。针对这种情况 , 国内外学者 采用 各种 模 型表 示 背景 , 其中 典 型的 有 :高 斯模 型 [ 2] 和混合高斯模型 [ 3] 用一个 或多个高斯分布表 示背景 , 可用于复杂 、运动的背景建模 , 但当背景快 速运动时 , 一个或者多个高斯模型并不能准确表示 背景 ;非参数方法 [ 4] 利用像素点最近几帧的灰度值 信息 , 使用窗函数密度估计得到该像素点的灰度值 分布 , 但该方法计算每帧图像需遍历全部训练集 , 计 算速度较慢 ;本征方法[ 5] 将视频帧投影到本征背景 空间 , 通过计算视频帧与背景帧在本征空间的差值 实现前景检测 , 该方法利用主成分分析方法实现降 维 , 检测速度快 , 但背景模型是通过初始化几十帧图 片获得 , 因此资源消耗大 , 自适应能力差 。 上述几种 建模方法均属于基于像素的背景建模方法 , 能够获 得较细致的运动目标形状 , 但由于对像素点的时间 信息和空间信息利用不充分 , 当背景物体不规则运 动时 , 不能准确地描述背景运动 。
提出用神经网络建立视觉运动感知的神经动力学模 型来测量光流 [ 15] , 但是这一技术尚不成熟 。 综上所
述 , 光流场的计算技术经过多年的发展 , 已经形成一 些比较经典的算法 , Barron等人 [ 11] 研究表明 , 基于
梯度的方法计算复杂度较低 , 并且能得到比较精确 的光流 , 因此本文选用基于梯度的方法 [ 9-11] 计算光
Abstract:Thetraditionalpixel-basedbackgroundmodelcannotrepresentthebackgroundmotionefficiently.Inthispaper, anovelstrategyisproposedtomodelbackgroundandtrackmovingobjectsbasedonopticalflowvelocityfield.Statisticson intensity, spatialandtemporalinformationofpixelsareextractedtogeneratetheopticalflowfield, whichisusedto formulateanovelbackgroundmodelfortrackingmovingobjectsefficientlyand exactly. Thisoptical-flow-field-based strategycanreducenoisegeneratedbybackgroundmotionsignificantlyandtrackmovingobjectsrobustly, asillustratedin ourexperiments. Keywords:backgroundmodeling;opticalflow;objectdetecting;mixtureofGauss
1 光流法
光流 (opticalflow)是空间运动物体被观测表面 上像素点运动的瞬时速度 , 光流按照空间位置排列 组成光流场 。 Barron等人 [ 8] 按理论基础与数学方法 不同 , 将 光流 计 算方 法分 成 5 种 :基 于梯 度 的方 法 [ 9-11] 、基于匹配 的方法 [ 12] 、基于能量 的方法 [ 13] 、 基于相位的方法 [ 14] 和神经动力学方法 [ 15] 。
基于梯度的方法又称为微分法 [ 9-11] , 利用时变 图像像素灰度的时空微分计算其速度矢量 , 由于基 于梯度的方法计算简单且结果较好 , 该方法得到了
广泛的应用和研究 ;基于匹配的光流计算方法 [ 12] 包
括基于特征和区域两种 , 对快速运动和亮度变化具
有鲁棒性 , 但其计算的光流通常很稀疏 , 而且特征提 取和精确匹配也十分困难 ;基于能量的方法 [ 13] 对输
第 16卷 第 2期 2011年 2月
中国图象图形学报 JournalofImageandGraphics
Vol.16, No.2 Feb., 2011
中图法分类号 :TP391.41 文献标志码:A 文章编号 :1006-8961(2011)02-0236-08 论文索引信息:张水发 , 张文生, 丁欢, 杨柳.融合光流速度与背景建模的目标检测方法 [ J] .中国图象图形学报, 2011, 16(2):236-243
f(x, y, t) =f(x+Δx, y+Δy, t+Δt) (1) 将式 (1)右 边用 泰勒 公式 展 开 , 略去 二次 无穷 小
项, 得
xfu+ yfv+ ft=0
(2)
式 (2)是基本的光流约束方程 , 它反映了运动图像
时间梯度与空间梯度间的时空微分关系 。
在整个视频图像范围内 , 运动速度矢量场平滑
流速度 。
在文献 [ 11]中 Horn-Schunck提出基于梯度的 方法 , 假设 f(x, y, t)是关于变量 x, y, t的连续函数 。
设 t时刻 ,点 (x, y)处的灰度值为 f(x, y, t);在 (t+Δt)
时刻 , 运动到点 (x+Δxy+Δy), 灰度值为 f(x+Δx,
y+Δy, t+Δt), 由于 Δt是一个极小的时间段 , 假设
2 基于光流速度场背景建模
光流法可充分利用像素的时空信息计算图像中 每一个像素点的速度矢量 , 形成图像运动场 , 且能在 不需要知道场景任何先验知识的条件下能得到完整 的运动信息 , 适合检测相对复杂的运动 , 可用于动态 背景 。 因此利用光流法计算出的光流速度场构造背 景模型 。
利用基于梯度的光流计算方法 , 提出了一种融 合光流速度场的背景建模方法检测运动目标 :首先 利用融合梯度的光流法综合每个像素的时间信息 、
f(x, y, t) t