一种改进的帧间差光流场算法

二阶以上项可以得到基本光流约束方程为：
Ixu + I yv + It = 0
（4）
并称
(u, v )
为光流场，式中
Ix
=
∂I ∂x
，I y
=
∂I ∂y
，I t
=
∂I ∂t
，
写成梯度形式为 (∇I )T U + It = 0 。
由于光流场 U = (u,v)T 有两个变量，而基本约束方程只
有一个，只能求出光流场沿梯度方向的值，因此从基本光流
（6）
尽可能的小，于是将光流场 (u,v) 的计算归结为求如下的变
分问题的解
∫ ∫ ∫ ∫ ⎡⎣Ix ⋅u + I y ⋅ v + It ⎤⎦2 + λ
⎢⎢⎣⎡⎛⎜⎝
∂u ∂x
⎞2 ⎟⎠
+
⎛ ⎜ ⎝
∂u ∂y
⎞2 ⎟ ⎠
+
⎛ ⎜⎝
∂v ∂x
⎞2 ⎟⎠
+
⎛ ⎜ ⎝
∂v ∂y
⎞2 ⎟ ⎠
⎤2 ⎥ ⎥⎦
dxdy
点在 t + d t 时运动到 ( x + d x, y + d y) 时（其中d x = ud t ， d y = vd t ），对应的灰度值为 I ( x + d x , y + d y , t + d t ) ， 假定它与 I ( x , y , t ) 相等，即：
I (x + ud t, y + vd t,t +d t) = I (x, y,t) （3） 将左边在 (x, y, z) 点用泰勒公式展开，经简化并略去二阶和
3.2 动态图像模型用于光流法改进
由于光流场的不连续性及违反守恒假设条件处光流场 分布是不可靠的，针对差值图中不为零处的像素对应于灰度 梯度较大的点，而这些点处的光流场基本方程近似成立。采 用这种约束措施后，可使得计算出的光流场分布更为可靠和 精确，同时也减少了计算量。因此，通过修正的光流定义来 表示在动态图像中的几何变化和辐射度变化。这个修正的定 义是用三个元素的向量来代替传统的两个元素向量。其中第 三个元素表示这个点的亮度变化，引入通用动态图像模型 （GDIM）[8]，用来解决在亮度变化条件下光流估计问题中 的辐射度变化。在 GDIM 中亮度变化描述成为数乘和一个 偏移量。结合在上面公式(2)中得到的运动区域和 GDIM 模 型定义新的约束模型：
∫ ∫ Es =
⎢⎡⎜⎛ ⎢⎣⎝
∂u ∂x
⎟⎞ ⎠
2
+
⎜⎜⎝⎛
∂u ∂y
⎟⎟⎠⎞
2
+
⎜⎛ ⎝
∂v ∂x
⎟⎞2 ⎠
+
⎜⎜⎝⎛
∂v ∂y
⎟⎟⎠⎞Βιβλιοθήκη 2⎤ ⎥ ⎥⎦2
dxdx
(5)
尽可能的小。另一方面，由基本等式，当然要求极小化 Ec
∫∫[ ]2
Ec = I x ⋅ u + I y ⋅ v + It dxdy
(2)
隔帧差分的方法不仅能完整检测到大的目标，而且可 以检测到帧间位移小于 1 个像元而多帧累积位移大于 1 个像 元的运动点目标，因此不仅提高了视频运动目标检测速度， 还提高了检测目标的能力。
3 改进光流场算法的运动目标检测 3.1 光流算法原理
所谓光流指图像中灰度模式运动速度。光流计算进行
像素级运动估计，记 t 时刻图像上的点 (x, y) 处的灰度值为 I (x, y,t) ，如果 u(x, y) 和 v(x, y) 是该点光流的 x 和 y 分量，
方程求解光流场是一个不适定问题，必须引入附加约束条
件。
Horn 和 Schunck[7]使用光流在整个图像上光滑变化的
假设来求解光流，即运动既满足光流约束方程又满足全局平
滑性。Horn 附加约束条件的基本思想是要求光流本身尽可
能平滑，即引入了对光流的平滑性约束使平滑约束项极小
化。即极小化 E s ：
=
min
(7)
其中 λ 是一参数，它决定了上述两种误差（一种是偏离 光滑性要求的误差 E s ，另一种是偏离基本等式的误差 Ec ） 之间的相对权重。对此，采用迭代法求解：
u n+1
= un
−
n
Ixu
+
I
y
n
v
+
It
λ
+
I
2 x
+
I
2 y
⋅Ix
(8a)
v n +1
= vn
−
I
n
xu
+
I
y
n
v
+
It
λ
小，对快速运动或者大的物体，需要选择较小的时间间隔；
对慢速运动或者弱小的物体，需要选择较大的时间间隔。 计算当前帧与前一帧的前向帧差图像 FDb (x, y) 和下一
帧与当前帧的后向帧差图像 FD f (x, y) ，通过阈函数值 T ， 对隔帧差分后的图像进行阈值化处理，得到隔帧差分后的二 值图像，其计算公式如式(1a)、(1b)所示。本文利用文献[6] 介绍的二维 Otsu 阈值化的快速算法，确定阈值 T 。按式(2) 计算帧差图像 FDb (x, y) 和 FD f (x, y) 的交集得到运动目标 的运动区域 E (x, y) 。
网络出版时间：2012-05-21 11:41 网络出版地址：/kcms/detail/11.2127.TP.20120521.1141.024.html
Computer Engineering and Applications 计算机工程与应用
一种改进的帧间差光流场算法*
Abstract: An improved optical flow estimation algorithm based on the frame difference is proposed in this paper, which is used for
detecting the moving target. In the first part, discontinuous frame difference is applied to detect the moving target with the
1 引言
序列图像中的运动目标检测与追踪技术是图像处理与 计算机视觉研究领域一个非常活跃的分支，在国民经济和军 事领域有着广泛的应用。对运动目标的检测是视觉跟踪、目 标分类、行为理解等各种后续处理的基础。目前研究运动目 标检测的方法有背景减除法、帧间差分法和光流场计算法等
多种[1]。
背景减除法能提供完整的特征数据，且算法简单、快 速，但对于如光照、阴影、背景扰动等环境变化特别敏感。 帧间差方法对光照等环境变化的适应性强，但通常只能获得 运动目标的部分信息，难以提取出物体完整的轮廓，同时也 容易受到噪声干扰。光流场方法[2]反应了序列图像中的速度 场，善于在运动场景中捕捉运动对象的运动特征，它对图像 的运动场进行估计，能够直接用于摄像机运动下的目标检测 [3]，且不需要预先知道场景的信息，检测结果精确可靠。但 大多数光流算法计算复杂，不适合实时处理。鉴于直接光流 计算算法复杂且耗时太多，本文提出一种结合帧间差的光流
吴振杰，毛晓波
WU Zhen-jie,Mao Xiao-bo
郑州大学 电气工程学院 郑州 450001 School of Electrical Engineering, Zhengzhou University, Zhengzhou 450001, China
Improved optical flow estimation algorithm based on frame difference
（白色）之间的亮度值。
在经过灰度变换后的动态视频图像中，以间隔 n 帧选取 三帧图像，其中前一帧图像 fi−n (x, y) ，当前帧图像 fi (x, y) ， 下一帧图像 fi−n (x, y) 。当 n = 1 时，就是传统连续帧差分计 算，当 n = 2 时，为隔 1 帧差分，当 n = 3 时，为隔 2 帧差分， 依次类推。隔帧的时间间隔选择取决于运动目标的速度和大
目标；在光流计算时，引入通用动态图像模型（GDIM）建立新的光流约束条件，克服了亮度变化引起的约束方程不成立问 题。算法仅对帧差法后图像中不为零的像素进行光流场计算，提高了目标检测的准确性和检测速度。仿真实验证明了该算法
的有效性。
关键词：目标跟踪；帧差法；光流法；区域光流检测
文献标识码：A
中图法分类号：TP39
+
I
2 x
+
I
2 y
⋅Iy
(8b)
其中 n 是迭代次数，u0 和 v0 是光流的初始值，一般取为零。
当相邻两次迭代结果的距离小于预定的某一小值时，迭代过
程终止。在以上公式中，如果 Ii, j,k 表示图像在 (x, y,t) 点的 强 度 I (x, y,t) ， Ii, j,k +1 表 示 图 像 在 (x, y,t + dt) 点 的 强 度 I (x, y,t + dt) ，那么 I x ， I y 和 It 可由下式近似计算：
Keywords: target tracking; frame difference; optical flow; local optical flow 摘 要：结合运动目标检测帧差法运算速度快和光流法活动目标检测准确度高的特点，提出一种改进的帧间差光流场计算的
运动目标检测算法。在帧差部分采用隔帧差分从而可以检测到帧间位移小于 1 个像元而多帧累积位移大于 1 个像元的运动点
计算方法，先对序列图像进行隔帧差分，针对差值图中不为 零处的像素（它们往往对应于灰度梯度较大的点）来计算其 光流，较之计算整个运动物体的光流场更为可靠、精确和快 速。
2 隔帧差分法的运动区域提取
运动目标检测方法中许多是基于目标图像帧序列的灰 度变化进行目标判别的[4]，当视频帧图像中出现运动目标 时，连续两帧之间灰度值会出现较为明显的差别，两帧相减 得到两帧图像灰度值差的绝对值，通过阈值化和滤波等方法 检测运动目标。该方法具有简单高效的特点，但对运动速度 慢和弱小目标检测效果不理想。为了检测到不同运动速度的 目标，并提高检测速度，采用隔帧差分法[5]先检测包含运动
equation is not tenable. Only not zero pixels are calculated by using the optical flow method. As a result, accuracy and speed of the
target detection are improved.The effectiveness of the proposed method is verified by the simulation results.
− Ii+1, j,k
− Ii, j,k +1 − Ii+1, j,k +1)
(9b)
It
=
1 4
(
Ii,
j
,k
+1
+ Ii+1, j,k +1
+
I + i, j+1,k +1
Ii+1, j+1,k +1
− Ii, j,k
− Ii+1, j,k
− Ii, j+1,k
− Ii+1, j+1,k )
(9c)
Ix
=
1 4
(
Ii+1,
j
,k
+ Ii+1, j+1,k
+ Ii+1, j,k +1
+ Ii+1, j+1,k +1
− Ii, j,k
− Ii, j+1,k
− Ii, j,k+1 − Ii, ) j+1,k+1
(9a)
Iy
=
1 4 (Ii, j+1,k
+ Ii+1, j+1,k
+ I + I − I i, j+1,k +1 i+1, j+1,k +1 i, j,k
FDb
(
x,
y)
=
⎪⎧1 ⎪⎩⎨0
fi (x, y)− fi−n(x, y) > T fi (x, y) − fi−n(x, y) ≤ T
(1a)
FD
f
(x,
y
)
=
⎪⎧1 ⎪⎩⎨0
fi+n(x, y)− fi (x, y) > T fi+n(x, y)− fi (x, y) ≤ T
(1b)
E (x, y) = FDb(x, y)∩ FDf (x, y)
inter-frame displacement smaller than one pixel and accumulated displacement bigger than one pixel. In the second part, the general
dynamic image model (GDIM) is introduced to form a new optical constraint equation, which overcomes the problem that the
目标的区域，再用光流法在上述区域精确检测目标。
视频序列图像在经过中值滤波预处理后，去掉图像随机 噪声，再将彩色的视频图像进行灰度变换，得到灰度图像。 灰度模式可以使用多达 256 级灰度来表现图像，使图像的过 渡更平滑细腻。灰度图像的每个像素有一个 0（黑色）到 255
基金项目：河南省重大科技攻关（102101210100）子项；河南省教育厅自然科学基础研究计划（2009A410001）.。 作者简介：吴振杰(1985-,通讯作者)，男，硕士研究生。研究方向：计算机视觉。毛晓波(1965-)，男，教授，博士，硕士生 导师。研究方向：仿生机器视觉、智能仪器仪表。E-mail: hpuwuzhenjie@