一种局部和全局相结合的光流计算方法

W Ix =（6Ix0 + Ixl + 4Ix2 + 4Ix3 + Ix4 ）/ l6 （4） 其中， 代表卷积。同样，当前像素点在 y 方向以及对时间
的偏导数的加权分别为：
W Iy =（6Iy0 + Iyl + 4Iy2 + 4Iy3 + Iy4 ）/ l6 （5） W It =（6It0 + Itl + 4It2 + 4It3 + It4 ）/ l6 （6） 通 过 上 述 三 式 卷 积 所 得 的 时 空 梯 度，可 用 于
2 光流约束方程
计算机视觉中，研究连续两帧或数帧图像之间的变化 时，假定图像各点处满足灰度保持约束（ Brightness Conser-
收稿日期：2003-10-15；修订日期：2004-01-06 基金项目：上海市教委青年科学基金资助项目（01ON60） 作者简介：张建明（1979 ），男，上海人，硕士生，研究方向为机器人视觉和机器人运动规划；钱东海，博士，讲师，研究方向为机器人 控制和机器人视觉。 通讯地址：200072 上海市延长路 149 号上海大学精密机械系；TeI：（021）56330009，13651935215；E-maiI：jeremy2780@ 163. com Address：Department of Precise Machinery，Shanghai University，149 Yanchang Rd，Shanghai 200072，P. R. China
同时求解。
!" 基于五点约束的局部和全局相结 合光流计算方法
!. #" 五个置信点选取
选择五点的核 心 思 想 是：（ l ）假 定 在 当 前 像 素 点 的 一
个足够小的邻域 ! 内（ 通常取当前像素点的八邻域），各像
素点具有大致 相 同 的 光 流 速 度；（ 2 ）当 前 像 素 点 所 确 定 光
用泰勒公式将（l）式右边展开得：
（I x + U!t，y + 1!t，t + !t） = （I x，y，t）+
I x
U!t
+
I y
1!t
+
I t
!t
+
0（ ct2 ）
（2）
其中，0（ ct2 ）代表阶数大于或等于 2 的项。将式（2）代入
式（l）消去 （I x，y，t）并忽略 0（ ct2 ），得：
参数 ! 可根据计算光流时空梯度的精度而定，精度高时可 取较大的值，否则取较小的值［1］。这样，就可以利用高斯 -
希塔迭代法求得一个致密的光流场。
!" 算法比较和误差分析
计 算 光 流 场 时，首 先 要 对 图 像 进 行 预 处 理，以 消 除 噪 声。我们采用高斯滤波进行图像平滑，即在图像的 x 方向 和 y 方向施行一维高斯卷积运算，以消除噪声。
fieIds，whiIe most IocaI methods can onIy yieId sparse opticaI fIow fieIds. ~owever，they are more robust under noise. In this pa-
per，we present an opticaI fIow computing method with both the IocaI methods and the gIobaI methods combined. First the five-point-
T
，V1 =
1，1 xy
T
，" 是拉格朗日常
数。式（ 7 ）右边 的 前 面 部 分 是 局 部 的 五 点 约 束 的 光 流，后
面部分是一个全局平滑量。我们可以对 E 求最小化来得出
U、1 的值。能量函数 E 关于 U、1 的微分为：
E U
= 2（ W
Ix·U + W
Iy ·1 + It ）·Ix + 2"（ U - U）
提出利用二阶导数来求光流，采用一个定向平滑约束处理 遮挡（ OccIusion）问题，但二阶导数的计算容易受到噪声的 影响；Sugata GhosaI［5］提出用各向异性的速度场的平滑约束 来计算光流 场。 局 部 方 法 中，Lucas&kanade［6］在 当 前 像 素 点的邻域内按某一特定窗口函数进行加权平方求和，并求 其极小值来估计光流速度。本文中，我们提出五点光流约 束的局部方法，再结合 ~orn&Schunck 的全局方法，提出一 种局部和全局相结合的光流计算方法，充分利用局部和全 局方法各自的优点，得到了既致密又鲁棒的光流场。
和可信度。
如图 l 所 示，
像素点的选取具有
明确 的 几 何 意 义。
以八 邻 域 为 例，当
前像素点与其八邻
域像素点共确定九
条光 流 约 束 方 程，
对应有九条光流约
束线，其 中 当 前 像 素点光流约束线与
图 l 光流约束线及其置信点选取
其八邻域像素点所确定的光流约束线共有八个交点，每一
交点唯一确定一组光流速度 U 和 1；沿当前像素点所确定的
光流场计算的微分法分为全局方法和局部方法。全局 方法能够得到 100% 的致密的光流场，而局部方法大多只 能得到稀疏的光流场，但它在噪声情况下具有更好的鲁棒 性。全局方法 中，~orn&Schunck［2］在 光 流 约 束 方 程 上 附 加 一速度场整体平滑约束，求得一个致密的光流场；NageI［3，4］
UI +l
=
UI
（W -
"
Ix ）UI +（ W
+（ W Ix ）2
Iy ）1I +（ W
+W Iy ）2
It ·（ W
Ix）
（l2）
uk +1
=
uk
（W -
!
Ix ）uk +（ W
+（ W Ix ）2
Iy ）1k +（ W
+W Iy ）2
It ·（ W
Iy ）
（13） 其中，k 是循环数；u0 、10 是光流的初始估计值，可取为零；
应于窗口的中心值 4。这种窗口函数在处理图像中的每一
34
个像素点时是固定不变的。如果当前像素点位于图像的边 缘且有较大突变的地方，其八邻域点很可能有较大的差异， 那么这样所作的加权将带来一定的误差。而我们在八邻域 中优化地选出四点，这四点与当前像素点的光流速度偏差 较小，具有很好的鲁棒性。对五置信点采用如图 3 所示的 离散高斯卷积核进行加权计算，其中当前像素点对应于权 值 6，选出的四点中靠近中心的两点采用权值 4，靠近外测 的两点采用权值 l。
~orn&schunck 的全局光流计算。
!. !" 五点约束的全局光流算法
我们提出如下五点约束法与全局法相结合的光流算
法，光流的能量方程如下：
I E = （ W Ix ·U + W Iy ·1 + W It ）2 +
"（ VU 2 + V1 2 ）cxcy
（7）
( ) ( ) 其中，VU =
U，U xy
摘 要：光流场是计算机视觉的一个研究方向，微分法是计算光流场的一个常用方法，它分为全局方法和局部方法，全
局方法能够得到 100% 的致密的光流场，而局部方法大多只能得到稀疏的光流场，但它在噪声情况下具有更好的鲁棒性。
本文提出一种局部和全局相结合的方法，首先给出五点光流约束的局部方法，再结合全局方法，计算得到了既致密又鲁棒
光流约束线，去除两端各两个交点，保留中间四个交点。这
四个交点所确定的光流速度接近，且居于中值，具有较高的
可信度。中间四个交点所对应的像素点与当前像素点一起
构成了五个置信点。
!. $" 五点光流约束法
在 Lucas&kanace 方法中，邻域 ! 若取八邻域，则窗口
函数 W（ m）为如图 2 所示的卷积核。其中，当前像素点对
IxU + Iy1 + It = 0
（3）
方程（3）称为光流约束方程（ OpticaI FIoW Constraint E-
guation）。其中，（ Ix ，Iy ，It ）为图像灰度对空间和时间的梯 度，为已知数；U、1 为两个未知数，但 只 有 一 个 约 束 方 程。
式（ 3 ）显然不 能 唯 一 确 定 光 流 速 度，必 须 加 入 其 他 约 束 来
ቤተ መጻሕፍቲ ባይዱ
流约束方程与该邻域 ! 内其它各点所确定光流方程两两
联立，可求得 I - l 组光流速度（ 假定当前像素点在邻域 !
内，共有 I - l 邻接点）；（3）自 I - l 组光流速度中，选取其
中速度居中、大小接近的多个邻接点与当前像素点组成一
组置信点。这样，去除了光流速度偏差大的像素点，保留了
光流速度偏差小的像素点，从而保证置信点具有高的精度
LocaI and GIobaI Methods Combined
张建明，钱东海 ZHANG Jian-ming，(IAN Dong-hai （ 上海大学精密机械系，上海 200072） （ Department o Precise Machinery，Shanghai University，Shanghai 200072，China）
的光流场。
Abstract：OpticaI fIow is a research direction of computer vision. DifferentiaI methods are wideIy used for computing opticaI
fIow. They can generaIIy be divided into gIobaI methods and IocaI methods. GIobaI methods can yieId 100% dense opticaI fIow
U =（6Ui + 4Ui + 4Uf + Ua + Ue ）/ l6
（l0）
1 =（61i + 41i + 41f + 1a + 1e ）/ l6
（ll）
当式（8）和式（9）左边导数均为零时，能量函数 E 就得
到最小值，联立式（ 8 ）和 式（ 9 ）右 边 为 零 的 两 个 等 式，求 解
U、1，整理后其直接结果是一个递归方程：
33
Vation Constraint），即图像各点灰度随时间和空间的变化满
足下述方程：
（I x，y，t） = （I x + U!t，y + 1!t，t + !t） （l）
其中，（I x，y，t）是 t 时刻（ x，y）点处图像的灰度值，U、1 构成 光流向量 V =（ U，1）T 的两个分量，!t 是微小时间间隔。利
l2l 242 l2l
l464l
图 2 窗口函数
图 3 离散高斯卷积核
设当前象素点的时空微分为 Ix0 、Iy0 、It0 ，选出的四个置 信点的时空微分为 Ixi 、Iyi 、Iti ，l i 4，采用如图 3 所示的离 散高斯卷积核 W：（l 4 6 4 l）/ l6 来进行局部的平滑，那么
当前像素点在 x 方向偏导数的加权可表示为：
fIow-constraint method is seIected as the IocaI method，and is then combined with a gIobaI method. As a resuIt，both dense and ro-
bust opticaI fIow fieIds can be obtained.
（8）
E 1
=
2（ W
Ix·U + W
Iy ·1 + It ）·Ix + 2"（ U - 1）
（9）
其中，U 和 1 是加权平均速度。如图 4 所 a b c 示，在像素点 i 处，由五点约束方法求出 h i c 的八邻域中有四个运动较为相近的点。 g f e
假设其下标为 a、i、e、f，并且如果在 i、f 图 4 八邻域点 点的速度与 i 更为接近，那么：
关键词：计算机视觉；光流场；微分法
Key words：computer vision；opticaI fIow fieId；differentiaI method
中图分类号：TP342. 6 + 2；TP391. 41
文献标识码：A
1 引言
光流场是计算机视觉研究的一个重点，具体研究图像 灰度模式的表面运动［1］。在理论上主要用于二维图像运动 的检测、三维物体结构和运动参数的估计、运动图像分割及 编码等；在实际 应 用 中，可 用 于 移 动 机 器 人 视 觉 导 航 和 避 障、血流速度和心脏壁运动检测，以及气象和道路交通监控 等。
CN43-1258 / TP ISSN 1007-130X
计算机工程与科学
COMPUTER ENGINEERING & SCIENCE
文章编号：1007-130X（2005）05-0033-03
2005 年第 27 卷第 5 期 VoI. 27，No. 5，2005
一种局部和全局相结合的光流计算方法 An OpticaI FIow Computing Method with the