光流法原理详细

光流法基本原理

从二维图像序列中检测物体的运动、提取运动参数并且分析物体运动的相关规律是运动图像序列分析的主要研究内容。光流法是进行运动图像分析的重要方法，在视觉运动研究中具有举足轻重的作用。

光流（optical flow ）表达了图像的变化，由于它包含了图像的运动信息，因此可被观察者用来确定目标的运动情况[32]。如图3-8所示，光流是图像中亮度图案的表观运动，而运动场是三维物体的实际运动在图像平面上的投影，在理想情况下二者相互吻合[33]。

光流场可以简单的理解为物体的速度矢量场，包含两个分量(,)u v 。假设相邻两帧图像之间的时间间隔很小，而且图像的灰度变化很小时，可以推导出基本的光流约束方程[34]：

0x y t I u I v

I ++= (3-3) 其中，dx u dt

=

，dy

v dt =分别是该点的光流沿,x y 方向上的分量；(,)I x y 是像素点(,)x y 在时刻

t 的灰度值，x I I x ∂=

∂,y I

I y

∂=∂,t I I t ∂=∂分别是灰度值I 对x 、y 和t 的偏导数，可从图像序列中直接估计出来[35]： 1,,1,,11,1,1,1,1,,,,1,1,,1,11[()()]4x i j k i j k i j k i j k i j k i j k i j k i j k I I I I I I I I I x

++++++++++++=+++-+++∆ (3-4)

1,,,1,11,1,1,1,1,,,,11,,1,,11

[()()]4y i j k i j k i j k i j k i j k i j k i j k i j k I I I I I I I I I y

++++++++++++=+++-+++∆ (3-5) ,1,,1,11,,11,1,1,,,1,1,,1,1,1

[()()]4t i j k i j k i j k i j k i j k i j k i j k i j k I I I I I I I I I t

++++++++++++=

+++-+++∆ (3-6) 光流约束方程与u 和v 呈线性关系，如图3-9所示，把以u 和v 为横、纵轴的二维空间称为速度空间，则该方程定义了一条直线，且此直线与图像点灰度的空间梯度I ∇垂直。所有满足约束方程的(,)u v 值都位于此直线上，但局部的测量无法识别实际的光流(,)u v 位于约束线上的哪一点，因此仅可确定光流在梯度方向上的分量⊥V ：

2/122)

(y x t t I I I

I I V +-=∇-

=⊥ (3-7) 却无法确定光流在与梯度垂直方向（即沿等亮度线）上的分量。因此，只使用一点信息是不能完全确定光流的，这种不确定问题就是孔径问题（aperture problem ）[36]。

图3-8运动场与光流场

图3-9 孔径问题

因此，为了求得相邻帧IVUS 图像之间血管壁的光流场，需增加另外的约束条件。设在图像平面内足够小的区域（region of interest ，ROI ）内，在足够短的时间间隔内，两帧图像之间的运动近似为线性的，即：

x

y

u V v V =⎧⎪⎨

=⎪⎩ (3-8)

也就是说，ROI 内的N 个像素点的速度是相同的。将其代入式(3-3)中得：

x y I I I

V V x y t

∂∂∂+=-∂∂∂ (3-9) 该方程对ROI 中的N 个像素都成立，这样就可以得到由N 个方程组成的方程组，用矩阵的

形式表示如下：

111222.

........N N N x y t x y t x y x y t I I I I I I V V I I I -⎡⎤⎡⎤

⎢⎥⎢⎥-⎢⎥⎢

⎥⎢⎥⎢⎥

⎡⎤

⎢

⎥⎢⎥=⎢⎥⎢⎥⎢⎥⎣⎦⎢⎥⎢⎥⎢⎥⎢

⎥⎢⎥⎢⎥-⎣⎦⎣⎦

(3-10) 这就产生了方程的超定问题：2个未知数，N 个方程。采用最小二乘法可以很容易地求解该方程，所花费的计算时间比常用的迭代法要少。