第三讲 光流分析法

第三讲 光流分析法

3．1 二维运动与视在运动 1．

而我们所能得到的是时变图像的某种采样点阵（或采样栅格）的图像序列，问题是： 2．可控与可观测问题—>即真实二维位移场与速度是否可观测？

3．二维运动——也称投影运动： 透视、 正交投影

三维运动可由物体像素的三维瞬时速度或三维位移来描述，但三维瞬时速度及三维位移正是我们要估计的，这是一个逆问题。而我们可观测到的是视在运动。 （1）假定投影中心在原点

P P — 三维位移矢量

p p ' — 二维成像平面上的二维位移矢量

成像平面，投影平面 ← 光学上

三维场景 ——> 二维的时变图像 ——> 数学上 3D →2D 投影

二维位移场

二维速度场

t 时刻

t ′时刻 P ′

P ′ 投影 P P 投影

（2）假定投影中心在O 1点

由于投影作用，从P 点出发， 终点在O 1P / 虚线上的三维位移矢 量均有相同的二维投影位移矢量。 所以说，投影的结果只是三维真实 运动的部分信息。

（3）设t l t t R t X ∆+='∈,),(3

由像素的运动

'

(,)(,,)

C C

X t d X t t S

→ 二维位移矢量函数 对应于点阵 ∧3 ，则有

，

；；),(),(t l t X d t l t X d C P ∆=∆（x ，t ）∈ ∧3

)

,(),(t l t X d l k n d P ∆=⇒；； （n ，k ）∈ Z 3

k 表达了t ‘- t 的时间离散 T n n n ),(21=

假定三维瞬时速度为),,(321X X X ，则

),(),(k n V t X V C P =

4．光流场与对应场 （1）p p ' 定义为对应矢量

光流矢量定义为某点 3),(R t X ∈ 上的图像平面坐标的瞬时变化率，

为一个导数。

T T dt dx dt dx V V V )/,/(),(2121==

表征了时空变化，而且是连续的变化。

（2） 当0→-'=∆t t t 时，则光流矢量与对应矢量等价。如果在某个点阵∧3可

观测到这种变化，则就意义

对应场<——像素的二维位移矢量场 光流场<——像素的二维速度矢量场

也分别称为二维视在对应场与速度场。一般而言，对应矢量 ≠位移场 光流矢量≠速度场 （

O 1

p ′ p

O

X 2

X 1

P ′

P

图像平面X 3 X

亮度均匀的话，则不产生光流， 不可观测。

光照变化——>将防碍二维运动场的估计。

则有光流，但没有运动。

3．2 二维运动估计

1．正向估计：

12112212112212

(,,)((,;),(,;),)

P C k k l T

S x x t S x d X t l t x d X t l t t l t S x x S x d X x d

X t k t

d X d X d X +=+∆+∆+∆⇓⇒=++=∆=离散化等价（，）（（），（））其中对应矢量（）（（），（））

2．逆向估计

121122k k l S x x S x d X x d X t k t -=++=∆（，）（（），（））,其中

3．数学上问题

（1）光流的估计——>若每一个△t 间隔时，速度矢量不变。则光流估计与对应 估计等价；否则在有加速度的情况下，估计光流需要多

帧运算，至少三帧。

P =（x 1，x 2） t P ′=（x 1′，x 2′）

t--l △t P ′=（x 1′，x 2′） t+l △t

（2）解的存在性——>如遮挡与显露问题。 （3）解的唯一性——>产生孔径问题。位移各分量是否解耦合的。若独立，未

知量的个数是方程数的2倍。 （4）解的连续性——>产生噪声<——不连续

4．数学描述有两种主要方法

（1）参数模型<——基于三维曲面的表达式 （2）非参数模型

a ． 光流方程

b ．块运动模型

c ． 像素递归法

d ．贝叶斯（最大后验概率）

3．3 光流方程

1．设),,(21t x x S C 是连续时空亮度分布，若沿运动轨迹上的亮度保持不变，有 12(,,)

0(3.31)dS x x t dt

=-- 注意上式x 1，x 2随t 变化，因此为一全导数。由上式可得

dt

dx

dt dx t

t X S t X U x t X S t X U x t X S C C C 212211)

23.3(0)

,(),(),(),(),(→←↑↑--=∂∂+∂∂+∂∂坐标速度分量 我们的估计就是要在帧之间保持（3.3—1）式成立，需要的先验知识较多。

2．二阶微分法

(,)

(3.33)C d S X t dt ∇=--

使空间图像梯度守恒。

3．块运动模型

定义像素块B 上的光流方程误差为

(,)

(

)(3.34)C X B

dS X t E dt

∈=

--∑

使E 最小为约束条件，为使E —>E min ，应有

12

00E x E x ∂⎧=⎪∂⎪⎨

∂⎪=⎪∂⎩ (3.3—5)

4．H-S 法

它是一个搜索过程，使光流矢量逐步达到最小值。通过迭代计算使 (,)

min C dS X t dt

⇒ (3.3—6)

5． 梯度估计

将（3.3—2）式中的偏微分项用梯度估计出来

1212121121221212(,,)

(,,)

(3.37)(,,)

(,,)

(3.38)(,,)

(,,)

(3.39)

C x C C x C C t C S x x t S x x t x S x x t S x x t x S x x t S x x t t

∂=∇--∂∂=∇--∂∂=∇--∂

6．其它的算法，如自适应方法。