第2章 二维运动估计

t

1 4

( m , n , k 1 ) ( m , n , k ) ( m 1, n , k 1 )
( m 1, n , k ) ( m , n 1, k 1 ) ( m , n 1, k ) ( m 1, n 1, k 1 ) ( m 1, n 1, k )
数最小化的方法来更新运动矢量。可表示为
d (x, t; d t ) d p (x, t; d t ) u (x, t; d t )
2．基于梯度下降的算法
• 像素递归方程为
d
( l 1)
d
(l )
e(x, d
(l )
) x 2 ( x d
(l )
)
• Caffario 和 Rocca 提出另一个类似的步 长表达式
3．运动估计的基本问题
• 由摄像机模型知道，摄像机的投影过程
是不可逆的，投影过程中将不可避免地
丢失一些有用信息，例如物体的深度信
息等，因此估计物体的真实运动和结构 是比较困难的。
O
X
x Y
y
p ( x, y )
(x, y )
p' ( x' , y ' )
P ' ( X ' ,Y ' , Z ' )
(x d , t d t ) (x, t)
x
dx
y
d
y

t
dt
e(x, d )
x
dx
y
d
y

t
dt
2.3.2 多点邻域约束
• 假设xi邻域B(xi)内的所有像素具有相同的运动
矢量，则可通过最小化邻域B(xi)上的位移帧
y 1 4

( m , n 1, k ) ( m , n , k ) ( m 1, n 1, k )
( m 1, n , k ) ( m , n 1, k 1 ) ( m , n , k 1 ) ( m 1, n 1, k 1 ) ( m 1, n , k 1 )
2 T T
W
F I tr （ F I ）
2．3 基于像素的运动估计
• 2.3.1 位移帧差
• 定义像素x从t1时刻到t1+dt时刻的位移帧差为：
e ( x , d ) ( x d , t1 d t ) ( x , t1 )
2
(x d ) 1 (x)
) (
2
v y x
) (
2
v y y
)
2
迭代更新公式
vx
( l 1)
vx
(l )

x
x ws
vx
(l )

y
2
vy
(l )

t
2
x
(l )
y
(l )
vy
( l 1)
vy
(l )

y
x ws
vx

y
2
vy

t
2
x
y
2.2.4 有向平滑约束
• 有向平滑约束可表示为
e ds ( v ) ( v x ) W ( v x ) ( v y ) W ( v y )

xB

xB
w (x) x y w (x) y y
1


xB

xB
w (x ) x t w (x ) y t
2.2.3 运动平滑约束
• 目标误差函数为
• 投影运动：
a 0 a1 x a 2 y x ( x, y) 1 c1 x c 2 y x b b x b y ( x, y) 1 2 0 y y 1 c x c y 1 2
d d
• 仿射运动：
(b) 8像素邻域及其团
图2-9 吉布斯（Gibbs）随机场的团
• 运动场的先验概率密度函数可定义为
c p (d | 1 ) exp V d ( d | 1 ) Q c C 1
• 对于一个包含两个像素的团，势函数可 写成如下形式
V d ( d ( x i ), d ( x j )) d ( x i ) d ( x j )
d x ( x, y) a 0 a1 x a 2 y d ( x, y) b 0 b1 x b 2 y y
• 双线性运动：
d x ( x, y) a 0 a 1 x a 2 y a 3 xy d y ( x, y) b b x b y b xy 1 2 3 0
d
p ( d | 1 , 2 )
p (
2
| d , 1 ) p ( d | 1 ) p (
2
| 1 )
• 运动场最大后验概率估计可简写为
d MAP arg max p (
d 2
| d , 1 ) p ( d | 1 )
1、似然模型
• 由于存在噪声，像素沿运动轨迹的亮度 通常会发生改变。若假定噪声为高斯分
2.4.2 相位相关法
• 相位相关法广泛用于图像配准，即两幅图像 只发生全局平移的情况。假设两帧图像 和
2 (x)
1
(x)
之间只是纯平移关系，有
1 (x) 2 (x d )
• 互相关函数为
C 1, 2 ( f x , f y ) 1 ( f x , f y ) 2 ( f x , f y )
c 2
2．4 基于块的运动估计
• 2.4.1 概述
• 在基于块的运动估计中，先将视频图像 分成一个个规则的图像块，然后对每个
图像块估计运动参数。
1．块平移模型
• 块平移模型假定每个块只做二维平移运动。 给定两帧视频图像
1
(x)
和
2
(x)
，对于
1
(x)
中
的一个块 B ，可由
重建，即
2
(x)
t dt
x
t
t dt
x
d(x, t; t dt )
x
d(x, t; t dt )
前向运动估计
图2-3 前向运动估计和后向运动估计
二维运动估计存在几个问题：
1. 遮挡问题，即图像中的某些像素可能不存在
对应点。
2. 孔径问题，也称为多义性问题。
3. 噪声问题，在生成视频图像的过程中，噪声
E (v)

( e of ( v ) w s e s ( v ) )d x
2
2
x A
e of
2
(v) v v x y x y t

2
es ( v ) v x
2
2
vy
2
(
vx x
) (
2
vx y
2．2 基于光流的运动估计
2.2.1 光流方程
x vx y vy t 0
或

T
v
t
0
y
vt e t

将光流v分解为两个正交的分量
v vne n vte t
v
vn e n
x
vn

t
0
图2-7光流v的分解
利用有限差分求微分的公式
2
(x d i )
xB ( x i )
• 使用基于一阶梯度下降的方法求解运动 矢量，则更新公式可写为
di
( l 1)
di
(l )
d E (d i )
2.3.3 像素递归法
• 1．基本概念
• 像素递归法是指沿图像扫描方向逐个估计像
素的运动矢量。新像素的运动矢量首先由已
估计的像素进行预测，然后基于位移帧差函
• 贝叶斯准则是基于运动估计问题的概率
公式，视频图像函数和运动场均视为随 机场，由概率密度函数建模，分别称为 观察模型和运动场模型。
• 给定两帧视ቤተ መጻሕፍቲ ባይዱ图像 1 ( x ) 和
2
(x )
，运动场估
计可以看成一个最大后验概率（MAP）问题， 即
d MAP arg max p ( d | 1 , 2 )
像机放置在三维空间的某一位置上，对
运动物体进行观测，所拍摄到一系列图
像称为时间序列图像或运动图像。
2．运动物体特征
• 任何一个运动物体都有其自身的特征，
例如一些尖锐点、边缘直线、边缘曲线
等，它们分别称为特征点、特征直线、
特征曲线等。物体在空间中运动时，只 要是在观察者的可视范围内，物体上的 特征就均可以在视频图像上反映出来。
是不可避免的。
2.1.3 二维运动模型及估计方法
• 为了有效地进行运动估计，需要对真实
运动施加一些约束条件，即对运动建模。 我们可以将二维运动模型粗略地分为参
数模型和非参数模型。
(a) (b) (c) (d)
(a)基于像素的运动; (b)基于块的运动; (c)全局运动; (d)基于区域的运动
图2-6
差函数求解运动矢量di。
• 邻域B(xi)上的误差函数可表示为
E (d i ) 1 2

w ( x )(
2
(x d i ) 1 (x ))
2
xB ( x i )
• 误差函数关于运动矢量的梯度为
E (d i ) d E d
i


w ( x ) e ( x , d i ) x
2.2.2 多点邻域约束
• 估计像素xi的光流矢量时，假设xi邻域
B(xi)内的所有像素具有相同的光流矢量， 光流方程在邻域B(xi)上的误差定义为
E

xB
w ( x ) vx vy y t x

2
求解光流矢量
w (x) ˆx v xB ˆ v y w (x) xB x x x y
x 1 4

( m 1, n , k ) ( m , n , k ) ( m 1, n 1, k )
( m , n 1, k ) ( m 1, n , k 1 ) ( m , n , k 1 ) ( m 1, n 1, k 1 ) ( m , n 1, k 1 )
数字视频处理
黎洪松 主编 北京邮电大学出版社
第2章 二维运动估计
• 2．1概述
• 根据摄象机和目标物体的运动状态,运动 可分为：摄像机不动物体不动，摄像机 不动物体动，摄像机动物体不动和摄像 机动物体动4种。
2.1.1几个基本概念
• 1．时间序列图像
• 运动估计主要是研究空间中的物体运动
情况。为了观察物体的运动，人们将摄

1 x 2 ( x d
(l ) 2
)

2
3．多点邻域约束
1 5 2 6 3 x 4
1～6 为先前估计过的像素， x 为当前像素
图2-8 因果邻域
E (x, d )

xB
[ e ( x , d )]
2


xB
[
( x d i ) 1 ( x )] 2
2
2.3.4基于贝叶斯准则的方法
中一个同样大小的块
1 ( x ) | xB 2 ( x d )
1 ( x)
(a)非重叠块
2 ( x)
1 ( x)
(b)重叠块
2 ( x)
图2-10块平移模型
2．可变形块运动模型
• 可变形块运动模型可以对物体的旋转、
缩放、变形等建模。块的运动参数不再 是简单的一个平移参数，而是一些空间 变换参数，常用的可变形块运动模型有 投影运动、仿射运动、双线性运动等。
(X , Y , Z )
P( X , Y , Z )
Z
图2-1特征点对应运动模型的几何图形
4．运动分析方法
1. 根据时间相邻的两幅或多幅图像求解
物体的运动参数和三维结构信息； 2. 图像序列的光流分析方法。
(a)
(b)
图2-2 真实运动与光流不一致的情况
2.1.2二维运动估计
后向运动估计
布，且均值为零，方差为
件概率密度函数
p (
2

2
，那么条
p (
2
| d , 1 )
可建模为
| d , 1 ) ( 2
2
)
| |/ 2
1 exp 2
2
2 ( ( x d ) ( x ) ) 2 1 x
2、先验模型
(a) 4像素邻域及其团