第四章 二维运动估计PPT课件

19
4.1 二维运动估计和光流方程
两边同时除以 d t 后，可得到 光流方程：
x
vx
+
y
vy
+
t
=0
或
T v + = 0
t
其中(
v
x
，v y

)表示速度矢量（也称为流矢量），
=
[
x
， y
] T 是 (x,y,t) 的空间
梯度矢量。
20
第四章 二维运动估计
4.2 二维运动估计的基本方法
4.1 二维运动估计和光流方程
13
4.1 二维运动估计和光流方程
对于一个给定的时间
间隔（ t 1 时刻到 t2 时
刻），二维运动场实际上
t 12
是一个二维矢量集合。
图4.3中每个箭头的方向和
幅度表示位于箭头起点像
素处的矢量（MV）的方向
图4.3 一个典型的二维运动场
和幅度。
14
4.1 二维运动估计和光流方程
23
4.2 二维运动估计的基本方法
运动估计已经提出的方法可归纳为两类：
1、 基于特征匹配的方法 在基于特征的方法中，首先在两个视频帧中建
立特征点对之间的对应关系，然后将所建立的对应 关系与所选择的运动模型进行最小平方匹配，从而 得到运动模型参数。这种方法仅适用于参数运动模 型，在确定总体运动中是相当有效的，多应用于目 标跟踪和三维重建。
2、运动矢量
两个给定帧 (x,y,t1) 和(x,y,t2) ，在时刻 t1
和 t 2 之间，(x,y)处的运动估计(MV)定义为该点
从 t1 到的 t 2 位移，其中称 t1 时刻的帧为参考
帧， t 2 时刻的帧为目标帧。
10
4.1 二维运动估计和光流方程
d(x,y)
（a） 锚定帧（参考帧）
t1 时刻
21
4.2 二维运动估计的基本方法
图4.3 前向和后向运动估计
22
4.2 二维运动估计的基本方法
通常可以将运动场表示为 d(x；a) ，其中
a = [ a 1 ，a 2 ，…，a L ]是一个包含所有运动参 数的矢量。类似地，映射函数可以为
w(x；a) x d(x；a)
因此，运动估计问题等价于估计参数矢量。
两个给定帧 (x,y,t1)和 (x,y,t2)，在时刻 t 1 和 t 2 之间，x处的运动估计(MV)定义为该点从 t1 到 的 t 2 位移，其中称 t1 时刻的帧为锚定帧， t 2 时刻
的帧为目标帧。
❖当
t
〈
1
t2
时，称这种运动估计为前向运动估计
❖ 当 t1 〉t 2 时，称这种运动估计为后向运动估计
3
第四章 二维运动估计
4.1 二维运动估计和光流方程 4.2 二维运动估计的基本方法 4.3 基于像素的运动估计 4.4 基于块的运动估计 4.5 基于全局的运动估计 4.6 基于区域的运动估计
4
第四章 二维运动估计
4.1 二维运动估计和光流方程 一、 二维运动和光流的概念 1、二维运动
5
4.1 二维运动估计和光流方程
（b） 目标帧（当前帧）
t 2 时刻
（c） 运动矢量MV
图4.2 运动矢量（MV）示意图
11
4.1 二维运动估计和光流方程
3、光流 光流是基于图像模型变化所观测到的二维运
动，也依赖于光照条件和物体表面的纹理，它有 时可能不同于真实的二维运动。后面我们将使用 “二维运动” 或“运动”来描述光流。
12
24
4.2 二维运动估计的基本方法
2、 基于亮度的方法 基于亮度的方法在每个像素点应用恒定亮度假
设或光流方程，要求被估计的运动尽可能地满足这 个约束。这种方法比较适合于当进行的运动不能用 一个简单的模型表征，并且期望一个像素或方块的 运动场估计的时候。基于亮度的方法比较广泛地应 用于需要运动补偿预测和滤波的场合，因此后续几 种运动估计的方法都是基于亮度法之上的。
② 当球是静止的，但是被一个绕着球转动的点光源 照明，光源的运动引起球上反射光点的运动，因 而使人眼认为球在运动。
8
4.1 二维运动估计和光流方程
(a）球体在恒定环境照明下转动，但是观测的图像没有变化 (b) 点光源绕着静止的球转动，引起球上的亮点旋转
图4.2 光流并不总是与真实运动场相同
9
4.1 二维运动估计和光流方程
二维运动是指三维运动在图像平面上的透视 或正交投影，导致二维运动的因素有：物体的三 维运动、摄像机的运动和照明。
图4.1 三维运动与二维运动
6
4.1 二维运动估计和光流方程
7
4.1 二维运动估计和光流方程
在某些情况下，观测到的二维运动可能并不等同于 实际投影的二维运动：
① 一个具有均匀平坦表面的球在恒定的环境光下转 动，因为球上的每一点都反射同样的彩色，所以 人眼观察不到在成像球的彩色图案中的任何变化， 因此认为球是静止的。
二、光流方程
当照明条件未知时，最好的一种方法就只能是 对光流进行估计。根据恒定亮度假设可以推得光流 方程。光流方程（OFE，Optical flow equation） 的方法是试图依据时空图像亮度梯度来得到一个光 流场的估算。
15
4.1 二维运动估计和光流方程
在一个视频序列中，用 (x,y,t) 表示亮度的变
数字视频信息 处理与传输
侯颖
houying@
1
标题添加
点击此处输入相 关文本内容
标题添加
点击此处输入相 关文本内容
总体概述
点击此处输入 相关文本内容
点击此处输入 相关文本内容
2
第四章 二维运动估计
运动估计是视频处理系统的一个重要的组成 部分，其算法是基于图像亮度或颜色的时间变化。 二维运动估计是三维运动估计所需要的一个预处 理阶段，它本身也具有广泛的应用，例如视频压 缩、采样率转换、滤波等，根据所应用的场合不 同，运动估计的方法也很不相同。
图4.4 恒定亮度假设
17
4.1 二维运动估计和光流方程
18
4.1 二维运动估计和光流方程
应用Taylor(泰勒) 展开公式，当 d x ，d y ，d t 很小
时，有
(x d x ， y d y ， t d t)
=
(x, y,t)
+
x
dx
+
y
dy
+
t
dt
故
x
dx
+
y
dy
+
t
dt
=
0
化，假定在时刻t的一个成像点(x，y)移动到时刻的 点( x dx ，y d y )位置。根据恒定亮度假设，同一 个物体点在不同时刻的图像具有相同的亮度值。 因此：
(x d x ， y d y ， t d t) = (x,y,t)
16
4.1 二维运动估计和光流方程
（a） 锚定帧（参考帧）
（b） 目标帧（当前帧）