第三章二维运动估计之一

运动估计的基本问题 是估计运动前后相邻 两帧图像上对应点的 坐标pi(xi,yi)和pi’ (xi’,yi’)， i=1,2,3…。即像平面 上对应的二维运动矢 量di(xi,t1;t2)。
4.运动分析方法：主要有两种 ①.根据时间相邻的两幅或多幅图像求解物体的运动参数和三维结构信息。 ②图像序列的光流分析法。 运动信息包括：物体的一阶（位移）、二阶（速度）、三阶（加速度）等。 研究内容包括：运动目标检测与分割、运动参数估计等。 光流：指视觉观察到的图像中产生的光强变化。它一般对应物体的运动，但也 有不一致的情况。 换句话说，在视频图像序列运动估计中，观察到的二维运动叫光流。 或定义：视频序列空间坐标关于时间的变化率称为光流，即 (vx,vy)T=(dx/dt,dy/dt)T,其对应于像素的瞬时速度矢量。
绝对差 (MAD), 当p = 2,称为均方差(MSE)
误差图像e(x; a) = 2(w(x, a) ) - 1(x) 一般称为
位移帧差(DFD) 图像
使
E DFD ( a )
最小的必要条件是它的梯度=0
2.2.2 运动估计准则2： 基于光流方程准则
光流方程
y t
2.2.1 运动表示法（Q1）
整体（全 局）: 整体运动 由若干整 体参数表 示。
基于像素： 每个象素都 指定运动矢 量
基于块： 把图像域 固定分成 许多小的 方块，每 个块用一 个简单的 模型表征。
基于区域： 将图像帧分 为多个区域， 每个区域用 一个参数化 模型表征。
2.2.2 运动估计准则1： （Q2） 基于位移帧差准则
参考帧： 1(x, t1) 当前帧: 2(x, t2) 前向运动估计 /后向运动估计： t2 > t1 / t2 < t1 运动场： d(x, a), x 映射函数： w(x, a) = x + d(x, a) , x 运动参数矢量: a 存在问题：遮挡
2.2 运动估计的一般方法
两种主要的方法: – 基于特征（常用在物体跟踪上，从2D构建出3D） – 基于亮度（基于恒定亮度假设或光流方程，常用在 运动补偿预测，视频编码和插值方面） -> 重点 三个关键问题： – Q1：怎样将运动场参数化 – Q2：用什么样的准则来估计这些参数 – Q3：怎样搜索这些最优参数

t
0
只能确定图像空间梯度方向上的分量（法向流） vn 即：孔径问题
图6.3 运动估计中的孔径（用一个恒定亮度假设的小窗口） 问题: 在x1 处估计运动使用孔径1，但是不可能确定运动 是向上的还是垂直于边缘的，因为在这个孔径中只有一 个空间梯度方向。可以准确地估计x2的运动，因为在孔 径2中，图像有两个不同方向的梯度。
y 1 4 { ( m , n 1 , k ) ( m , n , k ) ( m 1 , n 1 , k )
m,n
m+1,n
( m 1, n , k ) ( m , n 1, k 1 ) ( m , n , k 1 ) ( m 1 , n 1 , k 1 ) ( m 1 , n , k 1 )}
2-D 运动: 3-D 运动的投影, 取决于3D 物体运动和投影
操作。 光流: 观测的或表现的二维运动。
– 不仅可以由物体运动引起，还可以由摄像机运动或照明条件 变化引起。注：不等同于真实的二维运动。
左边是一个具有均匀平坦表面
的球在恒定的环境光下转动。 每一个点都反射相同的彩色， 人们感觉不到球的任何变化， 认为球是静止的。
T
v
t
0
其中
[
x
,
y
]
T
空间梯度矢量
光流方程
光流v的分解
– 将光流v分解为两个正交的分量：
v vne n vte t
vte t

其中：e n
为图像空间梯度方向
v
vne n
上Fra Baidu bibliotek单位矢量 e 为切线方向上的单位矢量
t

T
v
t
0
vn
• 可以计算出梯度 • 运用OF准则时应该可以获得一个闭合解析式。
– 通过先验知识获得一个好的初始解，搜索出局部最优的点
多分辨率搜索
– 从粗分辨率搜索到细分辨率，比穷尽搜索快。 – 避免陷入局部最优
2.3 基于光流的运动估计
光流方程
– 亮度守恒假设：运动物体点的亮度（或色度）在其运 动轨迹上保持不变，变化的是物体的位置。
2.2.2 运动估计准则3 平滑约束正则化
常用的正则化方法是增加一个表示平滑变化的
代价项来测量邻近像素MV的差：
E s (a )

x A y N x
d ( x; a ) d ( y; a )
2
总的最小化准则写成：
E E DFD ( a ) w s E s ( a ) min
运动估计中的不确定问题
孔径问题：光流方程只确
定了法向的投影vn，在切 线的投影是不确定的，任 何vt 的值都满足光流方程。 一个方程有两未知数—— 要施加附加条件：最通常 的约束是流矢量在空间平 滑变化。使我们可以利用 x周围一个小的邻域亮度 变化去估计x处的运动。 运动估计仅在有亮度变化 区域可靠。
特征对应：运动物体上的特征与其在二维平面上的投影坐标的对应关
系。见下图示：
设t1→t2时，物体由P运动至P’，即： 空 间：P(X,Y,Z) → P’(X’,Y’,Z’)
像平面： p(x,y) → p’(x’,y’) 二维位移（△x, △y ）称为二维运动矢 量，标记为d(x,t1;t2)。 对于一组点，二维空间位移记为 d(xi,t1;t2),i=1,2,…。
(x d x , y d y ,t dt ) ( x, y,t)
x dx y d
y

t
dt
比较上面两个式子，得到光流方程：
x dx y d
y

t
dt 0
x
vx
y
vy
t
0
右边是一个静止的球，被一个
绕着球转动的点光源照明。光 源的运动引起球上反射光点的 运动，人眼认为球在运动。
光流方程
如果照明条件未知，那么所能得到的最精确估
计就是光流。 恒定亮度假设 光流方程
( x d x , y d y ,t dt ) ( x, y,t)
又运用泰勒展开式，当dx,dy,dt很小时，
纲要
2-D 运动和光流 光流方程解决运动估计的一般方法
– 运动表示 – 运动场参数化 – 最优化准则的公式化 – 寻找最优化参数 运动估计算法
– 基于光流的运动估计 – 基于像素的运动估计 – 基于块的运动估计（EBMA）
3-D运动 -> 2-D运动
3-D MV
2-D MV
2.1 2-D 运动 vs. 光流
如果 dt 很小，令
x
1
x
dx
d
y

dt 0
t
dt 2 (x) 1(x)
1
dx
y
1
d
y

2

0,
or

T 1
d
2

1
0
这个光流方程的离散形式更经常用在数字视频的运动
估计中，求解符合方程的x问题可以转化成用以下目标函 数（EOF）表示的最小化问题：
x 1 4 { ( m 1, n , k ) ( m , n , k ) ( m 1, n 1 , k )
( m , n 1, k ) ( m 1, n , k 1 ) ( m , n , k 1 ) ( m 1, n 1, k 1 ) ( m , n 1, k 1 )}
(x, y,t) (x d x , y d y ,t d t ) ( x d x , y d y , t d t ) ( x, y, t) dx dy dt
x y t
x
x vx y
dx
第三章 二维运动估计
运动估计涉及: 图像平面运动(二维运动) 和空间物体运动(三维运动),运 动分析与估计是数字视频处理的基本问题之一, 也是数字视频处理的难
点和热点。
运动分析与估计广泛应用于计算机视觉、目标跟踪、工业监视和视频 压缩等场合 不同应用场合对运动估计要求不同，有如下区分：
真实运动估计：要求估计获得的物体运动和实际运动基本 一致。如计算机视觉、目标跟踪、工业监视。 非真实运动估计：在不被察觉的情况下允许有估计误差， 从而最大限度降低信息量和传输带宽。如广播电视中的视 频压缩。
最常用的运动估计准则是参考帧1与当前帧2
之间每个对应点对之间亮度值之差的和。 回忆1中的x移动到2 中的w(x; a) ，则目标函 数写为：
E DFD ( a )

x
| 2 ( w ( x ; a )) 1 ( x ) | min
p
p 是一个正数，当 p = 1, 上面的误差称为平均
权系数 w s 根据与预测误差有关的 来选择，物体边界的权
运动平滑的重要性 (以免模糊 )。
系数应该减小
不同准则之间的关系
基于光流方程准则OF – 只有当运动比较小的时候效果较好。 – 当p=2时最小值函数是MV的二次函数。如果运动参 数关于MV线性，则函数具有唯一的最小值，容易 求解。 当运动比较大，可以对基于光流方程准则OF
进行迭代求解，以满足基于位移帧差（DFD） 准则。
2.2.3 优化方法（对误差函数进行最小化） Q3
穷尽搜索
– 通常用在DFD准则中当p=1(MAD)的情况
– 保证全局最优 – 计算量太大
– 快速算法可以得到次优解。
基于梯度搜索
– 通常用在 DFD 或 OF 准则，当 p=2 (MSE)的情况
E OF ( a )

x A
| ( 1 ( x )) d ( x ; a ) 2 ( x ) 1 ( x ) | min
T
p
2.2.2 运动估计准则3 平滑约束正则化
运动估计是一个不适定（病态）问题
– 恒定亮度假定不总是成立 – 在平面纹理区域，不同运动估计可以满足恒定亮度 假设或光流方程。 在严格数学意义上，我们不可能对不适定问题进行求 解并得到答案，只能通过先验知识找到近似解。 正则化过程：即用一组与原不适定问题相近的适定问 题去逼近原问题的解。 在基于像素和基于块运动估计中很重要。
v vne n vte t v n || || t 0
2.2 运动估计的一般方法
后向运动估计 Time t - t x x Time t +t
Time t
d(x, t + t)
d(x, t - t)
x 当前帧 参考帧 前向运动估计
当前帧

几个基本概念
1.时间序列图像：随时间而变化的一系列图像称为时间序列图像或运动 图像。 2.运动物体特征：指物体形状或表面特征，如尖锐点、边缘线等。 可以通过运动物体的特征来观察分析物体的运动。
3.运动估计的基本问题
运动估计研究的是视频序列图像中投影坐标在像平面上的变化，获取 运动参数，但是投影会造成信息丢失（不可逆），导致估计误差。
vy
y
t
T
d
y

t
dt 0
T

0或
v
t
0
其中
ψ , 为空间梯度向量，v x y
( v x , v y ) 为光流场。
图像梯度的计算
光流方程的要求：亮度函数可微 数字视频：有限差分法近似
m,n+1
m+1,n+1
t

1 4
{ ( m , n , k 1 ) ( m , n , k ) ( m 1, n , k 1 )
( m 1, n , k ) ( m , n 1, k 1 ) ( m , n 1, k ) ( m 1, n 1, k 1 ) ( m 1, n 1, k )}