第四章 二维运动估计

帧间预测的依据：图像序列在时间轴方向的相关性； 物体的背景或物体的一部分相对不变或变化缓慢； 人类的视觉特性： 人类的视觉对静止图像有较高的空间分辨率， 但是可以减少传输帧数来降低时间轴分辨率，
未传输的帧可以通过计算补出来；
对运动图像分辨率低，可以对这一部分图像降 低清晰度；
4.1
前向和后向运动估计
4.2
二维运动估计的基本方法
通常可以将运动场表示为 d ( x；a) ，其中 a = [ a1 ，a2 ，…，a L ]是一个包含所有运动参 数的矢量。类似地，映射函数可以为
w( x；a)

x

d ( x；a)
因此，运动估计问题等价于估计参数矢量。
4.2
二维运动估计的基本方法
运动估计已经提出的方法可归纳为两类：
② 当球是静止的，但是被一个绕着球转动的点光源 照明，光源的运动引起球上反射光点的运动，因 而使人眼认为球在运动。
4.1
二维运动估计和光流方程
(a）球体在恒定环境照明下转动，但是观测的图像没有变化 (b) 点光源绕着静止的球转动，引起球上的亮点旋转 图4.2 光流并不总是与真实运动场相同
4.1
运动估计研究现状
4.1
二维运动估计和光流方程
d(x,y)
（a） 锚定帧（参考帧）
（b） 目标帧（当前帧）
（c） 运动矢量MV
t1 时刻
图4.2
t2
时刻
运动矢量（MV）示意图
4.1
二维运动估计和光流方程
3、光流 光流是基于图像模型变化所观测到的二维运 动，也依赖于光照条件和物体表面的纹理，它有 时可能不同于真实的二维运动。后面我们将使用 “二维运动” 或“运动”来描述光流。
来自百度文库
4.1
运动估计研究现状
运动估计是去除时间冗余最基础有效的
方法，也是各类视频编码算法所普遍采用的 一项核心技术，（如何快速、有效的获得足
够精度的运动矢量）
4.1
运动估计研究现状
运动估计——将活动图像分为若干局部结构，检测 出每个局部结构在前一帧图像中的位臵，从而可以 估计出这个结构的位移，用运动矢量表示； 运动补偿——由位移的估值建立局部结构在不同帧 的空间位臵对应关系，用前一帧图像中的对应部分 对当前帧中的局部结构进行预测。
4.2
二维运动估计的基本方法
4、基于块的表示法
为了降低基于区域运动表示法的复杂性，一个方法 是把图像域固定分割成许多小的方块。只要每个块足够 小，则每个块内的运动变化就可以用一个简单的模型表 征，同时每个块的运动参数可以独立地进行估计，这就 是基于块的表示法。在每一个块中可以用一个常量位移 来表示块中所有像素的运动，从而使估计问题变成为每 一个块找到一个运动矢量(MV)的问题。
部分，其算法是基于图像亮度或颜色的时间变化。
二维运动估计是三维运动估计所需要的一个预处
理阶段，它本身也具有广泛的应用，例如视频压 缩、采样率转换、滤波等，根据所应用的场合不
同，运动估计的方法也很不相同。
第四章
二维运动估计
4.1 二维运动估计 一、 二维运动
4.1
二维运动估计和光流方程
二维运动是指三维运动在图像平面上的透视 或正交投影，导致二维运动的因素有：物体的三 维运动、摄像机的运动和照明。
4.1
运动估计研究现状
–运动估计
• 三维运动估计
• 二维运动估计 • 基于像素的运动估计 • 基于块的运动估计 • 全局运动估计
–应用
• 三维视频运动分析 • 多视点视频运动估计 • 中间视点重建
4.1
运动估计研究现状
全局运动估计 基于像素点的运动估计 基于块的运动估计 基于区域的运动估计 基于网格的运动估计 时域运动估计 频域运动估计（DFT、DCT、DWT）
图4.1
三维运动与二维运动
4.1
二维运动估计和光流方程
4.1
二维运动估计和光流方程
在某些情况下，观测到的二维运动可能并不等同于 实际投影的二维运动：
① 一个具有均匀平坦表面的球在恒定的环境光下转 动，因为球上的每一点都反射同样的彩色，所以 人眼观察不到在成像球的彩色图案中的任何变化， 因此认为球是静止的。
( x d x，y d y，t dt )
= ( x, y , t ) +
d dx + dt y + y x t
故
dy + dx + dt = y x t
0
4.1
二维运动估计和光流方程
两边同时除以 d t 后，可得到 光流方程：
vy + vx + y t x
4.2
二维运动估计的基本方法
（b ）基于像素的 表示：每个像素 均有自己的矢量 （ MV ） ， 加 入 了 光滑性约束。
（a）全局运 动表示：整个 运动场由几个 全局参数表示
（ c ）基于块 的表示：将 每帧划分为 块，每个块 的运动由几 个参数刻画
（d）基于区域 的表示：对于帧 进行分割，每个 区域对应一个具 有运动一致性的 物体或其子物体。 区域运动用参数 表示。
1、 基于特征匹配的方法 在基于特征的方法中，首先在两个视频帧中建 立特征点对之间的对应关系，然后将所建立的对应 关系与所选择的运动模型进行最小平方匹配，从而 得到运动模型参数。这种方法仅适用于参数运动模 型，在确定总体运动中是相当有效的，多应用于目 标跟踪和三维重建。
4.2
二维运动估计的基本方法
2、 基于亮度的方法 基于亮度的方法在每个像素点应用恒定亮度假 设或光流方程，要求被估计的运动尽可能地满足这 个约束。这种方法比较适合于当进行的运动不能用 一个简单的模型表征，并且期望一个像素或方块的 运动场估计的时候。基于亮度的方法比较广泛地应 用于需要运动补偿预测和滤波的场合，因此后续几 种运动估计的方法都是基于亮度法之上的。
数字视频信息 处理与传输
侯 颖
ying_hou@qq.com
第四章
4.1 4.2 4.3 4.4 4.5 4.6
二维运动估计
二维运动估计和光流方程 二维运动估计的基本方法 基于像素的运动估计 基于块的运动估计 基于全局的运动估计 基于区域的运动估计
第四章
二维运动估计
运动估计是视频处理系统的一个重要的组成
基于像素的表示法 基于整体的表示法 基于区域的表示法 基于块的表示法
4.2
二维运动估计的基本方法
1、基于像素的表示法
最直接和不受约束的方法是在每个像素都指定运 动矢量，这就是所谓基于像素表示法。这种表示方法是 普遍适用的，但是它需要估计大量的未知量(两倍于像素 数)，并且它的解时常在物理上是不确定的，除非在估计 过程中施加适当的物理约束。
图4.6
不同的运动表示法
4.2
二维运动估计的基本方法
二、运动估计准则
对于一个选定的运动模型（即运动矢量的表示形 式），问题是如何估计模型参数。下面将简单介绍 几种不同的估计模型参数的准则。
= 0
或 其中(
v + t
T
= 0
v y )表示速度矢量（也称为流矢量）， vx ，
= [ 梯度矢量。
x ， y
]
T是
( x, y, t ) 的空间
第四章
4.2
二维运动估计
二维运动估计的基本方法 两个给定帧 ( x, y, t1 ) 和 ( x, y, t 2 )，在时刻 t1
运动估计研究现状
为什么进行运动补偿预测？
对于活动图像编码，帧间预测是主要的手段； 基本帧间预测方法对于存在大量静止区域或缓变区 域的图像，预测效果不错； 对于活动的物体，预测效果不理想； 对于一些发生运动的图像进行预测编码，采用运动 补偿预测的方法。
4.1
运动估计研究现状
一、 运动补偿预测的基本原理 自然场景的视频图像只有其中的部分区域在运动， 同一场景相邻的两帧图像之间差异也不会太大，编码 器无需将视频序列中每帧图像的所有信息都进行编码 后传输给解码器端，只要将当前帧中目标的运动信息 告知解码器端，解码器可根据运动信息和前一帧图像
三、运动估计的分类
4.2
二维运动估计的基本方法
一般基于亮度的方法问题可以转化为一个最 优化问题，这里需要回答三个关键的问题： 怎样将运动场参数化，即如何表示运动场？ 用什么样的准则来估计这些参数？ 怎样搜索这些最优参数？
4.2
二维运动估计的基本方法
一、运动表示 运动估计的一个关键的问题是如何参数化运 动场，如何表示运动场？
4.1
二维运动估计和光流方程
4.1
二维运动估计和光流方程
对于一个给定的时间 间隔（ t1 时刻到 t 2 时 刻），二维运动场实际上 是一个二维矢量集合。 图4.3中每个箭头的方向和 幅度表示位于箭头起点像 素处的矢量（MV）的方向 和幅度。
t12
图4.3
一个典型的二维运动场
4.1
二维运动估计和光流方程
进行编码传输。
4.1
运动估计研究现状
a b c
前一帧
当前帧
后一帧
运动矢量MV 对当前子块进行运动估计，就是找在前一帧 图像中哪一个子块和当前子块最相似，估计它的 位移矢量。
4.1
运动估计研究现状
运动 矢量
4.1
运动估计研究现状
运动估计的优劣直接决定编码效率和重构视频质量： 运动估计越准确，补偿的残差图像越小，编码效
( x d x，y d y，t dt )
=
( x, y , t )
4.1
二维运动估计和光流方程
（a） 锚定帧（参考帧） 图4.4
（b） 目标帧（当前帧） 恒定亮度假设
4.1
二维运动估计和光流方程
4.1
二维运动估计和光流方程
应用Taylor(泰勒) 展开公式，当 d x ，d y ， d t 很小 时，有
内容来更新当前帧图像，获得当前帧的真实数据；
（可有效降低编码所需数据量）
4.1
运动估计研究现状
从序列图像中提取有关物体运动的信息的
过程——运动估计（Motion Estimation,
ME）；
把前一帧相应的运动部分信息根据运动矢
量补偿过来的过程——运动补偿（Motion
Compensation, MC）。
二、光流方程
当照明条件未知时，最好的一种方法就只能是 对光流进行估计。根据恒定亮度假设可以推得光流 方程。光流方程（OFE，Optical flow equation） 的方法是试图依据时空图像亮度梯度来得到一个光 流场的估算。
4.1
二维运动估计和光流方程
在一个视频序列中，用 ( x, y, t ) 表示亮度的变 化，假定在时刻t的一个成像点(x，y)移动到时刻的 点( x d x ，y d y )位置。根据恒定亮度假设，同一 个物体点在不同时刻的图像具有相同的亮度值。 因此：
4.1
运动估计研究现状
二、运动估计与运动补偿预测编码步骤：
分割图像为若干局部结构——划分静止和运动区域； 最简单方法是分块； 运动估计——对每一个运动物体进行位移估计； 运动补偿——由位移估计建立同一运动物体在不同 帧空间位臵对应关系，建立预测关系；
对于运动补偿后的位移帧差信号、运动矢量
率越高，在相同码率下的解码视频就具有更好的
图像质量； 运动估计的计算复杂度占到编码器的50%以上， 为保证视频编/解码的实时性，运动估计应当具 有尽可能低的计算复杂度；
如何提高运动估计算法的性能，使运动估计更快
速、精确和健壮受到广泛关注。
4.1
二维运动估计和光流方程
2、运动矢量 两个给定帧 ( x, y, t1 ) 和 ( x, y, t 2 ) ，在时刻 t1 和 t 2 之间，(x,y)处的运动估计(MV)定义为该点 从 t1 到的 t 2 位移，其中称 t1 时刻的帧为参考 帧， t 2 时刻的帧为目标帧。
4.2
二维运动估计的基本方法
2、基于整体的表示法
若仅是摄像机在运动，或者成像景物包含单个的具 有平坦表面的物体，我们可以用整体运动表示法来描述 整个运动场。
4.2
二维运动估计的基本方法
3、基于区域的表示法
一般对于包含多个运动物体的景物，更适当的方法 是把一个图像帧分成多个区域，使得在每个区域中的运 动可以很好地用一个参数化模型表示,这被称为基于区域 表示法。这种方法的困难在于我们事先并不知道哪些像 素具有相同的运动，因此需要很大的计算量，实际上可 能是行不通的。
和 t 2 之间，x处的运动估计(MV)定义为该点从 t 到 1 的 t 位移，其中称 t 时刻的帧为锚定帧， t 2 时刻 1 2 的帧为目标帧。 当 t〈 t 2 时，称这种运动估计为前向运动估计 1 当 t 〉t 2 时，称这种运动估计为后向运动估计
1
4.2
二维运动估计的基本方法
图4.3