第讲运动图像的编码一

三步法
每步对中心和8个临 域点计算，而且临域 点和中心点的距离， 随着搜索步骤的增加 而减小。 右图搜索3步，最终 的匹配点是(i+2,j+6)
3 2 3 3 3 3 2 3 3 3 2
1
1
2
1
2
2 1 1
2 1
2
1
1
1
共轭方向法
首先延水平方向搜 索，计算中心点与 左右两点的判决值， 找到最小点，并移 动，直到中心点就 是最小点。再延垂 直方向进行搜索， 直至找到最佳匹配 点。
运动图像的冗余
空间冗余：和静止图像的冗余情况一致 时间冗余：人眼的视觉特点，25fps就可以 认为连续。
帧间预测：利用相邻帧的时间相关性
运动估值：对运动的物体，帧间的相关性降低，
利用运动估值，可以减小预测的残差。
运动图像编码技术
我们已经讲过了静止图像编码，运动图像既然是一幅幅静 止图像在时间上的先后排列，因此可以简单的将每一幅静 止图像编码组合起来，就形成了一个运动图像的编码。 这样的码流还是很大，举例来说，一幅300*200的图像， 用JPEG压缩后要20K Bytes。如果是30帧/秒的视频，则 会产生600KB/s=4.8Mb/s的码流。这在网络传输中还是无 法接收的带宽要求。 为此，我们必须利用运动图像在时间轴上的相关性，利用 预测编码的方法，而只传输余量信号，就可以减小信号的 动态范围，降低码率。 进行准确预测的基础就是运动矢量估计，具体的编码方法 就是帧间预测编码
半像素搜索
为了提高运动矢量的 精度，引入半像素搜 索。在原先搜索到最 小MAD的位置(i,j)上， 再通过线形内插得到 周围8个半像素点。再 在这9个点中寻找最终 的匹配点。
共轭方向法 12
正百度文库搜索法 13
15
13
9
6
12
6
像素递归法(1)
先将图像中的运动部分与静止部分分开，然后 在运动区域内每个像素上以迭代的方式计算位 ˆ D ˆ U 移量 D i i 1 i 经位移后，相邻两帧图像差值DFD(Displaced Frame Difference)的平方
9
8 7 6 5 4 1 1 2 4 3
快速搜索算法比较
对全搜索，若d m 6，需要搜索点数Q=169，而 快速算法的搜索点数见下表。 由于很多DSP能并行运算，因此减小搜索步骤比 减小搜索点数更重要，同一步的不同点的判决函 数值可以并行计算。
搜索方法 所需搜索点数 21 25 所需搜索步骤 5 3 7 3 图例 最坏情况 图例 最坏情况 二维对数法 18 三步法 25
帧间子块亮度的均方差值MSE 帧间子块亮度的绝对值的均值MAD
1 M N 2 bk (m, n) bk 1 (m i, n j ) MSE(i, j ) MN m1 n 1 ( d m i, j d m ) 1 M N MAD(i, j ) bk (m, n) bk 1 (m i, n j ) MN m1 n 1 ( d m i, j d m )
匹配准则的不同，对匹配精度影响不大，故常用没有乘 除法的MAD作为实用的匹配准则。
匹配块的搜索
全搜索：在整个搜索区域逐个像素移动，每次 都要计算MAD。总的移动次数：
Q (2dm 1)2 快速搜索算法
二维对数法 三步法 共轭方向法
正交搜索法
基于同一假设：当偏离最小误差方向时，判决 函数单调上升。即不存在局部最小值。

2 ˆ ˆ )] 2 DFD ( z, Di ) [bk ( z ) bk 1 ( z D i

通过迭代，得到最优的Di，使得DFD最小。一般 迭代方向沿着负梯度方向。
像素递归法(2)
迭代法示意图 DFD按什么范围计算？一 个像素还是整个运动区域？ 按像素计算的DFD函数图， 可能的问题 按运动区域计算的函数图与 可能的问题
运动矢量估计
块匹配方法(1)
按一般想法，应将运动物体和静止背景分离，然后再对运 动物理进行运动估计。如何分离？ 实际上，将图像分块，并认为每块内像素具有同样的运动 矢量。在k帧中的一个块，在k-1帧中寻找最相似的子块， 称为匹配块，进而得到运动矢量D
当前帧中 的子块
dm
前 一 帧中的 最佳匹配子块
D
ˆ D
Di 2
Di 1 Di
两种方法的比较
块匹配法
不需要分离运动与静止区域 一个块有一个运动矢量
像素递归法
需要分离运动与静止区域 逐个像素，或者逐个独立运动的模块进行递归 运动矢量估计更准确
对于一般的运动图像，由于运动物体无规律，采 用块匹配法更合适；而对于那种大面积背景不变， 而只是单个或个别物体运动的运动图像，则更适 合用像素递归法。
运动图像的特点
运动图像本质上是连续的时间内连续的场景变化，我们眼 睛看到的实际事物就满足这个要求。 由于人眼的视觉特点，我们可以利用离散的时间点上一幅 幅图像来表示，而让人产生同样的视觉效果。这一幅幅图 像就是帧，就是时间离散化的结果。 在一帧图像中，我们可以从空间上分割为一个个像素，用 单个像素来替代原来的若干模拟点，这就是空间离散化的 结果。 我们对于运动图像，就利用时间离散化和空间离散化产生 的相关性，来进行压缩编码
NCCF (i, j )
b (m, n)b
m 1 n 1 k M
k 1 N
( m i, n j )
[ bk2 (m, n)]1/ 2 [ bk21 (m i, n j )]1/ 2
m 1 n 1 m 1 n 1
M
N
块匹配方法(3)
NCCF计算复杂，常用下面两个计算简单的值。
M
dm
N
前一帧中的 搜索区域
dm dm
位移矢量
块匹配方法(2)
搜索范围是有限的，设两帧间隔时间内，最大 的水平和垂直位移是 d m，则搜索范围SR为
SR (M 2dm ) ( N 2dm )
如何判断两个子块是否匹配？如何搜索计算量 最小？ 子块相似程度—归一化的二维互相关函数，越 M N 大越相似。