第九章 运动图像压缩编码

图像(Picture)：一个图像(静 止图像，一帧)由三个部分组成 一个亮度信号Y 两个色差信号UV
Y:U:V 8:2:2
图像
MPEG-1视频压缩标准
图像
图像切片
图像切片(Slice)：图像帧内的水平条，由一个或多 个连续的宏块构成。每个图像切片16bit高，宽与图 像帧宽度相同.
MPEG-1视频压缩标准
参照前一个I或P帧预测
B-帧
后向预测宏块 平均宏块
参照后一个I或P帧预测 参照前后的I或P帧预测
MPEG-1标准的运动补偿技术
基于宏块的运动补偿技术就是在其参照帧中找出符合一定条件的块 作为当前块的最佳匹配块 对于F宏块和B宏块，只找一个最佳匹配块 对于A宏块，其前后参照帧各有一个最佳匹配块 如何进行运动补偿 运动向量
I 1
P 4
B 2
B 3
P 7
B 5
B 6
MPEG-1标准的帧间编码技术
原理 NTSC每秒30帧，每帧的主体只有少许差异， 背景差异更小，即相隔1/30秒之间的两帧画面 中，景物主体运动在画面上的位移量或整幅画 面切换的概率极小，因此可以通过运动补偿技 术进行压缩
过程
运动补偿：对数据码流，将一幅画面的某一宏块与参
第九章 运动图像压缩编码
MPEG简介
MPEG-1压缩标准
MPEG-2压缩介绍
MPEG-4压缩介绍
MPEG简介
MPEG(Moving Picture Expert Group)是在1988年由 国际标准化组织(International Organization for Standardization，ISO)和国际电工委员会 (International Electrotechnical Commission， IEC)联合成立的专家组。 开发电视图像数据和声音数据的编码、解码和它们的 同步等标准。
AE | f (i, j ) g (i d x , j d y ) | , ( I J 16)
i 0 j 0
15
15
有些学者提出了以均方误差MSE(mean-square
error)最小作为匹配判据：
1 MSE I J |i| I
2
[ f (i, j ) g (i d x , j d y )] 2 , ( I J 16)
运动向量
运动向量

采用预测器对预测点坐标进行预测 用实际坐标减去预测坐标，得到预测误差 对预测误差进行压缩编码
预测图像P的压缩编码算法
双向预测图象B的压缩编码算法
宏块的预测方式
宏块类型 I块
F块
预测器 I1(X)=128（常量）
I1(X)= I0(X+ mv01)
预测误差 I1(X)-I1(X)
MPEG-1标准的视频数据码流
MPEG-1规定了视频压缩数据码流的语法结构，这个
语法结构将视频压缩数据码流分为6层。
运动图像序列(Video Sequence)
图像组
图像组(Group Of Pictures,GOP)：由一系列图像帧组成, 这些图像可以从运动序列中随机抽取。
图像组
MPEG-1视频压缩标准
2 2
其中，dx和dy分别是参考宏块MRJ的移动矢量d (dx, dy)在X和Y方向上的矢量 从以上分析可知，对预测图像的编码实际上就是寻找 最佳匹配图像宏块，找到最佳宏块就找到了最佳移动 矢量d (dx, dy)
示例
在视频编码标准中(H .261、H .263、MPEG-1、MPEG-2、 MPEG-4)
考画面中的邻近范围内的宏块进行数值对比，寻找与 该快最接近的、误差最小的块，只需记录该块在两个
画面中的位移量（运动向量）以及差值部分。
根据运动向量坐标的变化和块的差值，可以算出该块
是否移动以及形状是否改变，在传送时可以省略背景 和主体详情，只传送代表运动向量和块差值得少许数 据，再根据这少许数据还原整个画面。
宏块层
Cb
块层
8*8
MPEG-1视频压缩技术
基本技术
采用运动补偿技术减少帧序列在时间上的冗余
（帧间压缩）； 采用DCT压缩技术减少空间上的冗余（帧内压 缩） ；
基本的编码、解码算法
编码端： 输入的视频序列先进行预处理（插入、滤波），然后用运动预 测来帮助建立当前图像和已传送图像的预测器。 如果用到估计的运动向量，则作为附属信息，减去每块的预测， 剩余的进行DCT变换，并对DCT系数进行量化，量化后的系数 传送前进行变长度编码。 在为运动估计和预测建立参考图像前，量化后的系数要进行重 构，逆DCT变换，并与预测器结合。 解码端： 解码器对变长编码进行解码，重构DCT变换 从以前重构的图像构成预测器并结合起来形成当前图像（也为 以后接收到的图像作预测） 后处理插入并滤波结果图像以便显示。
1秒
参照帧间有 两个B-帧
每15帧(0.5秒)有一个I-帧
IBBPBBPBBPBBPBBIBBPBBPBBPBBPBB
1 16 30
典型的I-帧，P-帧，B-帧次序安排
传输顺序
MPEG编码器需对上述图象重新排序, 以便解码器高效工 作, 因为参照图象必须先于B图象恢复之前恢复。上述1～ 7帧图象重排后图象组次序为：
最佳匹配的算法（如何高效搜索最佳匹配块？） 二维对数搜索法、三步搜索法、对偶搜索法等
最佳匹配的判据
要使预测图像更精确 ，就要求找到与参考宏块MRJ最佳 匹配的预测图像编码宏块MPI 所谓最佳匹配是指这两个宏块之间的差值最小，有下列 三种匹配判据： 通常以绝对值AE(absolute difference)最小作为匹 配判据：
MPEG-1标准的运动补偿技术
运动补偿技术主要用于消除P-帧和B-帧在时间上的冗余， 提高压缩效率 在宏块一级进行，宏块有四种类型
图像帧类型 所含宏块类型 宏块简称 宏块采用技术
I-帧
P-帧
帧内宏块 帧内宏块
前向预测宏块 帧内宏块 前向预测宏块
I块 I块
F块 I块 F块 B块 A块
DCT技术
1991年制订，最初为CD-ROM制订 亮度360 X 240，色度180 X 120，每秒30帧
压缩比 100:1
MPEG-1分为5个部分
1. 2. MPEG系统(11172-1)，定义音频、视频及有关数据的 同步； MPEG视频(11172-2)，定义视频数据的编码和重建图 象所需的解码过程；
MPEG-1和-2典型的编码参数
MPEG-1压缩标准
用于大约高达1.5Mbps速率的数字存储媒体的运动图象 及其伴音编码简称MPEG-1，作为ISO/IEC 11172号建议 于1992年通过。 使用MPEG-1的压缩算法, 可将一部120分钟长的电影压 缩到1.2GB左右。因此, 它被广泛地应用于VCD制作。
图像的切片 宏块
宏块：MPEG的基本编码单元，即进行运动补偿的单元。由 16X16像素的亮度(Y)信息和两个8X8像素的色度(U,V) 信息组成。宏块由附加数据及四个亮度(Y)信号块和两个色 差信号(U,V各一块)块组成。
宏块（1616）
块88）
每块：8*8像素，可以是亮 度Y或色度U,V 一个宏块由附加数据及四个 亮度(Y)信号块和两个色差 信号(U,V各一块)块组成。
通常作为后续的P-帧或B-帧的预测参考帧
B-图像帧：双向预测编码图像帧，双向帧
既利用过去的I-帧或P-帧(前向)，也利用后来的I-帧或P-帧(后向)作
为参考
进行带运动补偿技术的双向预测编码 从不作为预测的参考帧
I=Intra Picture, P=Predicted Picture, B=Bidirectional Picture
MPEG-1标准的帧内编码技术
帧内编码技术针对I-图像帧，采用DCT方法 与JPEG压缩方式相同，只是量化器稍有差别 图像压缩过程：以NTSC制式为例
彩色空间转换 将RGB信号转换为亮度Y和色差C信号 每一像素的亮度都传送，而色差信号分为U=Y-R,V=Y-B传送， 每传送4个亮度信号才传送一个色差信号，称为YUV 4:1:1格 式 经过YUV 4:1:1格式采样后，信息量减少了50％ 例：RGB格式：各8 bit——24bit/像素 YUV 4:1:1格式：Y 8bit,U,V各2bit——12bit/像素 这是压缩图像的第一步措施
相邻帧的高度相似性(相关性)，与当的块紧接着的区域可能 存在很好的匹配；另—方面，搜索整个参考帧运算量太大；

图解释了块匹配的过程。当前块(图中是3*3个像素)如左边所示， 这个块与参考帧中相同位置的块(如中心的黑线所示)和紧接着的临近 位置(每个方向正负一个像素)作比较。当前块与参考帧中同样位置(0， 0)块的均方差(MSE)计算如下：
Y:U:V 8:2:2
图像序列头 图像组 图像组
……
图像组 图像组
序列层
图像组头
图像 图像 （I、P、B）（I、P、B）
……
图像组层
图像头
图像条 图像切 片头
图像条 宏块 MB 宏块 MB
……
图像层
…… 图像切片层 6 8*8
MPEG视频码流 分层结构图
1 8*8 3 8*8
2 5 8*8 8*8 4 Cr 8*8 Y
MPEG-1标准的帧内编码技术
采用与JPEG相同的压缩编码方式
Z字型排列
图像帧间预测
帧内编码 前向预测
后向预测
双向预测
前向预测
源自文库
双向预测
MPEG-1标准的帧间编码技术
图象组一般由一个I-帧，几个P-帧和若干个B-帧组成。 MPEG-1的算法允许编码器选择I-帧的频率和位置。 一般每0.5秒以内必须传送一次I-帧
运动估计和运动补偿在当前帧的8*8或者16*16块上进行、 整个块的运动估计也被称为块匹配、
对于当前帧亮度像素的每个块(例如16*16)，运动估计算法
搜索参考帧的一个附近区域，寻找一个匹配的16*16区域， 最好的匹配足指使得当前的16*16块和匹配的16*16块的差 值的能量最小。
搜索的范围以当前的16*16块为中心，这是因为一力面由于
3.
4. 5.
MPEG音频(11172-3)，定义音频数据的编码和解码；
一致性测试(11172-4)； 软件模拟(11172-5)，一个技术报告，给出了用软件执 行MPEG-1标准前3个部分的结果。
MPEG视频数据流的结构
运动图象序列
图片组 块 图片 图片切片 宏块 8 象 素
8象素 MPEG-1数据体系结构（分层的结构）
编码、解码框图
在MPEG中将图象分为3种类型
I-图像帧：帧内编码图像帧，内帧
静态图像，只利用自身信息进行编码，采用JPEG方式
可作为压缩数据流中的随机存取点—快进、快退等
P-图像帧：预测编码图像帧，预测帧
利用最近的前一个I-帧或P-帧作为参考
采用带运动补偿技术的帧间预测进行编码—前向预测
I1(X)-I1(X)
B块
A块
I1(X)= I2(X+ mv21)
I1(X)= (I0(X+ mv01)+I2(X+ mv21))/2
I1(X)-I1(X)
I1(X)-I1(X)
运动补偿的问题
MPEG指明了如何表示运动信息，但没有说明如 何计算运动矢量。 最佳匹配的判别依据是什么？ 最小均方误差、最小平均绝对差值、最大匹配像 素统计等；
他们开发的标准称为MPEG标准。
MPEG标准是一个面向运动图象压缩的标准系列，到目 前为止，已经开发和正在开发的有：
MPEG-1：用于数据速率高达大约1.5 Mbit/s的数字存
储媒体的活动图像和伴音编码 。
MPEG-2：活动图像和伴音信息的通用编码 。 MPEG-4：甚低位率音视频编码 。 MPEG-7：多媒体内容描述接口标准。 MPEG-21:多媒体框架。
PAL制式：图象组12帧 NTSC制式：图象组15帧
从I-帧(或P-帧)得到P-帧， P-帧压缩比60:1
从I-帧或P-帧得到B-帧， B-帧压缩可达200:1
MPEG-1算法不对称，压缩比解压缩复杂，慢 编码器需要选择位于I-帧和P-帧间B-帧的数目
MPEG-1标准的帧间编码技术
| j| J 2
也有些学者提出以平均绝对帧差MAD(mean of the
absolute frame difference)最小作为匹配判据： 1 MAD J | f (i, j) g (i d x , j d y ) | , ( I J 16) I J |i| I | j|