动态图像压缩标准
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
8
MPEG-7
MPEG-7 MPEG-7的工作于1996年启动，叫做多媒 体内容描述接口(Multimedia Content Description Interface)，MPEG-7的目的 是制定一套描述符标准，用来描述各种 类型的多媒体信息及它们之间的关系， 以便更快更有效地检索信息。 MPEG-7涉及的媒体材料可包括静态图像、 图形、3D模型、声音、话音、电视以及 在多媒体演示中它们之间的组合关系。
11
MPEG数据流的分层结构
12
MPEG视频压缩算法的基本思路
冗余及解决方法 (1)时间冗余：各帧图像在时间方向上的相关性； (2)空间冗余：像素间的相关性 解决方法： n 用帧间预测和运动补偿解决时间冗余 n 用变换编码和预测编码解决空间冗余
MPEG算法面临的问题： n 在保证画面质量前提下每帧单独编码，不 能保证高压缩比； n 为了满足随机访问有最好方法是每帧单独 编码；
10
MPEG数据流的分层结构
(1)运动图像序列：包含一个表头(定义了图像宽、高、像 素长宽比、帧速率、位速率、缓冲区尺寸等重要参数)， 一组或多组图像和序列结束标志； (2)图片组：由一系列图像组成，可以从运动序列中随机 存取； (3)图像：由一个亮度信号和两个色度信号组成； (4)块：由一个8X8的亮度信息或色度信息组成； (5)宏块：由一个16X16的亮度信息和两个8X8的色度信 息构成； (6)图像切片：由一个或多个连续的宏块构成。
25
H.264——基于块的混合编码方式
26
运动估计的原理
27
H.264中运动估计
更为精细的块尺寸
• 4x4，4x8，8x4，8x8 • 8x16，16x8，16x16
¼像素精度的运动矢量
• 6阶FIR滤波器插值1/2像素点
• 双线性插值1/4像素点 • 线性插值1/8色度像素点
多参考帧
13
MPEG视频压缩算法的基本思路
解决办法： n 使用3种画面：内帧I、预测帧P和内插帧B n 内帧单独编码，经过中度压缩，可以作为随 机访问点； n 预测帧以参考帧(I或P)为基础编码，又作为 后面预测帧的参考帧； n 内插帧以前后两个参考帧为基础编码，本身 不能作为参考帧。内插帧的压缩率最高。
H.264中运动估计算法的研究
主要内容：
背景 H.264 层次搜索算法 自适应搜索算法
22
背景介绍——谁是继承者？
MPEG2老了 谁是继承者？
6 5 4
MPEG-2
Mbit/s
3 2 1 0
1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004
14
MPEG视频压缩算法的基本思路
15
三种帧的压缩算法
1、内帧图像 I 的压缩算法 帧内图像I不参照任何过去的或者将来的其他 图像帧，压缩编码采用类似JPEG压缩算法； 如果电视图像是用RGB空间表示的，则首先把 它转换成YCrCb空间表示的图像。 2、预测帧图像 P 的压缩算法 编码单位： 16X16的图像宏块 3、内插帧B的压缩算法 采用双向预测，方法和P图像类似 ，
3
MPEG标准内容
MPEG-1 Systems，规定电视图像数据、声 音数据及其他相关数据的同步 MPEG-1 Video, 规定电视数据的编码和解码， MPEG-1 Audio, 规定声音数据的编码和解码， MPEG-1 Conformance testing，说明如何测 试比特数据流和解码器是否满足MPEG-1前3 个部分(Part1，2和3)中所规定的要求。 MPEG-1 Software simulation，给出了用软件 执行MPEG-1标准前3个部分的结果。
27MHz
Output Interface
Bit Stream
PLL
Memory Controller
35
编码器的硬件实现方案——DSP
TMS320DM642
Pixel Data
Pixel Intf.
MC Reconst
Transform Q
Inverse T IQ
De-blk Filter
Entropy Coding
30 29
28 27 0 50 Bit-rate [kbit/s] 100 150
200
250
33
H.264 Codec设计复杂度
相对MPEG-2 ，解码复杂度增加 2-3倍，编码复 杂度增加 3-4倍 问题: 宏块分得更细（更多的搜索） 预测模式更多（更多的搜索） 多参考帧的运动估计（更多的内存，更多的计 算） 更长的滤波器
23 2005
背景介绍——H.26L横空出世
6 5 4
MPEG-2 MPEG-4 H.26L H.263
Mbit/s
3 2 1 0
1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004
2005
24
背景介绍——来龙去脉
H.26L—ITU-T Q.6/SG16 (VCEG - Video Coding Experts Group)的新宠，H.264的 前身 2001 11：VCEG和 MPEG联合组建Joint Video Team (JVT)，共同制定H.26L标准 2002 10：完成标准草案 预计2003 标准最终在两个组织获得通过 H.264是该标准ITU-T的官方名称，MPEG 方面称它为MPEG4-Part 10
17
电视图像的结构
18
H.261和H.263标准
H.261 n 由 CCITT于1990年制定，是国际上第一个视频压缩 标准，应用领域为：电视电话和会议电视 n H.261的全称：视听业务速率为Px64Kb/s的视频编 译码 n P=1，2时仅支持四分之一通用交换格式(QCIF)的视 频格式(176x144)，用于帧速低的可视电话； n P=6时可支持通用交换格式CIF的视频格式(352x288) 的会议电视。 n 压缩算法的核心：运动估值预测和DCT编码 n 贡献：除自身的应用领域外，视频数据格式、运动 估算与补偿、DCT变换、量化和熵编码等技术被后来的 MPEG-1和MPEG-2所借鉴和采用。
16
电视图像的结构
MPEG编码器算法允许选择I图像、P图像和B 图像数目。例如，对于快速运动的图像，I图 像的频率可以选择高一些，B图像的数目可以 选择少一点；对于慢速运动的图像，帧内图像 I的频率可以低一些，而B图像的数目可以选择 多一点。在实际应用中还要考虑媒体的速率。 MPEG三种图像的压缩后的典型值(比特) ，可 以看到，I帧图像的数据量最大，而B帧图像的 数据量最小。
6
MPEG-4
MPEG-4 MPEG-4是为视听(audio-visual)数据的编码和交 互播放开发算法和工具，是一个数据速率很 低的多媒体通信标准。 MPEG-4的目标是要在异构网络环境下能够高度 可靠地工作，并且具有很强的交互功能。 MPEG-4将应用在移动通信和公用电话交换网 PSTN上，并支持可视电话、电视邮件、电子 报纸和其他低数据传输速率场合下的应用。
19
H.261和H.263标准
H.263 n 1995年制定，适用于PSTN(Public Switch Telephone Network，公共交换电话网) n 目的：能在现有的电话网上传输活动图像，能够基于 电话线路(PSTN)实现可视电话和视频会议系统，已成为一般 的低比特率视频编码标准 n 基本算法：帧间预测和DCT混合编码 n 4种可协商选择的编码方法：无限制范围的运动矢量、 基于语法的算法编码方法、高级预测和PB帧 n 两种编码模式：帧内编码和帧间编码 n 进一步发展：H.263+(H.263版本2)，增加了12种新的 协商模式和附加特性，以扩大协议的应用范围，提高重建图 20 像的主观质G-2
④MPEG-2 Conformance testing ⑤MPEG-2 Software simulation ⑥MPEG-2 Extensions for DSM-CC，数 字存储媒体命令和控制扩展协议 ⑦MPEG-2 AAC，是多声道声音编码算法 标准 ⑧MPEG-2 Extension for real time interface for systems decoders，系统解 码器实时接口扩展标准 ⑨ MPEG-2 DSM-CC，一致性扩展测试
Bit Strea m
BUF
Controller
Xilinx FPGA
Internal Memory
ME Intra Pred.
Memory Control DDR SDRAM
Internal Memory
Memory
9
MPEG-7
MPEG-7的应用领域包括： n 数字图书馆(Digital library)，例如图像目录、音 乐词典等； n 多媒体目录服务(multimedia directory services)，例如黄页(yellow pages)； n 广播媒体的选择，例如无线电频道，TV频道等； n 多媒体编辑，例如个人电子新闻服务，多媒体 创作等等 n 潜在应用的应用领域包括：教育、娱乐、新闻、 旅游、医疗、购物等等。
7
MPEG-4 MPEG-4文件有6个部分，它们是： ① MPEG-4 Systems 系统标准 ② MPEG-4 Video 电视图像标准 ③ MPEG-4 Audio 声音标准 ④ MPEG-4 Conformance Testing 一致性测试 标准 ⑤ MPEG-4 Reference software 参考软件 ⑥ MPEG-4 Delivery Multimedia Integration Framework (DMIF) 传输多媒体集成框架
动态图像压缩标准
MPEG概述
MPEG(Moving/Motion Picture Expert Group)是 活动图像专家组，负责开发电视图像数据和声 音数据的编码、解码和它们的同步等标准。 已经开发和正在开发的MPEG标准有： MPEG-1：数字电视标准，1992年正式发布。 MPEG-2：数字电视标准。 MPEG-3：已于1992年7月合并到HDTV工作组。 MPEG-4：多媒体应用标准(1999年发布)。 MPEG-5：尚未见到定义。 MPEG-6：尚未见到定义。 MPEG-7：多媒体内容描述接口标准(正在研究)。
• 周期运动 • 镜头、场景的来回切换
28
多种多样的块尺寸
29
多种多样的块尺寸
30
¼像素精度的运动矢量
½亮度像素点的插值
1/8色度像素点的插值
31
¼亮度像素点的插值
多参考帧
32
H.264的性能
39 38 37 36 Quality Y-PSNR [dB] 35 34 33 32 31
JVT/H.264/AVC MPEG-4 MPEG-2 H.263 Foreman QCIF 10Hz
4
MPEG-2
MPEG-2 MPEG-2标准是一个直接与数字电视广播有关 的高质量图像和声音编码标准。标准名称为 “信息技术—电视图像和伴音信息的通用编码。 MPEG-2包含9个部分： ①MPEG-2 Systems，规定电视图像数据、声 音数据及其他相关数据的同步 ②MPEG-2 Video，规定电视数据的编码和解码 ③MPEG-2 Audio，规定声音数据的编码和解码
2
MPEG标准内容
MPEG-1 MPEG-1是针对当时具有这种数据传输率的 CD-ROM和网络而开发的，用于在CD-ROM 上存储数字影视和在网络上传输数字影视。 MPEG-1全称为“信息技术——用于数据速率 高达大约1.5 Mbit/s的数字存储媒体的电视图 像和伴音编码”，由五个部分组成：
……
34
编码器的硬件实现方案——ASIC
Pixel Data
Pixel Interface
Intra Pred. ME MC
Transform Q Inverse T IQ
Entropy Coding
Host API
Embedded CPU
Address Generator
De-blocking Filter
MPEG-7
MPEG-7 MPEG-7的工作于1996年启动，叫做多媒 体内容描述接口(Multimedia Content Description Interface)，MPEG-7的目的 是制定一套描述符标准，用来描述各种 类型的多媒体信息及它们之间的关系， 以便更快更有效地检索信息。 MPEG-7涉及的媒体材料可包括静态图像、 图形、3D模型、声音、话音、电视以及 在多媒体演示中它们之间的组合关系。
11
MPEG数据流的分层结构
12
MPEG视频压缩算法的基本思路
冗余及解决方法 (1)时间冗余：各帧图像在时间方向上的相关性； (2)空间冗余：像素间的相关性 解决方法： n 用帧间预测和运动补偿解决时间冗余 n 用变换编码和预测编码解决空间冗余
MPEG算法面临的问题： n 在保证画面质量前提下每帧单独编码，不 能保证高压缩比； n 为了满足随机访问有最好方法是每帧单独 编码；
10
MPEG数据流的分层结构
(1)运动图像序列：包含一个表头(定义了图像宽、高、像 素长宽比、帧速率、位速率、缓冲区尺寸等重要参数)， 一组或多组图像和序列结束标志； (2)图片组：由一系列图像组成，可以从运动序列中随机 存取； (3)图像：由一个亮度信号和两个色度信号组成； (4)块：由一个8X8的亮度信息或色度信息组成； (5)宏块：由一个16X16的亮度信息和两个8X8的色度信 息构成； (6)图像切片：由一个或多个连续的宏块构成。
25
H.264——基于块的混合编码方式
26
运动估计的原理
27
H.264中运动估计
更为精细的块尺寸
• 4x4，4x8，8x4，8x8 • 8x16，16x8，16x16
¼像素精度的运动矢量
• 6阶FIR滤波器插值1/2像素点
• 双线性插值1/4像素点 • 线性插值1/8色度像素点
多参考帧
13
MPEG视频压缩算法的基本思路
解决办法： n 使用3种画面：内帧I、预测帧P和内插帧B n 内帧单独编码，经过中度压缩，可以作为随 机访问点； n 预测帧以参考帧(I或P)为基础编码，又作为 后面预测帧的参考帧； n 内插帧以前后两个参考帧为基础编码，本身 不能作为参考帧。内插帧的压缩率最高。
H.264中运动估计算法的研究
主要内容：
背景 H.264 层次搜索算法 自适应搜索算法
22
背景介绍——谁是继承者？
MPEG2老了 谁是继承者？
6 5 4
MPEG-2
Mbit/s
3 2 1 0
1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004
14
MPEG视频压缩算法的基本思路
15
三种帧的压缩算法
1、内帧图像 I 的压缩算法 帧内图像I不参照任何过去的或者将来的其他 图像帧，压缩编码采用类似JPEG压缩算法； 如果电视图像是用RGB空间表示的，则首先把 它转换成YCrCb空间表示的图像。 2、预测帧图像 P 的压缩算法 编码单位： 16X16的图像宏块 3、内插帧B的压缩算法 采用双向预测，方法和P图像类似 ，
3
MPEG标准内容
MPEG-1 Systems，规定电视图像数据、声 音数据及其他相关数据的同步 MPEG-1 Video, 规定电视数据的编码和解码， MPEG-1 Audio, 规定声音数据的编码和解码， MPEG-1 Conformance testing，说明如何测 试比特数据流和解码器是否满足MPEG-1前3 个部分(Part1，2和3)中所规定的要求。 MPEG-1 Software simulation，给出了用软件 执行MPEG-1标准前3个部分的结果。
27MHz
Output Interface
Bit Stream
PLL
Memory Controller
35
编码器的硬件实现方案——DSP
TMS320DM642
Pixel Data
Pixel Intf.
MC Reconst
Transform Q
Inverse T IQ
De-blk Filter
Entropy Coding
30 29
28 27 0 50 Bit-rate [kbit/s] 100 150
200
250
33
H.264 Codec设计复杂度
相对MPEG-2 ，解码复杂度增加 2-3倍，编码复 杂度增加 3-4倍 问题: 宏块分得更细（更多的搜索） 预测模式更多（更多的搜索） 多参考帧的运动估计（更多的内存，更多的计 算） 更长的滤波器
23 2005
背景介绍——H.26L横空出世
6 5 4
MPEG-2 MPEG-4 H.26L H.263
Mbit/s
3 2 1 0
1994 1995 1996 1997 1998 1999 2000 2001 2002 2003 2004
2005
24
背景介绍——来龙去脉
H.26L—ITU-T Q.6/SG16 (VCEG - Video Coding Experts Group)的新宠，H.264的 前身 2001 11：VCEG和 MPEG联合组建Joint Video Team (JVT)，共同制定H.26L标准 2002 10：完成标准草案 预计2003 标准最终在两个组织获得通过 H.264是该标准ITU-T的官方名称，MPEG 方面称它为MPEG4-Part 10
17
电视图像的结构
18
H.261和H.263标准
H.261 n 由 CCITT于1990年制定，是国际上第一个视频压缩 标准，应用领域为：电视电话和会议电视 n H.261的全称：视听业务速率为Px64Kb/s的视频编 译码 n P=1，2时仅支持四分之一通用交换格式(QCIF)的视 频格式(176x144)，用于帧速低的可视电话； n P=6时可支持通用交换格式CIF的视频格式(352x288) 的会议电视。 n 压缩算法的核心：运动估值预测和DCT编码 n 贡献：除自身的应用领域外，视频数据格式、运动 估算与补偿、DCT变换、量化和熵编码等技术被后来的 MPEG-1和MPEG-2所借鉴和采用。
16
电视图像的结构
MPEG编码器算法允许选择I图像、P图像和B 图像数目。例如，对于快速运动的图像，I图 像的频率可以选择高一些，B图像的数目可以 选择少一点；对于慢速运动的图像，帧内图像 I的频率可以低一些，而B图像的数目可以选择 多一点。在实际应用中还要考虑媒体的速率。 MPEG三种图像的压缩后的典型值(比特) ，可 以看到，I帧图像的数据量最大，而B帧图像的 数据量最小。
6
MPEG-4
MPEG-4 MPEG-4是为视听(audio-visual)数据的编码和交 互播放开发算法和工具，是一个数据速率很 低的多媒体通信标准。 MPEG-4的目标是要在异构网络环境下能够高度 可靠地工作，并且具有很强的交互功能。 MPEG-4将应用在移动通信和公用电话交换网 PSTN上，并支持可视电话、电视邮件、电子 报纸和其他低数据传输速率场合下的应用。
19
H.261和H.263标准
H.263 n 1995年制定，适用于PSTN(Public Switch Telephone Network，公共交换电话网) n 目的：能在现有的电话网上传输活动图像，能够基于 电话线路(PSTN)实现可视电话和视频会议系统，已成为一般 的低比特率视频编码标准 n 基本算法：帧间预测和DCT混合编码 n 4种可协商选择的编码方法：无限制范围的运动矢量、 基于语法的算法编码方法、高级预测和PB帧 n 两种编码模式：帧内编码和帧间编码 n 进一步发展：H.263+(H.263版本2)，增加了12种新的 协商模式和附加特性，以扩大协议的应用范围，提高重建图 20 像的主观质G-2
④MPEG-2 Conformance testing ⑤MPEG-2 Software simulation ⑥MPEG-2 Extensions for DSM-CC，数 字存储媒体命令和控制扩展协议 ⑦MPEG-2 AAC，是多声道声音编码算法 标准 ⑧MPEG-2 Extension for real time interface for systems decoders，系统解 码器实时接口扩展标准 ⑨ MPEG-2 DSM-CC，一致性扩展测试
Bit Strea m
BUF
Controller
Xilinx FPGA
Internal Memory
ME Intra Pred.
Memory Control DDR SDRAM
Internal Memory
Memory
9
MPEG-7
MPEG-7的应用领域包括： n 数字图书馆(Digital library)，例如图像目录、音 乐词典等； n 多媒体目录服务(multimedia directory services)，例如黄页(yellow pages)； n 广播媒体的选择，例如无线电频道，TV频道等； n 多媒体编辑，例如个人电子新闻服务，多媒体 创作等等 n 潜在应用的应用领域包括：教育、娱乐、新闻、 旅游、医疗、购物等等。
7
MPEG-4 MPEG-4文件有6个部分，它们是： ① MPEG-4 Systems 系统标准 ② MPEG-4 Video 电视图像标准 ③ MPEG-4 Audio 声音标准 ④ MPEG-4 Conformance Testing 一致性测试 标准 ⑤ MPEG-4 Reference software 参考软件 ⑥ MPEG-4 Delivery Multimedia Integration Framework (DMIF) 传输多媒体集成框架
动态图像压缩标准
MPEG概述
MPEG(Moving/Motion Picture Expert Group)是 活动图像专家组，负责开发电视图像数据和声 音数据的编码、解码和它们的同步等标准。 已经开发和正在开发的MPEG标准有： MPEG-1：数字电视标准，1992年正式发布。 MPEG-2：数字电视标准。 MPEG-3：已于1992年7月合并到HDTV工作组。 MPEG-4：多媒体应用标准(1999年发布)。 MPEG-5：尚未见到定义。 MPEG-6：尚未见到定义。 MPEG-7：多媒体内容描述接口标准(正在研究)。
• 周期运动 • 镜头、场景的来回切换
28
多种多样的块尺寸
29
多种多样的块尺寸
30
¼像素精度的运动矢量
½亮度像素点的插值
1/8色度像素点的插值
31
¼亮度像素点的插值
多参考帧
32
H.264的性能
39 38 37 36 Quality Y-PSNR [dB] 35 34 33 32 31
JVT/H.264/AVC MPEG-4 MPEG-2 H.263 Foreman QCIF 10Hz
4
MPEG-2
MPEG-2 MPEG-2标准是一个直接与数字电视广播有关 的高质量图像和声音编码标准。标准名称为 “信息技术—电视图像和伴音信息的通用编码。 MPEG-2包含9个部分： ①MPEG-2 Systems，规定电视图像数据、声 音数据及其他相关数据的同步 ②MPEG-2 Video，规定电视数据的编码和解码 ③MPEG-2 Audio，规定声音数据的编码和解码
2
MPEG标准内容
MPEG-1 MPEG-1是针对当时具有这种数据传输率的 CD-ROM和网络而开发的，用于在CD-ROM 上存储数字影视和在网络上传输数字影视。 MPEG-1全称为“信息技术——用于数据速率 高达大约1.5 Mbit/s的数字存储媒体的电视图 像和伴音编码”，由五个部分组成：
……
34
编码器的硬件实现方案——ASIC
Pixel Data
Pixel Interface
Intra Pred. ME MC
Transform Q Inverse T IQ
Entropy Coding
Host API
Embedded CPU
Address Generator
De-blocking Filter