动态图像压缩
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
图像类型 MPEG-1 CIF 格 式(1.15 Mb/s) MPEG-2 601 格式 (4.00 Mb/s) I 150 000 400 000 P 50 000 200 000 B 20 000 80 000 平均数据/帧 38 000 130 000
2013-12-5
43
数字电视中IBP编排
7
MPEG-1图像组织结构
在保证图像质量的前提下，仅靠帧内编码很难 达到高压缩比，而满足随机访问条件的最好方法 则是帧内编码。 MPEG-1将图像编码分成三类： I帧：采用与JPEG相类似的编码方法进行编 码，并且在编码时不必参照其他的帧，其压缩比 是比较低的。 P帧：需要利用前面I帧或P帧信息进行编码 和解码，同时又是后续P帧的参照帧。 B帧：需要利用前面和后面的I帧、P帧信息 进行编码和解码，但它本身不可作为参照帧。
23
24
MPEG视频压缩算法的基本思路
冗余及解决方法 (1)时间冗余：各帧图像在时间方向上的相关性； 解决方法： n 用帧间预测和运动补偿解决时间冗余 n 用变换编码和预测编码解决空间冗余
MPEG算法面临的问题： n 在保证画面质量前提下每帧单独编码，不 能保证高压缩比； n 为了满足随机访问有最好方法是每帧单独 编码；
11
MPEG-2特点: （1）不仅支持帧编码，而且支持场编码。 （2）具有可分级性，使得它更灵活，适应性 更广泛
MPEG-4
MPEG-4是为视听(audio-visual) 数据的编码和交互播放开发算 法和工具，是一个数据速率很 低的多媒体通信标准。
13
MPEG-4的目标： 提出一种新的方式来传输、访问和操作 数字视听数（Audiovisual Data）。MPEG4计划为多种通讯规范（如电讯、广播和交 互）提供一种普遍的技术解决方案，最终 消除它们之间的差别。
MPEG-1视频压缩算法
MPEG-1视频压缩算法采用两种基本技 术： 一、基于块的运动补偿预测（以缩减时 间冗余） 二、基于DCT的变换编码（以缩减空间 冗余）
MPEG-2
• MPEG-2标准是一个直接与数字电视广播有关的高 质量图像和声音编码标准。标准名称为“信息技 术—电视图像和伴音信息的通用编码。MPEG-2包 含9个部分： ①MPEG-2 Systems，规定电视图像数据、声音 数据及其他相关数据的同步 ②MPEG-2 Video，规定电视数据的编码和解码 ③MPEG-2 Audio，规定声音数据的编码和解码
动态图像压缩标准 MPEG
MPEG定义
• MPEG(Moving/Motion Picture Expert Group)是专门从事多媒体音、视频压缩技 术标准制定的国际组织，成员包括近30个 国家、200多个公司和组织的400多为专 家针对视频编码制定标准，即“制定用于 运动那个图像（视频）编码的各种标准。
28
I图像帧的编码
• 编码算法只去除空间相关性 • 不去除任何时间相关性 • 在编解码过程中，I图像可以独立的编码或 解码 • 编码算法与JPEG类似
2013-12-5
29
I图像编码框图
2013-12-5
30
P图像的编码
• 核心：
– 通过计算两幅图像的差值来消除时间方向的冗余 – 对差值图像用类似JPEG的算法进行处理，进一步去除 差值图像在空间上的相关性
• MPEG-4文件有6个部分，它们是： ① MPEG-4 Systems 系统标准 ② MPEG-4 Video 电视图像标准 ③ MPEG-4 Audio 声音标准 ④ MPEG-4 Conformance Testing 一致性测试 标准 ⑤ MPEG-4 Reference software 参考软件 ⑥ MPEG-4 Delivery Multimedia Integration Framework (DMIF) 传输多媒体集成框架
• 问题：
– 当图像中物体在移动时，直接计算对应像素的差值会 使差值很大
• 解决方法：
– 进行运动估计和运动补偿
2013-12-5 31
运动补偿的概念示意图
2013-12-5
32
P图像压缩编码框图
2013-12-5
33
运动矢量示意图
2013-1பைடு நூலகம்-5
34
搜索窗口示例
当前块
搜索窗口
35
运动矢量与运动搜索
2013-12-5 38
全搜索工作原理示意图
当前块
搜索窗口
2013-12-5 39
B图像的编码
• B图像的编码与P图像编码非常类似 • 唯一区别：
– B图像不仅要与过去图像相比也要与未来图像 相比，找到两个运动矢量 – 从两个运动矢量及组合中找出效果最好的一个 作为当前块的运动矢量
2013-12-5
(1)运动图像序列：包含一个表头(定义了图像宽、高、像 素长宽比、帧速率、位速率、缓冲区尺寸等重要参数)， 一组或多组图像和序列结束标志； (2)图片组：由一系列图像组成，可以从运动序列中随机 存取； (3)图像：由一个亮度信号和两个色度信号组成； (4)块：由一个8X8的亮度信息或色度信息组成； (5)宏块：由一个16X16的亮度信息和两个8X8的色度信 息构成； (6)图像切片：由一个或多个连续的宏块构成。
2013-12-5 36
三种判决准则的计算公式
2013-12-5
37
效果最优的搜索方法：全搜索
• • • • 对搜索窗口中的每个象素均计算其差值 最小的差值对应的位置即为运动适量 获得的运动矢量是全局最优的 缺点：计算量极其庞大，假定窗口大小为 32×32，则：
– 共有32×32=1024个位置，每个位置计算256 次减法，256次乘法，255次加法 – 从1024个位置找出最小值还需要1023次比较
• 研究目标： 1.讨论是否需要和如何将这些不同的组 件（协议、标准、技术等）有机地结合起 来。 2. 讨论是否需要新的规范 3.讨论如果具备前面两个条件，如何将 不同的标准集成在一起
• 制定目的：
• 1.将不同的协议，标准和技术等有机融合在 一起。 • 2.制定新的标准。
• 3.将不同的标准集成在一起。
15
MPEG-7
MPEG-7的工作于1996年启动，叫做多媒 体内容描述接口(Multimedia Content Description Interface)， MPEG-7涉及的媒体材料可包括静态图像、 图形、3D模型、声音、话音、电视以及 在多媒体演示中它们之间的组合关系。
16
• MPEG-7 目标： 制定一套描述符标准，用 来描述各种类型的多媒体信息及它们之间 的关系，以便更快更有效地检索信息,满足 实时、非实时以及推拉应用的需求。 • MPEG-7 功能：与其他MPEG标准互为补 充。MPEG-1、MPEG-2和MPEG-4是内容 本身的表示，而MPEG-7是有关内容的信息， 是比特的比特
MPEG-7的应用领域包括： n 数字图书馆(Digital library)，例如图像目录、音 乐词典等； n 多媒体目录服务(multimedia directory services)，例如黄页(yellow pages)； n 广播媒体的选择，例如无线电频道，TV频道等； n 多媒体编辑，例如个人电子新闻服务，多媒体 创作等等 n 潜在应用的应用领域包括：教育、娱乐、新闻、 旅游、医疗、购物等等。
10
④MPEG-2 Conformance testing ⑤MPEG-2 Software simulation ⑥MPEG-2 Extensions for DSM-CC，数 字存储媒体命令和控制扩展协议 ⑦MPEG-2 AAC，是多声道声音编码算法 标准 ⑧MPEG-2 Extension for real time interface for systems decoders，系统解 码器实时接口扩展标准 ⑨ MPEG-2 DSM-CC，一致性扩展测试
• 目的：随机接入 • 示例：0.5秒内能找到I图像，开始解码
2013-12-5
44
MPEG-4基于对象编码示例
2013-12-5
45
MPEG-4 的VLBV示例
2013-12-5
46
MPEG-4空间分辨率分级示例
2013-12-5
47
谢 谢 观 看！
40
双向预测示意图
X
Z
存在于 前一帧图像 (X)
存在于 后一帧图像 (Z)
2013-12-5
Y
41
B图像编码算法框图
2013-12-5
42
IBP压缩效率
• IBP具有不同的压缩效率：
– I图像效率最低，假定比特速率为1 – P图像效率比I图像高一倍，比特速率为0.5 – B图像比P图像高一倍，比特速率为0.25
18
MPEG-21
为了解决不同网络之间用户的互通问题， MPEG-21致力为多媒体传输和使用定义一 个标准化的，可互操作的和高度自动化的 开放框架，这个框架考虑到了DRM的要求， 对象的多媒体接入以及使用不同的网络和 终端进行传输等问题，这种框架还会在一 种互操作的模式下位用户提供更丰富的信 息。
MPEG-21标准的用户和用户需求： MPEG-21中的“用户”是一个广义的概念， 可以是世界各地的个人、消费者、团体、 组织、公司、政府以及其它标准化组织和 主体。 MPEG-21标准的应用范围： MPEG-21的目标是要为多媒体信息的用 户提供透明而有效的电子交易和使用环境。
MPEG数据流的分层结构
2
MPEG的任务
针对动态图像编码制定标准，不仅局限于压 缩，而是涉及多媒体数据的采集、加工、 存储、发行、传输、保护等一系列技术标 准的建立。
MPEG的标准
• • • • MPEG-1标准 MPEG-2标准 MPEG-4标准 MPEG-21标准
MPEG-1
MPEG-1的发展过程： 从1988年5月开始启动，编号为 ISO/IEC11172，于1992年11月达到国际标 准状态（IS Status），是关于1.5Mbit/s数 据传输的数字存储媒体运动图像及其伴音 编码的国际标准。
• 寻找运动矢量的过程称为运动搜索 • 对窗口中的部分或全部素位置计算差值， 从中找出差值最小者作为运动矢量 • 目前有三种判决标准
– 绝对差值AE (absolute difference)最小 – 均方误差MSE (mean-square error)最小 – 平均绝对帧差MAD (mean of the absolute frame difference)最小
• MPEG-1是针对当时具有这种数据传输率的 CD-ROM和网络而开发的，用于在CD-ROM 上存储数字影视和在网络上传输数字影视。
• MPEG-1全称为“信息技术——用于数据速率 高达大约1.5 Mbit/s的数字存储媒体的电视图 像和伴音编码”，由五个部分组成：
6
1. MPEG-1 Systems，规定电视图像数据、声 音数据及其他相关数据的同步 2. MPEG-1 Video, 规定电视数据的编码和解 码， 3. MPEG-1 Audio, 规定声音数据的编码和解码， 4. MPEG-1 Conformance testing，说明如何 测试比特数据流和解码器是否满足MPEG-1 前3个部分(Part1，2和3)中所规定的要求。 5. MPEG-1 Software simulation，给出了用软 件执行MPEG-1标准前3个部分的结果。
26
• IBP帧的典型组织方式
27
三种帧的压缩算法
1、内帧图像 I 的压缩算法 • 帧内图像I不参照任何过去的或者将来的其他图 像帧，压缩编码采用类似JPEG压缩算法； • 如果电视图像是用RGB空间表示的，则首先把 它转换成YCrCb空间表示的图像。 2、预测帧图像 P 的压缩算法 • 编码单位： 16X16的图像宏块 3、内插帧B的压缩算法 • 采用双向预测，方法和P图像类似 ，
25
(2)空间冗余：像素间的相关性 解决办法： n 使用3种画面：内帧I、预测帧P和内插帧B n 内帧单独编码，经过中度压缩，可以作为随 机访问点； n 预测帧以参考帧(I或P)为基础编码，又作为 后面预测帧的参考帧； n 内插帧以前后两个参考帧为基础编码，本身 不能作为参考帧。内插帧的压缩率最高。
2013-12-5
43
数字电视中IBP编排
7
MPEG-1图像组织结构
在保证图像质量的前提下，仅靠帧内编码很难 达到高压缩比，而满足随机访问条件的最好方法 则是帧内编码。 MPEG-1将图像编码分成三类： I帧：采用与JPEG相类似的编码方法进行编 码，并且在编码时不必参照其他的帧，其压缩比 是比较低的。 P帧：需要利用前面I帧或P帧信息进行编码 和解码，同时又是后续P帧的参照帧。 B帧：需要利用前面和后面的I帧、P帧信息 进行编码和解码，但它本身不可作为参照帧。
23
24
MPEG视频压缩算法的基本思路
冗余及解决方法 (1)时间冗余：各帧图像在时间方向上的相关性； 解决方法： n 用帧间预测和运动补偿解决时间冗余 n 用变换编码和预测编码解决空间冗余
MPEG算法面临的问题： n 在保证画面质量前提下每帧单独编码，不 能保证高压缩比； n 为了满足随机访问有最好方法是每帧单独 编码；
11
MPEG-2特点: （1）不仅支持帧编码，而且支持场编码。 （2）具有可分级性，使得它更灵活，适应性 更广泛
MPEG-4
MPEG-4是为视听(audio-visual) 数据的编码和交互播放开发算 法和工具，是一个数据速率很 低的多媒体通信标准。
13
MPEG-4的目标： 提出一种新的方式来传输、访问和操作 数字视听数（Audiovisual Data）。MPEG4计划为多种通讯规范（如电讯、广播和交 互）提供一种普遍的技术解决方案，最终 消除它们之间的差别。
MPEG-1视频压缩算法
MPEG-1视频压缩算法采用两种基本技 术： 一、基于块的运动补偿预测（以缩减时 间冗余） 二、基于DCT的变换编码（以缩减空间 冗余）
MPEG-2
• MPEG-2标准是一个直接与数字电视广播有关的高 质量图像和声音编码标准。标准名称为“信息技 术—电视图像和伴音信息的通用编码。MPEG-2包 含9个部分： ①MPEG-2 Systems，规定电视图像数据、声音 数据及其他相关数据的同步 ②MPEG-2 Video，规定电视数据的编码和解码 ③MPEG-2 Audio，规定声音数据的编码和解码
动态图像压缩标准 MPEG
MPEG定义
• MPEG(Moving/Motion Picture Expert Group)是专门从事多媒体音、视频压缩技 术标准制定的国际组织，成员包括近30个 国家、200多个公司和组织的400多为专 家针对视频编码制定标准，即“制定用于 运动那个图像（视频）编码的各种标准。
28
I图像帧的编码
• 编码算法只去除空间相关性 • 不去除任何时间相关性 • 在编解码过程中，I图像可以独立的编码或 解码 • 编码算法与JPEG类似
2013-12-5
29
I图像编码框图
2013-12-5
30
P图像的编码
• 核心：
– 通过计算两幅图像的差值来消除时间方向的冗余 – 对差值图像用类似JPEG的算法进行处理，进一步去除 差值图像在空间上的相关性
• MPEG-4文件有6个部分，它们是： ① MPEG-4 Systems 系统标准 ② MPEG-4 Video 电视图像标准 ③ MPEG-4 Audio 声音标准 ④ MPEG-4 Conformance Testing 一致性测试 标准 ⑤ MPEG-4 Reference software 参考软件 ⑥ MPEG-4 Delivery Multimedia Integration Framework (DMIF) 传输多媒体集成框架
• 问题：
– 当图像中物体在移动时，直接计算对应像素的差值会 使差值很大
• 解决方法：
– 进行运动估计和运动补偿
2013-12-5 31
运动补偿的概念示意图
2013-12-5
32
P图像压缩编码框图
2013-12-5
33
运动矢量示意图
2013-1பைடு நூலகம்-5
34
搜索窗口示例
当前块
搜索窗口
35
运动矢量与运动搜索
2013-12-5 38
全搜索工作原理示意图
当前块
搜索窗口
2013-12-5 39
B图像的编码
• B图像的编码与P图像编码非常类似 • 唯一区别：
– B图像不仅要与过去图像相比也要与未来图像 相比，找到两个运动矢量 – 从两个运动矢量及组合中找出效果最好的一个 作为当前块的运动矢量
2013-12-5
(1)运动图像序列：包含一个表头(定义了图像宽、高、像 素长宽比、帧速率、位速率、缓冲区尺寸等重要参数)， 一组或多组图像和序列结束标志； (2)图片组：由一系列图像组成，可以从运动序列中随机 存取； (3)图像：由一个亮度信号和两个色度信号组成； (4)块：由一个8X8的亮度信息或色度信息组成； (5)宏块：由一个16X16的亮度信息和两个8X8的色度信 息构成； (6)图像切片：由一个或多个连续的宏块构成。
2013-12-5 36
三种判决准则的计算公式
2013-12-5
37
效果最优的搜索方法：全搜索
• • • • 对搜索窗口中的每个象素均计算其差值 最小的差值对应的位置即为运动适量 获得的运动矢量是全局最优的 缺点：计算量极其庞大，假定窗口大小为 32×32，则：
– 共有32×32=1024个位置，每个位置计算256 次减法，256次乘法，255次加法 – 从1024个位置找出最小值还需要1023次比较
• 研究目标： 1.讨论是否需要和如何将这些不同的组 件（协议、标准、技术等）有机地结合起 来。 2. 讨论是否需要新的规范 3.讨论如果具备前面两个条件，如何将 不同的标准集成在一起
• 制定目的：
• 1.将不同的协议，标准和技术等有机融合在 一起。 • 2.制定新的标准。
• 3.将不同的标准集成在一起。
15
MPEG-7
MPEG-7的工作于1996年启动，叫做多媒 体内容描述接口(Multimedia Content Description Interface)， MPEG-7涉及的媒体材料可包括静态图像、 图形、3D模型、声音、话音、电视以及 在多媒体演示中它们之间的组合关系。
16
• MPEG-7 目标： 制定一套描述符标准，用 来描述各种类型的多媒体信息及它们之间 的关系，以便更快更有效地检索信息,满足 实时、非实时以及推拉应用的需求。 • MPEG-7 功能：与其他MPEG标准互为补 充。MPEG-1、MPEG-2和MPEG-4是内容 本身的表示，而MPEG-7是有关内容的信息， 是比特的比特
MPEG-7的应用领域包括： n 数字图书馆(Digital library)，例如图像目录、音 乐词典等； n 多媒体目录服务(multimedia directory services)，例如黄页(yellow pages)； n 广播媒体的选择，例如无线电频道，TV频道等； n 多媒体编辑，例如个人电子新闻服务，多媒体 创作等等 n 潜在应用的应用领域包括：教育、娱乐、新闻、 旅游、医疗、购物等等。
10
④MPEG-2 Conformance testing ⑤MPEG-2 Software simulation ⑥MPEG-2 Extensions for DSM-CC，数 字存储媒体命令和控制扩展协议 ⑦MPEG-2 AAC，是多声道声音编码算法 标准 ⑧MPEG-2 Extension for real time interface for systems decoders，系统解 码器实时接口扩展标准 ⑨ MPEG-2 DSM-CC，一致性扩展测试
• 目的：随机接入 • 示例：0.5秒内能找到I图像，开始解码
2013-12-5
44
MPEG-4基于对象编码示例
2013-12-5
45
MPEG-4 的VLBV示例
2013-12-5
46
MPEG-4空间分辨率分级示例
2013-12-5
47
谢 谢 观 看！
40
双向预测示意图
X
Z
存在于 前一帧图像 (X)
存在于 后一帧图像 (Z)
2013-12-5
Y
41
B图像编码算法框图
2013-12-5
42
IBP压缩效率
• IBP具有不同的压缩效率：
– I图像效率最低，假定比特速率为1 – P图像效率比I图像高一倍，比特速率为0.5 – B图像比P图像高一倍，比特速率为0.25
18
MPEG-21
为了解决不同网络之间用户的互通问题， MPEG-21致力为多媒体传输和使用定义一 个标准化的，可互操作的和高度自动化的 开放框架，这个框架考虑到了DRM的要求， 对象的多媒体接入以及使用不同的网络和 终端进行传输等问题，这种框架还会在一 种互操作的模式下位用户提供更丰富的信 息。
MPEG-21标准的用户和用户需求： MPEG-21中的“用户”是一个广义的概念， 可以是世界各地的个人、消费者、团体、 组织、公司、政府以及其它标准化组织和 主体。 MPEG-21标准的应用范围： MPEG-21的目标是要为多媒体信息的用 户提供透明而有效的电子交易和使用环境。
MPEG数据流的分层结构
2
MPEG的任务
针对动态图像编码制定标准，不仅局限于压 缩，而是涉及多媒体数据的采集、加工、 存储、发行、传输、保护等一系列技术标 准的建立。
MPEG的标准
• • • • MPEG-1标准 MPEG-2标准 MPEG-4标准 MPEG-21标准
MPEG-1
MPEG-1的发展过程： 从1988年5月开始启动，编号为 ISO/IEC11172，于1992年11月达到国际标 准状态（IS Status），是关于1.5Mbit/s数 据传输的数字存储媒体运动图像及其伴音 编码的国际标准。
• 寻找运动矢量的过程称为运动搜索 • 对窗口中的部分或全部素位置计算差值， 从中找出差值最小者作为运动矢量 • 目前有三种判决标准
– 绝对差值AE (absolute difference)最小 – 均方误差MSE (mean-square error)最小 – 平均绝对帧差MAD (mean of the absolute frame difference)最小
• MPEG-1是针对当时具有这种数据传输率的 CD-ROM和网络而开发的，用于在CD-ROM 上存储数字影视和在网络上传输数字影视。
• MPEG-1全称为“信息技术——用于数据速率 高达大约1.5 Mbit/s的数字存储媒体的电视图 像和伴音编码”，由五个部分组成：
6
1. MPEG-1 Systems，规定电视图像数据、声 音数据及其他相关数据的同步 2. MPEG-1 Video, 规定电视数据的编码和解 码， 3. MPEG-1 Audio, 规定声音数据的编码和解码， 4. MPEG-1 Conformance testing，说明如何 测试比特数据流和解码器是否满足MPEG-1 前3个部分(Part1，2和3)中所规定的要求。 5. MPEG-1 Software simulation，给出了用软 件执行MPEG-1标准前3个部分的结果。
26
• IBP帧的典型组织方式
27
三种帧的压缩算法
1、内帧图像 I 的压缩算法 • 帧内图像I不参照任何过去的或者将来的其他图 像帧，压缩编码采用类似JPEG压缩算法； • 如果电视图像是用RGB空间表示的，则首先把 它转换成YCrCb空间表示的图像。 2、预测帧图像 P 的压缩算法 • 编码单位： 16X16的图像宏块 3、内插帧B的压缩算法 • 采用双向预测，方法和P图像类似 ，
25
(2)空间冗余：像素间的相关性 解决办法： n 使用3种画面：内帧I、预测帧P和内插帧B n 内帧单独编码，经过中度压缩，可以作为随 机访问点； n 预测帧以参考帧(I或P)为基础编码，又作为 后面预测帧的参考帧； n 内插帧以前后两个参考帧为基础编码，本身 不能作为参考帧。内插帧的压缩率最高。