多媒体技术视频编码标准精品文档
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
与MPEG-1一样，MPEG-2只规定了码流结构和解 码器算法规则，而把实际编码器模型向设计者开 放，以提供更多的选择性和自由度。
31
MPEG-2 Video
MPEG-2 Video与MPEG-1的基本编码算法相同， 只是增加了如下功能：
（1）能够在很宽的范围内对不同分辨率和不同输出 比特率的图像信号有效的进行压缩。
19
MPEG1视频压缩算法
I图像帧的压缩算法：
在空间方向 上（帧内） ，MPEG－ 1压缩采用 JPEG压缩 算法来去掉 冗余信息。
20
MPEG1视频压缩算法
P图像帧的压缩算法：
对于P宏块 ，MPEG－1 采用运动补 偿帧间预测 算法来去掉 时间轴上的 冗余信息。
21
MPEG1视频编码算法
B图像帧的压缩算法：
可伸缩性编码模式
（1）信噪比伸缩性（Signal-to-Noise Scalability） （2）空间分辨率伸缩性（Spatial Scalability） （3）时间分辨率伸缩性（Temporal Scalability）
33
可伸缩性编码模式
绝对值： 均方误差： 平均绝对
帧差：
可伸缩性编码模式
195＝(11000011)2 size=8,amp=11000011
size=8
Huffman 111110
195 的码字11111011000011
-195 的码字11111000111100
25
MPEG1视频编码算法
AC量化 Zigzag 编码，AC系数表示为 （行程/幅度） 对（行程/幅度） 用 Huffman编码
4
视频压缩标准对比（续）
MPEG1 时间 1993年8月
数据传 输速率 为
1.5Mb/s 的数字 存储媒
输入
输出 压缩率
视频：352×240×30，352×288×25 音频：32、44.1、48kHz的线性PCM 1.5Mb/s、32-384 Kb/s(音频)
20~30
体运动 图像及 其伴音 编码标 准
30kb/s～
编 码 标 压缩率 H.263+>H.263>MPEG2
准
压缩算法 运动补偿帧间预测（单双向预测）＋
DCT 局部算法改进 可伸缩性
应用 通用电话交换网、局域网的视频通信
7
视频压缩标准对比（续）
MPEG4 时间 1999年
(Part 2) MPEG4
输入
≧176×144的多种分辨率格式
帧的序列. 特点：可以独立编码一个场景中的不同对象；复用场景成分；
不同来源的对象合成一个场景 ；更高的交互能力
48
MPEG-4 视频压缩标准
MPEG-4 Visual: 面向低码率应用 输入格式：picture size （listed in the table） frame rate: up to 30 f/s 4 : 2 : 0 Y: Cr : Cb 帧的类型 ：Each frame is coded as an I- or P-frame. I-frame: only intra coded macroblocks P-frame: either intra- or inter-coded macroblocks.
运动补偿或者双向运动补偿 （2）决定使用帧间编码方式还是帧内编码 （3）决定宏块是否被编码 （4）决定是否改变量化因子
28
29
MPEG1视频编码算法
30
MPEG-2 通用视频压缩标准
MPEG-2的标准号为ISO/IEC 13818，它主要由以下 几部分组成： • MPEG-2系统（ MPEG-1 Systems ） • MPEG-2视频编码标准（MPEG-2 Video） • MPEG-2音频编码标准（MPEG-2 Audio） • MPEG-2高级音频编码标准（MPEG-2 AAC）
16
MPEG1视频压缩算法
• GOP图像组 是一系列要连续编码的图像，一个 图像组中至少有一个I 帧，一个图像组可以以I 帧 或B帧开始，而结尾必须为I帧或P帧。
• 片Slice : 每幅图像分成一系列大小可变的块,最大 的可为 整幅图像，最小的可为一个宏块
• 定义片的目的是:在发生误码时,解码器可以丢弃 一个片 而不是一幅图像,同时可在片一个层次上 定义量化因子对码流校正
49
MPEG-4 视频压缩标准
运动估计与补偿 Macroblock size : 16 x 16 or (optionally) 8 x 8. Motion vectors: half-pixel resolution.
变换编码 DCT transform: 对运动补偿后的残差图像编码 quantisation zigzag scanning run-level coding. Variable-length coding
H.261
p×64k b/s视频 编码标 准
时间 输入
输出
1990年12月
176×144(QCIF) 352×288(CIF) 帧速率可变<=30 p×64kb/s(p=1,2,…,32)
压缩率 20~30 小于MPEG1
压缩算法 运动补偿帧间预测与分块DCT相结合
的混合编码
应用 可视电话、视频会议等对称应用
MPEG4 (Part10)
输入 输出
多种分辨率格式
MPEG4 压缩率 压缩率最高的视频压缩标准，比
AVC
MPEG4 Visual节约50％的码率
压缩算法 基于传统框架的混合编码系统，只是
做了局部优化。更注重编码效率和可
靠性
应用
视频广播、视频通信和存储媒体（CD DVD）等多种应用
9
MPEG-1视频压缩标准
（2）处理隔行扫描的视频信号的能力（场编码）。 （3）多样化的取样模式：4:2:0，4:2:2，4:4:4 （4）可伸缩（Scalable）的视频编码模式：
Ⅰ 编码时可以在图像质量和数据速率之间作出调 整 Ⅱ 解码时只对码流的一部分进行解码和对码 流的全部进行解码能够分别获得不同质量的重建 图像。
32
• B帧：采用两个参考帧的运动补偿的帧间预测编码方
式,当前B帧前后的I帧和P帧作为其参考帧，运动估计
补偿块可由三种方式获得：前向预测（Farword
Prediction）方式，后向预测（backword Prediction）
和双向预测方式（Bidirection Prediction，均值）。B
帧不作参考帧。
30－40
压缩算法 运动补偿帧间预测（单双向预测）＋
DCT、可伸缩性、前向兼容
应用 DVD、DVB、HDTV
6
视频压缩标准对比（续）
H.263
时间 1996年3月、1998年1月
H.263+
甚低码 率通信 的视频
输入 输出
QCIF、CIF、128×96(SubQCIF)、 704×576(4CIF)、1408×1152(16CIF)
Visual
输出 4.6Kb/s～64Kb/s
甚低码 率活动
压缩率
≧ 100
图 像 及 压缩算法 基于对象的新一代编码技术，注重交
其伴音
互性，即可包含自然对象，又可包含
编码标
人工合成对象
准
应用 可应用范围很广、目前多用于因特网
视频传输、流媒体应用
8
视频压缩标准对比（续）
H.264
时间 2003年5月
国际视频压缩标准简介
主要内容
• 视频压缩标准发展历史 • MPEG系列压缩标准简介
2
视频压缩标准发展历史
H.263
ITU: H.261 H.262
H.264
H.263+
ISO/IEC: MPEG1 MPEG2 MPEG4 (Part2)
MPEG4(Part10) MPEG7 MPEG21
3
视频压缩标准对比
可伸缩性编码模式
可伸缩性编码模式
可伸缩性编码模式
可伸缩性编码模式
可伸缩性编码模式
可伸缩性编码模式
+ －
-
下采样
上采样
可伸缩性编码模式
42
可伸缩性编码模式
可伸缩性编码模式
可伸缩性编码模式
可伸缩性编码模式
MPEG-4 视频压缩标准
MPEG-4从1994年开始工作，目标是为视听(audio-visual)数据 的编码和交互播放开发算法和工具，它是一个数据速率很低 的多媒体通信标准。MPEG-4 算法的核心是支持基于内容的 (content-based)的编码和解码功能，也就是对场景中使用分割 算法抽取的单独的物理对象进行编码和解码。
352×240×30×8×1.5
MPEG视频 编码器
26 : 1
输入、输出指标
1.15Mb/s
11
MPEG1视频编码器框架
12
MPEG1视频视频压缩算法
图 MPEG-1 syntax hierarchy 13
MFra Baidu bibliotekEG1视频压缩算法
分割：
运动图像序列
图片组（GOP）
I BBPBBP
…
图片
条（Slice）
块（Block）
宏块 Macro Block
16 16
8
8
14
MPEG1视频压缩算法
GOP的组成：
I帧： P帧：单向预测帧 B帧：双向预测帧
时间顺序
p1p2p3p4p5p6p7
编码顺序
p1p4p2p3p7p5p6
I帧是一个随机访问点。B图像不能作为其它图像的参
考帧。
15
MPEG1视频压缩算法
为了在图像质量和数据速率之间作出调整，MPEG-1编码 器允许（1）选择I帧的频率和位置，（2）选择I和P之间双 向预测帧B的数目。
流和解码器是否满足MPEG-1前3个部分(Part1，2和 3)中所规定的要求。 • MPEG-1软件模拟：一个技术报告，给出了软件执 行MPEG1前3个部分的运行结果。
10
MPEG-1视频压缩标准
帧规格：352×288 25 帧 8 比特
1.5 表示 4:2:0
352×288×25×8×1.5 30Mb/s
压缩算法 运动补偿帧间预测（单向预测＋双向
预测）＋DCT
应用 VCD、MP3、局域网视频传输
5
视频压缩标准对比（续）
MPEG2 H.262
运动图 像及其 伴音通 用编码 标准
时间 输入
输出 压缩率
1994年11月
352×288～1920×1152 采用频率为16、22.05、24、32、44.1、 48kHz的线性PCM 1.5－80Mb/s、8-640 Kb/s(音频)
26
MPEG1视频编码算法
P 帧编码 对于P 帧中的宏块进行编码时有更多的选择 （1）决定是否用运动补偿 （2）决定对宏块使用帧间编码方式还是帧内
编码方式 （3）决定宏块是否被编码 （4）决定是否改变量化因子
27
MPEG1视频编码算法
B帧编码 对于B 帧中的宏块进行编码时有更多的选择 （1）决定是否使用前向运动补偿，还是后向
17
MPEG1视频压缩算法
18
MPEG1视频压缩算法
运动补偿技术在宏块一级工作：
• I帧：没有使用运动补偿预测， 与Baseline JPEG类似， I帧可用作预测P帧和B帧的参考帧。
• P帧：采用一个参考帧的运动补偿的帧间预测编码方 式， 当前P帧前面的I帧和P帧作为其参考帧，采用前 向预测（Farword Prediction）方式。I帧可用作预测P 帧和B帧的参考帧。
MPEG-1标准号为ISO/IEC 11172，它由五部分组成： • MPEG-1系统（ MPEG-1 Systems ）：规定视频数
据、声音数据及其他相关数据的同步合成技术
• MPEG-1视频编码标准（MPEG-1 Video） • MPEG-1音频编码标准（MPEG-1 Audio） • MPEG-1一致性测试：详细说明如何测试比特数据
50
MPEG-4 视频压缩标准
MPEG-4 Visual:面向对象的应用
面向对象编码的概念 如图所示： 场景: 由一个背景和两 个前景视频对象VO (video object)构成 video object plane (VOP)：VO 的一个 时间瞬间的快照
22
MPEG1视频编码算法
B图像帧的压缩算法：
23
MPEG1视频编码算法
I 帧编码 量化
对于DC的量化步长为8 对于AC的量化 QDCT(i,j)=8*DCT(i,j)/qQ(i,j) Q量化矩阵，q量化因子 ，量化因子在片 的标题中，也可在每个宏块
24
MPEG1视频编码算法
DC量化 对DC系数差值编码为（size,amp） amp 表示幅值 size表示amp所需二进制位 Amp用反码表示， size用Huffman编码 例 DC差值为195
47
MPEG-4 视频压缩标准
MPEG-4 Visual: 支持低码率应用(tens of kbps or less). 支持面向对象或面向内容的编码(object-based or content-based coding)
将一个视频场景（a video scene）当成前景和背景对象 （foreground and background objects）的集合而不仅仅是矩形
31
MPEG-2 Video
MPEG-2 Video与MPEG-1的基本编码算法相同， 只是增加了如下功能：
（1）能够在很宽的范围内对不同分辨率和不同输出 比特率的图像信号有效的进行压缩。
19
MPEG1视频压缩算法
I图像帧的压缩算法：
在空间方向 上（帧内） ，MPEG－ 1压缩采用 JPEG压缩 算法来去掉 冗余信息。
20
MPEG1视频压缩算法
P图像帧的压缩算法：
对于P宏块 ，MPEG－1 采用运动补 偿帧间预测 算法来去掉 时间轴上的 冗余信息。
21
MPEG1视频编码算法
B图像帧的压缩算法：
可伸缩性编码模式
（1）信噪比伸缩性（Signal-to-Noise Scalability） （2）空间分辨率伸缩性（Spatial Scalability） （3）时间分辨率伸缩性（Temporal Scalability）
33
可伸缩性编码模式
绝对值： 均方误差： 平均绝对
帧差：
可伸缩性编码模式
195＝(11000011)2 size=8,amp=11000011
size=8
Huffman 111110
195 的码字11111011000011
-195 的码字11111000111100
25
MPEG1视频编码算法
AC量化 Zigzag 编码，AC系数表示为 （行程/幅度） 对（行程/幅度） 用 Huffman编码
4
视频压缩标准对比（续）
MPEG1 时间 1993年8月
数据传 输速率 为
1.5Mb/s 的数字 存储媒
输入
输出 压缩率
视频：352×240×30，352×288×25 音频：32、44.1、48kHz的线性PCM 1.5Mb/s、32-384 Kb/s(音频)
20~30
体运动 图像及 其伴音 编码标 准
30kb/s～
编 码 标 压缩率 H.263+>H.263>MPEG2
准
压缩算法 运动补偿帧间预测（单双向预测）＋
DCT 局部算法改进 可伸缩性
应用 通用电话交换网、局域网的视频通信
7
视频压缩标准对比（续）
MPEG4 时间 1999年
(Part 2) MPEG4
输入
≧176×144的多种分辨率格式
帧的序列. 特点：可以独立编码一个场景中的不同对象；复用场景成分；
不同来源的对象合成一个场景 ；更高的交互能力
48
MPEG-4 视频压缩标准
MPEG-4 Visual: 面向低码率应用 输入格式：picture size （listed in the table） frame rate: up to 30 f/s 4 : 2 : 0 Y: Cr : Cb 帧的类型 ：Each frame is coded as an I- or P-frame. I-frame: only intra coded macroblocks P-frame: either intra- or inter-coded macroblocks.
运动补偿或者双向运动补偿 （2）决定使用帧间编码方式还是帧内编码 （3）决定宏块是否被编码 （4）决定是否改变量化因子
28
29
MPEG1视频编码算法
30
MPEG-2 通用视频压缩标准
MPEG-2的标准号为ISO/IEC 13818，它主要由以下 几部分组成： • MPEG-2系统（ MPEG-1 Systems ） • MPEG-2视频编码标准（MPEG-2 Video） • MPEG-2音频编码标准（MPEG-2 Audio） • MPEG-2高级音频编码标准（MPEG-2 AAC）
16
MPEG1视频压缩算法
• GOP图像组 是一系列要连续编码的图像，一个 图像组中至少有一个I 帧，一个图像组可以以I 帧 或B帧开始，而结尾必须为I帧或P帧。
• 片Slice : 每幅图像分成一系列大小可变的块,最大 的可为 整幅图像，最小的可为一个宏块
• 定义片的目的是:在发生误码时,解码器可以丢弃 一个片 而不是一幅图像,同时可在片一个层次上 定义量化因子对码流校正
49
MPEG-4 视频压缩标准
运动估计与补偿 Macroblock size : 16 x 16 or (optionally) 8 x 8. Motion vectors: half-pixel resolution.
变换编码 DCT transform: 对运动补偿后的残差图像编码 quantisation zigzag scanning run-level coding. Variable-length coding
H.261
p×64k b/s视频 编码标 准
时间 输入
输出
1990年12月
176×144(QCIF) 352×288(CIF) 帧速率可变<=30 p×64kb/s(p=1,2,…,32)
压缩率 20~30 小于MPEG1
压缩算法 运动补偿帧间预测与分块DCT相结合
的混合编码
应用 可视电话、视频会议等对称应用
MPEG4 (Part10)
输入 输出
多种分辨率格式
MPEG4 压缩率 压缩率最高的视频压缩标准，比
AVC
MPEG4 Visual节约50％的码率
压缩算法 基于传统框架的混合编码系统，只是
做了局部优化。更注重编码效率和可
靠性
应用
视频广播、视频通信和存储媒体（CD DVD）等多种应用
9
MPEG-1视频压缩标准
（2）处理隔行扫描的视频信号的能力（场编码）。 （3）多样化的取样模式：4:2:0，4:2:2，4:4:4 （4）可伸缩（Scalable）的视频编码模式：
Ⅰ 编码时可以在图像质量和数据速率之间作出调 整 Ⅱ 解码时只对码流的一部分进行解码和对码 流的全部进行解码能够分别获得不同质量的重建 图像。
32
• B帧：采用两个参考帧的运动补偿的帧间预测编码方
式,当前B帧前后的I帧和P帧作为其参考帧，运动估计
补偿块可由三种方式获得：前向预测（Farword
Prediction）方式，后向预测（backword Prediction）
和双向预测方式（Bidirection Prediction，均值）。B
帧不作参考帧。
30－40
压缩算法 运动补偿帧间预测（单双向预测）＋
DCT、可伸缩性、前向兼容
应用 DVD、DVB、HDTV
6
视频压缩标准对比（续）
H.263
时间 1996年3月、1998年1月
H.263+
甚低码 率通信 的视频
输入 输出
QCIF、CIF、128×96(SubQCIF)、 704×576(4CIF)、1408×1152(16CIF)
Visual
输出 4.6Kb/s～64Kb/s
甚低码 率活动
压缩率
≧ 100
图 像 及 压缩算法 基于对象的新一代编码技术，注重交
其伴音
互性，即可包含自然对象，又可包含
编码标
人工合成对象
准
应用 可应用范围很广、目前多用于因特网
视频传输、流媒体应用
8
视频压缩标准对比（续）
H.264
时间 2003年5月
国际视频压缩标准简介
主要内容
• 视频压缩标准发展历史 • MPEG系列压缩标准简介
2
视频压缩标准发展历史
H.263
ITU: H.261 H.262
H.264
H.263+
ISO/IEC: MPEG1 MPEG2 MPEG4 (Part2)
MPEG4(Part10) MPEG7 MPEG21
3
视频压缩标准对比
可伸缩性编码模式
可伸缩性编码模式
可伸缩性编码模式
可伸缩性编码模式
可伸缩性编码模式
可伸缩性编码模式
+ －
-
下采样
上采样
可伸缩性编码模式
42
可伸缩性编码模式
可伸缩性编码模式
可伸缩性编码模式
可伸缩性编码模式
MPEG-4 视频压缩标准
MPEG-4从1994年开始工作，目标是为视听(audio-visual)数据 的编码和交互播放开发算法和工具，它是一个数据速率很低 的多媒体通信标准。MPEG-4 算法的核心是支持基于内容的 (content-based)的编码和解码功能，也就是对场景中使用分割 算法抽取的单独的物理对象进行编码和解码。
352×240×30×8×1.5
MPEG视频 编码器
26 : 1
输入、输出指标
1.15Mb/s
11
MPEG1视频编码器框架
12
MPEG1视频视频压缩算法
图 MPEG-1 syntax hierarchy 13
MFra Baidu bibliotekEG1视频压缩算法
分割：
运动图像序列
图片组（GOP）
I BBPBBP
…
图片
条（Slice）
块（Block）
宏块 Macro Block
16 16
8
8
14
MPEG1视频压缩算法
GOP的组成：
I帧： P帧：单向预测帧 B帧：双向预测帧
时间顺序
p1p2p3p4p5p6p7
编码顺序
p1p4p2p3p7p5p6
I帧是一个随机访问点。B图像不能作为其它图像的参
考帧。
15
MPEG1视频压缩算法
为了在图像质量和数据速率之间作出调整，MPEG-1编码 器允许（1）选择I帧的频率和位置，（2）选择I和P之间双 向预测帧B的数目。
流和解码器是否满足MPEG-1前3个部分(Part1，2和 3)中所规定的要求。 • MPEG-1软件模拟：一个技术报告，给出了软件执 行MPEG1前3个部分的运行结果。
10
MPEG-1视频压缩标准
帧规格：352×288 25 帧 8 比特
1.5 表示 4:2:0
352×288×25×8×1.5 30Mb/s
压缩算法 运动补偿帧间预测（单向预测＋双向
预测）＋DCT
应用 VCD、MP3、局域网视频传输
5
视频压缩标准对比（续）
MPEG2 H.262
运动图 像及其 伴音通 用编码 标准
时间 输入
输出 压缩率
1994年11月
352×288～1920×1152 采用频率为16、22.05、24、32、44.1、 48kHz的线性PCM 1.5－80Mb/s、8-640 Kb/s(音频)
26
MPEG1视频编码算法
P 帧编码 对于P 帧中的宏块进行编码时有更多的选择 （1）决定是否用运动补偿 （2）决定对宏块使用帧间编码方式还是帧内
编码方式 （3）决定宏块是否被编码 （4）决定是否改变量化因子
27
MPEG1视频编码算法
B帧编码 对于B 帧中的宏块进行编码时有更多的选择 （1）决定是否使用前向运动补偿，还是后向
17
MPEG1视频压缩算法
18
MPEG1视频压缩算法
运动补偿技术在宏块一级工作：
• I帧：没有使用运动补偿预测， 与Baseline JPEG类似， I帧可用作预测P帧和B帧的参考帧。
• P帧：采用一个参考帧的运动补偿的帧间预测编码方 式， 当前P帧前面的I帧和P帧作为其参考帧，采用前 向预测（Farword Prediction）方式。I帧可用作预测P 帧和B帧的参考帧。
MPEG-1标准号为ISO/IEC 11172，它由五部分组成： • MPEG-1系统（ MPEG-1 Systems ）：规定视频数
据、声音数据及其他相关数据的同步合成技术
• MPEG-1视频编码标准（MPEG-1 Video） • MPEG-1音频编码标准（MPEG-1 Audio） • MPEG-1一致性测试：详细说明如何测试比特数据
50
MPEG-4 视频压缩标准
MPEG-4 Visual:面向对象的应用
面向对象编码的概念 如图所示： 场景: 由一个背景和两 个前景视频对象VO (video object)构成 video object plane (VOP)：VO 的一个 时间瞬间的快照
22
MPEG1视频编码算法
B图像帧的压缩算法：
23
MPEG1视频编码算法
I 帧编码 量化
对于DC的量化步长为8 对于AC的量化 QDCT(i,j)=8*DCT(i,j)/qQ(i,j) Q量化矩阵，q量化因子 ，量化因子在片 的标题中，也可在每个宏块
24
MPEG1视频编码算法
DC量化 对DC系数差值编码为（size,amp） amp 表示幅值 size表示amp所需二进制位 Amp用反码表示， size用Huffman编码 例 DC差值为195
47
MPEG-4 视频压缩标准
MPEG-4 Visual: 支持低码率应用(tens of kbps or less). 支持面向对象或面向内容的编码(object-based or content-based coding)
将一个视频场景（a video scene）当成前景和背景对象 （foreground and background objects）的集合而不仅仅是矩形