视频编码技术及H264标准精品PPT课件

合集下载

第5课视频编码课件(共13张PPT) 三下信息科技浙教版(2023)

三、数字视频的应用
随着互联网、大数据技术的发展，数字视频利用先进的处理技术，在提升视频播放质量的同时，实现了更多的创新应用。例如，视频会议满足多人实时沟通交流；赛场高清直播实时捕捉并转播运动员的精彩画面；虚拟现实(VR)全景技术模拟还原现实中的场景，使观众获得沉浸式的交互体验；人工智能(AI)视频分析技术能够辨识追踪视频画面，实时监控分析。
试一试
视频编码后也会产生不同类型的文件格式，常见的视频文件类型有AVI、WMV、MP4、MOV等。试着将一种格式的视频利用格式转换软件转化成其他视频格式，比较不同格式视频的差异。
选中文件，单击鼠标右键，选择“属性”,查看视频详细信息。
二、视频数字化
当连续的图像以一定的速度播放时，就会形成比较流畅的视频画面。在视频中，称一幅静止的画面为帧。当计算机要处理视频时，通过数字采集设备如摄像机对画面进行采集，当每秒采集的帧画面越多，产生的视频就会越流畅，然后对采集到的视频画面进行编码转换，根据量化的结果进行编码转换，最终完成视频数字化。
第5课视频编码
学习内容
1.视频编码实现过程。 2.数字视频的应用。
讨论
视频是可以用于记录比赛、进行远程交流的一种方式，动态的画面是如何变成视频被计算机处理的呢?
建构
视频编码是视频处理中的一个核心技术，视频的数据量一般都比较大，经过数字化编码后便于存储和传输。
一、认识数字视频
数字视频技术能将动态的图像、声音等进行编码、压缩、储存，得到不同格式的数字视频，最大程度保证了图像与声音的完整性。
练习
定格动画是通过逐帧地拍拍摄一段简单的定格动画视频，并与同伴分享交流。
谢谢聆听！
INTERNET OF THINGS

视频编码技术-PPT

第3章视频编码技术
1.视频信号的数字化 2.视频文件格式 3.视频压缩编码原理 4.视频压缩标准
学习目标
掌握视频数字化方法了解视频文件格式掌握视频压缩编码原理（预测编码、变换编
码、统计编码原理）
理解视频压缩标准（ MPEG标准）
3.1 视频信号的数字化
1.视频相关的基本概念
所谓视频（video frequency ），连续的图像变化每秒超过24帧（frame）画面以上时，根据视觉暂留原理，人眼无法辨别单幅的静态画面，看上去是平滑连续的视觉效果，这样连续的画面叫做视频。即视频是由一系列单独的静止图像组成，其单位用帧或格来表示；
（1）本地影像视频格式
－MOV格式，美国Apple公司开发的一种视频格式，默认的播放器是苹果的QuickTime Player。具有较高的压缩比率和较完美的视频清晰度等特点，但其最大的特点还是跨平台性，即不仅能支持Mac OS，同样也能支持Windows系列。
Avid Media composer非线性编辑软件支持该格式。
同步信号
)
地(色度)
S-Video四芯插头（座）
地(亮度)
2.视频的采集及数字化
视频采集卡的接口
莲花接头
2.视频的采集及数字化
视频采集卡的接口 IEEE1394接口
IEEE1394是一种外部串行总线标准，800Mbps的高速。1394接口具有把一个输入信息源传来的数据向多个输出机器广播的功能，特别适用于家庭视听的连接。由于该接口具有等时间的传送功能，确保视听AV设备重播声音和图像数据质量，具有好的重播效果。
人眼在观察景物时，光信号传入大脑神经，需经过一段短暂的时间，光的作用结束后，视觉形象并不立即消失，而能继续保留其影像0.1-0.4秒左右，这种现象被称为视觉暂留现象。

H264编码技术

H264编码技术一、H.264的制定过程和应用场合在制订完最初的H.263标准之后，ITU-T的视频编码专家组（VCEG）将开发工作分为两部分：一部分称之为“短期（short-term）”计划，目的是给H.263增加一些新的特性（这一计划开发出了H.263+和H.263++）；另一部分被称为“长期（long-term）”计划，其最初的目标就是要制定出一个比当时其他的视频编码标准效率提高一倍的新标准。

这一计划在1997年开始，其成果就是作为H.264前身的H.26L（起初叫H.263L）。

在将近2001年底，由于H.26L优越的性能，ISO／IEC的MPEG专家组加入到VCEG中来，共同成立了联合视频小组（JVT），接管了H.26L的开发工作。

这个组织的目标是：“研究新的视频编码算法，其目标是在性能上要比以往制定的最好的标准提高很多。

”这一标准正式成为国际标准是2003年3月在泰国Pattaya举行的JVT第7次会议上通过的。

由于该标准是由两个不同的组织共同制定的，因此有两个不同的名称：在ITU-T中，它的名字叫H.264；而在ISO／IEC中，它被称为MPEG-4的第10部分，即高级视频编码（A VC）。

H.264的应用场合相当广泛，包括可视电话（固定或移动）、实时视频会议系统、视频监控系统、因特网视频传输以及多媒体信息存储等。

目前在国际上，加拿大的UB Video公司开发出了一套基于TMS320C64x系列的H.26L实时视频通信系统，它可以在160kbit/s 的码率下获得与H.263+在320kbit/s下相同的图像质量。

另一家加拿大的公司VideoLocus通过在系统中插入一块基于FPGA的硬件扩展卡，在P4平台上实现了H.264的实时编解码。

二、H.264的特点H.264在编码框架上还是沿用以往的MC-DCT结构，即运动补偿加变换编码的混合（hybrid）结构，因此它保留了一些先前标准的特点，如不受限制的运动矢量（unrestricted motion vectors），对运动矢量的中值预测（median prediction）等。

协议软件部培训PPT-H264视频编解码技术

2021/7/14
培训内容
• 视频编码标准H.263 – 协议结构
H.263有效载荷头定义了三种格式（模式A、模式B和模式C）。在模式A 中，在实际压缩H.263视频比特流之前存在4字节的H.263有效载荷头。这样允许在GOB边界有分段。在模式B中，使用的是8字节的H.263有效载荷头，且每个数据包从MB边界开始，没有PB帧选项。最后，模式C中使用的是12字节的H.263有效载荷头，采用PB帧选项支持在MB边界的帧分段。
4:4:4 ，Y、Cb 和Cr 具有同样的水平和垂直清晰度，在每一像素位置，都有Y，Cb 和Cr分量，即不论水平方向还是垂直方向，每4个亮度像素相应的有4个Cb和4个Cr色度像素。
4:4:4
4:2:0
4:2:2
Y Cb Cr
2021/7/14
• 视频编码的相关术语
1. 场和帧 2. 片和宏块 3. 片组 4. 档次和级 5. SP和SI 6. SPS和PPS 7. 图像序列号（POC） 8. RBSP和SODB
协议软件部培训PPTH264视频编解码技术
2021年7月14日星期三
•目标 •重点 •培训内容 •参考资料
2021/7/14
目录
培训目标 1. 掌握视频信息和视频编码的相关概念 2. 理解H.264编解码器的工作原理和关键算法 3. 掌握主流的H.264开源编解码器的架构和实
现 4. 掌握H.264视频数据RTP传输封包格式
1988年，ISO/IEC信息技术联合委员会成立了活动图像专家组（MPEG，Moving Picture Expert Group）。1991年公布了MPEG-1视频编码标准，码率为1.5Mbps，主要应用于家用VCD的视频压缩；1994年11月，公布了 MPEG-2标准，用于数字视频广播（DVB）、家用 DVD的视频压缩及高清晰度电视（HDTV）。

H.264视频编码学习(精)

H.263
• H.263是ITU-T为低于64kb/s的窄带通信信道制定的视频编码标准。 • H.263与H.261的主要区别：（1）数据流层次结构的某些部分在H.263中是可选的，使得编解码可以配置成更低的数据率。（2）H.263的运动补偿使用半像素精度，而H.261则用全像素精度和环路滤波。（3）H.263采用无限制的运动向量以及基于语法的算术编码。（4）H.263除支持QCIF和CIF外，还支持SQCIF、4CIF和16CIF， SQCIF相当于QCIF一半的分辨率，而4CIF和16CIF分别为CIF的4倍和16倍。（5）采用事先预测和与MPEG中的P-B帧一样的帧预测方法。
对称编/解码和不对称编/解码 —对称：编码和解码占用相同的计算处理能力和时间，实时性好。 —不对称：与上相反，一般压缩慢，解压快。
第二章视频编码发展概况
ITU-T 与MPEG • ITU-T与ISO/IEC是制定视频编码标准的两大组织，ITU-T 的标准包括H.261、H.263、H.264，主要应用于实时视频通信领域，如会议电视；MPEG系列标准是由ISO/IEC制定的，主要应用于视频存储(DVD)、广播电视、因特网或无线网上的流媒体等。 • 值得注意的是两个组织也共同制定了一些标准，H.262标准等同于MPEG-2的视频编码标准，而最新的H.264标准则被纳入MPEG-4的第10部分。 • 注：本幻灯片以ITU-T视频编码标准概述发展过程。
H.264
• H.264是由ISO/IEC与ITU-T组成的联合视频组(JVT)制定的新一代视频压缩编码标准。 • H.264的特点：（1）在同等视觉条件下，压缩比更高。（2）对网络传输具有更好的支持功能，支持交互式应用所需的低延迟模式，支持随机帧索取，支持可变码率，支持多种分辨率。（3）对信道时延的适应性较强，既能用于低时延的实时业务（如会议电视），又可用于无时延限制的场合（如视频存储）。（4）具有较强的抗误码能力，可适应不同网络中的视频传输，网络亲和性好。（5）在编码器和解码器中的复杂度可分级设计，使图像质量和编码处理之间可分级，以适应不同复杂度的应用。

第四章视频编码基础PPT课件

4）看成二阶马尔可夫信源，则信源熵： H 3 ( X ) H 2 1 ( X ) 3 . 1 比特 / 符号
5）看成无穷阶马尔可夫信源，则信源熵：
H ( X ) 1 . 4 比特 /符号
信源相对熵：
H(X) 1.40.29
Hmax(X) 4.76
信源冗余度： E1H (X) 10.290.71
并且这种冗余度在解码后还可无失真地恢复。（2）利用人的视觉特性，在不被主观视觉察觉的容限内，通过减少表示信号的精度，以一定的客观失真换取数据压缩。
10
第四章视频编码基础
4、图像信号的冗余度
图像信号的冗余度存在于结构和统计两方面。
① 空间冗余相邻像素/行变化小
在一幅图像中某一块面积上相邻像素的亮度和色度信息存在空间连贯性相似。一幅图像的亮度和色度信息中基本相同，存在多余信息。
A 0.064 J 0.001 S 0.051 2）按实际概率分布，且 B 0.013 K 0.005 T 0.08 无相关性，则信源熵：
C 0.022 L 0.032 U 0.023
D 0.032 M 0.020 V 0.008 H 1(X )H 0 1(X )
E 0.103 N 0.057 W 0.018 F 0.021 O 0.063 X 0.001 G 0.015 P 0.015 Y 0.016
第四章视频编码基础
第一部分
整体概述
THE FIRST PART OF THE OVERALL OVERVIEW, PLEASE SUMMARIZE THE CONTENT
2
第四章视频编码基础
4.1 视频编码系统概述
信源
信源编码
用户

H.264视频编码介绍资料

• H263++在H263+基础上增加了3个选项，增强码流在恶劣信道上的抗误码性和编码效率。 • 选项U—增强型参考帧选择，提供增强的编码效率和信道错误再生能力。 • 选项V—数据分片选择，提供增强型的抗误码能力(特别是在传输过程中本地数据被破坏的情况下)，通过分离视频码流中DCT的系数头和运动矢量数据，采用可逆编码方式保护运动矢量。 • 选项W—在H263+的码流中补充信息，保证增强型的反向兼容性。
H.264解码器
H.264采用的新技术
• H.264标准中诸如帧间预测、变换、量化、熵编码等基本功能模块与前几个标准（MPEG-1, MPEG-2, MPEG-4, H.261, H.263）并无太大 • • • • • • • 区别，变化主要体现在功能模块的具体细节上。分层设计帧间预测编码帧内预测编码整数变换量化处理熵编码环路滤波
TTS图解
• 如图所示，搜索步骤如下：
– 第一步：从搜索起点开始，以最大搜索长度的一半为步长，在周围距离步长的 8个点处进行块匹配计算并比较，图中用正方形表示，1号为该次搜索最优点。 – 第二步：将步长减半，中心点移到上一步的最小匹配点，重新在周围距离步长的8个点处进行块匹配计算并比较，图中用圆形表示，2号为该次搜索最优点。 – 第三步：在上一步得到的最小匹配点的中心及周围8个点处找出最匹配点，该点即为所求，图中用菱形表示，3号为该次搜索最优点
块的搜索与匹配
• 搜索起点的选择很重要。 • 块搜索算法：
①全搜索法FS ②三步搜索法TTS ③菱形搜索法DS ④六边形搜索法注：有不少对上述方法的改进及新方法。
• 块匹配准则：
①最小绝对差MAD ②最小均方误差MSE ③归一化互相关函数NCCF ④求和绝对误差SAD

H264视频压缩编码标准

述
由上边像素推出相应像素值由左边像素推出相应像素值由上边和左边像素平均值推出相应像素值利用线形“plane”函数及左、上像素推出相应像素值，适用于亮度变化平缓区域
SLIDE 30
帧内预测
图6 16×16 宏块举例：图6给出了一个左上方像素已编码的亮度宏块。图7 给出了4 种预测模式预测结果。其中模式 3最匹配原始宏块。帧内16×16模式适用于图像平坦区域预测。图7 帧内 16×16 预测块
SLIDE 11
–
–
–
H.264/AVC的结构
图3 H.264档次
SLIDE 12
H.264/AVC的结构
编码数据格式
– H.264支持4:2:0的逐行或隔行视频的编码和解码。
SLIDE 13
H.264/AVC的结构
参考图像
– 可从一组前面或后面已编码图像中选出一个或两个与当前最匹配的图像作为帧间编码间的参数图像， – H.264中最多可从15个参考图像中进行选择，选出最佳的匹配图像。 – 对于P片中帧间编码宏块可从表“0”中选择参数图像；对于B片中的帧间编码宏块和宏块分割的预测，可从表“0”和“1”中选择参考图像。
SLIDE 17
H.264/AVC的结构
表1 MB到片组的映射名称类型 0 1 2 3 交错散乱前景和背景 Box－out MB游程被依次分配给每一块组（图8）每一片组中的MB被分散在整个图象中（图9）例见图10 从帧的中心开始，产生一个箱子，其MB属于片组 0，其它MB属于片组（图11）描述
SLIDE 9
H.264/AVC的结构
名词解释
– 宏块、片: 一个编码图像通常划分成若干宏块组成，一个宏块由一个16×16亮度像素和附加的一个8×8 Cb和一个 8×8 Cr彩色像素块组成。每个图象中，若干宏块被排列成片的形式。 I片只包含I宏块，P片可包含P和I宏块，而B片可包含B和I宏块。 I宏块利用从当前片中已解码的像素作为参考进行帧内预测。 P宏块利用前面已编码图象作为参考图象进行帧内预测，一个帧内编码的宏块可进一步作宏块的分割：即16×16、 16×8、8×16或8×8亮度像素块（以及附带的彩色像素）；如果选了8×8的子宏块，则可再分成各种子宏块的分割，其尺寸为8×8、8×4、4×8或4×4亮度像素块（以及附带的彩色像素）。 B宏块则利用双向的参考图象（当前和未来的已编码图象帧）进行帧内预测。。

视频处理与通信-视频编码标准PPT课件

在帧内模式中，比特流包含每个块的变换系数。作为选择项，可改变标示量化器步长（MQUANT）±2。
在帧间模式中，编码器可选择传送差分编码运动矢量（MVD）和（CBP），以便指定需要传送变换系数的块。由于传送MV需要额外的比特，所以只当使用MV比不用MV预测误差低很多时，才传送MV。
编码图像时量化器步长是变化的，受码率控制策略的影响。
ISO/IEC( International Electrotechnical Commission) 国际电工委员会
2020/3/24
可编辑
3
标准化组织
ITU组织结构
ITU-T:电信标准化部门 ITU-R:无线电通信部门
ITU-D:电信发展部门
2020/3/24
可编辑
4
标准化组织
ISO/IEC组织结构
2020/3/24
可编辑
8
标准的发展过程
三个阶段：竞争、集中、验证
2020/3/24
可编辑
9
H.26X系列标准
H.261是ITU-T针对视频电话、视频会议等要求实时编解码和低时延应用提出的第一个视频编码标准，于1990年12月发布。H.261标准的码率为 P×64kbit/s，其中P为整数，且1≤ P≤30，对应码率为64kbit/s～1.92Mbit/s。通常P=1，2时用于视频电话业务，P ≥6时用于视频会议业务。
2020/3/24
可编辑
13
H.261编码差Biblioteka 编码运动矢量宏块类型的VLC表
量化器步长
编码块模式
变换系数
2020/3/24
可编辑
14
H.261编码结构单元
量化器
H.261 对DCT系数采用两个量化器。用步长为8的均匀量化器量化帧内模式的DC系数；用步长为[2,62]的接近均匀的中间踏板量化器量化帧内模式和帧间模式的AC系数。（见下图示）在-T到T之间的输入称为死区，被量化为0。除死区外，步长是均匀的，这个死区避免了对小的DCT系数进行编码，而正是这些系数会引起编码噪声。

第10章-3_H264AVC

32kbps
64kbps
128kbps
H.264 MPEG-4
3、:与MPEG-4比较 (中, 低码率)
– (测试序列: Bus, Flower, Mobile, Tempete; 数据来源: MPEG/IEC VCEG-N18)
35 33 31 29 27 25
256kbps
512kbps
1024kbps
• 标准收费是把“双刃剑”
– 收费: 维护把先进技术放进标准的积极性 – 免费: 快速推广和实施,通过产品盈利
• MPEG-1, H.263: 很少收费案例出现 • MPEG-2: MPEG LA根据解码器收费(4$) • MPEG-4: 不仅对编解码器收费,还对运营
商按时间收费?正在争议之重 • JVT：新策略，将开始讨论收费
N18)
Test
H.26L TML-8
2B+5/25R+AC+
1/4v1
Y
CB CR
1024 kbps CIF 30 fps
Mobile 34. 36. 37.
972
Templa 35. 37. 39.
te
510
MPEG-2 RM 5
SW ver. 1.2
Y
CB CR
27. 32. 32. 735 31. 34. 36. 187
– 2002年6月11日，中国电子报按照信息产业部通知正式刊登公告，征集第一批会员
– 2002年6月21日，AVS特别工作组在北京翠宫饭店成立 –… – 2002年10月23日，上海，AVS第二次工作会议 – 2002年12月19-20日，北京，AVS第三次工作会议 – 2003年3月27-28日，武汉，AVS第四次工作会议

h.264演示文稿

ZCTT
14
4.2.2 解码器
ZCTT
15
• 帧间预测解码步骤
– 由编码器NAL输出的压缩后比特流，经熵解码得到量化后的一组变换系数X，再经反量化、反变换得到残差Dn’。 – F’n-1经MC后得到PRED（与编码器中的相同） – Dn’与PRED相加产生uFu’，再经滤波得到重建图像。
ZCTT
• NAL以NALU为单元来支持编码数据在基于分组交换技术网络中的传输。网络层和传输层的RTP封装只针对基于NAL单元本地NAL接口。
– 分组网络中：每个NAL单元以独立的分组传输，在解码之前重新排序。 – 电路交换环境中：传输之前须在每个NAL单元之前加上起始前缀码，使解码器能够找出NAL单元的起始位置。
ZCTT
35
H.264一共采用了7种方式对一个宏块进行分割。每种方式下块的大小和形状都不相同，这就使编码器可以根据图像的内容选择最好的预测模式。
ZCTT
36
与仅使用16×16块进行预测相比，可以使码率降低15％以上。大的分割尺寸适合于平坦区域，小尺寸适合于多细节区域。
ZCTT
37
• 亚像素运动矢量的使用（更精细的预测精亚像素运动矢量的使用（度）
• 扩展档次
– 支持码流之间有效的切换（SP和SI片）、改进误码性能（数据分割），但不支持隔行视频和CABAC ，主要应用于流媒体中。
ZCTT
18
扩展档次
主要档次
SP和SI片数据分割
B片加权预测
接口
CABAC I片 P片
CAVLC 片组与ASO （任意片次序）冗余片
ZCTT
19
基本档次
• 冗余片方法
Ｔ
Ｒ

第10章-3_H.264AVC

–
–
–
编码器采用的仍是变换和预测的混合编码法。输入的帧或场Fn以宏块为单位被编码器处理。首先，按帧内或帧间预测编码的方法进行处理。如果采用帧内预测编码，其预测值PRED（图中用P表示）是由当前片中前面已编码的参考图像经运动补偿（MC）后得出，其中参考图像用F’n1表示。为了提高预测精度，从而提高压缩比，实际的参考图像可在过去或未来（指显示次序上）已编码解码重建和滤波的帧中进行选择。预测值PRED和当前块相减后，产生一个残差块Dn，经块变换、量化后产生一组量化后的变换系数X，再经熵编码，与解码所需的一些边信息（如预测模式量化参数、运动矢量等）一起组成一个压缩后的码流。正如上述，为了提供进一步预测用的参考图像，编码器必须有重建图像的功能。因此必须使残差图像经反量化、反变换后得到的Dn’与预测值P 相加，得到uFn’（未经滤波的帧）。为了去除编码解码环路中产生的噪声，为了提高参考帧的图像质量，从而提高压缩图像性能，设置了一个环路滤波器，滤波后的输出Fn’即重建图像可用作参考图像。
H.264/AVC编解码器
H.264编解码器特点
H.264并不明确地规定一个编解码器如何实现，而是规定了一个编码的视频比特流的句法，和该比特流的解码方法，各个厂商的编码器和解码器在此框架下应能够互通，在实现上具有较大灵活性，而且有利于相互竞争。
H.264/AVC编解码器
H.264编码器
–
数字视频技术 H.264/AVC
目录
核心技术技术标准 H.264技术简介 AVS介绍 H.264/AVS
核心技术技术标准 H.264技术 AVS介绍 H.264/AVS
核心技术
视频编码技术——GVTM Codec 高压缩比、高图像质量 •300Kbps—700Kbps码率时，图像质量达到或超过1.5Mbps的VCD节目 •1Mbps—1.5Mbps码率时，图像质量达到或超过4M—6Mbps的DVD节目 CIF大小，每秒25帧(PAL制式）、30帧(NTSC 制式）,实时编码。

H.264_AVC视频压缩标准精品课件

最新 PPT 欢迎下载
5
片
片的类型 I(Intra) P(Predicted) B(Bi-predictive) SP(Switching P) SI(Switching I)
描述 I宏块（根据同片内已编码数据进行预测编码） P宏块（利用已编码图像进行预测编码）、I宏块 B宏块（利用之前或之后已编码的图像预测编码）、I宏块 P宏块、I宏块；便于编码流间切换 SI宏块（特殊的帧内预测编码宏块）；便于编码流间切换
便于编码流间切换6最新ppt欢迎下载预测编码?编码结果为图像预测值与实际值之差而非相应图像像素减少了数据量实现压缩?帧内?帧间预测?运动估计7最新ppt欢迎下载变换编码?大多数图像的共同特征?平坦或变化缓慢区域占大部分即直流低频信号多?细节或内容突变区域占小部分即高频信号少?空域转换到频域实现数据压缩?kl变换?理想算法但取决于信号统计特性难于计算?离散余弦变换dct?性能接近kl变换具有快速算法被广泛应用8最新ppt欢迎下载两种编码比较编码种类优点缺点预测编码易于实现容易产生误差积累扩散变换编码无误差扩散信道误码率要求低实现比较复杂折中方案
• 视频电话 • 视频会议 • 无线通信

主要档次（Main Profile）
• 电视广播 • 视频存储
扩展档次（Extended Profile） • 流媒体
最新 PPT 欢迎下载
12
H.264的档次
CAVLC: 基于上下文的自适应边长编码
CABAC: 基于上下文的自适应二进制算术编码
最新 PPT 欢迎下载
9
H.264编码器
运动估计运动补偿
变换
量化
去除块效应
H.264没有规定编解码器如何实现，而是规定了编码视频流的语法及解码方法。

H.264标准.ppt

4
新电视技术
二、MPEG-4系统 MPEG-4系统把音视频对象及其组合复用成一个场景，提供与场景互相作用的工具，使用户具有交互能力。系统部分主要包括以下内容。 (1)系统解码器模型，这是每一个系统都应该有的特殊模型。 (2)场景描述(Scence Description),它是用来说明根据AV对象的时间和空间属性如何有效地将它们组织起来的。 (4)基本码流同步层(SL)，它是将基本码流数据打包成AU单元(访问单元)的语法，打包中附加了时间和同步信息，接收时从SL中提取时间信息能够使解码同步，并将基本流数据合成。 (5)基本码流的多路合成系统中有两层复用，传输复用(TransMux) 和MPEG-4复用(FlexMux)。
（3）传输层，对已经存在的各种传输协议描述。这些协议能够用来传
输和存储符合MPEG-4标准的视听内容。该层的功能并不在系统规定，只
是需考虑和传输层有关的接口DMIF。DMIF定义了流数据的传输接口及信
道建立断开的信号。
7
新电视技术
交互式音视频场景
合成显示
压
对象描述府
场景描述符
AV数据
…
向上合流信息
22
VOP
边界框架
新电视技术
形状块
VOP形状编码
23
类似于以前的压缩标准（MPEG-1、 H.263等）的三种帧格式：I、P、B， MPEG-4的VOP也有三种相应的帧格式：I-VOP、P-VOP、B-VOP（如图 5.7所示），表示运动补偿类型的不同。如上所述，边框被分为16×16 的宏块，宏块内是8×8的块。运动估计和补偿可以基于宏块，也可基于块。
（2）同步层，负责各个压缩媒体的同步和缓冲。它接收来自传输层的同步层包（SL），根据基本码流的时间标志进行拆包，并转发到压缩层。一个完整的MPEG-4节目以不同的基本码流传送每一个媒体类型，如果涉及到可分级性，一些媒体可在几个基本码流中传输。该层通过传送多媒体集成框架（DMIF）应用接口DAI与传送层对话。