多媒体音视频编解码浅析

多媒体音视频编解码浅析

为便于大家了解查阅，特对多媒体编解码及相关信息大致整理一下。

视频编码的基本原理

视频图像数据有极强的相关性，也就是说有大量的冗余信息。其中冗余信息可分为空域冗余信息和时域冗余信息。压缩技术就是将数据中的冗余信息去掉（去除数据之间的相关性），压缩技术包含帧内图像数据压缩技术、帧间图像数据压缩技术和熵编码压缩技术。

去时域冗余信息

使用帧间编码技术可去除时域冗余信息，它包括以下三部分：

－运动补偿

运动补偿是通过先前的局部图像来预测、补偿当前的局部图像，它是减少帧序列冗余信息的有效方法。

－运动表示

不同区域的图像需要使用不同的运动矢量来描述运动信息。运动矢量通过熵编码进行压缩。

－运动估计

运动估计是从视频序列中抽取运动信息的一整套技术。

注：通用的压缩标准都使用基于块的运动估计和运动补偿。

去空域冗余信息

主要使用帧间编码技术和熵编码技术：

－变换编码

帧内图像和预测差分信号都有很高的空域冗余信息。变换编码将空域信号变换到另一正交矢量空间，使其相关性下降，数据冗余度减小。

－量化编码

经过变换编码后，产生一批变换系数，对这些系数进行量化，使编码器的输出达到一定的位率。这一过程导致精度的降低。

－熵编码

熵编码是无损编码。它对变换、量化后得到的系数和运动信息，进行进一步的压缩。

标准化机构

在视频编解码技术定义方面有两大标准机构。国际电信联盟 (ITU) 致力于电

信应用，已经开发了用于低比特率视频电话的 H.26x 标准，其中包括 H.261、H. 262、H.263 与 H.264；国际标准化组织 (ISO) 主要针对消费类应用，已经针对运动图像压缩定义了 MPEG 标准。MPEG 标准包括 MPEG1、MPEG2 与 MPEG4。图1 说明了视频编解码标准的发展历程。

MPEG 与 ISO 根据基本目标应用往往做出稍有不同的取舍。有时它们也会开展合作，如：联合视频小组 (JVT)，该小组定义了 H.264 编解码技术，这种技术在 MPEG 系列中又被称为 MPEG4-Part 10 或 MPEG4 高级视频编解码 (AVC)。我们在本文中将这种联合标准称为 H.264/AVC。同样，H.262 对应 MPEG2，而H.263 基本规范类 (Baseline Profile) 技术在原理方面与 MPEG4 简单类 (Si mple Profile) 编解码技术存在较多重复。

标准对编解码技术的普及至关重要。出于规模经济原因，用户根据可承受的标准寻找相应产品。由于能够保障厂商之间的互操作性，业界乐意在标准方面进行投资。而由于自己的内容可以获得较长的生命周期及广泛的需求，内容提供商也对标准青睐有加。尽管几乎所有视频标准都是针对少数特定应用的，但是在能够适用的情况下，它们在其他应用中也能发挥优势。

为了实现更好的压缩及获得新的市场机遇，ITU 与 MPEG 一直在不断发展压缩技术和开发新标准。中国最近开发了一种称为 AVS 的国家视频编码标准，我们在后面也会做一介绍。目前正在开发的标准包括 ITU/MPEG 联合可扩展视频编码 (Joint Scalable Video Coding)（对 H264/ AVC 的修订）和MPEG 多视角视频编码 (Multi-view Video Coding)。另外，为了满足新的应用需求，现有标准也在不断发展。例如，H.264 最近定义了一种称为高精度拓展 (Fidelity Ra nge Extensions) 的新模式，以满足新的市场需求，如专业数字编辑、HD-DVD 与无损编码等。

除了 ITU 与 ISO 开发的行业标准以外，还出现了几种专用于因特网流媒体应用、广受欢迎的专有解决方案，其中包括 Real Networks Real Video (RV10)、

Microsoft Windows Media Video 9 (WMV9) 系列、ON2 VP6 以及 Nancy。由于这些格式在内容中得到了广泛应用，因此专有编解码技术可以成为业界标准。2 003 年 9 月，微软公司向电影与电视工程师学会 (SMPTE) 提议在该机构的支持下实现 WMV9 位流与语法的标准化。该提议得到了采纳，现在 WMV9 已经被 SM PTE 作为 VC-1 实现标准化。

国际音视频压缩标准发展历程

H.261

H.261标准是为ISDN设计，主要针对实时编码和解码设计，压缩和解压缩的信号延时不超过150ms，码率px64kbps(p=1~30)。

H.261标准主要采用运动补偿的帧间预测、DCT变换、自适应量化、熵编码等压缩技术。只有I帧和P帧，没有B帧，运动估计精度只精确到像素级。支持两种图像扫描格式：QCIF和CIF。

H.263

H.263标准是甚低码率的图像编码国际标准，它一方面以H.261为基础，以混合编码为核心，其基本原理框图和H.261十分相似，原始数据和码流组织也相似；另一方面，H.263也吸收了MPEG等其它一些国际标准中有效、合理的部分，如：半像素精度的运动估计、PB帧预测等，使它性能优于H.261。

H.263使用的位率可小于64Kb/s,且传输比特率可不固定（变码率）。H.263支持多种分辨率： SQCIF(128x96)、 QCIF、CIF、4CIF、16CIF。

与H.261和H.263相关的国际标准

与H.261有关的国际标准

H.320：窄带可视电话系统和终端设备；

H.221：视听电信业务中64~1 920Kb/s信道的帧结构；

H.230：视听系统的帧同步控制和指示信号；

H.242：使用直到2Mb/s数字信道的视听终端的系统。

与H.263有关的国际标准

H.324：甚低码率多媒体通信终端设备；

H.223：甚低码率多媒体通信复合协议；

H.245：多媒体通信控制协议；

G.723.1.1：传输速率为5.3Kb/s和6.3Kb/s的语音编码器。

JPEG