H.264视频编码标准分析和算法优化

H.264编码标准的分析和算法优化

一、研究背景：

随着社会的不断进步和多媒体信息技术的发展，人们对信息的需求越来越丰富，方便、快捷、灵活地通过语音、数据、图像与视频等方式进行多媒体通信已成不可或缺的工具。其中视觉信息给人们直观、生动的形象，因此图像与视频的传输更受到广泛的关注。然而，视频数据具有庞大的数据量，以普通的25帧每秒，CIF格式（分辨率为352×288）的视频图像为例，一秒钟的原始视频数据速率高达3.8M字节。不对视频信号进行压缩根本无法实时传输如此庞大的数据量，因此，视频压缩技术成为研究热点。

随着近几年来视频图像传输领域的不断扩展，以往的标准己经难于适应不同信道的传输特征及新兴的应用环境。为此，ISO/IEC&ITU-T共同开发了最新视频编码标准H.264/AVC。相对以前的视频编码标准，H.264集成了许多新的视频压缩技术，具有更高的压缩效率和图像质量。在同等的图像质量条件下，H.264的数据压缩比是应用于当前DVD系统MPEG-2的2~3倍，比MPEG-4高1.5~2倍，并且具有更好的网络友好性。但是H.264高压缩比的代价是编码器计算复杂度大幅度地提高。因此在保持编码效率几乎不变的同时尽可能提高编码速度是H.264/AVC视频编码标准能否得到广泛应用的关键。

在上述研究背景下，本文深入探讨了H.264/AVC标准，分析了编码器主要耗时模块的工作原理，提出三种降低H.264/AVC高计算复杂度的优化算法――快速帧内预测模式选择算法、快速帧间预测模式选择算法以及快速运动估计算法。实验结果表明：本文所提快速算法都可大幅度地降低H.264编码器的计算复杂度，并且保持基本不变的编码效率。

二、新一代视频编码标准H.264简介：

编码标准演进过程：H.261 MPEG-1 MPEG-2 H.263 MPEG-4

从视频编码标准的发展历程来看，视频编码标准都有一个不断追求的目标：在尽可能低的码率（或存储容量）下获得尽可能好的图像质量。MPEG-2、MPEG-4、H.263等标准都取得了巨大的成功，但在应用中也发现一些问题。H.263众多的选项往往令使用者无所适从；MPEG-2压缩效率己显略低；引人注目的MPEG-4的“基于对象的编码”由于尚有技术障碍，目前还难以普遍应用。在此背景下，两大国际标准化组织ITU-T和ISO共同制定了新一代视频编码标准H.264。该编码标准在混合编码的框架下引入新的编码方式，解决了目前编码标

准存在的问题，进一步贴近实际应用，其应用前景是不言而喻的。

三、H.264视频编码标准概述

JVT的工作目标是制定一个新的视频编码标准，以实现视频的高压缩比、高图像质量、良好的网络适应性等目标。JVT的工作已于2003年3月被ITU-T采纳，新的视频编码标准称为H.264标准。该标准也被ISO采纳，称为AVC（Advanced Video Coding）标准，是国际标准ISO14496-10（MPEG-4的第10部分），因此总称为H.264/AVC。

H.264着重于提高压缩效率和传输的可靠性，因而其应用面十分广泛。具体来说，H.264支持三个不同档次的应用：

1、基本档次：H.264简单版本，应用面广，主要用于视频会话，如会议电视、可视电话、远程医疗、远程教学等。

2、主要档次：采用了多项提高图像质量和增加压缩比的技术措施，主要用于消费电子应用，可用于SDTV、HDTV和DVD等。

3、扩展档次：主要用于各种网络的视频流传输，如视频点播等。

H.264和以前的视频编码标准一样，也是传统的混合编码模式，其编码器框架如图2.1编码器结构所示。但它采用“回归基本”的简洁设计，没有设定众多的选项，获得比H.263++好得多的压缩性能；采用“网络友好（Network friendly）”的结构和语法，加强了对各种信道的适应能力，有利于对误码和丢包的处理；应用目标范围较宽，可以满足不同速率、不同解析度以及不同传输（存储）场合的需求。与以往视频编码标准不同的是，H.264充分考虑了“网络友好”特性，将编码器中面向视频信号的编码部分与面向网络的打包部分分离，形成视频编码层和网络适配层，从而方便使用不同的传输网络和协议进行传输。1、视频编码层（Video Coding Layer, VCL）VCL中包括VCL编码器与VCL解码器，主要功能是视频数据压缩编码和解码，包括运动补偿、变换编码、熵编码等压缩单元。2、网络适配层（Network Abstraction Layer ,NAL）NAL则用于为VCL提供一个与网络无关的统一接口，负责对视频数据进行封装打包后使其在网络中传送。它采用统一的数据格式，包括单个字节的包头信息、多个字节的视频数据与组帧、逻辑信道信令、定时信息、序列结束信号等。包头中包含存储标志和类型标志。存储标志用于指示当前数据不属于被参考的帧。类型标志用于指示图像数据的类型。而且VCL可以根据当前的网络情况调整编码参数。

因为H.264采用了大量的新技术，所以其编码性能大大优于其他标准，具体表现如下：

1、和H.263或MPEG-4相比，在相同编码质量下，H.264最多可节省50％的比特率。

2、高质量的重建图像。H.264在各种比特率条件下，包括低比特率时，都可以提供满意的图像质量。

3、适应不同的延时要求。H.264可以在低延时的模式下适应通信的应用（如视频会议），可以应用在无延时的模式下（如视频图像的存储），甚至还可以在高延时的模式下工作并取得最佳的压缩效果。

4、稳健性。H.264在设计时，针对分组交换网如Internet中的分组丢失和无线网络中比特误码都提供了相应的工具，使得H.264在这些网络中传播时具有更强的抗误码能力。

5、网络友好性。H.264增加了NAL层，负责将编码器的输出码流适配到各种类型的网络中，从而提供了友好的网络接口。

H.264视频编码标准关键技术：

1、帧内预测编码：

为了进一步利用空间相关性，H.264引入了帧内预测以提高压缩效率。它利用邻近块已解码重构的像素在空域中按照不同的方向对当前块进行预测。在帧内预测过程中，只有预测块和实际块的残差才被编码传输。因此对于变化平坦、存在大量空间冗余的视频对象，利用帧内预测可以大大减少编码所需的比特数，取得较高的编码效率[16]。在帧间编码中，同样可结合帧内预测技术以进一步提高编码效率。但H.264参考代码的帧内预测编码具有相当高的计算复杂度，因此本论文对帧内预测编码进行优化

2、帧间预测编码：

对于视频图像来说，前一帧图像和后一帧图像之间有很多的相同（相似）部分，存在大量的时间冗余信息。帧间预测编码就是基于连续图像序列之间的时域相关性，利用前一帧图像和当前帧图像中的相同（相似）部分来预测当前帧，然后对预测图像与实际图像的差值进行编码，从而实现大幅度地压缩。在H.264中，除了具有在以往标准（H.263,MPEG-4等）中的P 帧、B帧预测方法外，还增加了许多新技术，如：采用不同大小尺寸块进行预测、采用1/4甚至1/8像素精度的运动补偿算法、采用多参考帧等等。但H.264的帧间预测编码在提高编码效率的同时也大大增加了计算复杂度，因此帧间预测编码算法优化也是本文的工作重点，相关细节将在第四、五章进行详细讨论。

3、4×4 DCT变换：H.264中的DCT变换是基于传统DCT的，但它与传统DCT之间又有着本