图像视频编码的国际标准以及每种图像和视频编码的技术特点

图像视频编码的国际标准以及每种图像和视频编码的技术特点


近10年来，图像编码技术得到了迅速发展和广泛应用，关且日臻成熟，其标志就是几个关于图像编码的国际标准的制定，即国际标准化组织ISO和国际电工委员会IEC关于静止图像的编码标准JPEG、国际电信联盟ITU-T关于电视电话/会议电视的视频编码标准 H261,H.263,H.264/AVC和ISO/IEC关于活动图像的编码标准MPEG-1，MPEG-2和MPEG-4等。这些标准图像编码算法融合了各种性能优良的图像编码方法，代表了目前图像编码的发展水平。表1给出了各种图像与视频编码国际标准的标题，制定日期、目标比特率、应用场合以及所采用的主要编码技术等。


1、JPEG（Joint Photographic Expert Group）

JPEG是ISO/IEC联合图像专家组制定的静止图像压缩标准，是适用于连续色调（包括灰度和彩色）静止图像压缩算法的国际标准。JPEC算法共有4种运行模式，其中一种是基于空间预测（DPCM）的无损压缩算法，另外3种是基于DCT的有损压缩算法。
1）无损压缩算法，可以保证无失真地重建原始图像。
2）基于DCT的顺序模式，按从上到下，从左到右的顺序对图像进行编码，称为基本系统。
3）基于DCT的递进模式，指对一幅图像按由粗到细对图像进行编码。
4）分层模式。以各种分辨率对图像进行编码，可以根据不同的要求，获得不同分辨率的图像。
JEPG对图像的压缩有很大的伸缩性，图像质量与比特率的关系如下：
a)15～20比特/像素：与原始图像基本没有区别（transparent quality）。
b)075～15比特/像素：极好（excellent quality），满足大多数应用。
c)05～075比特/像素：好至很好（good to very good quality），满足多数应用。
d)025～05比特/像素：中至好（moderate to very good quality），满足某些应用。

2、JPEG-2000

与以往的JPEG标准相比，JPEG-2000压缩率比JPEG高约30%，它有许多原先的标准所不可比拟的优点。JPEG-2000与传统JPEG最大的不同，在于它放弃了JPEG所采用的以DCT变换为主的分块编码方式，而改为以小波变换为主的多分辨率编码方式。

首先，JPEG-2000能实现无损压缩（lossless compression）。在实际应用中，有一些重要的图像，如卫星遥感图像、医学图像、文物照片等，通常需要进行无损压缩。对图像进行无损编码的经典方法——预测法已经发展成熟，并作为一个标准写入了JPEG-2000中。

JPEG-2000还有一个很好的优点就是误码鲁棒性（robustness to bit error）好。因此使用JPEG-2000的系统稳定性好，运行平稳，抗干扰性好，易于操作。

JPEG-2000能实现渐进

运输（progressive transmission），这是JPEG-2000的 一个极其重要的特征。它可以先传输图像的轮廓，然后逐步传输数据，不断提高图像质量，以满足用户的需要，这在网络传输中具有非常重大的意义。使用JPEG-2000下载一个图片，用户可先看到这个图片的轮廓或缩影，然后再决定是否下载。而且，下载时可以根据用户需要和带宽来决定下载图像质量的好坏，从而控制数据量的大小。

JPEG-2000另一个极其重要的优点就是感兴趣区（ROI，Region Of Interest）特性。用户在处理的图像中可以指定感兴趣区，对这些区域进行压缩时可以指定特定的压缩质量，或在恢复时指定特定的解压缩要求，这给人们带来了极大的方便。在有些情况下，图像中只有一小块区域对用户是有用的，对这些区域采用高压缩比。在保证不丢失重要信息的同时，又能有效地压缩数据量，这就是感兴趣区的编码方案所采取的压缩策略。基于感兴趣区压缩方法的优点，在于它结合了接收方对压缩的主观要求，实现了交互式压缩。

3、MPEG-1

国际标准化组织ISO/IEC的运动图像专家组MPEG（Moving Picture Expert Group）一直致力于运动图像及其伴音编码标准化工作，并制定了一系列关于一般活动图像的国际标准。1993年制定的MPEG-1标准是针对15Mbit/s速率的数字存储媒体运动图像及其伴音编码制定的国际标准，该标准的制定使得基于CD-ROM的数字视频以及MP3等产品成为可能。MPEG-1的带宽最多为15Mbit/s，其中11Mbit/s用于视频，128Kbit/s用于音频，其余带宽用于MPEG系统本身。

为了追求高的压缩效率，去除图像序列的时间冗余度，同时满足多媒体等应用所必须的随机存取要求，MPEG-1视频把图像编码分成I帧、P帧、B帧和D帧共4种类型。I帧为帧内编码帧（intra coded frame），编码时采用类似JPEG的帧内DCT编码，I帧的压缩率是几种编码类型中最低的。P帧为预测编码帧（predictive coded rame），采用前向运动补偿预测和误差的DCT编码，由其前面的I或P帧进行预测。B帧为双向预测编码帧（bi-directionally predictive coded frame），采用双向运动补偿预测和误差的DCT编码，由前面和后面的I或P帧进行预测，所以B帧的压缩效率最高。D帧为直流编码帧（DC coded frame），只包含每个块的直流分量。MPEG-1采用运动补偿支除图像序列时间轴上的冗余度，可使对P帧和B帧图像的压缩倍数比I帧提高很多。

4、MPEG-2

MPEG组织1995年推出的MPEG-2标准是在MPEG-1标准基础上的进一步扩展和改进，主要是针对数字视频广播、高清晰度电视和数字视盘等制定的4～9Mbit/s运动图像及其伴音的编码标准，MPEG-2是数字电视机顶盒与DVD等产品的基础

。MPEG-2系统要求必须与MPEG-l系统向下兼容，因此其语法的最大特点在于兼容性好并可扩展。MPEG-2的目标与MPEG-1相同，仍然是提高压缩比，改善音频、视频质量，采用的核心技术还是分块DCT和帧间运动补偿预测技术。MPEG-2视频允许数据速率高达100Mbit/s，支持隔行扫描视频格式和许多高级性能。考虑到视频信号隔行扫描的特点，MPEG-2专门设置了“按帧编码”和“按场编码”两种模式，并相应地对运动补偿和DCT方法进行了扩展，从而显著提高了压缩编码的效率。考虑到标准的通用性，增大了重要的参数值，允许有更大的画面格式、比特率和运动矢量长度。除此之外，MPEG-2视频压缩编码还进行了以下扩展：

1）输入/输出图像彩色分量之比可以是4∶2∶0，4∶2∶2，4∶4∶4。
2）输入/输出图像格式不限定。
3）可以直接对隔行扫描视频信号进行处理。
4）在空间分辨率、时间分辨率、信噪比方面的可分级性适合于不同用途的解码图像要求，并可给出传输上不同等级的优先级。
5）码流结构的可分级性，比如头部信息、运动矢量等部分可以给予较高的优先级，而对于DCT系数的高频分量部分则给予较低的优先级。 6）输出码率可以是恒定的也可以是变化的， 以适应同步和异步传输。

MPEG-2视频是一系列的系统，每一个系统具有安排好的共性和兼容程度。它允许对四种源格式或者级别进行编码，从简单清晰度(CIF格式)到完全的高清晰度电视HDTV(High Definition Television)。除了源格式的这种灵活性外，MPEG-2还规定了分辨率从低到高的4级5类共11种单独的技术规范，同一种类不同级别间的图像分辨率和编码速率相差甚远。表2给出了MPEG-2允许的级别和类的组合。

5、MPEG-4

1992年11月，MPEG专家组决定开发新的适应于极低码率的音频/视频（AV，Audio-Visual）编码的国际标准，即MPEG-4。对于学术界来说，极低码率（即小于64Kbit/s）是视频编码标准的最后一个比特率范围。

表2 MPEG-2视频规范

注：简单规范(无B帧，不可缩放)；主规范(B祯不可缩放) SNR缩放(B帧，空间或SNR可缩放) 空间可缩放的规范(B帧，空间或SNR可缩放)；高级规范(B帧，空间或SNR 可缩放)。

MPEG-4专家组深入分析了AV领域中电视(television)、计算机(computer)、通信(communication)以及其交叉融合的发展趋势后，认为MPEG-4应该提供用于通信的新方式，其核心是基于内容content-based)的AV信息存储、处理与操作，支持交互性、高压缩比以及通用存储性等功能。同时在其结构上应具有适应性与可扩展性，以适应硬、软件技术的不断发展，便于及时融合新的技术。

相对于MP

EG的前两个压缩标准，MPEG-4已不再是一个单纯的视频音频编解码标准，它将内容与交互性作为核心，从而为多媒体提供了一个更为广阔的平台。它更多定义的是一种格式和框架，而不是具体的算法，这样人们可以在系统中加入许多新的算法。除了一些压缩工具和算法外，各种各样的多媒体技术如图像分析与合成、计算机视觉、语音合成等也可以充分应用于编码中。

H.261是ITU-T针对可视电话和会议电视、窄带ISDN等要求实时编解码和低延时应用提出的一个编码标准。该标准包含的比特率为p*64Kbit/s，其中p是一个整数，取值范围为1～30，对应比特率为64Kbit/s～92Mbit/s。

6、H.261

H.261标准大体上分为两种编码模式：帧内模式和帧间模式。对于缓和运动的人头肩像，帧间编码模式将占主导位置；而对画面切换频繁或运动剧烈的序列图像，则帧间编码模式要频繁地向帧内编码模式切换。

为了减少信道误码，采用一种叫做BCH（511，493）的纠错编码方式。这种纠错码可以在493比特中自动纠正2比特的错误。按H261规定，源编码器必须具备纠错编码的功能，而纠错编码是选用的。

7、H.263

1995年，ITU-T总结当时国际上视频图像编码的最新进展，针对低比特率视频应用制定了H.263标准，该标准被公认为是以像素为基础的采用第一代编码技术的混合编码方案所能达到的最佳结果。随后几年中，ITU-T又对其进行了多次补充，以提高编码效率，增强编码功能。补充修订的版本有1998年的H263＋，2000年的H263＋＋。H263系列标准特别适合于PSTN网络、无线网络与因特网等环境下的视频传输。
H.263已被几种可视电话采纳为终端标准，如支持PSTN与无线网的H324，支持N-ISDN的H.320，支持B-ISDN的H310等。H263信源编码算法的核心仍然是H261标准中采用的DPCM/DCT混和编码算法，原理框图也和H261十分相似。

8、H.264/AVC

视频压缩国际标准主要有由ITU-T制定的H.261、H.262、H.263、H.264和由MPEG制定的MPEG-1、MPEG-2、MPEG-4，其中H.262/MPEG-2和H.264/MPEG-4 AVC由ITU-T与MPEG联合制定。 从简单来说H.264就是一种视频编码技术，与微软的WMV9都属于同一种技术也就是压缩动态图像数据的“编解码器”程序。 一般来说，如果动态图像数据未经压缩就使用的话，数据量非常大，容易造成通信线路故障及数据存储容量紧张。因此，在发送动态图像时、或者把影像内容保存在DVD上时、以及使用存储介质容量较小的数码相机或相机手机拍摄映像时，就必须使用编解码器。虽然编解码器有许多种类，但DVD-Video与微波数字电视等使用的主要是MPEG2，数码相机等摄像时主要

使用MPEG4。 既然作为压缩视频编码技术，H.264最大的作用对视频的压缩了。我们熟悉的MPEG2也就是最常用的DVD视频编码技术已经比较落后。 对于最希望看到的HDTV的节目如果播放时间在2小时左右的话，使用MPEG2最小只能压缩至30GB，而使用H.264、WMV9这样的高压缩率编解码器，在画质丝毫不降的前提下可压缩到15GB以下。 上面的例子可以看出H.264的技术优势了，一般来说H.264的数据压缩率在MPEG2的2倍以上、MPEG4的1.5倍以上。从理论上来说，在相同画质、相同容量的情况下，可比目前的DVD光盘多保存2倍以上时间的影像。有望作为电影与音乐会等映像内容与便携设备的编解码器广泛使用。预计支持该技术的产品与服务将于2004年内问世。 大家是否都能记得当年的视频解压卡，也就是我们说的DVD/VCD解压缩卡，这个东西的原理很简单，就是板卡上安装了DSP芯片，而这个芯片唯一的功能就是用来针对特殊格式的编码进行解压缩，当后来显卡的性能逐渐增强可以满足视频播放需要的时候，视频解压缩卡也就消失的不见了。 而ATI的做法就是最新的R520 VPU内就包含了H.264解码技术，这种特殊的算法直接交给显卡VPU来运算，而不是完全交给CPU处理，这样就可以解放出CPU进行更多其他复杂的运算。 H.264集中了以往标准的优点，在许多领域都得到突破性进展，使得它获得比以往标准好得多整体性能： － 和H.263+和MPEG-4 SP相比最多可节省50％的码率，使存储容量大大降低； － H.264在不同分辨率、不同码率下都能提供较高的视频质量； － 采用“网络友善”的结构和语法，使其更有利于网络传输。 H.264采用简洁设计,使它比MPEG4更容易推广，更容易在视频会议、视频电话中实现，更容易实现互连互通，可以简便地和G.729等低比特率语音压缩组成一个完整的系统。 MPEG LA吸收MPEG-4的高昂专利费而使它难以推广的教训，MPEG LA制定了以下低廉的H.264收费标准：H.264广播时基本不收费；产品中嵌入H.264编/解码器时，年产量10万台以下不收取费，超过10万台每台收取0.2美元，超过500万台每台收取0.1美元。低廉的专利费使得中国H.264监控产品更容易走向世界。

9、MPEG-7与MPEG-21

MPEG-7是为“多媒体内容描述接口”，是用于信息表示的，PEG-7是“基于语义的表示”。MPEG-7定义了一个描述符标准集，用于描述各种类型的多媒体信息，与之相应的描述方案可以用于规范多媒体描述符的生成和不同描述符之间的有机联系。

这些描述符与指定的多媒体对象的内容紧密联系，采用提取对象特征的方法为实现基于内容和语义的准确检索提供

接口。在此基础上，MPEG-7定义了一种描述定义语言(DDL，Description Definition Language)用于指定和生成描述方案，即希望提出新的视频、音频信息表示方式，它既不同于基于波形和基于压缩的表示方式(如MPEG-1和MPEG-2)，又不同于基于对象的表示方式(MPEG-4)。这一表示方式允许对信息的含义进行一定程度的解释，它可以被一个设备或计算机解码器存取。MPEG-7的目的在于提供一个标准化的核心技，以便描述多媒环境下的视频和音频内容，最终使视频和音频搜集像文本搜集一样简单方便。

MPEG-7可以描述的多媒体对象范围极其广泛，其核心部分DDL语言将充分吸收现有的各种媒体描述语言的特点，以达到对多媒体数据的普遍适应性。MPEG-4中提出的基于对象编码的思想将成为对多媒体数据库中的视频、音频对象进行处理（包括特征提取、压缩编码等）的基本手段。而MPEG-7的多媒体内容描述功能对MPEG-1，MPEG-2，MPEG-4起到性能提高和功能扩展的作用。

最后，MPEG-7将提供内容的描述而不是内容本身，它将不能替代已有的MPEG标准（MPEG-1，MPEG-2，MPEG-4），仅仅是已有3个标准的补充。

正在研制的新标准MPEG-21是一个支持通过异构网络和设备，使用户透明方便地使用多媒体资源的标准，其目的是建立一个交互的多媒体对象，实现多种业务模型，包括对版权和交易的自动管理，对内容使用者隐私的尊重等。




10、其它压缩编码标准

(1).Real Video
Real Video是Real Networks公司开发的在窄带(主要的互联网)上进行多媒体传输的压缩技术。

(2).WMT
WMT是微软公司开发的在互联网上进行媒体传输的视频和音频编码压缩技术，该技术已与WMT服务器与客户机体系结构结合为一个整体，使用MPEG-4标准的一些原理。

(3).QuickTime
QuickTime是一种存储、传输和播放多媒体文件的文件格式和传输体系结构，所存储和传输的多媒体通过多重压缩模式压缩而成，传输是通过RTP协议实现的。
标准化是产业化成功的前提，H.261、H.263推动了电视电话、视频会议的发展。早期的视频服务器产品基本都采用M——JPEG标准，开创视频非线性编辑时代。MPEG-1成功地在中国推动了VCD产业，MPEG-2标准带动了DVD及数字电视等多种消费电子产业，其它MPEG标准的应用也在实施或开发中，Real-Networks的Real Video、微软公司的WMT以及Apple公司的QuickTime带动了网络流媒体的发展，视频压缩编解码标准紧扣应用发展的脉搏，与工业和应用同步。未来是信息化的社会，各种多媒体数据的传输和存储是信息处理的基本问题，因此，可以肯定视频压缩编码标准将发挥越来越大的作用。