电子学会：视频编码技术进展与发展趋势

视频编码技术发展报告

马思伟王诗淇张贤国张新峰余琴高文

1引言

数字图像/视频自上世纪50年代随着信息的数字化发展而出现并兴起，但随之而来的问题是数字化后的图像/视频其数据量急剧增加，远远超过了存储空间和传输带宽的承受能力，给数字视频应用带来了很大的限制。因此，视频压缩成为数字视频领域的核心问题之一，几十年来学术界和工业界都对其进行了长期而又深入的研究，并取得重要进展。

数字视频由在空间和时间上连续采样的离散信号组成，由于采样数据存在着大量的冗余，为压缩提供了可能性。一般将这些冗余归纳为空域冗余、时域冗余和统计冗余三大类。早期的视频压缩技术由于在硬件上受到计算和存储资源的限制，主要是通过统计编码的办法降低数据的统计冗余，比如哈夫曼码、哥伦布码等编码方法。上世纪60年代后期，出现了变换编码技术，即通过将信号从空域变换到频域消除数据在空间上的相关性，从而降低冗余达到压缩的目的，如富立叶变换、哈达码变换等。对于时域冗余，一般使用基于预测的编码方法，亦即预测编码。最早的预测编码系统模型是1952年贝尔实验室Culter[Cult er 52]等人实现的差值脉冲编码调制DPCM(Differential Pulse Code Modulation)系统，其基本思想是不直接对信号进行编码，而是用前一信号对当前信号做出预测，对当前信号与预测值的差值进行编码传送。同年Oliver[Oliver 52]和Harrison[Harrison

52]将DPCM技术应用到视频编码中进行空域的相邻像素预测编码。1969年，运动补偿预测技术使得预测编码性能获得极大的改进，至70年代中期，预测编码开始与变换编码结合起来使用，到80年代已形成了经典的预测/变换混合编码框架，这一编码框架后来广泛应用于MPEG和H.26x系列编码标准，直至今天的新一代HEVC/H.265国际标准也是基于这一框架。

预测/变换编码技术主要是从信号处理的角度对视频信号进行去相关去冗余处理，以峰值信噪比和码率节省等客观指标衡量压缩效率，而人作为观看者会给出最直接也是最终的视频质量评价。在人观看视频的过程中，人眼的视觉特性是影响视频质量评价的决定性因素。基于这一点，研究者在进行信号处理压

缩研究的同时提出了基于视觉特性的视频压缩方法，比如早在1959年，Schreibe r等提出一种称为“Synthetic Highs”的编码方法[Schreiber 59]，即在编码时将图像内容分为纹理和边缘两类，针对纹理采用统计的方法进行编码，而对边缘信息采用视觉模型编码方法。这方面的后续研究还有基于轮廓或分割的编码、基于对象的编码、纹理分析合成编码、视觉编码等等，一般可以统一归类为广义上的基于模型的编码。

在本报告的第二节中我们将对以上两种类型编码技术的发展历程进行简单介绍，并针对预测/变换编码框架介绍国际/国内标准的情况，此外还对与应用密切相关的编码技术，如多视/立体视频编码、可伸缩编码、分布式编码、容错编码等，进行了简单介绍。本报告的第三节主要是对视频编码技术的近期进展进行介绍，包括以HEVC/H.265为代表的混合框架编码技术，3DV立体视频编码技术，基于视觉特性的编码，以及监控视频压缩、屏幕视频压缩等新兴应用相关的视频编码技术。

2视频编码技术发展历程

2.1.基于预测/变换框架的传统编码技术

图1给出了视频编码关键技术出现的历史顺序，C. Reader在其论述“History of MPEG”中对以往视频编码技术的发展历程进行了很好的归纳和总结[Reader 02]。这些技术在发展过程中逐渐融合，形成了以块为单位的预测/变换的混合

编码框架，成为当今国际、国内编码标准普遍采用的技术框架，主要包括预测、变换、熵编码等关键技术，下面简要介绍其发展历程。

图1. 视频编码技术发展时间轴[Reader 02]

2.1.1.预测编码

预测编码即利用信号间的相关性，用前面一个或多个信号作为当前信号的

预测值，对当前信号的实际值与预测值的差进行编码。预测技术在视频编码中有着重要的应用，在现代视频编码中包括帧内预测技术和帧间预测技术两种，分别用于消除空域冗余及时域冗余。

Harrison在1952年首先对帧内预测技术进行了研究，其方法是用已编码像素的加权和作为当前像素的预测值[Harrison

52]，研究中比较了一维(同一行内像素)DPCM技术及二维(多行内的相邻像素)D PCM技术的性能。在现代视频编码中，采用了基于块的帧内预测技术，这主要是考虑到与基于块的变换量化技术的统一以及实现代价。基于块的帧内预测技术在现代视频编码标准中的应用有MPEG-4标准中相邻块的频域系数预测，如D C预测及AC预测，H.264/A VC以及A VS标准中的多方向空间预测技术。

Seyler在1962年发表的关于帧间预测编码的研究论文[Seyler

62]奠定了现代帧间预测编码的基础。他提出视频序列相邻帧间存在很强的相关性，因此对视频序列编码只需编码相邻帧间的差异，并指出相邻帧间的差异是由于物体的移动、摄像机镜头的摇动及场景切换等造成的。在此之后，帧间预测技术的发展经历了条件更新(Conditional Replenishment)[Mounts 69]、3D-DPCM[Candy 71]、基于像素的运动补偿[Netravali 79]等几个阶段，最终从有效性及可实现性两方面综合考虑，确定了基于块的运动补偿[Koga

81]方案。现代视频编码系统都采用了基于块运动补偿的帧间预测技术，用于消除时域冗余。

为了提高帧间预测的精度，基于块的运动补偿方案又从多个方面进行了完善。在MPEG-1标准制定过程中发展出了双向预测技术[Thomas

87]，即当前帧的预测值可以同时从前向参考帧和后向参考帧获得。双向预测技术可以解决新出现区域的有效预测问题，并能够通过前后向预测值的平均来有效去除帧间噪声。在H.264/A VC标准中，可支持的帧间预测结构更加灵活，如

层次B帧(Hierarchical B-picture)预测结构[Reichel 04] [Flierl 03]，在此结构下，可以根据参考帧的层级关系来进行更优的比特分配，从而提高整体编码效率。在预测精度上，从整像素预测到1/2像素预测以及1/4像素预测，编码效率分别提高了2dB以及1dB左右。在预测块尺寸及预测模式上，16×16