视频编码国际标准共120页文档
H.266VVC新一代通用视频编码国际标准
第４１卷第２期２０２１年４月㊀南京邮电大学学报（自然科学版）ＪｏｕｒｎａｌｏｆＮａｎｊｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＰｏｓｔｓａｎｄＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ（ＮａｔｕｒａｌＳｃｉｅｎｃｅＥｄｉｔｉｏｎ）㊀Ｖｏｌ．４１Ｎｏ．２Ａｐｒ ２０２１ｄｏｉ：１０．１４１３２／ｊ．ｃｎｋｉ．１６７３⁃５４３９．２０２１．０２．００１Ｈ．２６６／ＶＶＣ：新一代通用视频编码国际标准朱秀昌，唐贵进（南京邮电大学江苏省图像处理与图像通信重点实验室，江苏南京㊀２１０００３）摘要：在２０１３年制定的Ｈ．２６５／ＨＥＶＣ视频编码标准获得成功后，新一代视频编码国际标准Ｈ．２６６／ＶＶＣ在ＩＴＵ⁃Ｔ的ＶＣＥＧ和ＩＳＯ／ＩＥＣ的ＭＰＥＧ通力合作下已于２０２０年７月完成㊂尽管ＶＶＣ视频编码层的结构仍然是传统的基于块的混合视频编码模式，但ＶＶＣ提供了多项先进的视频编码工具，较先前的ＨＥＶＣ标准，其压缩率大约提高了一倍㊂文中主要对ＶＶＣ标准中新编码技术的特点和性能进行综述㊂关键词：Ｈ．２６６／ＶＶＣ；ＨＥＶＣ；视频编码标准；联合视频专家组；视频压缩中图分类号：ＴＮ９１９．８㊀㊀文献标志码：Ａ㊀㊀文章编号：１６７３⁃５４３９（２０２１）０２⁃０００１⁃１１Ｈ．２６６／ＶＶＣ：ｖｅｒｓａｔｉｌｅｖｉｄｅｏｃｏｄｉｎｇｉｎｔｅｒｎａｔｉｏｎａｌｓｔａｎｄａｒｄＺＨＵＸｉｕｃｈａｎｇ，ＴＡＮＧＧｕｉｊｉｎＪｉａｎｇｓｕＰｒｏｖｉｎｃｅＫｅｙＬａｂｏｎＩｍａｇｅＰｒｏｃｅｓｓｉｎｇ＆ＩｍａｇｅＣｏｍｍｕｎｉｃａｔｉｏｎ，ＮａｎｊｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＰｏｓｔｓａｎｄＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ，Ｎａｎｊｉｎｇ２１０００３，Ｃｈｉｎａ()Ａｂｓｔｒａｃｔ：ＡｆｔｅｒｔｈｅｐｒｏｆｏｕｎｄｓｕｃｃｅｓｓｏｆｄｅｆｉｎｉｎｇＨ．２６５／ＨＥＶＣｖｉｄｅｏｃｏｄｉｎｇｓｔａｎｄａｒｄｉｎ２０１３，ｔｈｅｎｅｗｇｅｎｅｒａｔｉｏｎｖｉｄｅｏｃｏｄｉｎｇｉｎｔｅｒｎａｔｉｏｎａｌｓｔａｎｄａｒｄＨ．２６６／ＶＶＣｗａｓｃｏｌｌａｂｏｒａｔｉｖｅｌｙｆｉｎａｌｉｚｅｄｉｎＪｕｌｙ２０２０ｂｙｂｏｔｈｔｈｅＩＴＵ⁃ＴＶＣＥＧａｎｄＩＳＯ／ＩＥＣＭＰＥＧｏｒｇａｎｉｚａｔｉｏｎｓ．ＡｌｔｈｏｕｇｈｔｈｅｓｔｒｕｃｔｕｒｅｏｆＶＶＣｖｉｄｅｏｃｏｄｉｎｇｌａｙｅｒｉｓｃｏｎｖｅｎｔｉｏｎａｌｂｌｏｃｋ⁃ｂａｓｅｄｈｙｂｒｉｄｖｉｄｅｏｃｏｄｉｎｇｆｒａｍｅｗｏｒｋ，ＶＶＣｓｔｉｌｌｏｆｆｅｒｓｓｅｖｅｒａｌａｄｖａｎｃｅｄｖｉｄｅｏｃｏｄｉｎｇｔｏｏｌｓｃｏｍｐａｒｅｄｗｉｔｈｐｒｅｖｉｏｕｓｓｔａｎｄａｒｄｓ．Ｔｈｕｓ，ｔｈｅｃｏｍｐｒｅｓｓｉｏｎｒａｔｅｏｆＶＶＣｉｓａｂｏｕｔｄｏｕｂｌｅｔｈａｔｏｆＨＥＶＣ．Ｆｉｎａｌｌｙ，ｔｈｅｔｅｃｈｎｉｃａｌｆｅａｔｕｒｅｓａｎｄｃｈａｒａｃｔｅｒｉｓｔｉｃｓｏｆｔｈｅＶＶＣｓｔａｎｄａｒｄａｒｅｓｕｍｍａｒｉｚｅｄ．Ｋｅｙｗｏｒｄｓ：Ｈ．２６６／ＶＶＣ；ＨＥＶＣ；ｖｉｄｅｏｃｏｄｉｎｇｓｔａｎｄａｒｄｓ；ＪＶＥＴ；ｖｉｄｅｏｃｏｍｐｒｅｓｓｉｏｎ收稿日期：２０２１⁃０３⁃０４㊀㊀本刊网址：ｈｔｔｐ：ʊｎｙｚｒ．ｎｊｕｐｔ．ｅｄｕ．ｃｎ作者简介：朱秀昌，男，教授，博士生导师，ｚｈｕｘｃ＠ｎｊｕｐｔ．ｅｄｕ．ｃｎ引用本文：朱秀昌，唐贵进．Ｈ．２６６／ＶＶＣ：新一代通用视频编码国际标准［Ｊ］．南京邮电大学学报（自然科学版），２０２１，４１（２）：１－１１．㊀㊀视频信息压缩技术在过去３０余年以来的一系列视频编码国际标准中得到充分的体现㊂从２０世纪９０年代初的第一代视频编码标准Ｈ．２６１／ＭＰＥＧ⁃１［１］㊁Ｈ．２６２／ＭＰＥＧ⁃２起，到第二代视频编码标准Ｈ ２６４／ＡＶＣ［２］，第三代视频编码标准Ｈ．２６５／ＨＥＶＣ［３－４］，每进化一代视频压缩的效率都大致提高一倍㊂ＨＥＶＣ第一版２０１３年发布７年后的今天，经两大国际标准化组织ＩＴＵ⁃Ｔ和ＩＳＯ／ＩＥＣ的有关部门通力合作，又完成了第四代视频编码标准，简称通用视频编码（ＶｅｒｓａｔｉｌｅＶｉｄｅｏＣｏｄｉｎｇ，ＶＶＣ）标准，已于２０２０年７月发布第一版，其正式名称在ＩＴＵ⁃Ｔ为Ｈ ２６６，在ＩＳＯ／ＩＥＣ为ＶＶＣ（２３０９０⁃３）［５］㊂ＶＶＣ比ＨＥＶＣ可以提高大约一倍的编码效率，也就是说编码相同可视质量的视频内容，大约只需要ＨＥＶＣ的５０％的比特，ＡＶＣ的２５％的比特㊂ＶＶＣ的出现能够减轻世界网络的负担，因为目前视频流量已经占到互联网流量的８０％左右，还有上升的趋势㊂此外，将 通用 （Ｖｅｒｓａｔｉｌｉｔｙ）这个词用作这个标准的标题，说明ＶＶＣ的目标是支持多种类型的网络视频应用，如超高清视频㊁高动态范围视频㊁ＶＲ（ＶｉｒｔｕａｌＲｅａｌｉｔｙ）视频㊁３６０ʎ全景视频及屏幕内容等［６］㊂ＶＶＣ中的编码算法没有根本性的改进措施，它的技术手段和前面几代视频编码标准基本类似，仍然是在基于块的混合编码框架内，但几乎对编码的每个环节都进行了改进，挤压尚未除尽的信息冗余，达到总体编码效率提高一倍的要求㊂从ＩＴＵ⁃Ｔ和ＩＳＯ／ＩＥＴ联合制定视频标准Ｈ ２６２／ＭＰＥＧ⁃２于１９９４年推出开始，历经Ｈ．２６４／ＡＶＣ㊁Ｈ．２６５／ＨＥＶＣ，到如今的Ｈ．２６６／ＶＶＣ，ＶＣＥＧ和ＭＰＥＧ的一个矢志不渝的目标为 减半 ，即每推出新一代标准都要求码率减半㊂以此算来，压缩同样的视频内容，在同样的解码视频质量的要求下，ＶＶＣ的码率只有ＭＰＥＧ⁃２的１／８㊂２０１５年１０月，ＩＴＵ⁃Ｔ的ＶＣＥＧ和ＩＳＯ／ＩＥＣ的ＭＰＥＧ成立了联合视频探索小组（ＪｏｉｎｔＶｉｄｅｏＥｘｐｌｏｒａｔｉｏｎＴｅａｍ，ＪＶＥＴ），面向全球征集提案㊂２０１８年，新一代视频编码标准化工作正式开始，在同年ＪＶＥＴ的第１０次会议上，联合视频探索小组正式更名为联合视频专家组（ＪｏｉｎｔＶｉｄｅｏＥｘｐｅｒｔｓＴｅａｍ，ＪＶＥＴ），简称仍然是ＪＶＥＴ，并决定将下一代视频编码标准正式命名为ＶＶＣ，在ＩＴＵ⁃Ｔ登记为Ｈ．２６６，在ＩＳＯ／ＩＥＣ登记为２３０９０⁃３［６］㊂ＶＶＣ标准对应的参考软件平台为ＶＴＭ（ＶＶＣＴｅｓｔＭｏｄｅｌ）［７］，目前最新版本是ＶＴＭ１１．２㊂制定ＶＶＣ有两个基本目标，其一为高压缩性能，定义一套视频编码技术，其压缩性能要远优于以往的同类标准；其二为宽应用领域，能够有效地用于比先前标准更广阔的范围㊂ＶＶＣ标准面向多种应用，如高清㊁超高清视频（ＵｌｔｒａＨｉｇｈＤｅｆｉｎｉｔｉｏｎＶｉｄｅｏ，ＵＨＤＶ），它们具有３８４０ˑ２１６０或７６２０ˑ４３２０图像分辨率，１０比特精度，高动态范围（ＨｉｇｈＤｙｎａｍｉｃＲａｎｇｅ，ＨＤＲ）和宽彩色ｇａｍｕｔ；再如沉浸式媒体（ＩｍｍｅｒｓｉｖｅＭｅｄｉａ），使用普通投影格式所投影的３６０ʎ全景视频（ＯｍｎｉｄｉｒｅｃｔｉｏｎａｌＶｉｄｅｏ）等㊂当然，ＶＶＣ同样支持先前标准中所设置的那些应用㊂本文后续部分将主要介绍ＶＣＣ所提供的新编码工具㊂从第１节到第６节共６个部分基本按照编码过程来介绍，包括图像分块㊁预测㊁变换㊁量化㊁熵编码和环路滤波等环节㊂最后是对ＶＶＣ现有成果的小结，对其后续工作和应用前景的简单说明㊂１㊀图像划分如图１所示，ＶＶＣ在编码原理和基本结构方面没有突破，仍沿用从Ｈ．２６１就开始的基于块的混合视频编码框架，即预测加变换的分块编码方式；ＶＶＣ在编码细节上和ＨＥＶＣ很接近，也包含帧内预测㊁帧间预测㊁运动估计与补偿㊁正交变换㊁量化㊁熵编码和环路滤波等模块㊂但是，和ＨＥＶＣ相比较，ＶＶＣ几乎在每一个编码环节上都采取了一项或多项改进措施，尽管每一项措施的效率提高并不显著，然而诸多措施的总体效果确使其编码效率比ＨＥＶＣ提高了一倍㊂当然，ＶＶＣ付出的代价就是编码复杂度也比ＨＥＶＣ提高了好几倍㊂图１㊀Ｈ．２６６／ＶＶＣ编码框图１．１㊀３种编码结构ＶＶＣ与ＨＥＶＣ一样，为了应对不同应用场合，设立了３种编码结构，即全帧内（ＡｌｌＩｎｔｒａ，ＡＩ）编码㊁低延迟（ＬｏｗＤｅｌａｙ，ＬＤ）编码和随机接入（ＲａｎｄｏｍＡｃｃｅｓｓ，ＲＡ）编码㊂在ＡＩ编码中，每一帧图像都是按帧内方式进行空间域预测编码，不使用时间参考帧㊂在ＬＤ编码中，只有第一帧图像按照帧内方式进行编码，并成为即时解码更新（ＩｎｓｔａｎｔａｎｅｏｕｓＤｅｃｏｄｉｎｇＲｅｆｒｅｓｈ，ＩＤＲ）帧，随后的各帧都作为普通Ｐ和Ｂ帧（ＧｅｎｅｒａｌｉｚｅｄＰａｎｄＢＰｉｃｔｕｒｅ，ＧＰＢ）进行编码，这主要是为交互式实时通信设计的㊂在ＲＡ编码中，主要是分层Ｂ帧结构（ＨｉｅｒａｒｃｈｉｃａｌＢＳｔｒｕｃｔｕｒｅ）帧，周期性地插入一廋随机访问（ＣｌｅａｎＲａｎｄｏｍＡｃｃｅｓｓ，ＣＲＡ）帧，成为编码视频流中的随机访问点（ＲａｎｄｏｍＡｃｃｅｓｓＰｏｉｎｔ，ＲＡＰ）㊂这些随机访问点可以独立解码，不需要参考码流中前面已经解码的图像帧㊂１．２㊀图像的条／片／子图像划分ＶＶＣ在编码时将每一帧图像都划分为相同尺寸㊁紧密排列的编码树单元（ＣｏｄｉｎｇＴｒｅｅＵｎｉｔ，ＣＴＵ），根据编码图像局部特征的不同，编码树单元又可以灵活地划分为更小的编码单元（ＣｏｄｉｎｇＵｎｉｔ，ＣＵ）㊂和ＨＥＶＣ基本相同，ＶＶＣ允许将图像帧划分为若干条（Ｓｌｉｃｅ），条由相邻的整数个ＣＴＵ组成㊂ＶＶＣ支持两种排列类型的Ｓｌｉｃｅ，顺序扫描Ｓｌｉｃｅ模式和矩２南京邮电大学学报（自然科学版）㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀２０２１年形Ｓｌｉｃｅ模式㊂ＶＶＣ中也允许用水平和垂直的若干条边界将图像帧划分为多个矩形区域，每个区域就是一个片（Ｔｉｌｅ），每一个片包含整数个ＣＴＵ㊂ＶＶＣ的Ｓｌｉｃｅ和Ｔｉｌｅ大体上和ＨＥＶＣ一致㊂和ＨＥＶＣ不同，ＶＶＣ还新增了矩形的子图像（Ｓｕｂｐｉｃｔｕｒｅ）划分［５］㊂一个子图像可包含一个或多个Ｓｌｉｃｅｓ，这些Ｓｌｉｃｅｓ共同覆盖图像的一个矩形区域㊂相应地，每个子图像的边界总是Ｓｌｉｃｅ的边界㊂图２是包含Ｓｕｐｐｉｃｔｕｒｅ的划分一例，一帧图像被划分为１８个Ｔｉｌｅｓ，其中１２个较大的Ｔｉｌｅｓ在左边，每个Ｔｉｌｅ覆盖一个４ˑ４ＣＴＵ的Ｓｌｉｃｅ；其余的６个较小的Ｔｉｌｅｓ在右边，每个覆盖２个２ˑ２ＣＴＵ的Ｓｌｉｃｅｓ，这样总共形成２４个Ｓｌｉｃｅｓ和２４个子图像（每个Ｓｌｉｃｅ就是一个子图像）㊂图２㊀包含ｓｕｂｐｉｃｔｕｒｅ的划分一例１．３㊀ＣＴＵ的多类型树划分在ＶＶＣ中为了适应４Ｋ㊁８Ｋ等高清㊁超高清视频编码的需要，将ＣＴＵ的最大尺寸扩大到１２８ˑ１２８，最小尺寸还是４ˑ４㊂ＣＴＵ可进一步分为若干编码单元（ＣＵ），最大的ＣＵ可等同于ＣＴＵ，最小的ＣＵ为４ˑ４㊂在ＨＥＶＣ中每个ＣＵ又可以划分为预测单元（ＰｒｅｄｉｃｔｉｏｎＵｎｉｔ，ＰＵ）和变换单元（ＴｒａｎｓｆｏｒｍＵｎｉｔ，ＴＵ），但在ＶＶＣ中将不再区分ＣＵ㊁ＰＵ和ＴＵ，大多数情况下三者统一为ＣＵ㊂不同于ＨＥＶＣ，ＶＶＣ的ＣＴＵ除了４叉树划分方式外，还引进了多类型树（Ｍｕｌｔｉ⁃ＴｙｐｅＴｒｅｅ，ＭＴＴ）划分，包括２叉树（ＢｉｎａｒｙＴｒｅｅ，ＢＴ）和３叉树（ＴｅｒｎａｒｙＴｒｅｅ，ＴＴ）［８］㊂一个ＣＴＵ首先按４叉树方式进行一次划分，４叉树的每个叶子节点既可以继续４叉树划分，也可以进一步按照多类型树方式进行划分：水平或垂直２叉树划分，水平或垂直３叉树划分，如图３所示㊂２叉树和３叉树划分可以交替并嵌套进行㊂但是需要注意，一旦采用了２叉树或者３叉树划分，就不再允许进行４叉树划分㊂图４中给出了一个６４ˑ６４的ＣＴＵ的４叉树和嵌套多类型树划分的示例，这种划分方式可以根据图像内容自适应进行，提升了划分灵活性㊂图３㊀多类型树划分模式图４㊀４叉树和嵌套多类型树划分示例前面介绍的是亮度ＣＴＵ的ＭＴＴ划分，对于图像的色度部分，考虑到同一位置的亮度和色度信号可能具有的不同特性，因而在ＶＶＣ中，Ｉ帧ＣＴＵ的亮度分量和色度分量的划分方式可以不同，这时亮度和色度分量各使用一个编码树表示㊂对于Ｐ帧和Ｂ帧，则同一个ＣＴＵ中的亮度和色度必须有相同的划分㊂由于色度信号的亚取样影响，色度信号在单独划分时禁止出现２ˑ２㊁２ˑ４或４ˑ２尺寸的色度块㊂至此可以看到，图像划分从单一㊁固定划分不断朝着多样㊁灵活的划分结构发展㊂１．４㊀图像格式对于输入视频和重建视频，ＶＶＣ支持ＩＴＵ⁃ＲＢＴ．６０１建议规定的４ʒ４ʒ４㊁４ʒ２ʒ２和４ʒ２ʒ０图像亮度（Ｙ）和色度（Ｃｂ和Ｃｒ）信号的取样结构；支持的ＩＴＵ⁃ＲＢＴ．２１００的宽色彩空间；最少支持１６级高动态范围（ＨＤＲ）视频，最高亮度可达１０００／４０００／１００００尼特㊂像素的最大比特数表示图像灰度分辨率，又称为比特深度（ＢｉｔＤｅｐｔｈ），其值通常为８比特，２５６个等级㊂这对于人眼的观赏已经足够了，但是对于编码处理或某些特殊应用场合，有时需要更高的比特深度㊂为此，ＶＶＣ支持８至１６比特深度的输入和输出视频，最常见是１０比特深度㊂ＶＶＣ支持视频的０ １２０Ｈｚ可变帧率，以适应不同视频应用的需求㊂支持环绕立体视频或多角度视频编码，如３６０ʎ㊁１８０ʎ等全景视频㊂３第２期朱秀昌，等：Ｈ．２６６／ＶＶＣ：新一代通用视频编码国际标准至于尚存的隔行扫描（ＩｎｔｅｒｌａｃｅｄＳｃａｎｎｉｎｇ）视频，ＶＶＣ和ＨＥＶＣ一样，不再提供专门的工具，只是将隔行视频的一帧看作两个独立的场，对各个场数据分别进行编码，简化了编码器的实现㊂１．５㊀档次㊁水平和等级为了提供应用的灵活性，和ＨＥＶＣ一样，ＶＶＣ在附录Ａ中定义了编码的不同的档次（Ｐｒｏｆｉｌｅ）㊁水平（Ｌｅｖｅｌ）和等级（Ｔｉｅｒ）［５］㊂档次 规定了视频编码采用什么编码工具和编码算法㊂ＶＶＣ档次规定了一套用于产生不同用途码流的编码工具或算法，共有４个主档次，即常规１０比特像素深度的Ｍａｉｎ１０，支持静止图像的Ｍａｉｎ１０ＳｔｉｌｌＰｉｃｔｕｒｅ，支持全取样的Ｍａｉｎ１０４ʒ４ʒ４，支持全取样静止图像的Ｍａｉｎ１０４ʒ４ʒ４ＳｔｉｌｌＰｉｃｔｕｒｅ㊂２个多层主档次，ＭｕｌｔｉｌａｙｅｒＭａｉｎ１０和ＭｕｌｔｉｌａｙｅｒＭａｉｎ１０４ʒ４ʒ４㊂档次的主要技术指标包括：像素的比特深度㊁色度采样方式和解码缓存的图像容量等㊂水平 规定了某一档次㊁等级的编码参数，如采样率㊁码率㊁压缩率㊁缓冲区容量等㊂ＶＶＣ设置了１．０，２．０，２．１，３．０，３．１，４．０，４．１，５．０，５．１，５．２，６．０，６．１，６．２共１３个水平，一个水平实际上就是一套对编码比特流的一系列编码参数的限制，如视频采样格式㊁图像分辨率（如从１７６ˑ１４４到８１９２ˑ４３２０）㊁最大输出码率等㊂如果说一个解码器具备解某一水平码流的能力，则意味着该解码器具有解码等于和低于这一水平所有码流的能力㊂等级 规定了每一水平的比特率的高低㊂对同一水平，按照最大码率和缓存容量要求的不同，ＶＶＣ设置了两个等级，高等级（ＨｉｇｈＴｉｅｒ）和主等级（ＭａｉｎＴｉｅｒ）㊂主等级可用于大多数场合，要求码率较低；高等级可用于有特殊要求的场合，包括５．０到６．２的６个水平，允许码率较高㊂２㊀帧内预测２．１㊀亮度分量的预测模式ＶＶＣ的帧内预测技术［９］的原理和ＨＥＶＣ类似，采用基于块的多方向帧内预测方式来消除图像的空间相关性，但是比ＨＥＶＣ预测方向更细㊁更灵活㊂如图５所示，ＶＶＣ为亮度预测块定义了６５种不同的基本帧内预测方向，相当于在ＨＥＶＣ帧内预测３３个方向的每两个方向中间增加一个方向，连同平面（Ｐｌａｎａｒ）和直流（ＤＣ）模式，共６７种预测模式㊂ＶＶＣ亮度帧内预测单元的尺寸从４ˑ４到６４ˑ６４，其中包含矩形单元㊂考虑到方便矩形帧内预测块的宽角度（Ｗｉｄｅ⁃Ａｎｇｌｅ）模式，ＶＶＣ的帧内预测在６５种方向的基础上分别增加了－１到－１４和６７到８０方向，共２８个方向，这样ＶＶＣ帧内预测编码总共有９３个方向㊂图５㊀帧内预测方向ＤＣ模式的编码块所有像素的预测值都等于其左侧和上方已编码的所有参考像素的平均值㊂Ｐｌａｎａｒ模式的预测值由待编码的亮度块的水平和垂直两个方向上的参考像素的线性内插产生，它们一般适用于图像的平坦区域㊂２．２㊀帧内子块划分ＶＶＣ的帧内子块划分（ＩｎｔｒａＳｕｂ⁃Ｐａｒｔｉｔｉｏｎｓ，ＩＳＰ）就是根据编码块的尺寸将亮度预测块在水平或垂直方向上分为２个或４个子块㊂ＶＶＣ规定每个帧内预测块至少要有１６个样点，因此４ˑ４块不再划分㊂允许ＩＳＰ划分的最小块尺寸是４ˑ８或８ˑ４，可划分为２个子块，如图６（ａ）所示；如果大于４ˑ８或８ˑ４则划分为４个子块，如图６（ｂ）所示㊂图６㊀帧内子块划分２．３㊀色度的跨分量线性模式ＨＥＶＣ色度块采用依附亮度块的简化预测，共有５种模式，即Ｐｌａｎａｒ㊁ＤＣ㊁水平方向㊁垂直方向和派生模式（ＤｅｒｉｖｅｄＭｏｄｅ，ＤＭ），ＤＭ直接复制对应亮度块的预测模式㊂ＶＶＣ色度分量除了沿用这５种预４南京邮电大学学报（自然科学版）㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀２０２１年测模式外，还考虑到亮度和色度之间的相关性，对色度分量增加了一种跨分量线性模型（Ｃｒｏｓｓ⁃ＣｏｍｐｏｎｅｎｔＬｉｎｅａｒＭｏｄｅｌ，ＣＣＬＭ）预测模式㊂在ＣＣＬＭ中，色度样值Ｃ（ｉ，ｊ）从同一个编码单元对应的已重建的亮度样值Ｌᶄ（ｉ，ｊ）通过线性模型预测得到，即Ｃ（ｉ，ｊ）＝α㊃Ｌᶄ（ｉ，ｊ）＋β，α和β为ＣＣＬＭ参数，可利用当前块左侧和上方相邻的像素通过计算得到㊂此外，还有单独使用左侧相邻像素预测的ＬＭ＿Ｌ模式；或者上方相邻像素预测的ＬＭ＿Ａ模式㊂这样，色度分量在５种传统帧内预测模式的基础上，新增了ＣＣＬＭ㊁ＬＭ＿Ａ和ＬＭ＿Ｌ三种模式，共有８种预测模式㊂２．４㊀多行参考帧内预测传统的帧内预测利用和当前块紧相邻的行和列的像素作为参考像素㊂如果当前块和参考行在内容上不连续，可能会导致较大的预测误差，为此ＶＶＣ新增了多行参考（ＭｕｌｔｉｐｌｅＲｅｆｅｒｅｎｃｅＬｉｎｅ，ＭＲＬ）帧内预测技术，将参考行从相邻参考行０扩展为参考行０㊁参考行１和参考行３［９－１０］㊂实际预测时从３行中选择预测误差最小的参考行作为最终预测使用的最佳参考行，如图７所示㊂图７中Ａ和Ｆ区域的已重建像素与当前块距离较远，有可能引入较大的误差，因此Ａ区域的像素由Ｂ区域距离最近的像素填充，Ｆ区域的像素由Ｅ区域距离最近的像素填充㊂图７㊀多行参考方式２．５㊀帧内预测模式的编码帧内预测时，编码器需要从多种预测模式中选择一种最佳模式使得编码效率最优㊂如果直接对预测模式信息进行编码，需要较多的编码比特㊂考虑到相邻块之间的帧内预测模式也存在空间相关性，即当前块的预测模式很有可能与相邻块的预模式一致，因此可以从相邻块的模式来预测当前块最可能的模式（ＭｏｓｔＰｒｏｂａｂｌｅＭｏｄｅ，ＭＰＭ）［１１］㊂当前块的预测模式被划分为ＭＰＭ和其余模式，然后对这两类模式分别编码，以提升编码效率㊂３㊀变换和量化视频压缩中的变换是将空间域的图像信号转换到频率域，大幅度解除了图像信号之间的相关性，为后续的量化压缩创造条件㊂因此，选择何种变换函数和采用什么量化方法就显得分外重要［１２－１３］㊂在ＨＥＶＣ中，对帧内预测生成的４ˑ４亮度残差块采用离散正弦变换（ＤｉｓｃｒｅｔｅＳｉｎｅＴｒａｎｓｆｏｒｍ，ＤＳＴ）方式，对于其他的残差块，则使用离散余弦变换（ＤｉｓｃｒｅｔｅＣｏｓｉｎｅＴｒａｎｓｆｏｒｍ，ＤＣＴ）方式㊂通过残差４叉树（ＲｅｓｉｄｕａｌＱｕａｄＴｒｅｅ，ＲＱＴ）对变换块系数进行排序和量化㊂与ＨＥＶＣ不同，ＶＶＣ为了提高压缩性能，在变换环节提供了更多可供选择的变换函数和不可分离的二次变换，在量化环节采用了基于率失真优化的量化方式和简洁的系数排序方式㊂３．１㊀多变换选择ＶＶＣ将最大变块换尺寸扩展到６４ˑ６４，在ＨＥＶＣ的ＤＣＴ⁃２变换基础上，采用了多变换选择（ＭｕｌｔｉｐｌｅＴｒａｎｓｆｏｒｍＳｅｌｅｃｔｉｏｎ，ＭＴＳ）技术，增加了ＤＳＴ⁃７和ＤＣＴ⁃８两种变换函数，形成一组候选变换函数集，成为ＶＶＣ中的主变换（ＰｒｉｍａｒｙＴｒａｎｓｆｏｒｍ）㊂对于长或宽等于６４的大尺寸变换块，直接舍弃高频变换系数，仅保留低频变换系数㊂例如，对于长宽为ＭˑＮ的块，若Ｍ等于６４，只保留左边３２列系数，若Ｎ等于６４，只保留上方３２行系数㊂针对帧间预测的ＣＵ，ＶＶＣ还采用了子块变换（Ｓｕｂ⁃ＢｌｏｃｋＴｒａｎｓｆｏｒｍ，ＳＢＴ）技术㊂ＳＢＴ假设帧间预测残差分布的局部性，仅分布在残差块的局部１／２或１／４区域，从而降低变换系数的高频分量，减少标记残差块是否为０的编码代价，提高压缩性能㊂对不同的预测方式，编码器可以根据哪一种变换的编码效率最高来选择不同的变换方式㊂３．２㊀二次变换由于不可分离变换比可分离变换具有更好的去相关效果，ＶＶＣ采用了基于归零（Ｚｅｒｏ⁃Ｏｕｔ）的不可分离二次变换（Ｎｏｎ⁃ＳｅｐａｒａｂｌｅＳｅｃｏｎｄａｒｙＴｒａｎｓｆｏｒｍ，ＮＳＳＴ）技术㊂所谓二次变换，就是对主变换系数进行第二次变换，将信号从一个变换域转换至另外一个变换域后再进行量化㊁熵编码等操作，其目的是进一步提高变换效率㊂ＡＶＣ和ＨＥＶＣ都提供了自己的二次变换技术㊂ＶＶＣ采用了ＮＳＳＴ技术对高频系数采用归零方案，也就是仅保留二次变换的低频系数，高频系数假设为０，ＮＳＳＴ也因此被称作低频不５第２期朱秀昌，等：Ｈ．２６６／ＶＶＣ：新一代通用视频编码国际标准可分离二次变换（ＬｏｗＦｒｅｑｕｅｎｃｙＮｏｎ⁃ｓｅｐａｒａｂｌｅＳｅｃｏｎｄａｒｙＴｒａｎｓｆｏｒｍ，ＬＦＮＳＴ）㊂ＬＦＮＳＴ仅用于帧内编码的块，其变换集的选择与帧内预测模式有关㊂以１６ˑ１６预测残差块为例，仅对左上角的３个４ˑ４子块所包含的变换系数（拉成４８ˑ１的数据条）进行二次变换，因此一个ＬＦＮＳＴ变换核的大小为１６ˑ４８，变换的结果为１６个系数㊂３．３㊀率失真优化的量化普通量化是以量化失真最小为设计目标，但在视频编码中，编码比特率的高低也是非常重要的判断指标，两者并不完全一致㊂因此视频编码中的量化器设计需要权衡失真与比特率㊂对于一个变换系数，给出多个可选的量化值，用率失真优化准则选出最优的量化值，这就是率失真优化量化（ＲａｔｅＤｉｓｔｏｒｔｉｏｎＯｐｔｉｍｉｚｅｄＱｕａｎｔｉｚａｔｉｏｎ，ＲＤＯＱ）方法㊂ＶＶＣ在ＲＤＯＱ量化时，需遍历编码块内系数㊂如果当前ＣＵ每一个４ˑ４系数组（ＣｏｅｆｆｉｃｉｅｎｔＧｒｏｕｐ，ＣＧ）量化后是全零ＣＧ，那么只需发送全零标志；否则，需要传送ＣＧ中量化后的系数㊂和ＨＥＶＣ一样，ＶＶＣ也是标量量化方式，但最大量化参数（ＱＰ）从５１扩大为６３㊂ＶＶＣ采用了一种依赖性标量量化（ＤｅｐｅｎｄｅｎｔＳｃａｌａｒＱｕａｎｔｉｚａｔｉｏｎ，ＤＳＱ）方法，它定义了两个不同重建水平的标量量化器，系数的量化按照一定的规则自适应地在这两个标量量化器间转换㊂其本质在于，在同一个量化间隔中有两个输出量化值供选择，可以降低量化误差㊂与ＨＥＶＣ相同，ＶＶＣ也支持默认量化矩阵和用户自定义量化矩阵㊂使用量化矩阵的目的是对不同位置的系数采用不同的量化步长，以适应人眼的视觉特性，比如人眼对高频分量不敏感，就可以对高频系数使用更大的量化步长㊂３．４㊀系数组和扫描顺序在视频编码中，一般须将变换块中量化后的系数通过特定的扫描方式形成一维数据，然后对它进行熵编码㊂ＶＶＣ将ＷˑＨ的变换块量化后的变换系数值排列成一个ＷˑＨ的矩阵㊂为了保证对所有尺寸的块统一进行扫描处理，也为了增加变换块的编码效率，考虑到编码块中信号能量一般集中在水平或垂直方向的低频率处，因此将变换块的系数分为若干系数组（ＣＧ），对每个ＣＧ及ＣＧ内系数使用多扫描路径以统一的方式进行编码㊂由于ＶＶＣ也支持宽度和高度小于４的块，ＣＧ的形状取决于变换块尺寸㊂对于１ˑＮ或Ｎˑ１（Ｎȡ１６）的ＣＵ，ＣＧ的尺寸为１ˑ１６或１６ˑ１；对于２ˑＮ或Ｎˑ２（Ｎȡ８）的ＣＵ，ＣＧ的尺寸为２ˑ８或８ˑ２；其他ＣＵ的ＣＧ尺寸都是４ˑ４㊂ＣＧ的编码顺序为图８所示的反向对角扫描（ＲｅｖｅｒｓｅＤｉａｇｏｎａｌＳｃａｎ）顺序，和ＣＧ尺寸无关㊂图８中每个小方块表示一个ＣＧ㊂系数块的ＣＧ从右下到左上的对角顺序处理，这里每个对角方向都是朝左下方向进行㊂为了限制解码器复杂度的最差情况，ＶＶＣ将大变换块的高频系数强制置零㊂非零的量化指数只能表示在变换块的ｍａｘ（Ｗ，３２）ˑｍａｘ（Ｈ，３２）的左上角区域，而这一区域以外的ＣＧ就无需编码，从而也无需扫描，如图８（ｄ）所示㊂ＣＧ内部系数的扫描顺序由相同的对角扫描方式来定义，图８（ｂ）中的扫描也可表示４ˑ４ＣＧ中的系数值的扫描顺序㊂图８㊀ＣＧ的反向对角扫描示意４㊀熵编码输入视频在预测㊁变换和量化以后，还需对量化㊁扫描后的变换系数进行熵编码（ＥｎｔｒｏｐｙＣｏｄｉｎｇ），以获得进一步的信息压缩㊂在熵编码中常见的有较为简单的变长编码（如Ｈｕｆｆｍａｎ编码）和效率较高的算术编码两大类㊂如果将编码方式和编码的内容联系起来，则可获得更高的编码效率，这就是常见的上下文自适应变长编码（Ｃｏｎｔｅｘｔ⁃ＡｄａｐｔｉｖｅＶａｒｉａｂｌｅＬｅｎｇｔｈＣｏｄｉｎｇ，ＣＡＶＬＣ）和上下文自适应二进制算术编码（Ｃｏｎｔｅｘｔ⁃ＡｄａｐｔｉｖｅＢｉｎａｒｙＡｒｉｔｈｍｅｔｉｃＣｏｄｉｎｇ，ＣＡＢＡＣ）㊂这两类熵编码都是高效㊁无损的压缩方法㊂其中ＣＡＢＡＣ要胜过ＣＡＶＬＣ一筹，尤其是在高码率的情况下更是如此㊂ＶＶＣ和ＨＥＶＣ一样，熵编码采用的是ＣＡＢＡＣ，但在ＨＥＶＣ基础上有所改进㊂由于上下文自适应二进制算术编码（ＣＡＢＡＣ）较普通的变长编码的性能优越，在ＡＶＣ标准中是可选的两种熵编码方法之一，而在ＨＥＶＣ和ＶＶＣ中则成为唯一的熵编码方法㊂尽管和ＨＥＶＣ采用同样６南京邮电大学学报（自然科学版）㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀㊀２０２１年的编码引擎，ＶＶＣ为 常规编码模式 设计了一种新的灵活㊁高效的编码引擎㊂编码引擎由两部分组成：概率估计和码字匹配㊂概率估计的目的在于确定下一个二进制符号其值为 １ 的概率㊂这种估计是基于使用相同上下文的已编码符号值的历史，利用指数衰减窗口进行的㊂ＨＥＶＣ的编码引擎采用１２８状态单一有限状态机作为指数平滑估计器，虽然ＶＶＣ也采用这样的估计器，但有很大的不同：为了改进压缩性能，ＶＶＣ为每个上下文维持两个估计器，每个估计器有自己的衰减系数，实际用于编码的概率是两个估计器的平均值㊂在概率估计中，ＶＶＣ不使用状态机，而是由回归函数计算导出㊂实际上主要的差别在于ＶＶＣ为每个上下文导出的值表示一个实际概率（线性空间），而在ＨＥＶＣ中，它表示状态机的一种状态（对数空间）㊂至于码字匹配，当前的间隔被分为两个子间隔，每个子间隔对应二进制符号的值，０或１㊂每个子间隔的范围由当前间隔范围Ｒ和相对应的概率估计值相乘获得㊂在ＨＥＶＣ中，使用查表来近似这个乘法运算，以确定和最小概率符号（ＬｅａｓｔＰｒｏｂａｂｌｅＳｙｍｂｏｌ，ＬＰＳ）相关的子间隔范围ＲＬＰＳ㊂而在ＶＶＣ中，就直接使用乘法获得ＬＰＳ的子间隔范围㊂一旦ＲＬＰＳ确定后，ＨＥＶＣ和ＶＶＣ的编码引擎就以相同的方式工作了㊂５㊀帧间预测ＨＥＶＣ的帧间预测有３种模式：跳过（Ｓｋｉｐ）模式，无需预测残差，运动矢量从相邻块运动矢量得到，不需要编码运动参数；合并（Ｍｅｒｇｅ）模式，需要预测残差，当前块的运动参数由相邻块的运动参数得到，只需传递Ｍｅｒｇｅ模式的候选编号；普通帧间（Ｉｎｔｅｒ）模式，需预测残差，需进行运动估计获得运动矢量（ＭｏｔｉｏｎＶｅｃｔｏｒ，ＭＶ），并利相邻块得到运动矢量预测（ＭＶＰｒｅｄｉｃｔｉｏｎ，ＭＶＰ），ＭＶ和ＭＶＰ相减得到运动矢量差（ＭＶＤｉｆｆｅｒｅｎｃｅ，ＭＶＤ），需参考图像索引㊂ＶＶＣ在ＨＥＶＣ３种预测模式的基础上，对帧间预测工具作了多方面的扩展和新增㊂５．１㊀扩展Ｍｅｒｇｅ模式（１）扩展的Ｍｅｒｇｅ预测（ＥＭＰ）ＶＶＣ采用了扩展Ｍｅｒｇｅ预测（ＥｘｔｅｎｄｅｄＭｅｒｇｅＰｒｅｄｉｃｔｉｏｎ，ＥＭＰ）模式：增加了候选列表长度，由ＨＥＶＣ的５增加到现在的６；在列表构建过程中，首先检查空域各个邻编码块运动矢量预测（ＭＶＰ），接着检查时域候选块，检查过程与顺序都和ＨＥＶＣ相同㊂如果候选列表没有被填满，ＶＶＣ增加了一种填充候选的基于历史运动矢量预测（ＨｉｓｔｏｒｙｂａｓｅｄＭＶＰ，ＨＭＶＰ）方法［１４］，维护并更新一个ＨＭＶＰ列表，当编码完一个块后，将该块的运动参数作为一个新的候选添加到ＨＭＶＰ列表的末尾，按照先进先出的规则将最前面的候选用作填充㊂添加完ＨＭＶＰ候选后，将列表中的前４个候选ＭＶ，两两进行平均，再将平均值后有效的ＭＶ按一定顺序添加进Ｍｅｒｇｅ候选列表中㊂如果依然没有填满候选列表，则使用０运动矢量填满㊂这样候选列表的顺序为：空间域相邻块候选，时间域候选，历史候选，空间平均值候选，０运动矢量㊂当候选列表构造好了之后，编码器就要对候选列表中的每一个候选进行率失真代价的计算，以得到一个性能最优的候选㊂（２）带运动矢量差的Ｍｅｒｇｅ模式（ＭＭＶＤ）在ＨＥＶＣ中的Ｍｅｒｇｅ模式中，Ｍｅｒｇｅ列表中的ＭＶＰ直接用于当前ＣＵ的预测，ＶＶＣ的Ｍｅｒｇｅ模式和Ｓｋｉｐ模式中可引入带有ＭＶＤ的Ｍｅｒｇｅ模式（ＭｅｒｇｅｍｏｄｅｗｉｔｈＭＶＤ，ＭＭＶＤ），ＭＶＰ与ＭＶＤ相加，得到真实的运动矢量ＭＶ，用于当前ＣＵ的帧间预测，是否使用ＭＭＶＤ的标志需要传至解码端㊂采用ＭＭＶＤ模式时，选择普通Ｍｅｒｇｅ列表中的前两个候选ＭＶ作为初始运动矢量，然后对该ＭＶ进行扩展，一个ＭＶ要在４个方向以８种步长进行扩展，两个ＭＶ就有４ˑ８ˑ２＝６４种新的ＭＶ，对所有６４个扩展ＭＶ进行率失真代价比较，从中选择出最优的一个作为最终的ＭＶ传递至解码端㊂５．２㊀改进运动估计５．２．１㊀带有ＣＵ权重的双向预测（ＢＣＷ）对于一般双向预测块，最终的预测值Ｐｂｉ由两侧的两个运动矢量预测值Ｐ０和Ｐ１平均得到：即Ｐｂｉ＝（Ｐ０＋Ｐ１＋１）／２㊂实际应用中同一内容随着时间变化有可能会产生光线强弱变化或阴影等现象，导致不同帧之间场景很相似，但是明暗差别较大，而且局部内容也会产生类似的光线变化，采用简单的平均方式会使得帧间预测的误差较大㊂为此，ＶＶＣ提出了一种带有ＣＵ权重的双向预测（Ｂｉ⁃ｐｒｅｄｉｃｔｉｏｎｗｉｔｈＣＵ⁃ｌｅｖｅｌＷｅｉｇｈｔ，ＢＣＷ）方法，它不是简单地求均值，而是在ＣＵ层面对两个预测值进行加权求和：Ｐｂｉ＝（（８－ｗ）∗Ｐ０＋ｗ∗Ｐ１＋４）／８㊂加权系数ｗ的范围为｛－２，３，４，５，１０｝，低时延应用中的权重可从这５个系数中选取，其他应用则从｛３，４，５｝这３个系数７第２期朱秀昌，等：Ｈ．２６６／ＶＶＣ：新一代通用视频编码国际标准。
视频编码标准
视频编码标准H.264/AVCH.264/AVC 是ITU-T VCEG 和ISO/IEC MPEG 共同开发的视频处理标准，ITU-T作为标准建议H.264，ISO/IEC作为国际标准14496-10（MPEG-4 第10部分）高级视频编码（AVC）。
MPEG-2视频编码标准（又称为ITU-T H.262[2]）已有10年的历史了，由MPEG-1扩充而来，支持隔行扫描。
使用十分广泛，几乎用于所有的数字电视系统，适合标清和高清电视，适合各种媒体传输，包括卫星、有线、地面等，都能有效地传输。
然而，类似xDSL、UMTS（通用移动系统）技术只能提供较小的传输速率，甚至DVB-T，也没有足够的频段可用，提供的节目很有限，随着高清电视的引入，迫切需要高压缩比技术的出现。
应用于电信的视频编码经历了ITUT H.261、H.262（MPEG-2）、H.263、H.263+、H.263++，提供的服务从ISDN和T1/E1到PSTN、移动无线网和LAN/INTERNET网。
最近MPEG-4 第二部分进入了实用领域，提供了视频形状编码，目标是与MPEG-2一样获得广泛的数字电视应用。
1998年，视频编码专家组（VCEG-ITU-T SG16 Q.6）启动了H.26L工程，旨在研制出新的压缩标准，与以前的任何标准相比，效率要提高一倍，同时具有简单、直观的视频编码技术，网络友好的视频描述，适合交互和非交互式应用（广播、存储、流煤体）。
2001年12月，VCEG和运动图像专家组（MPEG-ISO/IEC JTC 1/SC 29/WG 11）组成了联合视频组（JVT，Joint Video Team），研究新的编码标准H.264/AVC，该标准于2003年3月正式获得批准。
视频的各种应用必须通过各种网络传送，这要求一个好的视频方案能处理各种应用和网络接口。
H.2 64/AVC为了解决这个问题，提供了很多灵活性和客户化特性。
多媒体技术视频与编码标准
多媒体技术视频与编码标准多媒体技术是指以数字技术作为基础，通过图像、声音、视频等多种媒体形式的集成展示方式。
而编码标准则是为了在传输和存储过程中将多媒体数据进行压缩和解压缩的一种方法。
多媒体技术在现代社会中的应用非常广泛，从电视广播、电影制作到在线视频、游戏、虚拟现实等领域，都离不开多媒体技术的支持。
而编码标准则起到了优化多媒体数据传输和存储的作用，使得多媒体内容能够以更高效、更稳定的方式呈现给用户。
目前，常用的视频编码标准包括MPEG-2、H.264/AVC和HEVC（H.265）。
MPEG-2是最早的数字视频编码标准之一，广泛应用于DVD和数字电视广播。
H.264/AVC是当前最主流的视频编码标准，被广泛应用于在线视频平台和高清电视广播。
而HEVC是最新的视频编码标准，相较于H.264/AVC，具有更好的压缩性能，能够提供更高质量的视频内容。
在多媒体技术中，音频编码标准也是不可或缺的一部分。
常见的音频编码标准包括MP3、AAC和Opus。
MP3是最早流行起来的音频编码标准，它能够在较小的文件大小下保持相对较高的音质。
AAC是一种高级音频编码标准，通常用于音乐和音频流媒体传输。
而Opus是一种适用于各种应用领域的新一代开放式音频编码标准，具有较高的音质和较低的延迟。
在多媒体技术中，还有许多其他编码标准被应用于图像、文字和其他类型的多媒体数据。
例如，JPEG是一种常用的图像编码标准，用于压缩静态图像。
MP4、AVI等是常用的多媒体容器格式，可以包含视频、音频和文本等不同类型的多媒体数据。
总结来说，多媒体技术与编码标准密不可分。
多媒体技术通过利用编码标准对多媒体数据进行压缩和解压缩，实现了高效的传输和存储。
随着技术的不断进步，多媒体技术和编码标准也在不断发展，为用户提供更好的观看和体验体验。
多媒体技术的发展已经成为现代社会不可或缺的一部分。
从电影到电视广播，从网络直播到游戏，多媒体技术为人们提供了丰富多样的视听娱乐体验。
视频制作标准
扫描方式
逐行扫描
8
图像效果
(1)画面曝光正常，无噪点
(2)人、物移动时无拖影、耀光现象
(3)白平衡正常，无偏色
(4)构图均衡，无跳轴
(5)蓝抠或绿抠时，人物抠像干净，无毛边等
9
音频格式
1inearAAC(线性高级音频编码格式)
10
音频采样率
不低于44.IkHz
11
音频量化精度
8bit
12
声道
左右双声道
19
视频长度
视频的长度7分钟
20
字幕
统一制作为单独的Srt字幕文件，Srt字幕文件的文件名与成片的文件名相同。每条字幕要保证与讲课者或者解说者的声音同步且不得有错别字
13
音频码率
不低于128kbps
14
音频信噪比
大于50dB
15
音频电平
T2db~-6db,声音无失真，音量大小统一
16
声音效果
声音和画面同步，声音清晰、无杂音、无干扰、无破音和电流音
17
剪辑
剪辑衔接自然，景别丰富、组接流畅、色彩和曝光统一，无跳帧，无跳跃感
18
后期动画文字
后期制作动画、显示的文字风格自然
视频制作标准
序号
项目
标准
1
视频编码方式
H.264编码
2
视频分辨率
高清成片，分辨率不低于1920X1080像素
3
视频帧率
25fps(建议不低于24fps)
4
视频比例
16：9
5
视频格式
需交付两种格式：输出格式：IIIOV格式转码格式：IIIP4格式
6
视频码率
II1OV格式：高清成片不低于8Mbpsmp4格式：不低于IMbPS
视频编码国家标准AVS解析
％ 像素 仅 在 半像 素 ＊ 像素位 置采用 ６ ％ 像素位 置采 用 ４ 运动 位 置进 行 双 拍滤波 ， 像素位 拍滤波 ， 像 素位 基本相当 补偿 线性插值 置线性插值 置采用 ４拍滤波 、 线性插值
Ａ Ｖ Ｓ 视频 与 Ｍ Ｐ Ｅ Ｇ标 准都采用 混合 编码框架 （ 见图 １ ） ， 包 括变换 、
量化 、 熵编码 、帧内预测 、 帧间预测 、 环路滤波等技术模块 ，这是 当前
主流的技术路线 。Ａ Ｖ Ｓ 的主要创 新在于提出 了一批具体 的优化技术 ， 在较低的复杂度下实现 了与 国际标准相当的技术性能 ， 但并未使用 国际 标准背后 的大量 复杂 的专利 。Ａ Ｖ Ｓ 一 视频当中具有特征性 的核心技术包 括 ：８ ｘ ８整数变换 、量化 、帧 内预测 、１ ， ４精度像素插值 、特殊 的帧间 预测运动补偿 、二维熵编码 、去块效应环 内滤波等 。 Ａ Ｖ Ｓ 视频 编码器框图如下图所示 。
多参
术 先进音视频编码 》 系列标准 的简称 ， 是 我国具 备 自主知识 产权的第 二
代 信源编码标准 ，也是数字音视频产业的共性基础标准 。 现在 ， 国际上音视频编解 码标准主要两大系列 ： Ｉ Ｓ Ｏ Ｈ Ｅ Ｃ Ｊ Ｔ Ｃ １ 制 定 的Ｍ Ｐ Ｅ Ｇ系列标 准 ； ｒ Ｉ ＇ ｕ针对多媒体通信制定 的 Ｈ ． ２ ６ ｘ 系列视 频编码标 准和 Ｇ ． ７ 系列音频编码标准 。 音视频产业 可以选择 的信 源编码标准有 四
２ ０ １ ９ 年第１ ７ 期
电 子信息科学与技术
视 频 编码 国家标 准 Ａ Ｖ Ｓ解 析
■华筱怡
Ａ ｖ ｓ 是我国具备 自主知识产权的第二代信 源编码标准 ， 也是数 字音
视频图像编码技术及国际标准
三、编/解码原理
1、编码原理
仍然采用经典的运动补偿混合编码算法； 编码图像分为3种：I帧、P帧和B帧； 此外H.264还定义了新的SP帧和SI帧，用以实现不同的传 输速率、不同图像质量码流间的快速切换以及信息丢失的 快速恢复等功能； H.264将一视频图像编码成一个或多个片，一个片由一系 列按光栅扫描顺序排列的宏块构成每片包含整数个宏块或 一幅图像的全部宏块。
2.行和场
行：传统CRT模拟电视里,一个电子束在水平方向的扫 描被称之为行,或行扫描. 场：传统CRT模拟电视里,一个电子束按垂直的方向扫 描被称之为场,或场扫描.
一帧图像包括两场——顶场和底场
3.颜色空间
1.三基色原理 自然ห้องสมุดไป่ตู้中，绝大多数的彩色都可以由三种 基色按不同的比例相加混合得到。 三种基色彼此独立， 其中一种基色不能 用其它两种基色混合得到。 • 混色规律： • 红+绿=黄
在ISO/IEC中正式名称为MPEG-4 Part 10，称之为 “ISO/IEC 14496 Part 10高级视频编码算法”（ ISO/IEC 14496 10 AVC
H.264/AVC视频编码和解码
H.264/AVC视频编码和解码
二、档次与等级 H.264主要支持4:2:0格式的连续或隔行视频的编解码， 4:2:2和4:4:4可作为额 外的参考信息参数； 根据应用领域不同，制定了不同的算法集合和技术限定，共分为3个档次：基 本档、主档和扩展档； 在每一档次设臵了不同的参数，每个档次下面又划分为不同的等级； 基本档是扩展档的子集，但不是主档的子集。
6.数字视频采样格式
• 根据电视信号的特征，亮度信号的带宽是色度信号带宽的 两倍。因此其数字化时可采用幅色采样法，即对信号的色 差分量的采样率低于对亮度分量的采样率。用Y：U：V来 表示YUV三分量的采样比例，则数字视频的采样格式分别 有4：1：1、4：2：2和4：4：4三种。电视图像既是空间 的函数，也是时间的函数，而且又是隔行扫描式，所以其 采样方式比扫描仪扫描图像的方式要复杂得多。分量采样 时采到的是隔行样本点，要把隔行样本组合成逐行样本， 然后进行样本点的量化，YUV到RGB色彩空间的转换等等 ，最后才能得到数字视频数据。
第二讲-视频编码标准
Outline
Video coding standards overview H.261 H.263 H.264 Other new generation standards
AVS VC-1 ON2 VP8
2
Why we need standard?
–Ensuring interoperability: Enabling communication between devices made by different manufacturers –Promoting a technology or industry –Reducing costs
1. Evaluating MVD for macro blocks 1, 12, 23 2. Evaluating MVD for macro blocks in which MBA does not represent a difference of 1 3. MTYPE of the previous macro block was not MC
Represent this as 6 Blocks of 8x8 pixels:
15
Bitstream structure
16
Syntax-Picture layer
18
Syntax-MB layer
19
Macro Block Address (MBA)
Frame rate – 30 fps
11
Picture coding
The video pictures is split into intra and inter frames
Intra frames are coded similar to JPEG Inter frames are predicted from previously decoded frames
视频编码国际标准PPT文档共122页
45、法律的制定是为了保证每一个人 自由发 挥自己 的才能 ，而不 是为了 束缚他 的才能 。—— 罗伯斯 庇尔Fra bibliotek谢谢！
视频编码国际标准
41、实际上，我们想要的不是针对犯 罪的法 律，而 是针对 疯狂的 法律。 ——马 克·吐温 42、法律的力量应当跟随着公民，就 像影子 跟随着 身体一 样。— —贝卡 利亚 43、法律和制度必须跟上人类思想进 步。— —杰弗 逊 44、人类受制于法律，法律受制于情 理。— —托·富 勒
51、 天 下 之 事 常成 于困约 ，而败 于奢靡 。——陆 游 52、 生 命 不 等 于是呼 吸，生 命是活 动。——卢 梭
53、 伟 大 的 事 业，需 要决心 ，能力 ，组织 和责任 感。 ——易 卜 生 54、 唯 书 籍 不 朽。——乔 特
55、 为 中 华 之 崛起而 读书。 ——周 恩来
视频编码国际标准
Logo §3.2 MPEG-1视频编码和解码
2、关键技术 （1）帧序重排 在编码器端需要对输入图像重新排序，对按显示顺序输入
的序列，经过帧序重排后成为按编码顺序排列，然后按I
、B、P帧分别进行编码；
（2）运动估计和补偿
（3）比特流缓冲器
Logo §3.2 MPEG-1视频编码和解码
图像压缩首先处理I帧图像，然后是P帧，最后在两者的基 础上才处理B帧； MPEG编码器算法允许选择I图像频率（指每秒钟出现I图 像的次数）和位臵（时间方向上帧所在的位臵）； 一个典型的I、P、B图像排列如下：I的距离为15；P的距 离为3；
任意 任意
多媒体检索 未来视频编码工业标 准
Logo §3.2 MPEG-1视频编码和解码
一、标准简介 编号为ISO/IEC 11172； 规定视频信息与伴音信息经压缩之后的数据速率上限为 1.5Mbps（其中视频约为1.2Mbps，音频约为0.3Mbps）； 可以在CD-ROM、硬盘、可写光盘、数字音频磁带等介质
Logo §3.2 MPEG-1视频编码和解码
Logo
§3.2 MPEG-1视频编码和解码
显示顺序上在前的B帧图像，由于预测时参照靠后的P帧
图像，在传输存储和解码是必须先处理P帧图像，因此在 编码顺序上P帧图像反而在B帧图像之前；
由于编码顺序和显示顺序之间的差异，带来编、解码总延
时达0.8～1s；
忽略水平和垂直空白间隔
量化10bits到8bits
Logo §3.2 MPEG-1视频编码和解码
DPCM
DCT＋量化
进一步数据压缩
Z扫描＋VLC Huffman编码
Logo §3.2 MPEG-1视频编码和解码
第6章 数字视频编码标准
与H.263等标准不同的是，H.264并没 有给出每个片包含多少宏块的规定，即每 个片所包含的宏块数目是不固定的。
片是最小的独立编码单元，这有助于 防止编码数据的错误扩散。
每个宏块可以进一步划分为更小的子 宏块。
宏块是独立的编码单位，而片在解码 端可以被独立解码。
3．档次
H.264标准分为基本档次、主要档次和 扩展档次，以适用于不同的应用。
数字视频通信是一个复杂且计算强度 很大的工程，它要求系统能满足接收来自 不同信源的视频信号的要求。
数字视频通信标准主要是为视频通信 （如电视、电话等应用）开发的，以使相 关产业能向用户提供合理价位的有效带宽 应用服务。
数字视频处理技术在通信、电子消费、
军事、工业控制等领域的广泛应用促进了数 字视频编码技术的快速发展，并催生出一系 列的国际标准。
图6-2 DVD播放系统的基本结构
（1）DVD盘读出机构 （2）DVD-P系统 （3）VCD/DVD解码系统 （4）微控制器
2．DVD机的基本工作原理
DVD机的RF信号处理电路可分成CD的RF 信号处理单元和DVD的RF信号处理单元。
由于CD和DVD这两个系统对RF处理均衡 补偿特性以及通道增益要求均不相同，所以不 能使用相同的RF信号处理电路。
近年来，国际标准化组织ISO、国际 电工委员会IEC和国际电信联盟ITU-T相继 制定了一系列视频图像编码的国际标准， 有力地促进了视频信息的广泛传播和相关 产业的巨大发展。
6.2 ITU-R BT.601数字视频标准
数字视频是指用二进制数字表示的视 频信号，数字视频既可直接来源于数字摄 像机（例如CCD摄像机等），也可将模拟 视频信号经过数字化处理变成数字视频信 号。
技能目标：了解DVD播放机的整机构成 和工作原理，掌握DVD播放机的关键电压 检测和信号测量技术。
数字视频压缩编码的国际标准
在图 1 所示的 编 码过 程中, 原始 数 据进 入编 码器, 当采用帧内方 式时, 直接进 行 DCT 变 换, 量 化后形 成码 流, 其中一路码 流又 经反量 化器、IDCT 变换 后形成 恢复 图像, 直接存入帧存储器; 当 采用帧间 方式时, 原始数据 先与经运 动估 计后的 预测 图像相 减, 产生 差分 图像, 接 着进行 DCT 变 换和 量 化, 形成 码 流。与 帧内 方 式 相对
MPEG 1 的码流分为六层, 每一层都支持一个 确定的 函数, 或者是一个 信号处 理函数( DCT, MC) , 或 者是一 个 逻辑函数( 同步、随机存储 点) 等。MPEG 1 视频位流 语法 的六个 层 次依 次 为: 视 频 序 列层 ( 随机 存 取 单元: 上 下 文) 、图组层( 随机存取 单元: 视 频编码 ) 、图层( 基本编 码 单元) 、子图层( 同步单元) 、宏块层( 运动 补偿单元) 、块层 ( DCT 单元 ) 。MPEG 1 支 持的编 辑单 位是图 像组 和音 频 帧, 通过对包头图像组的信息和音频帧头 进行修改, 可以 达到对视频信号的 剪接功能。另外, MPEG 1 标准也 提供 很多备选 模式 以供 使用 者根 据实 际需 要进 行配 置。目
2003 年第 4 期
计文平等: 数字视频压缩编码的国际标准
(完整word版)视频编码有关知识
高效率视频编码编辑高效率视频编码（High Efficiency Video Coding，简称HEVC）是一种视频压缩标准，被视为是ITU-T H.264/MPEG-4 AVC标准的继任者。
2004年开始由ISO/IECMoving Picture Experts Group（MPEG）和ITU-T Video Coding Experts Group（VCEG）作为ISO/IEC 23008-2 MPEG-H Part 2或称作ITU-T H.265开始制定[1][2][3][4][5]。
第一版的HEVC/H.265视频压缩标准在2013年4月13日被接受为国际电信联盟（ITU-T）的正式标准[1][2][6]。
HEVC 被认为不仅提升图像质量，同时也能达到H.264/MPEG-4 AVC两倍之压缩率（等同于同样画面质量下比特率减少了50%），可支持4K分辨率甚至到超高清电视（UHDTV），最高分辨率可达到8192×4320（8K分辨率）。
数个基于HEVC延伸的编码标准正在进行中，包含range extensions（支持高级的视频格式）、可调式编码和3D视频编码标准。
目录[隐藏]• 1 历史o 1.1 标准制定o 1.2 规格书时程• 2 技术细节o 2.1 编码树单元Coding Tree Blocko 2.2 帧内编码Intra Codingo 2.3 帧间编码Inter Codingo 2.4 转换编码Transform Codingo 2.5 环路滤波器Loop Filtering▪ 2.5.1 去区块滤波器Deblocking Filter▪ 2.5.2 取样自适应偏移Sample Adaptive Offseto 2.6 熵编码Entropy Codingo 2.7 平行化编码工具▪ 2.7.1 Slice▪ 2.7.2 Tile▪ 2.7.3 Wavefront Processing• 3 编码规范o 3.1 Profileo 3.2 层级与等级• 4 产品与实现o 4.1 2012o 4.2 2013o 4.3 2014• 5 参见• 6 参考资料•7 外部链接历史[编辑]标准制定[编辑]•2004年：Key Technical Areas（KTA）在H.264/AVC标准制定完(2003年)的后一年，VCEG组织便开始研究更先进的视频压缩技术，期望能够发展下一代视频压缩标准，或期望能大量提升压缩率成为H.264/AVC的延伸版本[1][7]。
【VIP专享】电影格式及视频编码
视频格式MPEG/MPG/DATMPEG（运动图像专家组）是Motion Picture Experts Group 的缩写。
这类格式包括了MPEG-1, MPEG-2和MPEG-4在内的多种视频格式。
MPEG-1相信是大家接触得最多的了，因为目前其正在被广泛地应用在VCD 的制作和一些视频片段下载的网络应用上面，大部分的VCD 都是用MPEG1 格式压缩的( 刻录软件自动将MPEG1转换为DAT格式) ，使用MPEG-1 的压缩算法，可以把一部120 分钟长的电影压缩到1.2 GB 左右大小。
MPEG-2 则是应用在DVD 的制作，同时在一些HDTV（高清晰电视广播）和一些高要求视频编辑、处理上面也有相当多的应用。
使用MPEG-2 的压缩算法压缩一部120 分钟长的电影可以压缩到5-8 GB 的大小（MPEG2的图像质量是MPEG-1 无法比拟的）。
MPEG系列标准已成为国际上影响最大的多媒体技术标准，其中MPEG-1和MPEG-2是采用香农原理为基础的预测编码、变换编码、熵编码及运动补偿等第一代数据压缩编码技术；MPEG-4（ISO/IEC 14496）则是基于第二代压缩编码技术制定的国际标准，它以视听媒体对象为基本单元，采用基于内容的压缩编码，以实现数字视音频、图形合成应用及交互式多媒体的集成。
MPEG系列标准对VCD、DVD等视听消费电子及数字电视和高清晰度电视（DTV&&HDTV）、多媒体通信等信息产业的发展产生了巨大而深远的影响。
AVIAVI，音频视频交错(Audio Video Interleaved)的英文缩写。
AVI这个由微软公司发表的视频格式，在视频领域可以说是最悠久的格式之一。
AVI格式调用方便、图像质量好，压缩标准可任意选择，是应用最广泛、也是应用时间最长的格式之一。
MOV使用过Mac机的朋友应该多少接触过QuickTime。
QuickTime原本是Apple公司用于Mac计算机上的一种图像视频处理软件。
多媒体技术视频编码标准
H.261
p×64k b/s视频 编码标 准
时间 输入
输出
1990年12月
176×144(QCIF) 352×288(CIF) 帧速率可变<=30 p×64kb/s(p=1,2,…,32)
压缩率 20~30 小于MPEG1
压缩算法 运动补偿帧间预测与分块DCT相结合
的混合编码
应用 可视电话、视频会议等对称应用
32
可伸缩性编码模式
〔1〕信噪比伸缩性〔Signal-to-Noise Scalability〕 〔2〕空间分辨率伸缩性〔Spatial Scalability〕 〔3〕时间分辨率伸缩性〔Temporal Scalability〕
33
பைடு நூலகம்
可伸缩性编码模式
绝对值： 均方误差： 平均绝对
帧差：
可伸缩性编码模式
195＝(11000011)2 size=8,amp=11000011
Huffman
size=8
111110
195 的码字
25
MPEG1视频编码算法
AC量化 Zigzag 编码,AC系数表示为 〔行程/幅度〕 对〔行程/幅度〕 用 Huffman编码
26
MPEG1视频编码算法
P 帧编码 对于P 帧中的宏块进行编码时有更多的选择 〔1〕决定是否用运动补偿 〔2〕决定对宏块使用帧间编码方式还是帧内
MPEG-1标准号为ISO/IEC 11172,它由五局部组成： MPEG-1系统〔 MPEG-1 Systems 〕：规定视频数据、
声音数据及其他相关数据的同步合成技术
MPEG-1视频编码标准〔MPEG-1 Video〕 MPEG-1音频编码标准〔MPEG-1 Audio〕 MPEG-1一致性测试：详细说明如何测试比特数据流