多视点视频编码(3D)

像的采样值。视差矢(DV‘ disparityvector) 指的 是场景中同一点在各视点中投影位置之间的相 对偏差。根据DV的定义，在获得准确DV信息 后可以有效地进行视点间采样点预测。 2)视点间运动信息预测 多个摄像机拍摄同一场景时，场景中某一 运动物体在各视点的投影的运动特性具有很强 的相似性，利用此特性可进一步提高MVC编码效 率。运动跳过模式(motion skip mode)正是基于 这种运动相似性提出的。
能的公共测试平台）基于GDV的运动跳过模式 可获0.017~0.452dB的编码增益，基于精细粒度 匹配的运动跳过模式可获得0.076~0.721dB的编 码增益。因能获得较高编码增益，这两项技术都 被接收到JMVM中。 2、补偿视点间差异性提高MVC编码效率的技术 以上介绍的两类方法适用于视点间相关性很 强的序列。但在实际应用中，由于场景的光照 条件、拍摄角度、摄像机参数不一致等原因， 场景中同一物体在各摄像机上的投影存在一定 的差异。
能需求，如随机访问性能、初始解码时延、编 解码复杂度等。该类预测结构为了满足某些特 定的需求，往往以牺牲编码效率为代价。 二、提高MVC编码效率的技术 预测结构一经确定后，如何有效进行视点 间预测来提高编码效率是MVC研究的一个主要 MVC 内容。根据所使用方法的不同，视点间预测技 术大致可分为两类：利用现有视点间相关性提 高MVC编码效率的技术和补偿视点间差异性提 高MVC编码效率的技术。
关于MVC扩展的高层语法主要有以下4个方 面：一是在序列参数集中添加语法元素，用来说 明视点的数目以及定义各视点之间的预测关系； 二是扩展网络抽象层单元(NALU)的语法元素， 添加当前NALU属于哪个视点，是否做视点间参 考图像等信息；三是设计适合MVC的参考图像管 理机制，包括参考图像标记、参考图像列表初始 化以及参考图像重排序等；四是扩展H.264/AVC 附加增强信息(SEI supplemental enhancement information)，使其能够支MVC中所定义的各项 功能需求，如视点可分级性、支持观看部分视点 、并行处理等。
用深度信息或视差信息合成一个虚拟视图用作当 前编码图像的参考图像，并要求生成的虚拟视图 比视点间参考图像更接近于当前编码图像，从而 提高MVC的编码效率。
4)自适应参考图像滤波 多个摄像机拍摄同一场景时，生成的视点图 像可能存在聚焦失配的情况，这也会减弱视点 间相关性，影响MVC的编码效率。引起视点图 像聚焦失配的原因主要有2个：一是摄像机未精 确校准，这种失配具有全局性，表现为一个视点 的图像比另一个视点的图像模糊；二是被拍摄物 体到各摄像机之间的距离不同，这种失配具有局 部性，表现为同一物体在各视点图像的清晰度不 同。 自适应参考图像滤波(ARF, adaptive reference filtering主要是针对各视点图像的聚焦差异进行
引起亮度差异的原因主要有2个：一是摄像机内 部参数的不一致使得在同一时间、同一地点拍摄 的图像存在亮度差异；二是由于摄像机位置和镜 头拍摄角度不同造成物体表面反射到摄像机镜头 内的光强随着拍摄角度的变化而变化，进而导致 图像亮度的差异。 2)颜色补偿 根据补偿位置不同，颜色补偿方法可分为基 于预处理的颜色补偿方法和基于编码的颜色补偿 方法。基于预处理的颜色补偿方法指的是在编码
MVC现阶段MVC的主要研究方向
包括MVC的预测结构研究、多视点视频 的运动和视差补偿技术、多视点视频编码中 的视点图像插值和颜色校正等。国内研究机 构也纷纷开展MVC的研究工作，主要从MVC 编码方案设计、颜色校正、视差码的主要研究内容
经过几年的研究，MVC主要从预测结构、提 高MVC编码效率的技术和高层语法3个方面展开的 。 一、预测结构 在H.264/AVC编码框架下，去除视点间冗余 最直接的方式是在编码当前图像时使用其他视点中 的已解码图像作为参考图像进行位移估值和帧间预 测，这种方法称为视点间预测。
编码一个块时，该模式首先寻找与当前 编码块具有相似运动的视点间匹配块，然后 将匹配块的运动信息作为当前编码块的运动 信息进行运动补偿预测，最后对预测差进行 编码。采用运动跳过模式，当前编码块运动 信息可由视点间匹配块运动信息推导得出， 不需要传输至解码端，从而有效降低运动信 息的编码开销。 基于全局视差(GDV,globaldisparityvector) 的运动跳过模式认为当前编码块GDV指向块的 运动信息具有很强的相似性。
之前选取一个视点为基准视点，对其他非基准 视点进行颜色补偿，然后将补偿后的非基准视 点与基准视点进行编码。基于编码的颜色补偿 方法主要用于提高编码视点和参考视点的相似 性，使得在编码过程中有效地利用视点间相关 性提高MVC的编码效率。 3)虚拟视图合成预测 由于拍摄角度的差异，多个摄像机在拍摄同一 场景时，生成的视点之间存在几何失真。虚拟 视图合成预测(VSP view synthesis prediction） 是针对补偿几何失真提出的，其主要思想是利
多视点视频编码体系结构
多视点视频编码体系结构如图2所示，其核 心模块包括多视点视频的编码、存储/传输和解 码。由摄像机阵列拍摄的N个视点的视频并行 输入到MVC编码器，经编码后生成单个码流用 于存储或传输，解码端对输入码流进行解码后 恢复出多视点视频。考虑到与不同显示设备的 兼容问题，解码端根据用户的需求恢复出一个 或多个视点的视频。
1、利用现有视点间相关性提高MVC编码效率的 技术 视点间预测指的是采用邻近视点中已解码 的图像作为参考图像对当前待编码图像进行预 测。根据利用视点间相关性进行预测信息的不 同，视点间预测技术可进一步分为视点间采样 点预测和视点间运动信息预测两大类。 1)视点间采样点预测 各个视点的图像之间存在很强的相似性，可使 用视点间参考图像的采样值来预测当前编码图
多视点视频编码的 研究现状及其原理
多视点视频指的是由不同视点的多个摄像 机从不同角度拍摄同一场景得到的一组视频信 号，是一种有效的3D视频表示方法，能够更加 生动地再现场景，提供立体感和交互能力。 ITU-T和MPEG的联合视频组（JVT, joint video team）提出了多视点视频编码(MVC, multiview video coding)的概念。MVC主要致力 于多视点多视频的高效压缩编码，是未来视频 通信领域中的一项关键技术，也是国际视频标 准化组织正在研究的热点问题。
根据不同的视频编码框架，MVC可分为 基于小波的MVC方法和基于运动补偿加块变 换的MVC方法。 基于小波的MVC方法对现有小波视频编码 框架的扩展，其突出优点是具有良好的可分 级性。 基于运动补偿加块变换的MVC方法是在现有 运动补偿加块变换框架的基础上通过添加新技 术以提高MVC的编码效率。
为了进一步扩展h.264／AVC的功能，使其具 有更为广阔的应用前景,JVT相继公布了3个扩展标 准，它们分别是高保真范围扩展、4：4：4格式扩 展和可分级视频编码。考虑到3D视频的广阔应用 前景，ⅣT决定将MVC作为H.264/AvC的第四个扩 展标准。 多视点视频序列是由一组摄像机阵列同步拍 摄得到的。
补偿。该方法首先根据深度信息将图像分成几 个区域，并根据预测差能量最小化准则求解每 个区域的最佳滤波器参数。然后，根据求得的 滤波器参数构造几个模糊程度不同的视点间参 考图像，与原始视点间参考图像一起用于视点 间预测。 三、 MVC高层语法 MVC高层语法的研究主要集中在MVC语法 和语义的设计。MVC需要根据多个视点联合 编码的特点，扩展H.264/AVC语法和语义。
然而，对于图像中每个编码块，GDV不 一定是最佳DV，往往与真实DV存在较大偏 差。因此提出了一种基于精细粒度匹配的运 动跳过模式，其具体思想是在GDV指向块附 近进行搜索，寻找具有与当前编码块运动信 息更相似的匹配块。 在实际编码过程中，编码器根据一定准 则在运动跳过模式和H.264/AVC已有模式中 选择最优的预测编码模式。实测表明，相比 于JMVM (joint multiview video model联合多 视点视频编码模，将该模型作为评价MVC性
如何设计时间预测和视点间预测以有效利用 时间和视点间相关性MVC预测结构需要解决的 问题。 预测结构大体上可分为两类。第一类预测 结构以提高编码效率为目的，例如顺序视点预 测结构、基于分层B帧的视点间/时间混合预测 结构以及基于最小生成树的预测结构等。第二 类预测结构考虑除编码效率之外的其他一些功
视点间差异减弱了视点间相关性，致使视 点间预测不能有效地去除视点间冗余，降低了 MVC的编码效率。因此，如何通过补偿视点间 差异性进而更充分地利用视点间相关性提高 MVC编码效率也是MVC的关键技术之一。 以下主要介绍针对多视点视频中存在的 亮度差异、颜色差异、几何差异和聚焦差异 进行补偿的技术。 1)亮度补偿 亮度差异是不同视点图像间最常见的差异。