多视点视频编码框架及关键技术

ｔ ２
ｔ ３
ｔ ４
ｔ ５
ｔ ６
ｔ ７
ｔ ８
各视点视频序列通常被分成关键帧（ Ｋ帧） 和 Ｗｙ ｎ ｅ ｒ — Ｚ ｉ ｖ帧（ ＷＺ帧 ） ， 进 行 编码 。图 ５是一 种典 型 的 Ｋ帧 和Ｗ Ｚ帧划分方案 ， 每个视点的关键帧和 Ｗｙ ｎ ｅ ｒ — Ｚ ｉ ｖ 帧周期性排列， 所有编码帧构成一个 图像 网格阵列。 Ｄ Ｍ Ｖ Ｃ的 Ｋ帧采 用传统 的帧内编码方式 ， 为了减少 编
频 中 的一 种 应用 。
１ ． ２ ． ３ 基 于深度 信息 的 ＭＶＣ框 架
Ｍ ＶＣ研究 中受 到广泛 关 注 。
有代 表性 的多视 点视 频 编码 预测 结 构 有 Ｓ ｉ ｍ ｕ ｌ — ｃ ａ ｓ ｔ 结构¨ 、 顺序预测结构、 基 于 Ｍ— ｐ ｉ ｃ ｔ ｕ ｒ ｅ的 多 视 点编码 结 构 ¨ 、 Ｇ ｒ ｏ ｕ ｐ ． ｏ ｆ － Ｇ Ｏ Ｐ （ Ｇ ｏ Ｇ Ｏ Ｐ ） 结 构 副和 基 于分 层 Ｂ 帧 的 编 码 结 构 （ Ｈｉ ｅ ｒ ａ ｒ ｃ ｈ ｉ ｃ ａ ｌ Ｂ Ｐ ｉ ｃ ｔ ｕ ｒ ｅ ， Ｈ Ｂ Ｐ ） 。基 于分层 Ｂ帧 的视 间／ 时 间 混合 预 测结 构是一 种金 字ห้องสมุดไป่ตู้式 结 构 ， 顶 端为 Ｉ 帧或 Ｐ帧 ， 最 底层
后 利用视频视 间方 向和 时间方 向 的相关性 由 Ｋ帧 图
： ： 需 求 比特
６ ．
图５ Ｄ ＭＶ Ｃ 编 码 帧 类 型
：
； ｓ ｌ ｅ ｐ ｉ ａ ｎ — ｗ ０ ｌ ｆ 编 解 需
．
； 边 信 息 Ｔ
匿
ｌ时间 Ｉ 信息生成 边 Ｉ
信 息
Ｉ视间 Ｉ 信息生成 边 ｌ Ｉ
一
分 布式 多 视 点 视 频 编 码 （ Ｄ ｉ ｓ ｔ ｒ ｉ ｂ ｕ ｔ ｅ ｄ Ｍ Ｖ Ｃ， Ｄ Ｍ—
Ｖ ｃ ） 是建立在多信源信息编码理论基础上 的一种 新的视频编码框架 ， 是分布式编码技术在多视点视频
中的应 用延伸 。从 分布式视频 编码 的工作原 理 可知 ，
ｔ ｌ
编码方案不同之处在于引人 了场景与不同视点摄像 机之间的距离信息 ， 即场景深度信息 ， 深度信息也将 被编码发送到解码端。利用深度信息可在任意位置
合 成 高质 量 的虚拟 视 点 图像 ， 从 而 能 够 提供 真 正 的
参考预测或者直接对其进行 帧内编码得到的 ； Ｂ ， 层 的 帧可 由 Ｂ ０层 的 帧和 Ｔ １ ６帧参考 预测得 到； 同样 Ｂ 层的 １ － ７ 帧可由低于当前层（ Ｂ 层） 的已 编码 图像 Ｔ ６帧 （ Ｂ 层 ） 和 帧 （ Ｂ ， 层） 参考 预测 得 到， 其他帧的编码预测类似。在视间方 向上 ， 当前编
南 京
邮 电 大 学 学 报
（ 自 然 科 学 版
）
２ ０ １ ３年
视 点 视 点
Ｖ０
视 点
Ｖ１
视 点
Ｖ２
霍 ： 画 Ｐ Ｉ Ｃ Ｐ Ｉ Ｄ Ｃ Ｐ ｌ Ｐ 警 ｌ Ｄ ｌ Ｄ 阐 Ｐ 擎 Ｉ Ｄ Ｐ ｌ Ｄ Ｐ Ｐ ｐ 南 。 ｊ Ｊ ｒ ｐ — ｆ 、 ｐ 向 碲 ｐ ’ ｊ Ｐ 向 。 ｊ Ｊ ｒ ｐ ’ ｐ Ｊ 向 ｒ 应 Ｐ ； Ｐ
ＭＶ Ｃ的另一 个 研 究 热 点 是 基 于 深 度 信 息 的 多 视点 视频 编码 ， 也 就 是 说 多 视 点 加 深度 视 频 （ Ｍｕ ｌ ｔ ｉ — ｖ ｉ ｅ ｗ Ｖ ｉ ｄ ｅ ｏ ｐ ｌ ｕ ｓ Ｄ ｅ ｐ ｔ ｈ ， ＭＶ Ｄ） 编 码 。与 上述 ＭＶ Ｃ
码端 复杂 性 ， ＷＺ帧 图像 采用 简 单 的 Ｓ ｌ ｅ ｐ ｉ ａ ｎ — Ｗｏ ｌ ｆ编
一
一
．
一
一
６ ◆ Ｋ ＿
一
．
一
６ Ｗ ￣ ６ Ｗ Ｚ ， Ｋ ．
一 ．
？ ＝ ～ ６ Ｗ Ｚ ｒ Ｗ Ｚ ＊ Ｋ
蔓
蔓
一
码。在解码端 ， 首先将 Ｋ帧进行传统的帧内解码 ， 然
∈ 键图 像ｌ 非关键图 像
图 ３ 多视点视频视间预测关 系
当
Ｉ ｌ 关键图 像
． 一
图 ４ 基于 Ｈ． ２ ６ ４ ／ Ａ Ｖ Ｃ架构 的编码框 图
１ ． ２ ． ２ 分 布式 ＭＶ Ｃ 框架
像估计出 ＷＺ帧图像的边信息 ， 同时为了提高重建效 果， 需要利用融合算法将时间边信息和视间边信息进 步融合 ， 最终获取重建质量更好的边信息 ， 如图 ６ 所示 。Ｄ ＭＶ Ｃ编码 可在空 间域 上或变换域上 进行 。
为最低等级 的 Ｂ帧 ， 每个 Ｇ Ｏ Ｐ中的 Ｂ帧依据预测的 先 后次 序 视作 不 同 的等 级 ， 较高 等 级 的 Ｂ帧可 以继
续 为较 低 等 级 的 Ｂ帧 提供 预 测参 考 ， 如 图 ７所 示 ， 其中Ｂ 层 的 Ｔ １ ６帧 为 当前 Ｇ Ｏ Ｐ中的关 键 帧 ， 帧 为 同一 层 前 一 Ｇ Ｏ Ｐ中 的关键 帧 ， Ｔ １ ６帧 可 由 帧
时 间 边 信 息 望 笪 皇 全 Ｉ １ １ 视 间 边 信 息
ｌ
一
传统帧内 Ｉ ｌ 关键帧
个 时间域
ｔ 视点域
Ｉ 关键帧 广
、
ｌ
Ｉ
图 ６ 分布式多视点视频编码框架
第３ 期
刘
峰等 ： 多视点视频 编码框架及关键技 术
上述 Ｄ Ｍ Ｖ Ｃ架构突破 了传统视频编码 的束缚 ， 采用“ 独立编码 ， 协助传输、 联合解码 ” 策略， 通 过在 解码端发 掘视频 信号 的相关性 进行 “ 帧 间预测解 码” 或者多视点视频 的“ 视 间联合解码 ” ， 从而把具 有高计算复杂度的运动估计 （ 补偿 ） 、 视差估计 （ 补 偿） 从 编码 端 移 到 了解 码 端 ， 极 大地 改 善 了编 码 端 对系统资源的需求 ， 是分布式视频编码在多视点视