多视点视频编码框架及关键技术
合集下载
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
t 2
t 3
t 4
t 5
t 6
t 7
t 8
各视点视频序列通常被分成关键帧( K帧) 和 Wy n e r — Z i v帧( WZ帧 ) , 进 行 编码 。图 5是一 种典 型 的 K帧 和W Z帧划分方案 , 每个视点的关键帧和 Wy n e r — Z i v 帧周期性排列, 所有编码帧构成一个 图像 网格阵列。 D M V C的 K帧采 用传统 的帧内编码方式 , 为了减少 编
频 中 的一 种 应用 。
1 . 2 . 3 基 于深度 信息 的 MVC框 架
M VC研究 中受 到广泛 关 注 。
有代 表性 的多视 点视 频 编码 预测 结 构 有 S i m u l — c a s t 结构¨ 、 顺序预测结构、 基 于 M— p i c t u r e的 多 视 点编码 结 构 ¨ 、 G r o u p . o f - G O P ( G o G O P ) 结 构 副和 基 于分 层 B 帧 的 编 码 结 构 ( Hi e r a r c h i c a l B P i c t u r e , H B P ) 。基 于分层 B帧 的视 间/ 时 间 混合 预 测结 构是一 种金 字ห้องสมุดไป่ตู้式 结 构 , 顶 端为 I 帧或 P帧 , 最 底层
后 利用视频视 间方 向和 时间方 向 的相关性 由 K帧 图
: : 需 求 比特
6 .
图5 D MV C 编 码 帧 类 型
:
; s l e p i a n — w 0 l f 编 解 需
.
; 边 信 息 T
匿
l时间 I 信息生成 边 I
信 息
I视间 I 信息生成 边 l I
一
分 布式 多 视 点 视 频 编 码 ( D i s t r i b u t e d M V C, D M—
V c ) 是建立在多信源信息编码理论基础上 的一种 新的视频编码框架 , 是分布式编码技术在多视点视频
中的应 用延伸 。从 分布式视频 编码 的工作原 理 可知 ,
t l
编码方案不同之处在于引人 了场景与不同视点摄像 机之间的距离信息 , 即场景深度信息 , 深度信息也将 被编码发送到解码端。利用深度信息可在任意位置
合 成 高质 量 的虚拟 视 点 图像 , 从 而 能 够 提供 真 正 的
参考预测或者直接对其进行 帧内编码得到的 ; B , 层 的 帧可 由 B 0层 的 帧和 T 1 6帧参考 预测得 到; 同样 B 层的 1 - 7 帧可由低于当前层( B 层) 的已 编码 图像 T 6帧 ( B 层 ) 和 帧 ( B , 层) 参考 预测 得 到, 其他帧的编码预测类似。在视间方 向上 , 当前编
南 京
邮 电 大 学 学 报
( 自 然 科 学 版
)
2 0 1 3年
视 点 视 点
V0
视 点
V1
视 点
V2
霍 : 画 P I C P I D C P l P 警 l D l D 阐 P 擎 I D P l D P P p 南 。 j J r p — f 、 p 向 碲 p ’ j P 向 。 j J r p ’ p J 向 r 应 P ; P
MV C的另一 个 研 究 热 点 是 基 于 深 度 信 息 的 多 视点 视频 编码 , 也 就 是 说 多 视 点 加 深度 视 频 ( Mu l t i — v i e w V i d e o p l u s D e p t h , MV D) 编 码 。与 上述 MV C
码端 复杂 性 , WZ帧 图像 采用 简 单 的 S l e p i a n — Wo l f编
一
一
.
一
一
6 ◆ K _
一
.
一
6 W  ̄ 6 W Z , K .
一 .
? = ~ 6 W Z r W Z * K
蔓
蔓
一
码。在解码端 , 首先将 K帧进行传统的帧内解码 , 然
∈ 键图 像l 非关键图 像
图 3 多视点视频视间预测关 系
当
I l 关键图 像
. 一
图 4 基于 H. 2 6 4 / A V C架构 的编码框 图
1 . 2 . 2 分 布式 MV C 框架
像估计出 WZ帧图像的边信息 , 同时为了提高重建效 果, 需要利用融合算法将时间边信息和视间边信息进 步融合 , 最终获取重建质量更好的边信息 , 如图 6 所示 。D MV C编码 可在空 间域 上或变换域上 进行 。
为最低等级 的 B帧 , 每个 G O P中的 B帧依据预测的 先 后次 序 视作 不 同 的等 级 , 较高 等 级 的 B帧可 以继
续 为较 低 等 级 的 B帧 提供 预 测参 考 , 如 图 7所 示 , 其中B 层 的 T 1 6帧 为 当前 G O P中的关 键 帧 , 帧 为 同一 层 前 一 G O P中 的关键 帧 , T 1 6帧 可 由 帧
时 间 边 信 息 望 笪 皇 全 I 1 1 视 间 边 信 息
l
一
传统帧内 I l 关键帧
个 时间域
t 视点域
I 关键帧 广
、
l
I
图 6 分布式多视点视频编码框架
第3 期
刘
峰等 : 多视点视频 编码框架及关键技 术
上述 D M V C架构突破 了传统视频编码 的束缚 , 采用“ 独立编码 , 协助传输、 联合解码 ” 策略, 通 过在 解码端发 掘视频 信号 的相关性 进行 “ 帧 间预测解 码” 或者多视点视频 的“ 视 间联合解码 ” , 从而把具 有高计算复杂度的运动估计 ( 补偿 ) 、 视差估计 ( 补 偿) 从 编码 端 移 到 了解 码 端 , 极 大地 改 善 了编 码 端 对系统资源的需求 , 是分布式视频编码在多视点视