基于摄像机几何模型的视间预测方法

ISSN 1000-0054CN 11-2223/N

清华大学学报(自然科学版)J T singh ua Un iv (Sci &Tech ),2009年第49卷第8期

2009,V o l.49,N o.8w 18

http://qhx bw.chinajo

基于摄像机几何模型的视间预测方法

朱　刚,　梅顺良

(清华大学电子工程系,北京100084)

收稿日期:2008-05-12

作者简介:朱刚(1977—),男(汉),江西,博士研究生。

通讯联系人:梅顺良,教授,E-mail:meis l@

摘　要:多视视频编码是实现自由视角电视和三维立体电视等应用的关键技术。为了有效地提高视间预测的效率,该文基于摄像机几何模型,提出了一种新的视间预测算法,其特点是利用摄像机参数和深度信息对视差矢量进行预测,并运用亮度补偿工具和亚像素插值技术减少视差补偿误差。将新的算法集成到目前最新的多视视频编码框架H.264/A V C M V C 中后,实验结果表明,新的算法最高能节省32.82%的码率,编码增益最高可达2.067dB 。

关键词:多视视频编码;自由视角电视;摄像机几何;

JM V M

中图分类号:T N 919.81

文献标识码:A

文章编号:1000-0054(2009)08-1156-04

Inter -view prediction method based

on camera geometry

ZH U G an g ,MEI Shun liang

(Department of Electronic Engineering ,Tsinghua University ,Beij ing 100084,China )Abstract :M ulti-view video codin g (M VC )is a fundamental en coding techn iqu e for FT V (free-view point televis ion)and 3DTV (3D televis ion ).T hat effectively im proves the inter-view pr ediction efficiency.An inter-view prediction algorithm bas ed on a camera geom etry model w as developed w here the camera parameters and dep th in formation are used to predict

th e dis parity vector.

Illu mination compensation and s ub-pixel in terpolation are also us ed to reduce th e distortion of the dis parity compensation.H.264/AVC M VC is us ed as an exam ple to illus trate h ow the m ethod can be integr ated with conven tion al vid eo codin g par isons sh ow that th e bit rate can be reduced by up to 32.82%by this algorithm w ith a coding gain of up to 2.067dB.Key words :mu lti-view

video

coding

(M VC );

free-viewp oin t

televis ion (FT V);cam era geometry ;JM VM

多视视频编码研究是实现三维电视、自由视角电视等应用的重要技术。由两大国际标准化组织ISO/IEC M PEG(ISO/IEC m oving pictur e ex perts gr oup )和IT U -T VCEG (IT U -T video coding

ex pert g roup )组成的JVT (joint video team )已经开

始制订多视视频编码标准H.264/AVC M VC [1]

的工作,并建立了软件测试平台JMV M [2]

。

多视视频编码中,视差估计是视间预测的重要手段。在目前的H.264/AVC M VC 编码框架中,H.264/AVC 中一些经典的时域预测算法应用到了视间预测中。然而时域上运动和视间运动本质上的不同,造成这些算法对于视间预测效率的提高贡献不大。德国的Fraunhofer-HHI 研究院[3]提供的数据验证了视间预测的效率明显低于时域预测。

根据摄像机几何模型,视差矢量和物体深度以及摄像机参数密切相关。和运动矢量的随机性相比,视差矢量应该有着更好的可预测性。近年来,人们开始考虑通过摄像机几何模型或多视几何模型来提高

视间预测效率。Guo X [4]

提出了一种直接模式,运用摄像机几何模型研究2个相邻视对应块之间的运动矢量的相关性,然而这种相关性并不是非常直接,获

得的编码增益比较有限。Zhu G 等[5-6]

运用摄像机几何研究各个视差矢量之间的相关性,先通过视差搜索得到一个视差矢量,然后通过摄像机几何的映射关系,计算出另外的视差矢量。这样虽能提高视差矢量的预测精度,但也存在着一些问题。首先,视差搜索的精确性得不到保障,影响了该方法的预测性能;其次,这个方法只能用于有多个参考视的情况,对只有一个参考视的情况无法发挥作用。

基于上述分析和讨论,本文基于摄像机几何模型,提出了一种新的视间预测模式并集成到现有的H.264/AVC M VC 框架中。

1　基于摄像机几何的多视视频编码方法

基于Richard Har tley

[7]

所述摄像机几何原理: