浅谈电影2D转3D中的深度信息获取

浅谈电影2D转3D中的深度信息获取
廖传奇
【摘要】随着3D电影的快速发展,3D技术已经成为学术及产业界的研究热点,许
多大制作的影片也把3D技术作为其完美呈献给观众的重要手段之一.然而由于立
体电影实际拍摄中存在成本控制、拍摄周期、某些特殊镜头的拍摄难度等种种问题,并且一些2D的电影也有着转制成3D影片的需求,因此,电影2D转3D技术逐渐发展起来,得到了国内外的广泛研究.而立体转制的核心就在于获得平滑精准的深度图像.本文将简述电影2D转3D中深度信息的获取方法.
【期刊名称】《现代电影技术》
【年(卷),期】2015(000)001
【总页数】4页(P19-22)
【关键词】2D转3D;深度图像;深度线索
【作者】廖传奇
【作者单位】北京电影学院中国电影高新技术研究院
【正文语种】中文
立体电影的基本原理是将两幅具有水平视差的影像投影在银幕上，观众通过立体眼镜分别看到左右眼的画面，从而产生立体感知。

电影2D 转3D 的目标即是通过已知的图像信息，利用计算机合成另外一个视角的画面。

目前市场上主流的3D 转换技术可分为以下两种：基于深度图的渲染技术（DBIR）
和基于模型的渲染技术（MBIR）。

多数的转换影片均采用基于深度图的渲染技术，其工作流程为：产生高精度的图像深度图，并在此基础上进行图像增强、图像分割、深度调整、立体图像合成及图像修补等工作，最终生成高质量的3D 影片。

而在上述流程中，图像深度信息的获取是极为重要的一环，与转制效率及最终的影片质量密切相关。

图像的深度信息，即图像中每一点到摄影机的距离，通常以深度图的形式来表现，以灰度图表示的给出每个坐标点深度信息的二维函数，即每个像素点的值即为该点的深度。

目前绝大多数的2D 转3D 公司都采用后期计算图像深度的方式来制作深度图。

立体转制的深度图根据其生成方式的不同可以分为：通过后期工作人员人工设定图像深度、由计算机生成深度图像。

而计算机生成深度又可分为以下几种：
（1）全自动深度估测法；
（2）半自动深度估测法；
（3）多目线索深度信息提取。

本文将从电影技术的角度出发，来分析电影2D转3D 过程中深度信息获取的几种方法，并对其优劣势进行对比。

1、通过后期工作人员人工设定图像深度
人工提取图像的深度信息是一个最为传统的选择，也更容易达到我们所预期的结果。

通常，后期工作人员借助一些图像分割技术，把图像分割为多个区域，人工主观指定深度，然后通过“深度图到3D 图像对”转换，即可完成2D 到3D 的转换工作。

图1 《泰坦尼克号》转制画面
人工提取图像的深度信息，对图像进行分割，也就是在电影后期制作中常说的Rotoscope，简称Roto，是指将画面中的某些部分通过蒙版绘制的方式提取出来，为影像的合成提供元素。

而在立体转制的工作中，Roto的工作可以把画面分为多
层，从而对画面中元素的深度进行设定。

如由StereoD 公司转制的3D 影片《泰坦尼克号》即采用了全人工的方式来制作
深度图，其转换方式是基于工作人员对画面Roto （图1）的工作之上的，并在此基础上完成影片的转换。

影片由400多名艺术家经过60 周的精心工作，最终完成了近297000帧画面的立体转制。

工作人员把场景中的每一个重要元素都Roto成了很多层，尤其是前景中的人物等，从而得到每一帧的深度图（图2），以便接
下来的转制工作。

目前，有许多后期软件都可以实现这一步骤，如NUKE、Mocha等，可实现较高的图像跟踪精度，为图像的分层工作提供更大的便利。

相比于其他的深度获取方式而言，人工设定的方式虽然可以获得最佳的预期效果，但是其工作量极其巨大，制作周期长、成本相对较高。

图2 《泰坦尼克号》深度图
2、由计算机生成深度图像
深度线索在计算机生成深度图像的过程中起到重要的作用，我们之所以能感觉到空间的深度感，正是因为深度线索的存在。

在人眼的视觉系统中，有很多感知深度信息的线索，这些深度线索又可以分为多目深度线索和单目深度线索等。

多目深度线索中，双目视差是极为重要的一点。

摄像机从不同的角度同时对场景进行拍摄，得到的图像之间存在的双目视差，可以用来恢复出场景中物体的深度值，这也是深度感知的基本原理。

而在单目深度线索中，影响深度感知的因素中又以运动视差为最重要的，运动视差主要指物体运动位移量，与物体和观察者之间的距离成反比。

同样速度的移动物体，距离观察者越近的，在观察者看来，移动位移越大，观察者正是利用这一现象来对移动物体的远近进行判断。

除此之外，其他重要的深度感知线索还有线性透视、大气透视、纹理梯度、相对高度、遮挡以及相对大小等。

计算机生成深度图像，正是通过利用上述各种深度信息线索的算法，而实现深度图像获取的功能。

根据算法使用深度线索的不同及操作方式的不同，又可分为以下几
种：
（1）半自动深度估测法
半自动深度估测法，又可以称之为基于人机交互的深度信息估测方案。

由于实际的2D 视频素材中，场景的深度线索会比较复杂，对于计算机来说，直接从中提取出物体的深度信息仍然是很困难的，由于人眼对于深度信息的判断较为容易，可以很清楚的指出不同物体的深度关系，在实际的转制操作过程中，结合了人眼在判断上以及算法在图像分割和追踪上的优势，来实现深度图像的生成。

图3 半自动深度估测法获取深度信息
如图3，该方法的流程一般为将2D 的视频序列分为一帧一帧的图片序列，并根据画面内容，人工选定关键帧和非关键帧，然后对关键帧图像进行前景以及背景间的分割，结合摄影机的参数，依据场景中各个物体的前后关系、形状、颜色等信息来估计关键帧的深度信息，非关键帧的深度信息由计算机采用双向的运动估计算法自动生成。

由于半自动深度估测法并不需要人工对每一帧的画面进行深度判断，所以效率远高于全人工生成深度的方法，而且其转制精度也能够达到电影的质量要求，目前市场上的多数公司都采取此种方式转制。

（2）全自动深度估测法
全自动深度估测法，相对于半自动深度估测法来说，减少了人工的选定关键帧以及前后景分割和深度赋值等环节，而由算法本身来完成。

图4 全自动深度估测法获取深度信息
如图4，其主要步骤是对图像进行预处理，通过对图像的色彩、边缘等信息进行检测，把画面划分为区域，并建立匹配像素点，接下来对相邻的像素进行匹配点的运动检测，把运动区域与背景画面分离，最终根据软件的预先设定规则，自动对画面进行深度赋值，并生成深度图。

比较半自动深度估测法，全自动深度估测的效率要较高，但深度图像的精度和以上两种方式相比还有所不足，其主要应用于3DTV 的立体节目转制等精度要求较低的环境下。

（3）多目线索深度信息提取
相比单独的2D 画面提取深度信息转制3D 而言，多目深度线索，尤其是双目的深度线索更符合人眼的特性，利用双目视差，可以得到与人眼类似的场景深度效果，而在实际拍摄3D 电影时，正是利用了人眼的这个特性，才能给观众带来场景的深度感知。

在此基础上，有许多基于多目深度线索的设备，简化了深度信息的获取过程。

①基于立体视觉的深度摄影机
利用立体视觉的基本原理，在获取2D 画面的电影摄影机两侧放置水平对齐的深度摄影机。

可以在拍摄的过程中，实时地记录场景的深度信息。

图5 “RGB+Z”摄影机
ARRI于2013年在IBC展会上上展出了“RGB+Z”摄影机（图5），其可以在拍摄时，同时记录下场景的深度信息（图6）。

为电影后期CGI以及立体转制的工作提供了便利。

图6 “RGB+Z”摄影机记录下的深度信息
② “Trifocal Hybrid 3D”立体摄影系统
2013年ARRI和Disney 共同研发的“Hybrid 2D／3D”摄影机（图7）出现在了NAB展会中，该机器由一台Arri Alexa作为主机以及两台小型的高清摄像机作为旁证摄影机（witness camera）组成，通过两台小型摄像机获取的画面可以进行深度空间的计算以及图像的填补，方便立体的转制及特效制作。

同时，由德国的Fraunhofer HHI实验室牵头对其工作流程及相关软件进行开发。

图7 “Trifocal Hybrid 3D”摄影系统
其工作流程如图8：
图8 “Trifocal Hybrid 3D”立体摄影系统工作流程
从ALEXA 获得主画面及两侧的两台Witness Camera获取画面素材，由于系统的旁证摄影机采用的焦距与主摄影机ALEXA 不同，所以需要先和主摄影机的画面做焦段上的大小匹配，然后需要对其进行几何校正，消除垂直视差等因素，再通过色彩校正，从而得到三张视差图。

经校正过的旁证摄影机画面与主摄影机画面之间生成深度图像，然后根据深度图像生成另外一只眼的画面。

在渲染的时候，可以根据镜头的实际情况来选择主摄影机画面是作为左眼还是右眼，并选择相应的旁证摄影机画面作为参考来渲染另一只眼的画面，如果物体离摄影机距离太近的话，也可只采用主摄影机画面而重新生成另外一幅画面。

在最终生成立体渲染图像时，多数空白区域由软件根据旁证摄影机画面自动填充，仅有少量画面需要人工进行修补。

可以说，“Trifocal Hybrid 3D”立体摄影系统带来了全新的立体电影摄制的工作流程。

相比采用立体支架的实际拍摄来说，整个系统较为轻便；而相比传统的2D 转3D 流程来讲，系统可以在前期拍摄时获取更多的信息，旁证摄影机的画面可以用于深度图像的获取以及立体渲染图像的修补，为后期的转制工作提供了便利，减少了人工的工作量，提升了转制效率。

总结与展望
近年来，3D 立体技术已经成为电影的常规表现手段，2D 转3D 技术可以为3D 实际拍摄中所存在的限制起到良好的补充作用，并且随着计算机图形图像技术的不断发展，电影2D 转3D 的质量也有了很大的提升。

现今许多立体实拍的电影中也存在着许多转制的镜头，并且随着“Trifocal Hybrid 3D”摄影系统的即将推出，相信其会在电影2D 转3D 的市场中带来一种新的工作流程。

在未来的很长一段时间内，2D 转3D 将会和立体实拍电影在市场中共存，并相互补充。

随着技术的不断发展创新，3D 的制作流程工艺也会逐渐地优化，在效率不断地提高的同时降低
成本，为观众呈现出更好的立体体验。

参考文献
［1］杨平、方捷新，数字电影2D／3D 转换技术解析，现代电影技术，2012，
11
［2］Mike Seymour，“Art of Stereo Conversion2Dto 3D”，May 2012. ［3］Chenglei Wu，Guihua Er，Xudong Xie，Tao Li，Xun Cao，Qionghai Dai，Chenglei Wu，Guihua Er，Xudong Xie，Tao Li，Xun Cao，“A novel method for semi-automatic 2Dto 3Dvideo conversion”，IEEE 3DTV Conference，pages65-68，2008.
［4］Youwei Yan，Feng Xu，Qionghai Dai，Xiaodong Liu，“A novel method for automatic 2Dto 3Dvideo conversion”，IEEE 3DTV Conference，pages1-4，2010.
［5］Ralf Tanger，Marcus Müller，Peter Kauff，and Ralf Sch？fer，“Depth／Disparity Creation for Trifocal Hybrid 3D System”，SMPTE
2013Annual Technical Conference ＆Exhibition，October 22-24，2013.。