光场相机

光场相机

一、光场相机在三维重建中的优势

在现实世界中，我们周围的环境与物体都是三维的，传统相机仅仅只能把我们所观察到的三维立体信息以平面的二维形式展现给我们，丢失了物体的深度信息。

由于传统摄像模式的固有局限性，导致了现如今基于传统相机的视觉信息采集和基于这些信息的理解和分析都遇到了瓶颈。伴随着 1991 年美国麻省理工学院的阿德尔森（Adelson）提出了关于成像的全光函数[10]，研究者们持续不断地致力于采用七维函数中的若干维组合起来描述视觉信息。实际上，不难发现现阶段传统的胶片或数字图像已经无法满足对视觉信息采集的实际应用，它们仅仅是全光函数的一个子集或切片。因此，广大研究者们通过改变现在已有的一些成像设备，立足更快速有效地采集和恢复全光函数的某个或者某几个维度的信息，继而催生了一门全新的学科——计算摄影学[11, 12]。而光场相机以其在成像方面的独特优势，开辟了研究三维成像的新的领域。它完美的打破了现有数字成像技术的局限性，能够看得见场景中被遮挡的部位，同时还能够看清场景中所看不清的内容。伴随着计算机技术的不断发展与提高，以及微透镜阵列在此项技术方面的不断提高，光场相机不断地被广大研究者们所追捧。在此基础上，手持式光场相机、Retrix 光场相机、Adobe 光场相机和英特尔光场相机都在许多应用中都展示了其相比于传统相机巨大的优势。

与二维数字图像相比，光场给我们带来了更加丰富的信息和广泛的应用。其中相对比较典型的应用有：场景重聚焦技术、场景深度计算技术和快速多视角场景渲染技术等。场景重聚焦技术显著地提高了我们对所拍摄图像的后处理能力，它可以让我们在图像拍摄后重新获取聚焦在我们所需要的不同焦点的图像，现在已集成于 Lytro 光场相机。场景深度计算技术作为光场信息潜在的一项应用技术，正是由于光场中引入了光线角度信息，使得在图像层面上产生了同一场景中不同视角的投影，等效于计算机视觉中的立体视角，故我们可以通过类似的方法实现场景深度信息的恢复。

目前，随着计算机技术的提高、光电技术及器件的发展和光场理论的进一步完善，光场相机在三维立体成像这个领域中展现了自己十分强大的实力。利用光场相机有效地感知场景深度信息也成为了一个具有广阔应用前景的研究方向。光场成像技术也随之逐步应用到航空拍摄、动画渲染、安全监视以及立体显示等各个领域，并朝着集成化、多元化、实用化的方向前进。

二、光场三维成像技术研究的意义

光场三维显示可以记录或重现三维物体上各个点元朝各个方向发出的光线，准确地反映空间物体间的相互遮挡情况，是一种新型的、富有潜力的三维显示技术。同时，由光场三维显示衍生出的光场采集技术也给人们带来了全新的拍摄体验。因此，光场三维成像技术具有重要的研究意义，在众多领域有着广阔的应用前景。下面就几种常见的民事、军事应用或应用前景作简要地说明。

（1）光场拍摄和再聚焦

普通相机只能采集三维场景在某一焦距下的平面图像，一旦曝光完成就无法改变拍摄的聚焦参数。随着数字拍摄技术的发展，光场拍摄作为一种新型的数字采集技术，能够实现场景四维光场的采集，完整地记录光场的空间分辨率、角度分辨率和深度信息。在光场拍摄技术的支撑下，人们可以对捕获的场景光场进行再次聚焦，实现任意焦距下的二维图像采集。

（2）裸眼三维显示

二维平面显示的分辨率已经达到了空前的高度，高清、全高清、甚至超高清分辨率的显示设备足以给观看者带来无与伦比的画质感，但它们无法提供场景的深度信息。三维电视

与立体电影的出现可以让观众体验到临场感，彻底解决了传统平面显示无法获得深度信息的不足。随着光场三维显示技术的发展，观察者无需佩戴辅助设备便可以体验立体观看，是一种极具潜力的裸眼显示方式。

（3）三维模型的获取

传统的三维模型获取方法包含手动建模和激光扫描等等。采用建模软件（如：3D MAX，Maya 等）进行三维建模的方法在场景复杂时往往需要花费大量的时间，效率较低；采用激光对被重建物体进行扫描可以得到高精度的三维模型，但它的成本较高。并且激光扫描是一种有源的模型获取方式，在户外或无电源供应的场合下无法使用，应用场合受到局限。与传统三维模型获取方法相比，基于光场多视图像的三维重建技术自动化程度较高，成本低廉，因此具有更加广阔的应用空间，如人体器官建模、文物（城市）数字化、虚拟（增强）现实等等。

（4）增强现实技术

增强现实技术（Augmented Reality, AR）是近年来涌现出的一种新兴技术，它实现的是虚拟物体（场景）与现实场景的无缝融合。随着计算机技术和三维重建技术的发展，实时的光场三维重建技术不仅可以为增强现实提供相机标定与移动跟踪的支持，而且重建好的三维模型可以作为虚拟对象准确的融入真实场景中。并且，由于光场三维成像技术能够恢复场景发出的真实光线、实现场景不同深度的重聚焦，理论上可以很大程度地缓解目前增强（虚拟）现实设备在观看时产生的眩晕。

三、光场相机简介

光场相机主要就是对光场信息的采集，它可以记录到达传感器的不同方向的光线。区别于传统相机的是光场相机的每个像素采集到的是物体从特定角度发出的光线，所以不仅采集了每个光线的能量，同时也捕捉到了每条光线的方向信息。它其实就是对四维全光函数的采样。而传统相机捕捉到的二维数字图像中的每个像素其实就是到达该点的所有光线的能量积分（或光子数），但是并没有区分开这些光线的方向，因此它仅仅是一个三维场景的一个投影，丢失了场景当中的许多信息。显然，光场相机通过对光场信息的采集完成对场景信息的全方位捕捉，可将传统的二维图像扩展到四维。

四、光场的定义

所谓光场，其实就是空间中任意点所有方向的光的集合，是空间中某点在给定方向上的辐射度。它是以光线为载体，携带着物体信息的。

1991年美国麻省理工学院的Adelson 提出了七维全光函数，它包含了观察者的空间位置的三维空间信息，场景点相对于视点的角度的二维角度信息，采集光线的一维光谱信息，

捕获视点对光线时刻的一维时间信息。其数据规模庞大，无论采集还是存储都有很大的挑战性。1995 年美国北卡罗来纳大学的麦克米兰（Mc Millan）将全光函数的维度降为五维，忽略了全光函数的波长和时间维。光场表示为光线的一种五维辐射函数：L(x, y, z, θ, φ)其中(x, y, z)代表该点空间三维坐标，(θ, φ)代表该点处光线的仰角和方位角，如图 2.1 所示。

任何物体在空间中不论其是否自行发光，还是漫射周围其他光源的光，都会给物体本身周围形成独特的光强分布。如图 2.2 所示，这就是兔子的光场。

图中如果 x，y，z 方向上分别有 Fx，Fy，Fz 个体素单元，则该空间兔子的体素数为：

由此可见，我们可以通过观看物体各个空间点的所发出光线的光强分布，得到该物体的光场信息，从而感知该物体的三维信息。

五、光场渲染理论

通过对光场的研究，我们发现，所有光场理论的应用基础都是光场渲染（Light field rendering）理论的思想和实现。如图 2.3 所示，在空间中的一个目标物体“龙”的周围放置不同位置不同角度的摄像机，可以拍摄到物体不同位置不同角度的目标物体的图像。从图3.3 中可以看出，摄像机 P 和摄像机 B 所拍摄到的目标物体“龙”的信息基本相同，但是同样可以看到由于视场的大小不同，摄像机 P 拍摄的图像的视场明显比摄像机 B 所拍摄到的图像的视场小。此外，我们也可以看到摄像机 P 捕捉到的细节信息要比摄像机B 捕捉到的细节信息要更加的全面。同时，摄像机 A 和摄像机 C 拍摄到的图像也包含了摄像机 P 拍摄到的图像信息，因此可以通过计算摄像机 A、B、C 所拍摄到的图像的部分信息得到摄像机 P 所拍摄到的图像的全部信息。总的来说，我们可以在不使用摄像机 P 拍摄目标物体的时候，通过摄像机 A、B、C 所拍摄的图像计算出摄像机 P 所拍摄到的图像。根据这种理论，通过在物体周围的摄像机拍摄到足够的目标物体图像，形成物体的光场。就可以通过计算获得任意位置角度的图像，无需真实拍摄，完成对目标物体所有信息的采集。