光场成像原理

光场成像理论

目录

1. 光场概念 (1)

1.1 七维全光函数 (1)

1.2 全光函数的降维 (1)

2. 光场采集设备的发展与典型结构 (2)

2.1 多相机光场采集 (3)

2.2 单相机光场采集 (6)

3. 微透镜阵列的光场采集 (11)

3.1 基于针孔阵列的光场采集 (11)

3.2 基于微透镜阵列的光场采集 (13)

1. 光场概念

1.1 七维全光函数

光场(Light field)的概念最早于1936年由A.Gershun 提出，用以描述光在三维空间中的辐射传输特性。1991年，E.adelson 和J.Bergen 根据人眼对外部光线的视觉感知，提出全光函数(Plenoptic function)，利用七维函数表征场景中物体表面发出(或反射)的光线。 在全光函数可以表示为：

7(,,,,,,)P P x y z t θϕλ=

其中，,,x y z —表征光纤中任意一点的三维坐标；

,θϕ—表征光纤传输方向

λ—表征光线波长

t —表示时间

此时，全光函数7(,,,,,,)P P x y z t θϕλ=表示了波长为λ的光线t 时刻经过三维空间中坐标为(,,)x y z 的点，且传播方向为(,)θϕ的一条光线。与只包含位置信息的光场不同，全光函数的七维表示增加了光线的色彩信息及动态变化。

1.2 全光函数的降维

根据全光函数7(,,,,,,)P P x y z t θϕλ=的意义，当光线在自由空间中传播时，其频率(即波长λ)不发生变化，对于静态场，此时全光函数可由七维降至五维，即

5(,,,,)P P x y z θϕ=

由于观察者往往受限于目标的成像范围，此时五维光场出现一位冗余，当给定光线在自由空间的辐射不发生变化，因此在限光器的空间范围内，五维光场可以表示为四维光场。

四维光场的参数化表征可有一下三种方式：

1) 方向-点参数化表政法。

利用光线与平面的交点(,)x y 和光线方向(,)θϕ作为四维参数来描述光场中的光线。

2) 球面光场参数表征法。

利用紧紧包围三维物体的球面上两点，可以表征球面封闭范围内任意一条光线的传播。尽管该参数表征方式采样均匀，但无法表征与球面相切的光线。

3) 双平面参数化表征法。

双平面参数化表征法是采用光线与两个平行平面的焦点坐标来对光场中光线进行参数化表征。其表达形式为(,,,)L s t u v ，其中(,)s t 和(,)u v 分表是光纤盒两平面的坐标交点。

由于实际中大部分成像系统都可以简化成两个相互平行的平面，如传统光学系统中的光瞳面和探测器像面，因此双平面参数化表征法具有较高的合理性和实用性。

图1.1 三种光场参数化模型

2. 光场采集设备的发展与典型结构

区别于传统成像方式，光场成像是一种计算成像技术，对捕获光场信息进行相应的数字处理才能得到相应的图像信息。从目前光场相机的结构组成上区分，可分为多相机阵列和单相机改造两种方式。

多相机阵列采集光场信息是通过相机阵列对同一目标进行成像，因为每一个相机分别处于不同视角，因此对应光场的一个方向采样。

单相机改造结构是利用在单个相机中引入光学调制元件，改变成像结构进行如何光场的

重新采集，实现将入射的四维光场重新分布在二维探测器平面。

2.1 多相机光场采集

在多相机阵列出现之前，一般通机械移动装置实现相机多目标多视角图像采集。其中典型结构包括M.Levoy所设计的移动机械臂和A.Isaksen等人设计的二维移动平台。

自1996年，美国斯坦福大学的Marc Levoy等人将相机固定到一个广场采集支架，如图2.1所示。利用支架的二维平移和二维转动实现四个自由度的调整，仅为完成目标广场的完成采集。

在2000年，根据斯坦福实验室所设计的移动机械臂原理，A.Isaksen等人设计了类似的二维移动平台驱动相机进行光场采样，如图2.2所示，利用光场参数的变化实现不同的成像应用，包括改变景深及调节焦点。当相机在平台上能够移动较大范围距离时，合成光场能够穿透遮挡物对其后目标进行图像的重构。

图2.1 斯坦福采集光场平台

图2.2 二维移动平台和相机

在2002年，J.C.Yang利用结构排列紧密的微透镜阵列代替摄像头阵列设计了一种结构紧促、成本低廉的光场采集设备，如图2.3所示。设备通过8×11 个微透镜阵列对物体进行多角度成像实现光场采集，再利用一个平板扫描仪对透镜像平面完成一次扫描，即可将所有微透镜所成的像记录到计算机中。

图2.3 采集微透镜阵列和平板扫描仪的光场采集装置

早期的多相机阵列还包括J.C.Yang等人设的8×11个摄像机阵列(如图 2.4)，以及C.Zhang和T.Chen设计可独立调节姿态的多相机阵列(如图2.5)。在后者的设中，每个相机都固定到一个移动机构单元中，可以各自在水平方向和两维转动方向进行调节。

图2.4 J.C.Yang等人设计的实时相机阵列

图2.5 可独立调节姿态的相机阵列

论是采用外部机械或是扫描仪，要完成光场的采集都需要一定的扫描周期，因此只能局限于对静态物体的拍摄，而采用多相机阵列可以弥补这一缺陷。

斯坦福大学的学者利用大型的相机阵列对光场进行捕捉与处理，对此进行全面的分析和研究。围绕成像应用领域的不同，在2003 年B.Wilburn等人设计了几种不同的摄像机阵列，如图2.6.所示。通过严格控制每个相机单元的时间同步以及位置的精度，从而能精确地对光场数据进行捕捉处理，获得高分辨率光场图像。

图2.6 斯坦福相机阵列

2.2 单相机光场采集

多相机阵列的规模和尺寸限制其使用场合，而实现单相机内的广场获取则更具实际意义。

1992年，E.Adelson和J.Wang设计了一种全光相机(Plenoptic camera)，其结构原理如图2.7.a所示，系统由主镜头、微透镜阵列、成像探测器组成。探测器与主镜头的光瞳关于微透镜共轭，主镜头出射的光线经过每个微透镜后投影到其对对应的若干像元上，这些像元共同组成一个“宏像素”(Macropixel)。此时每个宏像素的坐标对应目标像点的几何位置，二宏像素中所覆盖的每个探测器像元则代表目标的不同视角信息。在该系统的设计中，包含了一个光学扩散片和一个场景。前者的作用类似于摄影相机中的额低通滤镜，相处高于透镜阵列采样频率的高频成分；而场景的引入可以将宏像素对齐到微透镜所在位置。

在如图2.7.b所示系统中，利用中继镜头将微透镜阵列焦面上的像转接到探测器，可以解决犹豫微透镜焦距非常小导致的探测器和微透镜阵列难以直接耦合的困难。由于二次成像具有较严重的渐晕效应，因此在微透镜焦平面处加入一片毛玻璃进行匀光补偿。