光场相机工作原理

光场相机Lytro 的运作原理和运算方法

A Light Field Camera

“ Lytro ” , the Principle and Algorithms

概略Lytro 以在照片拍摄后，照片的对焦点可以自由变换的相机而被知晓 .Lytro 称其为光场相

机.成像部分是由图像感应器和微型镜头所构成

，并得到入射光束集中的光场•然后从光场再处理

成最终的画面，光线集中相当于计算镜头的运作.本文就Lytro 的动作原理和画面生成的运算方法进 行解释.

1 .前言

数码相机是在摄像像素点上形成鲜亮的光 像，并把此光像忠实的反应成数码影像的装 置。但是光场相机则是采用与数码相机完全不 同的原理所被认知。此相机是采用光场（光线 空间）得到多条光线，再将光线集合并经过一 种图像处理得到最终成像的相机。其代表机能 为利用摄影后的后处理，变更相机焦点距离的 再对焦机能。

初期的光场相机是用多台相机纵横排列成 的相机矩阵的实配.相机矩阵对机能有验证作 用，但是没有实用性•另一方面， Ng 式做了在 成像像素的前面配置微镜头，通过致密的框体 集中光线的光场相机.之后， Ng 为了将此技术 商品化而成立了公司，在2012年开发了 Lytro . 本文是根据Ng 的论文及实际的分析解析为基 础解释

Lytro 的运作原理，机能，运算方法

图1为Lytro 的影像感应器的扩大照片影像感应器是数 码相机用的CMOS 感应器，内间距为1.4卩m ，影像 感应器上覆盖蜂巢结构的微镜头，微镜头的内间距 为14卩m 。影像感应器3280*3280像素的面积上覆盖 330*380个微镜头，一个微镜头的直径大约是 10个 像素点的长度。

2. Lytro 的影像感应器 図］测廿一豁e 扭;大写卓

豊迪工iz 夕卜口二夕乂 卜十一）

微镜头和保护用玻璃一体成型， CMOS 感 应器上面有少量空间，保护玻璃上面平坦，底 面排列微镜头。保护玻璃和微镜头的厚度约为 430卩m ,另外CMOS 表面设置了拜尔型彩色滤 膜。

图2显示影响感应器和微镜头的位置关系。其并没有完 全对齐，每个相机的框体的倾斜和偏移都不一样。推 测其为装配微镜头时的机械原因的误差。

图3显示Lytro 获得的原生像素的部分扩大原生像素明显 的反映出了微镜头的构造，扩大图片显示了圆形构造 内的像素结构直径约为10个像素，一个圆形构造内对 应一束光线，圆形周围的像素较暗，此区域的光线获 得较为困难。

3.光场的获得

影像感应器和主镜头来获得光场的示意见 图4。在A 位置的被摄物由主镜头获取光线，其 焦点位置落在微镜头矩阵上，此时，由被摄物 发出并到达微镜头的光线，利用在其下方定位 的像素记录方向和亮度，一个微镜头所对应的 全部像素平均化，生成 A 位置合焦后的粗略的 照片像素。

图4B 位置上的灰色点，注意其位置通过的光线为

3条,

利用不同的微镜头，使光线记录到的像素点上。将这 些像素值平均化后，能够生成 B 焦点上的合焦照片像 素。B 位置合焦后，A 像就会变模糊，利用光场来计算 这一现象。

図3

生画憐①一部部分拡大

主

却分開口

部分開11 2

両慷乜

一

図4严彳卜7彳一儿取得

图4上微镜头覆盖的三部分像素，最下方位置 的像素追溯到主镜头，到达部分开口 1所述范 围•然后这些像素所生成的图像，是通过部分开 口 1的光线所成的像•同样微镜头覆盖的像素， 最上方位置所生成的图像，是通过部分开口2的 光线所成的像•如此，微镜头覆盖 N 个像素时，

就可以对微镜头所对应的相同位置上的像素进行 排列形成N 个小图像，由N 个部分开口分割主镜头 得到N 个立体图像群.

4.光场的映射

从Lytro 获取的原始图像的光场到生成最终照 片图像的程序叫做光场映射.在此解释一下两种 映射方法.

第一种方法，对应映射焦点距离，

N 个立

体

图像适度平行移动后，并将其平均化的方法•称 其为移动加算法•第二种方法，将获取的光像投 射到适当焦点距离的设定图像面上•称其为光线 束投影

法.

所以，从开口位置到被摄物之间的距离有视 差•将这些立体图像群与假想的焦点距离重合， 使其只平行移动适当的量•然后将移动后的图像 群加算平均化。移动量对应纵深，被摄物由于像 的位置重合所以形成锐利的图像，如果不是像就 会模糊•另外，实际的相机在合焦前后，不仅是 合焦位置有变化，像的大小也多少有变化.再次 不考虑此效果.

移动加算映射算法，其单纯的计算成本比较 小•但是，由于最终图像的像素数和微镜头的像 素数相等，与一般的数码相机摄影后的画面尺寸 相比较显得非常小•另外，微镜头和原始图像像 素的位置关系由微镜头不同有微小的差异•所 以，对于像素再配列来说，像素值需要一个补充 差值•其结果就是会导致最终图像的解像度有稍 许劣化. 移动加算映射算法，实装是比较容易的，但 是最终的解像度不好•为了得到更好的图像所用 的光线束投影法，以下进行说明.

移动加算的映射说明•如 3章所述，Lytro 可 以将捕捉到的光场分解成多个立体的画面群•图 5 的左侧部分说明其样式•从全部的微镜头相同位 置抽取像素后再配列。如此构成的小图像群，是 从主镜头不同的部分开口处观察被摄物的图像群

图6上部所示，图像感应器和微镜头阵列所获 取光线的样子，进行详细说明. 3章所述，图像感 应器的各像素获得一束光线进行了说明，但是要 更正确的话，要获得一定程度的光束宽度。光束 投影映射如图6下部所示，是一种将获得的光束投 射到设定焦点距离的假想图像上的方法.

面燉卜L ■工

加猱平均

□

□

/ 夕 口 IX2X5^二対

同I ：位劃二鬲召1啊素总集的尢小間像

□□□[

入力

像

V 小卜竝：/卜

y 7—力夹 画

像

4 llfltl