光场相机原理

光场相机Lytro的运作原理和运算方法

概略Lytro以在照片拍摄后，照片的对焦点可以自由变换的相机而被知晓．Lytro称其为光场相机．成像部分是由图像感应器和微型镜头所构成，并得到入射光束集中的光场．然后从光场再处理成最终的画面，光线集中相当于计算镜头的运作．本文就Lytro的动作原理和画面生成的运算方法进行解释.

1．前言数码相机是在摄像像素点上形成鲜亮的光像，并把此光像忠实的反应成数码影像的装置。但是光场相机则是采用与数码相机完全不同的原理所被认知。此相机是采用光场（光线空间）得到多条光线，再将光线集合并经过一种图像处理得到最终成像的相机。其代表机能为利用摄影后的后处理，变更相机焦点距离的再对焦机能。初期的光场相机是用多台相机纵横排列成的相机矩阵的实配．相机矩阵对机能有验证作用，但是没有实用性．另一方面，Ng试做了在成像像素的前面配置微镜头，通过致密的框体集中光线的光场相机．之后，Ng 为了将此技术商品化而成立了公司，在2012年开发了Lytro．本文是根据Ng的论文及实际的分析解析为基础解释Lytro的运作原理，机能，运算方法等．

2. Lytro的影像感应器图1为Lytro的影像感应器的扩大照片影像感应器是数码相机用的CMOS感应器，内间距为1.4μm，影像感应器上覆盖蜂巢结构的微镜头，微镜头的内间距为14μm。影像感应器3280*3280像素的面积上覆盖330*380个微镜头，一个微镜头的直

径大约是10个像素点的长度。

微镜头和保护用玻璃一体成型，CMOS感应器上面有少量空间，保护玻璃上面平坦，底面排列微镜头。保护玻璃和微镜头的厚度约为430μm，另外CMOS表面设置了拜尔型彩色滤膜。

图2显示影响感应器和微镜头的位置关系。其并没有完全对齐，每个相机的框体的倾斜和偏

移都不一样。推测其为装配微镜头时的机械原因的误差。图3显示Lytro获得的原生像素的部分扩大原生像素明显的反映出了微镜头的构造，扩大图片显示了圆形构造内的像素结构直径约为10个像素，一个圆形构造内对应一束光线，圆形周围的像素较暗，此区域的光线获得较为困难。

3. 光场的获得影像感应器和主镜头来获得光场的示意见图4。在A位置的被摄物由主镜头获取光线，其焦点位置落在微镜头矩阵上，此时，由被摄物发出并到达微镜头的光线，利用在其下方定位的像素记录方向和亮度，一个微镜头所对应的全部像素平均化，生成A位置合焦后的粗略的照片像素。图4B位置上的灰色点，注意其位置通过的光线为3条，利用不同的微镜头，使光线记录到的像素点上。将这些像素值平均化后，能够生成B焦点上的合焦照片像素。B位置合焦后，A像就会变模糊，利用光场来计算这一现象。

图4上微镜头覆盖的三部分像素，最下方位置的像素追溯到主镜头，到达部分开口1所述范围．然后这些像素所生成的图像，是通过部分开口１的光线所成的像．同样微镜头覆盖的像素，最上方位置所生成的图像，是通过部分开口２的光线所成的像．如此，微镜头覆盖N 个像素时，就可以对微镜头所对应的相同位置上的像素进行排列形成N个小图像，由N个部分开口分割主镜头得到N个立体图像群．

4. 光场的映射从Lytro获取的原始图像的光场到生成最终照片图像的程序叫做光场映射．在此解释一下两种映射方法．第一种方法，对应映射焦点距离，N个立体图像适度平行移动后，并将其平均化的方法．称其为移动加算法．第二种方法，将获取的光像投射到适当焦点距离的设定图像面上．称其为光线束投影法．移动加算的映射说明．如3章所述，Lytro可以将捕捉到的光场分解成多个立体的画面群．图5的左侧部分说明其样式．从全部的微镜头相同位置抽取像素后再配列。如此构成的小图像群，是从主镜头不同的部分开口处观察被摄物的图像群

所以，从开口位置到被摄物之间的距离有视差．将这些立体图像群与假想的焦点距离重合，使其只平行移动适当的量．然后将移动后的图像群加算平均化。移动量对应纵深，被摄物由于像的位置重合所以形成锐利的图像，如果不是像就会模糊．另外，实际的相机在合焦前后，不仅是合焦位置有变化，像的大小也多少有变化．再次不考虑此效果．

移动加算映射算法，其单纯的计算成本比较小．但是，由于最终图像的像素数和微镜头的像素数相等，与一般的数码相机摄影后的画面尺寸相比较显得非常小．另外，微镜头和原始图像像素的位置关系由微镜头不同有微小的差异．所以，对于像素再配列来说，像素值需要一个补充差值．其结果就是会导致最终图像的解像度有稍许劣化．

移动加算映射算法，实装是比较容易的，但是最终的解像度不好．为了得到更好的图像所用的光线束投影法，以下进行说明．

图6上部所示，图像感应器和微镜头阵列所获取光线的样子，进行详细说明．3章所述，图像感应器的各像素获得一束光线进行了说明，但是要更正确的话，要获得一定程度的光束宽度。光束投影映射如图6下部所示，是一种将获得的光束投射到设定焦点距离的假想图像上的方法．

各像素所获得的光束能够按照以下方法计算．图7是图像感应器的放大图．在此，图像感应

器面和微镜头阵列面的距离与微镜头的焦点距离 f 相等，像素为点．图中其他尺寸记号的意思以下说明．a: 微镜头的直径。q: 像素的位置。表示从覆盖微镜头的光轴的距离，以符号表示。r: 微镜头光轴和主镜头光轴的距离。θ: 获得的光线束和光轴所形成的的角度。此时，像素所获得的光线束是平行光，对于光轴θ=arctan(-q/f)以此相交．光线束的直径a・cosθ，位置为主镜头光轴到微镜头阵列面r 的距离．

像素所占面积和，图像传感器面和微镜头阵列面的距离，按照一般情况来考虑和计算的话，比较复杂，但是按照相同的顺序的计算是可行的。

图8中是移动加算法和光线束投影所形成的映射图像的比较．图8(a)为样品图像整体．图中的前方参照范围是从Lytro开始30cm左右，后方参照范围是2m左右的距离．(b)和(c)进行比较，光线束投影形成的映射图像的解像度较高．另外，包括此实验在内，为了分析Lytro 的输出文件，用到了开源的lfptool

5. Web 图像映射用Lytro摄影后，将主机与电脑连接，经过数十秒的处理时间，形成２个文件．一个为图3所示图像感应器生成的原生图像．另一个是由复数JPEG图像和20×20像素的深度图像打包到一起的文件．

复数的JPEG图像分别是最靠前合焦的图像，中间位置合焦图像和最靠后合焦图像等焦点位置不同的图像。图像的总张数是按照场景的纵深决定的，纵深大的图像10张左右，纵深小的4张左右。这些焦点位置不同的图片，在相机连接到电脑时借由软件进行纵深调整形成光场映射。

利用这些复数的JPEG图像和纵深图像来生成Web浏览器可查看的再聚焦图片．Lytro将拍摄的图像生成Web图像的同时可以用鼠标点击任意希望聚焦位置，进行重新聚焦．其反应时间非常短．另外如第4章所说明的映射方法，虽然不是特别复杂，但是也不能做到即时实施．

鼠标所点击位置的距离测量处理也很必要．为了让Lytro能够即时生成重聚焦图像，要重新根据焦点不同的数张JPEG图像和1张纵深图像进行计算．

图9，表示推测出的Web的重聚焦图像的结构．用户在图像上点击位置进行再聚焦，到指定被摄物之间的距离要从纵深图像中读取．将从此深度附近抓取两张焦点接近的JPEG图