Light Field camera 光场相机原理

如果有一障碍物点在景深范围之外 的空间平面上，则在相面上形成弥 散圆而失去遮挡效果
孔径再变大，景深非常小，只有在 焦平面附近的成像清晰，期待都是 弥散，不足遮挡物体成像
Key laboratory
Key Lab
中科院安徽光学精密机械研究所
基于光场合成光场技术
由于景深非常小，障碍物在合成孔径图像上非常模糊，有类似于“透视”的功效。
Key laboratory
Key Lab
中科院安徽光学精密机械研究所
光场记录-原始光场图像
原始图像是由一系列斑点构成，每个 斑点都是微透镜的成像，圆的图像是 因为主镜头是圆的
原始光场成像是一个（x,y） 成像网格，每副图像表明到达 成像面某个微透镜的光线来自 主镜头不同的（u,v）位置
Key laboratory
E F x, y
1 F2
4 L x , y , u , v cos dudv F
LF x, y, u, v 是距离目标平面外F距离的光场参数
cosΘ是由于光学渐晕效应的衰减因子
x u y v LF ( x, y, u, v) LF u ,v , u, v
Fopt F
Key laboratory
说明微透镜与主透镜距离小于焦距
Key Lab
中科院安徽光学精密机械研究所
基于光场合成光场技术
合成孔径成像的原理，当瞳孔的孔径远大于障碍物的空间尺度时，从目标 物体上发出的光线能够很容易地绕过障碍物进入人眼。如果孔径足够大， 那么，就可以透过一些常见的障碍物而被成被掩盖目标的像。
3.掩膜及其他
共同点都是对相机的孔径做相应处理
Key laboratory
Key Lab
中科院安徽光学精密机械研究所
相机组成
光场相机包换一个主镜头，一个微透镜阵列和一个数字图像传感器
Key laboratory
Key Lab
中科院安徽光学精密机械研究所
光场四维函数
根据Levoy的光场渲染理论，空间中携带强度和方向信息的任意光线，都可以 用2个平行的平面参数化表示，光线与两个平面相交于两点，形成四维函数 L(u,v,x,y)
Key laboratory
Key Lab
中科院安徽光学精密机械研究所
数字重聚焦1
傅里叶切片定理
投影定义
wenku.baidu.com
傅里叶切片定理的含义是平行投影的一维傅里叶变 换等同于原始物体的二维傅里叶变换的一个切片。 将已知投影数据通过一个简单的二维物理也反变换 可以得到物体界面的一个估计。
Key laboratory
傅里叶切片定理
空间域和频率转换关系
FM
T B N N LN F M B SM B T
P LF
1 4 L 2 B LF 2 2 F
P
1 2 2 4 F F L 2 B 2 2 F


T B 1 2 4 4 P F S 2 T F 2F 2 B
谢谢，请各位老师批评指正
Key laboratory
Key Lab
中科院安徽光学精密机械研究所
Key Lab
如果此圆形足够小，肉眼依然可被视为 点的成像。这个可以被接受的最大直径 被称为容许弥散圆直径δ
中科院安徽光学精密机械研究所
背景知识-景深
在对焦时，通过镜头将在焦平面上清晰成像，而对焦点的前景和后景也在 焦平面成像，只要它们成像的弥散圆等于或小于容许弥散圆直径，我们将 认为是清晰的，这样影像就有一个的清晰的区间，这就是景深
Key Lab
中科院安徽光学精密机械研究所
数字重聚焦2
平面（x’,y’)
[ LF ](x, y)
1 2F 2
1 x 1 y L u 1 , v 1 , u , v dudv F
Key laboratory
Key Lab
中科院安徽光学精密机械研究所
基于光场的显微成像
传统显微镜景深
LMF景深
传统光学显微镜和LFM对比图
用一个16×/0.4Na的非浸液物镜计算 传统显微镜景深为3.3μm，而LFM的 景深为161.6μm
解决了传统显微镜： 1.从正投射角度观察，无法观察一定空间结构的微小物体
Key laboratory
Key Lab
中科院安徽光学精密机械研究所
数字重聚焦3
Key laboratory
Key Lab
中科院安徽光学精密机械研究所
聚焦结果
Key laboratory
Key Lab
中科院安徽光学精密机械研究所
分辨率
镜头
提高锐度
方法：让微透镜在主镜头的焦面上 聚焦就是微透镜和图像传感器间距为焦 距
如果换成微透镜，微透镜尺寸是20微米， 每个下面有十个像素，那么空间分辨率 是1800×1200，方向分辨率是10×10
Key laboratory
Key Lab
中科院安徽光学精密机械研究所
空间分辨率和方向分辨率
A图微透镜在主镜头焦平 面上，传感器与微透镜间 距为微透镜焦距 最大的方向分辨率
B图微透镜和传感器 间距为焦距的一半
2.高分辨率和大数值孔径条件下，景深非常小，容易丢失目标
Key laboratory
Key Lab
中科院安徽光学精密机械研究所
总结
传统相机
景深
精确对焦 小 需要
光场相机
大 不需要
空间分辨率
轴向分辨率 数据量 后期处理
高
无 大 自主性小
中
有 巨大 自主性大
Key laboratory
Key Lab
中科院安徽光学精密机械研究所
黑暗的环境，为了平衡信噪比，需要延长曝光 时间，手的抖动造成图像模糊，需要三脚架
Key laboratory
Key Lab
中科院安徽光学精密机械研究所
光场理论的发展
1936年，Gershun提出光场概念，光场就是光辐射在空间各个位置各 个方向的传播
1992年，Adelson将光场理论应用到计算机视觉，提出全光场提论 （plenoptic theory） 1996年，Levoy提出光场渲染理论（light field rendering），将光场进 行参数化，并提出了成像公式 2005年，Ng发明第一台手持式光场相机
衍射
艾里斑的尺寸决定了空间分辨率
经验表明，最大光圈数f/n，那么像 平面上衍射极限分辨尺度n微米 假设镜头和微透镜是f/2和衍射极限光圈 35mm胶片，尺寸24mm×36mm
扩大微透镜直径 希望每个微镜头下包含更多传感器单元 主镜头光圈值必须与微透镜尺度匹配 微透镜f/4
光圈数表明衍射极限分辨率 大约是2微米，那么传感器 像素是18000×12000
C图微镜头和传感器重合
最大的空间分辨率
Key laboratory
Key Lab
中科院安徽光学精密机械研究所
最大分辨率
主透镜与微透镜最佳位置
Fopt
1 F f 1
F
F
1

f
0 1
图b和图c中，光线汇聚最厉害的地 方是最大分辨率的重聚焦面
(1)、镜头光圈：光圈越大，景深越小；光圈越小，景深越大； (2)、镜头焦距：镜头焦距越长，景深越小；焦距越短，景深越大； (3)、拍摄距离：距离越远，景深越大；距离越近，景深越小。
Key laboratory
Key Lab
中科院安徽光学精密机械研究所
光圈 快门
光圈越大(F值越小),通过的光亮越多，景深越小， 突出主体，要求对焦准确
当焦点远于x成像面，那么斜率为正
当焦点近于x成像面，那么斜率为负
Key laboratory
Key Lab
中科院安徽光学精密机械研究所
光场记录
光场相机的一次采样过程
灰色的图像传感器像元加起来，我们就可以计算出 在光学焦平面图像中的微镜头尺度大小像元的值
图中网格列的宽度是微透镜的宽度 收集方向分辨率导致最后图像分辨率降低，最大的分辨率为微透镜的个数
2006年，Levoy研制出光场显微镜
Key laboratory
Key Lab
中科院安徽光学精密机械研究所
获取光场手段
1.微透镜阵列
普通成像技术的一次像面处加入一个微透镜阵列，每个微透镜记录的 光线对应相同位置不同视角的场景图像。
2.相机阵列
它是指通过相机在空间的一定排布来同时抓取一系列视角略有差别的图像， 从而重新勾出光场数据的方法。
快门越快，进来的光亮就越少，快门越慢就进 光更多
Key laboratory
Key Lab
中科院安徽光学精密机械研究所
传统成像的缺点
传统相机，获取大的景深，需要减小光圈，那么每 次曝光进入的光子数有限，信噪比降低，出现噪点
高速物体，需要提高快门，为了平衡信噪比， 需要大光圈，景深小，对焦难，背景模糊
Key Lab
中科院安徽光学精密机械研究所
光场记录-子孔径图像
因为孔径是有限的，所以每个 微透镜都有一定的视场，不同 微透镜之间有一定的视差 视差就是从有一定距离的两个点上 观察同一个目标所产生的方向差异
Key laboratory
Key Lab
中科院安徽光学精密机械研究所
计算成像公式
经典的辐射理论表面，在像平面上的一点的辐射来 自于镜头上所有辐射的权重积分
1 x 1 y F LF F u1 , v1 , u, v (X’,y’,u,v) 把（x,y,u,v)
那么我们可以得到任意平面上的点成像函数
1 x 1 y 1 E，F x, y 2 2 LF u 1 , v 1 , u , v dudv F
光场相机原理
田勇志
中科院环境光学重点实验室
背景知识-艾里斑
瑞利判据：当一个艾里斑的边缘正好与另一个艾 里斑中心重合时，这两个艾里斑刚好能被区分开。 d为像素尺寸 F 1 D D为光圈直径 d 0 1.22 F d f number D 1.22
Key laboratory
Key laboratory
Key Lab
中科院安徽光学精密机械研究所
传统相机
对于每一个空间的像素X， u的变化都覆盖了全镜头
保留了空间分辨率x， 但没有记录方向值u
所有圆锥光线叠加形成图像一个像素值
Key laboratory
Key Lab
中科院安徽光学精密机械研究所
非焦平面成像
不同距离的景物成像，但我们 固定一个x成像平面 X的变化是随u的变化成线性的变化的