2 光场成像

光场的采集
探测器上任一点处的光照度可表示为光场经过针 孔过滤后的积分:
任一条光线,若其经过三个平面时的交点分别为u,s 和x，h定义为镜头孔径经过一个针孔投影到探测 器像面上的直径，D为镜头孔径的直径，镜头与 针孔阵列之间的距离为a，针孔阵列中相邻针孔的 间距为d
光场的采集
在原针孔阵列的位置放置微透镜阵列，微透镜单元孔径大 小等于针孔采样间隔d,而微透镜的焦距正是f。
光圈—快门
光圈越大(F值越小),通过的光亮越多，景深越小， 突出主体，要求对焦准确 快门越快，进来的光亮就越少，快门越慢就进 光更多
传统成像的缺点
传统相机，获取大的景深，需要减小光圈，那么每 次曝光进入的光子数有限，信噪比降低，出现噪点
高速物体，需要提高快门，为了平衡信噪比， 需要大光圈，景深小，对焦难，背景模糊 黑暗的环境，为了平衡信噪比，需要延长曝光 时间，手的抖动造成图像模糊，需要三脚架
相机组成
光场相机包换一个主镜头，一个微透镜阵列和一个数字图像传感器
传统相机 VS 光场相机
传统相机 VS 光场相机
uv-plane
st-plane
传统相机 VS 光场相机
st-plane
uv-plane
原型光场相机
Contax medium format camera
Kodak 16-megapixel sensor
B图微透镜和传感器 间距为焦距的一半
C图微镜头和传感器重合
最大的空间分辨率
最大分辨率
主透镜与微透镜最佳位置
Fopt
1 F f 1
F
F
1

f
0 1
图b和图c中，光线汇聚最厉害的地 方是最大分辨率的重聚焦面
Fopt F 说明微透镜与主透镜距离小于焦距
–现实中的大部分成像系统中都可以简化为相互平行 的两个平面
–比如传统成像系统中的镜头光瞳面和探测器像面
–如果用探测器像面中的坐标(x, y)表示光线的分布位 置,那么镜头光瞳面坐标(u,v)就反映了光线的传输方 向
光场的参数化
传统成像系统中，探测器像面上每个点接收来自整个光瞳 的光线进行积分，像面(x,y)处的光照度为
光场四维函数
根据Levoy的光场渲染理论，空间中携带强度和方向信息的任意光线，都可以 用2个平行的平面参数化表示，光线与两个平面相交于两点，形成四维函数 L(u,v,x,y)
传统相机
对于每一个空间的像素X， u的变化都覆盖了全镜头
保留了空间分辨率x， 但没有记录方向值u
所有圆锥光线叠加形成图像一个像素值
2006年，Levoy研制出光场显微镜
全光函数
全光函数包含7个变量
–空间位置(3D) –特定方向(2D) –特定时刻(1D) –特定波长(1D)
L=p(x, y, z, θ, φ ,t, λ)
全光函数
使用全光函数子集的成像方式
–传统摄影 –全景成像 –视频序列 –光场成像[Levoy96, Gortler96] –动态光场[Wilburn05]
光场的采集
基于针孔阵列的光场釆样
光场的采集
在传统成像系统的探测器前方距离b处放置一组等间距针 孔阵列可实现光场的重采样 从镜头发出的光线经过每个针孔后投影到探测器平面形成 一个子图像,子图像中一点此时就对应于镜头光瞳发出的 一条光线(即一个光场采样)。 若将每个子图像整体看作一个宏像素,则每个宏像素对应 于光场的一个位置采样,而宏像素内的每一点对应于光场 在该位置的一个方向采样;所有宏像素共同组成了光场在 镜头孔径上每一点和每一个针孔位置的采样。 光场的位置采样分辨率由针孔采样问隔所决定,而光场的 方向分辨率则取决于其在镜头孔径上的采样次数,这是由 每个宏像素内所包含的像元数所决定的。
难于编辑 改进
–全光照明函数[Wong02] –反射场[Debevec00]
光场的参数化
光场(Light field)的概念最早由A. Gershun于1936年提出， 用以描述光在三维空间中的福射传输特性。 光场是表示光辐射分布的函数，反映了光波动强度与光波 分布位置和传播方向之间的映射关系。 在几何光学中，光场指的就是光线强度在空间中的位置和 方向分布，该分布函数可用光线与两个平行平面的交点坐 标来进行参数化表征。 光场可用4D函数表示
如果此圆形足够小，肉眼依然可被视为 点的成像。这个可以被接受的最大直径 被称为容许弥散圆直径δ
背景知识-景深
在对焦时，通过镜头将在焦平面上清晰成像，而对焦点的前景和后景也在 焦平面成像，只要它们成像的弥散圆等于或小于容许弥散圆直径，我们将 认为是清晰的，这样影像就有一个的清晰的区间，这就是景深
(1)、镜头光圈：光圈越大，景深越小；光圈越小，景深越大； (2)、镜头焦距：镜头焦距越长，景深越小；焦距越短，景深越大； (3)、拍摄距离：距离越远，景深越大；距离越近，景深越小。
光场的采集
• 与针孔采样的区别在于,微透镜单元对光场的位置维度采 取矩形釆样(或圆形采样,取决于微透镜单元的孔径形状)的 方式,不会损失成像系统的光通景。
光场的处理
• 视角变换 • 数字对焦与数字变焦
光场
光场优点
– 渲染的复杂性是独立于场景复杂度 – 快速显示 – 简化复杂的视角依赖效应 – 无需数学模型
其中,(u,v)为镜头出瞳而上的坐标。 传统成像系统所探测到的光场只能反应其强度和位置(x,y) 之问的关系,而损失了其(u,v)方向信息
光场的采集
与传统成像不同，光场成像需要利用二维的探测 器像面来同时记录光场的四维信息，即二维位置 分布和二维传输方向。 为实现这四维信息向二维平面的转换，必须对四 维光场进行重新采样和分布。
数字重聚焦1
ห้องสมุดไป่ตู้傅里叶切片定理
投影定义
傅里叶切片定理的含义是平行投影的一维傅里叶变 换等同于原始物体的二维傅里叶变换的一个切片。 将已知投影数据通过一个简单的二维物理也反变换 可以得到物体界面的一个估计。
数字重聚焦2
平面（x’,y’)
[ LF ](x, y)
1 2F 2
1 x 1 y L u 1 , v 1 , u , v dudv F
缺点
– 极高的存储需求
–难以编辑
获取光场手段
1.微透镜阵列
普通成像技术的一次像面处加入一个微透镜阵列，每个微透镜记录的 光线对应相同位置不同视角的场景图像。
2.相机阵列
它是指通过相机在空间的一定排布来同时抓取一系列视角略有差别的图像， 从而重新勾出光场数据的方法。
3.掩膜及其他
共同点都是对相机的孔径做相应处理
• (4D sub-set of x, y, z, θ, φ ) • (5D sub-set of x, y, z, θ, φ ,t)
波长通常以RGB形式表述 在实际的成像系统中，辐射限定在有限的范围内
–LDR –HDR
全光函数
缺点：
– 许多场景参数成型建模为时间参数
• 动态场景 • 照明变化 • 光与物质的相互作用
傅里叶切片定理
空间域和频率转换关系
FM
T B N N LN F M B SM B T
P LF
1 4 L 2 B LF 2 2 F
P
1 2 2 4 F F L 2 B 2 2 F


T B 1 2 4 4 P F S 2 T F 2F 2 B
光场记录-原始光场图像
原始图像是由一系列斑点构成，每个 斑点都是微透镜的成像，圆的图像是 因为主镜头是圆的
原始光场成像是一个（x,y） 成像网格，每副图像表明到达 成像面某个微透镜的光线来自 主镜头不同的（u,v）位置
光场记录-子孔径图像
因为孔径是有限的，所以每个 微透镜都有一定的视场，不同 微透镜之间有一定的视差 视差就是从有一定距离的两个点上 观察同一个目标所产生的方向差异
计算成像公式
经典的辐射理论表面，在像平面上的一点的辐射来 自于镜头上所有辐射的权重积分
E F x, y
1 F2
4 L x , y , u , v cos dudv F
LF x, y, u, v 是距离目标平面外F距离的光场参数
cosΘ是由于光学渐晕效应的衰减因子
x u y v LF ( x, y, u, v) LF u ,v , u, v
光场理论的发展
1936年，Gershun提出光场概念，光场就是光辐射在空间各个位置各 个方向的传播
1992年，Adelson将光场理论应用到计算机视觉，提出全光场提 论（plenoptic theory） 1996年，Levoy提出光场渲染理论（light field rendering），将光场 进行参数化，并提出了成像公式 2005年，Ng发明第一台手持式光场相机
– 假设自由空间 – 光是沿射线常数
光场的参数化
L(u,v,s,t)表示光场的一个采样，其中各变量分别表示:
– L为光线强度 – (u,v)和(s,t)分别为光线与两个平面的交点坐标
在四维(u,v,s,t)坐标空间中,一条光线对应光场的一个采样点
光场的参数化
采用双平面参数来表征光场的合理性和实用性在 于
光场成像
背景知识-艾里斑
背景知识 全光函数 光场 光场采样 光场的获取
背景知识-艾里斑
瑞利判据：当一个艾里斑的边缘正好与另一个艾 里斑中心重合时，这两个艾里斑刚好能被区分开。 d为像素尺寸 F 1 D D为光圈直径 d 0 1.22 F d f number D 1.22
数字重聚焦3
聚焦结果
分辨率
镜头
提高锐度
方法：让微透镜在主镜头的焦面上 聚焦就是微透镜和图像传感器间距为焦 距
衍射
艾里斑的尺寸决定了空间分辨率
经验表明，最大光圈数f/n，那么 像平面上衍射极限分辨尺度n微米 假设镜头和微透镜是f/2和衍射极限光圈 35mm胶片，尺寸24mm×36mm 光圈数表明衍射极限分辨率 大约是2微米，那么传感器 像素是18000×12000
1 x 1 y F LF F u1 , v1 , u, v 把（x,y,u,v) (X’,y’,u,v)
那么我们可以得到任意平面上的点成像函数
1 x 1 y 1 E，F x, y 2 2 LF u 1 , v 1 , u , v dudv F
Adaptive Optics microlens array
125μ square-sided microlenses
4000 × 4000 pixels ÷ 292 × 292 lenses = 14 × 14 pixels per
机械设计
• microlenses float 500μ above sensor • focused using 3 precision screws
非焦平面成像
不同距离的景物成像，但我们 固定一个x成像平面 X的变化是随u的变化成线性的变化的
当焦点远于x成像面，那么斜率为正
当焦点近于x成像面，那么斜率为负
光场记录
光场相机的一次采样过程
灰色的图像传感器像元加起来，我们就可以计算出 在光学焦平面图像中的微镜头尺度大小像元的值
图中网格列的宽度是微透镜的宽度 收集方向分辨率导致最后图像分辨率降低，最大的分辨率为微透镜的个数
基于光场合成光场技术
合成孔径成像的原理，当瞳孔的孔径远大于障碍物的空间尺度时，从目标 物体上发出的光线能够很容易地绕过障碍物进入人眼。如果孔径足够大， 那么，就可以透过一些常见的障碍物而被成被掩盖目标的像。
扩大微透镜直径 希望每个微镜头下包含更多传感器单元 主镜头光圈值必须与微透镜尺度匹配 微透镜f/4
如果换成微透镜，微透镜尺寸是20微米， 每个下面有十个像素，那么空间分辨率 是1800×1200，方向分辨率是10×10
空间分辨率和方向分辨率
A图微透镜在主镜头焦平 面上，传感器与微透镜间 距为微透镜焦距 最大的方向分辨率