人机交互技术5——光场成像

非焦平面成像
不同距离的景物成像，但我们固 定一个x成像平面 X的变化是随u的变化成线性的变化的
当焦点远于x成像面，那么斜率为正 当焦点近于x成像面，那么斜率为负
光场记录
光场相机的一次采样过程
灰色的图像传感器像元加起来，我们就可以计算出 在光学焦平面图像中的微镜头尺度大小像元的值
图中网格列的宽度是微透镜的宽度
基于光场合成光场技术
合成孔径成像的原理，当瞳孔的孔径远大于障碍物的空间尺度时，从目标 物体上发出的光线能够很容易地绕过障碍物进入人眼。如果孔径足够大， 那么，就可以透过一些常见的障碍物而被成被掩盖目标的像。
如果有一障碍物点在景深范围之外的 空间平面上，则在相面上形成弥散圆 而失去遮挡效果
孔径再变大，景深非常小，只有在 焦平面附近的成像清晰，期待都是 弥散，不足遮挡物体成像
光场成像
背景知识-艾里斑
背景知识 全光函数 光场 光场采样 光场的获取
背景知识-艾里斑
瑞利判据：当一个艾里斑的边缘正好与另一个艾 里斑中心重合时，这两个艾里斑刚好能被区分开。
d为像素尺寸 D为光圈直径
如果此圆形足够小，肉眼依然可被视为 点的成像。这个可以被接受的最大直径 被称为容许弥散圆直径δ
在几何光学中，光场指的就是光线强度在空间中的位置和 方向分布，该分布函数可用光线与两个平行平面的交点坐 标来进行参数化表征。
光场可用4D函数表示
– 假设自由空间 – 光是沿射线常数
光场的参数化
L(u,v,s,t)表示光场的一个采样，其中各变量分别表示:
– L为光线强度 – (u,v)和(s,t)分别为光线与两个平面的交点坐标
为实现这四维信息向二维平面的转换，必须对四 维光场进行重新采样和分布。
光场的采集
基于针孔阵列的光场釆样
光场的采集
在传统成像系统的探测器前方距离b处放置一组等间距针 孔阵列可实现光场的重采样。
从镜头发出的光线经过每个针孔后投影到探测器平面形成 一个子图像,子图像中一点此时就对应于镜头光瞳发出的一 条光线(即一个光场采样)。
• (4D sub-set of x, y, z, θ, φ )
–动态光场[Wilburn05]
• (5D sub-set of x, y, z, θ, φ ,t)
波长通常以RGB形式表述 在实际的成像系统中，辐射限定在有限的范围内
– LDR – HDR
全光函数
缺点：
–许多场景参数成型建模为时间参数
收集方向分辨率导致最后图像分辨率降低，最大的分辨率为微透镜的个数
光场记录-原始光场图像
原始图像是由一系列斑点构成，每个 斑点都是微透镜的成像，圆的图像是 因为主镜头是圆的
原始光场成像是一个（x,y）成 像网格，每副图像表明到达成 像面某个微透镜的光线来自主 镜头不同的（u,v）位置
光场记录-子孔径图像
若将每个子图像整体看作一个宏像素,则每个宏像素对应于 光场的一个位置采样,而宏像素内的每一点对应于光场在该 位置的一个方向采样;所有宏像素共同组成了光场在镜头孔 径上每一点和每一个针孔位置的采样。
光场的位置采样分辨率由针孔采样问隔所决定,而光场的方 向分辨率则取决于其在镜头孔径上的采样次数,这是由每个 宏像素内所包含的像元数所决定的。
光场理论的发展
1936年，Gershun提出光场概念，光场就是光辐射在空间各个位置各 个方向的传播 1992年，Adelson将光场理论应用到计算机视觉，提出全光场提论 （plenoptic theory） 1996年，Levoy提出光场渲染理论（light field rendering），将光场 进行参数化，并提出了成像公式
[
LF
](x,
y)


1 2F
2
LF

u1

1



x

,
v1

1



y

,
u,
v
dudv
傅里叶切片定理
FM
LNM
B

S
N M

B T B T
F N
空间域和频率转换关系
P LF
1
2F
2
L42
B LF
P
1
2005年，Ng发明第一台手持式光场相机
2006年，Levoy研制出光场显微镜
全光函数
全光函数包含7个变量
–空间位置(3D) –特定方向(2D) –特定时刻(1D) –特定波长(1D)
L=p(x, y, z, θ, φ ,t, λ)
全光函数
使用全光函数子集的成像方式
–传统摄影 –全景成像 –视频序列 –光场成像[Levoy96, Gortler96]
光场的参数化
传统成像系统中，探测器像面上每个点接收来自整个光瞳 的光线进行积分，像面(x,y)处的光照度为
其中,(u,v)为镜头出瞳而上的坐标。 传统成像系统所探测到的光场只能反应其强度和位置(x,y)
之问的关系,而损失了其(u,v)方向信息
光场的采集
与传统成像不同，光场成像需要利用二维的探测 器像面来同时记录光场的四维信息，即二维位置 分布和二维传输方向。
2F 2
F 2

F2
L42
B
P

1
2F
2
F 2


S
4 2


BT BT

F
4


数字wk.baidu.com聚焦3
聚焦结果
分辨率
镜头
衍射
提高锐度
艾里斑的尺寸决定了空间分辨率
方法：让微透镜在主镜头的焦面上
经验表明，最大光圈数f/n，那么像
聚焦就是微透镜和图像传感器间距为焦距 平面上衍射极限分辨尺度n微米
Adaptive Optics microlens array 125μ square-sided microlenses
4000 ×4000 pixels ÷ 292 ×292 lenses = 14 ×14 pixels per lens
机械设计
• microlenses float 500μ above sensor • focused using 3 precision screws
背景知识-景深
在对焦时，通过镜头将在焦平面上清晰成像，而对焦点的前景和后景也在 焦平面成像，只要它们成像的弥散圆等于或小于容许弥散圆直径，我们将 认为是清晰的，这样影像就有一个的清晰的区间，这就是景深
(1)、镜头光圈：光圈越大，景深越小；光圈越小，景深越大； (2)、镜头焦距：镜头焦距越长，景深越小；焦距越短，景深越大； (3)、拍摄距离：距离越远，景深越大；距离越近，景深越小。
假设镜头和微透镜是f/2和衍射极限光圈
扩大微透镜直径
35mm胶片，尺寸24mm×36mm
希望每个微镜头下包含更多传感器单元
光圈数表明衍射极限分辨率 大约是2微米，那么传感器像
主镜头光圈值必须与微透镜尺度匹配 微透镜f/4 素是18000×12000
如果换成微透镜，微透镜尺寸是20微米， 每个下面有十个像素，那么空间分辨率 是1800×1200，方向分辨率是10×10
• 动态场景 • 照明变化 • 光与物质的相互作用
难于编辑 改进
– 全光照明函数[Wong02] – 反射场[Debevec00]
光场的参数化
光场(Light field)的概念最早由A. Gershun于1936年提出 ，用以描述光在三维空间中的福射传输特性。
光场是表示光辐射分布的函数，反映了光波动强度与光波 分布位置和传播方向之间的映射关系。
光场四维函数
根据Levoy的光场渲染理论，空间中携带强度和方向信息的任意光线，都可以用 2个平行的平面参数化表示，光线与两个平面相交于两点，形成四维函数 L(u,v,x,y)
传统相机
对于每一个空间的像素X，u 的变化都覆盖了全镜头
保留了空间分辨率x，但 没有记录方向值u
所有圆锥光线叠加形成图像一个像素值
3.掩膜及其他
共同点都是对相机的孔径做相应处理
相机组成
光场相机包换一个主镜头，一个微透镜阵列和一个数字图像传感器
传统相机 VS 光场相机
传统相机 VS 光场相机
uv-plane
st-plane
传统相机 VS 光场相机
st-plane
uv-plane
原型光场相机
Contax medium format camera Kodak 16-megapixel sensor
在四维(u,v,s,t)坐标空间中,一条光线对应光场的一个采样点
光场的参数化
采用双平面参数来表征光场的合理性和实用性在 于
– 现实中的大部分成像系统中都可以简化为相互平行的 两个平面
– 比如传统成像系统中的镜头光瞳面和探测器像面
– 如果用探测器像面中的坐标(x, y)表示光线的分布位置 ,那么镜头光瞳面坐标(u,v)就反映了光线的传输方向
空间分辨率和方向分辨率
A图微透镜在主镜头焦平面 上，传感器与微透镜间距 为微透镜焦距 最大的方向分辨率
B图微透镜和传感器 间距为焦距的一半
C图微镜头和传感器重合 最大的空间分辨率
最大分辨率
主透镜与微透镜最佳位置
图b和图c中，光线汇聚最厉害的地 方是最大分辨率的重聚焦面
说明微透镜与主透镜距离小于焦距
光场的采集
在原针孔阵列的位置放置微透镜阵列，微透镜单元孔径大 小等于针孔采样间隔d,而微透镜的焦距正是f。
光场的采集
• 与针孔采样的区别在于,微透镜单元对光场的位置维度采取 矩形釆样(或圆形采样,取决于微透镜单元的孔径形状)的方 式,不会损失成像系统的光通量。
光场的处理
• 视角变换 • 数字对焦与数字变焦
(X’,y’,u,v)
那么我们可以得到任意平面上的点成像函数
数字重聚焦1
傅里叶切片定理
投影定义
傅里叶切片定理的含义是平行投影的一维傅里叶变 换等同于原始物体的二维傅里叶变换的一个切片。
将已知投影数据通过一个简单的二维物理也反变换可 以得到物体界面的一个估计。
数字重聚焦2
平面（x’,y’)

光圈—快门
光圈越大(F值越小),通过的光亮越多，景深越小， 突出主体，要求对焦准确
光圈值，是镜头的焦距/镜头通光直径得出的相对值（相对孔径 的倒数）。例如针对50mm的标准镜头而言，最大的通光直径 为29.5mm，其最大光圈的计算值为50mm÷29.5mm=F1.7，这 样就能够理解同一变焦镜头在不同的焦距下，虽然最大的通光 直径相同，但是换算之后其最大光圈是不同的。F值越大，光圈 越小，反之，F值越小，光圈越大。
因为孔径是有限的，所以每个微 透镜都有一定的视场，不同微透 镜之间有一定的视差
视差就是从有一定距离的两个点上 观察同一个目标所产生的方向差异
计算成像公式
经典的辐射理论表面，在像平面上的一点的辐射来 自于镜头上所有辐射的权重积分
是距离目标平面外F距离的光场参数 cosΘ是由于光学渐晕效应的衰减因子
把（x,y,u,v)
所有的光场理论的应用基础都是Light Field Rendering的 思想和实现
如图在目标物“龙”的周围我们可以拍摄不同位置不同角度的图片。在图（b）中黄色位置 和红色2代表的位置上拍摄物体龙的信息基本相同，但是由于视场不同黄色位置获得的图像 视场小于红色位置2，但是获得的细节信息多于红色位置2，而红色位置1和红色位置3拍摄 的图像包含部份黄色位置拍摄图像的信息，因此通过计算可以通过红色位置1，2，3的图像 中部分信息计算出黄色位置拍摄的图像的全部信息。由此，我们可以不在黄色位置拍摄图 像，而通过红色位置1，2，3的图像计算出他的图像。根据这种理论，通过在物体周围拍摄 到足够的图片形成物体的光场如图（c）所示，就可以获得任意位置拍摄到的图片，而无须 真实的拍摄，从而获得“龙”的所有信息。藉由这个原理，我们可以实现很多有意义的应 用。其中最突出的两个方面就是光场相机和三维重建。
快门越快，进来的光亮就越少，快门越慢就进 光更多
传统成像的缺点
传统相机，获取大的景深，需要减小光圈，那么每 次曝光进入的光子数有限，信噪比降低，出现噪点
高速物体，需要提高快门，为了平衡信噪比， 需要大光圈，景深小，对焦难，背景模糊
黑暗的环境，为了平衡信噪比，需要延长曝光时 间，手的抖动造成图像模糊，需要三脚架
光场
光场优点
– 渲染的复杂性是独立于场景复杂度 – 快速显示 – 简化复杂的视角依赖效应 – 无需数学模型
缺点
– 极高的存储需求
– 难以编辑
获取光场手段
1.微透镜阵列
普通成像技术的一次像面处加入一个微透镜阵列，每个微透镜记录的 光线对应相同位置不同视角的场景图像。
2.相机阵列
它是指通过相机在空间的一定排布来同时抓取一系列视角略有差别的图像， 从而重新勾出光场数据的方法。