计算摄像学专题第12讲

-35-
光场相机与Depth of Field
光场相机的目的是为了记录光场的角度信
-36-
息与位置信息 传统相机将所有的角度信息积分到固定位 置处，前面我们已经讲到这个知识点。请 同学们特别注意这个重要的观点与思想 光场相机需要牺牲空间分辨率来获得角度 分辨率 因此，使用光场相机来获得Depth of Field 可以说是将多张图的技术移植到了单张图 像上
入射光瞳 出射光瞳 B’
A
A’
E
B
Depth of Field的推导

-8-
Depth of Field的推导

-9-
什么会影响Depth of Field

-10-
什么会影响Depth of Field

-11-
F数与Depth of Field

-12-
此式说明：光圈的F数 与景深呈线性关系。 实际上，F数越小，表 明光圈越大

-14-
光场的相关理论

-15-
光场采样与图像获取

-16-
光场采样与图像获取
三维空间的光场到二维平面光场的简化处
-17-
理与直观感觉
光场采样与图像获取

-18-
Depth of Field的深入思考

-19-
Depth of Field的问题及小结
Depth of Field 与Defocus的关系 存在的原因是：sensor、人眼等感光器都存在 极限分辨率 Depth of Field造成的blur，本质上是因为out of focus Depth of Field涉及的两个重要问题 增大Depth of Field
然后融合拍摄的多组图像?
单张图像拍摄：
捕获光场，重新积分不同角度的光线，得到图像? 想办法使得单张图像的整体模糊与深度关系可控?
如，模糊核一致或模糊核清楚地知道
第十二讲提纲
一 问题的由来 处理方法——Tradeoff
2.1 多张图像拍摄
2.2 单张图像拍摄
-26-
二
三
本节课小结
多张图像拍摄相关文献
-1-
计算摄像学专题第十二讲 ——Depth of Field(DoF)
戴琼海 王雁刚 清华大学 自动化系
第十二讲提纲
一 问题的由来 处理方法——Tradeoff
2.1 多张图像拍摄
2.2 单张图像拍摄
-2-
二
三
本节课小结
什么是Depth of Field
什么是Depth of Field 反映透镜或相机的属性 物平面的共轭像平面上呈清 晰像的轴向深度
2.2 单张图像拍摄
-22-
二
三
本节课小结
Depth of Field问题的解决思路
重新阐述Depth of Field的两大类问题


-23-
“增大”Depth of Field “减小”Depth of Field 降低感光器的极限分辨率
选取更小的光圈
增大Depth of Field

-41-
的同学可以用Matlab尝试一下
光场相机的几项关键技术
如何保证不发生混叠？
-42-
光场相机的几项关键技术
数字重聚焦(Digital Refocusing)
-43-
数字重聚焦

-44-
单张图像的Depth of Field增强
Light Field Camera 2005. Light field photography with a hand-held plenoptic camera 2010. Focused plenoptic camera and rendering Depth-Invariant Blur 1995. Extended depth of field through wave-front coding 2010. Flexible depth of field photography 2010. Diffusion coded photography for extended depth of field Depth-Varying Blur 2007. Image and depth from a conventional camera with a coded aperture
光场相机原理
Sub-aperture Image
-40-
这是一个很重要的成像观点
也就是说，图像的形成过程可以如此思考
假设我们所拥有的主透镜可以任意地开不
同位置的小孔 显然，每个小孔都会有成像——视差效应 对这些小孔所成的图像进行叠加，构成主 透镜的图像？
光场相机原理
网络学堂，我给出一些Raw-data，感兴趣
张图像Depth of Field增强的方案
单张图像的Depth of Field增强
Light Field Camera 2005. Light field photography with a hand-held plenoptic camera 2010. Focused plenoptic camera and rendering Depth-Invariant Blur 1995. Extended depth of field through wave-front coding 2010. Flexible depth of field photography 2010. Diffusion coded photography for extended depth of field Depth-Varying Blur 2007. Image and depth from a conventional camera with a coded aperture
多张图像拍摄的关键技术
此方法分为两个步骤 分割—Graph-cut 融合—梯度融合方案 Graph-cut可以用户指定，也可全自动计算 梯度融合则是保证图像的视觉效果
-30-
第十二讲提纲
一 问题的由来 处理方法——Tradeoff
2.1 多张图像拍摄
2.2 单张图像拍摄
-31-
单张图像的Depth of Field增强
Light Field Camera 2005. Light field photography with a hand-held plenoptic camera 2010. Focused plenoptic camera and rendering Depth-Invariant Blur 1995. Extended depth of field through wave-front coding 2010. Flexible depth of field photography 2010. Diffusion coded photography for extended depth of field Depth-Varying Blur 2007. Image and depth from a conventional camera with a coded aperture
-45-
Depth-Invariant Blur
波前编码技术(Wave-front Coding) 设计合理的相位板 灵活的景深采集技术 不同深度的积分拍摄 漫反射体编码技术(Diffusion Coding) 设计有效的漫反射体 使用一些传统的去模糊方法来处理拍摄得
-46-




在不改变极限分辨率、不使用小光圈的情形下，通 过计算摄像的技术手段来获得更大的景深
思考：如何“减小”Depth of Field？
Depth of Field问题的解决思路
在前面的讨论中，我们已经知道 Depth of Field存在的根本原因是：
-24-
传感器、人眼等感光器存在极限 分辨率
针对必须使用大光圈的拍摄情形
-20-
获得Depth
美学设计
of Field“突出重点”的效果
检测、识别等领域
Depth of Field的问题及小结
Depth of Field的正问题与逆问题
-21-
减小
V.S.
增大
第十二讲提纲ห้องสมุดไป่ตู้
一 问题的由来 处理方法——Tradeoff
2.1 多张图像拍摄
一些有意思的题外话
眼大无珠 贼眉鼠眼 闪烁着智慧光芒的小眼睛……
Depth of Field问题的解决思路
由于极限分辨率的存在，原本清晰成像的
-25-
焦平面可以扩展到成空间的深度范围 增大Depth of Field的技术手段是否可以按 照如下思考的方式
多张图像拍摄：相机分别聚焦于不同平面，
融合多幅图像信息，以期望获得更大景深
-28-
的效果是一种很直观的想法 这里仅做简要介绍，感兴趣的同学可翻阅 相关的视觉文章 牺牲时间，换取景深。该想法关键问题是
如何融合不同焦 距平面上的图像？
多张图像拍摄的关键技术
SIGGRAPH 2004
-29-
Interactive Digital Photomontage
-6-
还与眼睛到图像的距离有关 为了获得正确的空间感觉，不发生景象的 歪曲，必须要以适当的距离观察图像
思考 如何才能获得正确的空间感觉？ 观察距离到底如何确定？
Depth of Field的推导
我们说要获得正确的空间感觉，应当使得
-7-
成像平面上个点对眼睛的张角与直接观察 空间时，各对应点对眼睛的张角是相同的
US Patent 1987
-27-
Depth of focus Imaging process method
IEEE Conference on Computer Vision 1993
Enhanced Image Capture Through Fusion
……
多张图像拍摄的关键技术
二
三
本节课小结
单张图像的Depth of Field增强
多张图像拍摄增加Depth of Field，只能针
-32-
对静态场景 如何实时地增加动态场景的Depth of Field 成为一个棘手的问题 问题是： 能否利用单张图像增加Depth of Field？
答案是： 这是可以做到的，我们将重点介绍几类单
光场相机拍摄出的图片
-37-
传统相机与光场相机
-38-
光场相机原理
-39-
传感器单元上，微透 镜阵列对应位的像素 值等效于主透镜上同 一位置的光线
思考：
主透镜平面可以用来 刻画不同角度的光线
我们称主透镜平面为 若把不同微透镜阵列后的像素组合起来 角度平面，传感器平 构成一幅新的图像，该图像反映了什么？ 面为位置平面
Diffusion Coded Photography
Oliver et al. 10
Coded aperture
Levin et al. 07 Veeraraghavan et al. 07
Depth-invariant blur
Depth-varying blur Depth estimation required
-3-
思考 Depth of Field 与上节课所讲 Time of Filght(ToF)获取的深度有何异同？
Depth of Field的推导
物平面 主平面 主平面 象平面
-4-
Depth of Field的推导

-5-
Depth of Field的推导
当极限分辨角确定后，允许的弥散斑大小
F数与Depth of Field
思考：
-13-
1）F/2.8与F/32对应的光圈 分别在何种情况下使用？ 2）如果迫不得已必须采用 F/2.8的光圈，如何才能增 大Depth of Field？
3）若我们可使用F/32的光
圈采集，如何才能获得 F/2.8“突出重点”的效果？
F/2.8
F/32
Depth of Field的深入思考
-33-
单张图像的Depth of Field增强
光 场 相 机
Version 1.0 N.g. Ren et al. 05
-34-
Version 2.0 Georgiev et al. 10
Wavefront coding
Dowski & Cathey 94
Focus Sweep
Hausler 72 Nagahara et al. 08