光场相机解码-刘超俊

Part Four
疑问
疑问
Thank you 感谢聆听
通过使用彩色滤波阵列覆盖在CCD表面获取颜色信息。
依据彩色滤波阵列不同和通过光线谱段不同，彩色滤波阵列可 分为许多种类，如：Bayer(red,green,blue)、 CMYW(Cyan,magenta,yellow,white)等。
Bayer彩色模板
在Bayer颜色滤波阵列中，RGB三色的感光单元不是平局分布的。 基于人眼对绿色比较敏感，绿色占50%，红色和蓝色各占25%（如下图所示）。
然后对全部倾斜角求平均作为微透镜阵列的倾斜参数。 纵向数量、倾斜角度等等。 峰值点。
通过前面获取的峰值点，求出微透镜间的中心间隔，然后通过拟合
光场解码
读取的源图像 和匹配的白图像 建立新的微透镜 阵列网格模型
曝光归一化
Bayer解码
解码得到四维光 场
分别对Bayer解码后的图 像和白图像做仿射变换
中的位置和方向分布，可
以用光线与两个平行平面 的交点坐标来进行参数化
表征。
如图 1 所示，L( u，v，x，y) 表 示光场的一个采样，其中 L 为光 线强度，( u，v) 和( x，y) 分别为
光线与两个平面的交点坐标。
Part Two
Bayer解码
彩色相机工作原理
3—CCD彩色相机
单个CCD如何重建彩色图像？
2*2领域像素复制插值（以RGGB为例）
该算法的优点是计算简单 但在图像细节和边缘处会产生明显的“锯齿效应”
色彩还原的结果：2*2块内的像元 具有相同的红色和蓝色，第一列 和第二列的两个像元具有相同的 绿色值。
3*3领域双线性插值（以RGGB为例）
蓝色插值与红色插值相似
该算法在图像平滑区域有较好的处理效果，在图像边缘
上的采样间隔保持一致，在重采样时横向间隔调整
为sqrt(3)/2。
光场重采样（1）-线性插值
以微透镜横向序号为横坐标，X=[0,1,2,3,4,5,······]（理解为横
向间隔为1），以同一行的每个微透镜上的相同位置的像素 点的灰度值作为纵坐标，进行线性拟合。然后用一个调整间 隔后的向量newX=[0,sqrt(3)/2,sqrt(3),……],进行插值，得到 新的灰度值。
计算机中存储形式 为M*N*3的矩阵
四维信息（位置、方向）
计算机内存储形式为s*t*u*v*4的 五维矩阵,其中s*u=M,t*v=N
微透镜中心标定（解码预处理）
原始光场白图像
白图像数据提取
白图像圆形区域
均值滤/高斯滤波
得到各个子区域 的峰值点
对白图像网
格做圆形区
完成中心标定
域均值滤波 建立网格模型
光场重采样（2）-对每个微透镜子图内部进行重采样
因前面在建立微透镜网格模型时将网格模型中微透镜的横向纵向间隔强制转化为整数，
造成在单个微透镜里面像素元间横向纵向采样间隔不同，此处进行插值重采样。
以每个微透镜内部的像素点横向（或纵向）索引为横坐标， X=[-8,-7,-6,…,0,…,6,7,8]（理解为横向间隔为1），对应的 灰度值为纵坐标，进行线性拟合。然后用一个调整间隔后的 向量（与原间隔从非整数转化为整数的缩放比例相关）进行 插值。调整之后，单个微透镜内横纵向采样间隔保持一致。
在前面得到的光场数据中，假设此处微透镜子图像可以表 示为LF（：，：100,100,1:3）,则其右（左）下角微透镜阵 列子图像为LF（:，：，101,100，1:3）。
通过线性插值的方法，在此处插值出与新的微透镜子图像。 并将其存储为LF（:，：，101,100，1:3）。对整张图像做这
样的处理，使得列号相同的微透镜子图像在采样位置上不存
（结构体） 或者高斯滤 通过读取预先生成的文件得 波，目的是 建立狄洛尼（Delaunay ）三 利用前面求出来的结构体建立理想微透镜网格，通过理想微透镜网格 到白图像对应的相机序列号、
峰值点线性拟合
三角化处理
得到每个网 与实际的微透镜网格之间的差值作为补偿，更新网格模型中的相关参 角网，目的是为线性拟合确定 得出的倾斜角度对该间隔进行校正。建立网格模型结构体，结构体 变焦设置等相关参数 横向和纵向分别拟合出多条直线，并分别求出每条直线的倾斜角， 格小区域的 数（两个方向上的微透镜阵列数、网格左上角起始位置等。 包含微透镜阵列网格的基本信息，微透镜横 /纵向间隔，微透镜横/ 每个峰值点的相邻点。
Bayer重建全彩图像
基于Bayer模板的结构特点，通过Bayer模板获取的图像信号分辨率低于相机感光单元的分辨率。
如：相机感光单元总数为1024*1024，实际得到的图像只有512*512个R，512*512*2个G，512*512个B。 为了提高图像质量，需要通过色彩还原方法恢复另外两个颜色分量，重建高 分辨率全彩图像。
光场相机解码
深圳大学 2016.11.29 刘超俊
基于对LFToolbox0.4的分析
目录 CONTENT
Part One
Part Two
Part Three
Part Four
光场的表征
Bayer格式解码
光场解码
光场的参数化表示
光场是指光线强度在空间
在错切。 此外，重采样过程中，还对微透镜的中心横向间隔进行调整。定义原 中心横向间隔为1，调整sqrt(3)/2。因此，经过此步骤处理之后，微 透镜横向采样间隔与纵向采样间隔相同，且横向微透镜子图像的数目 变多。
光场重采样(1)-关于采样间隔调整为sqrt(3)/2
定义原横向间隔为1，则相邻两行的微透镜中心的 垂直距离为sqrt(3)/2，所以为了使得横纵两个方向
索引为20，20的微透镜图像 即LF（：，：，20,20,1:3）
从而得到5维光场信息。
最后一个维度是4，通道1—3分别对应 RGB三个通道，通道4用来存储相应白图
像解码后的光场信息。
取出每个微透镜的第5行第5列像素点构成的 图像，即 LF（5,5，：，：，1:3）
LF（：，：，20,20,4）
光场重采样(1)-微透镜子图像间的重采样
区域，处理效果依然较差。
但是因其计算简单，该算法得到广泛应用。
此外，2004年Malvar等人提出了一种高质量线性插值方法。 （5*5领域高质量线性插值）
Lytro光场相机采集的图像经过Bayer解码后的图像
（计算机内的存储形式为m*n*3的矩阵）
Part Three
光场解码
光场解码
二维信息（位置）
微透镜间-光 场重采样 未经处理的源图像
微透镜内-光 场重采样
曝光归一化
曝光归一化。目的是消除微透镜阵列的渐晕 效应，以及传感器的固定模式噪声和暗电流 噪声。
曝光归一化后的图像
Bayer解码（GRBG）
重建全彩图像
重建网格模型
经过白图像处理得到的 网格模型中，微透镜间 的间隔，中心坐标等都
不是整像素。这里将其
强制转化成整像素间隔。
对白图像和经前面处理后的图像做仿射变换
因为微透镜整列的加工制作不可避免地造成微透镜位置的微小偏差， 如同一排的微透镜不是在一条水平线上。
变换后
变换前
获取四维光场信息
根据前面已经求取的网格模型（包含微透 镜阵列中心间隔，起始点位置等信息）， 建立一个5维矩阵LF（s*t*u*v*4,其中 s*u=M,t*v=N），并对其元素进行赋值，