光场显微镜

Light Field Microscopy

光场显微镜

Marc LevoyRen Ng Andrew Adams Matthew Footer Mark Horowitz 斯坦福大学计算机科学部

斯坦福大学生物化学部

斯坦福大学电气工程部

图1：左边是一个通过拍摄通过显微镜的物镜和微透镜阵列的荧光蜡笔蜡斑点捕获的光场。物镜放大倍率为16倍，1.3mm宽的视场。图像由1702个子图像构成，每一个微透镜描绘了不同样本的一部分。每个子图像有202像素，每个代表镜片上不同的点，因此形成了独特的视野方向。通过提取从每个子图像的一个像素，我们可以制作样本的透视图，即显示在右上角的序列。另外，通过总结各子图像中的像素，我们可以用浅景深产生正交视图的领域，像一个普通的显微镜，但空间分辨率较低。在之前剪切光场我们将注重不同的深度，如右下序列所示。这些图像在计算机实时计算。

摘要

通过将微透镜序列插到传统显微镜中，可以在单一的照片中捕捉生物样本的光场。

虽然衍射的产品在这些光场的空间和角度分辨率的限制，我们仍然可以产生透视视野和栈。由于显微镜本质上是正交的设备，透视视野代表看待微观样本的一种全新的方式。从一个单一的照片增加焦点栈的功能使得光敏感的样本被记录。应用这些重点栈的三维反褶积，我们可以生产出一系列的横截面，可以用量渲染可视化地呈现。在本文中，我们展示了原型光场显微镜（LFM），分析其光学性能，并展示各种生物样本的透视图，重点栈和重建卷。我们还展示了通过三维反褶积

合成聚焦后相当于直接施加有限角度的断层扫描的4D光场。

关键词：光场，合成孔径，显微镜，反褶积，断层摄影，体绘制

1. 介绍

在许多生物实验室里，显微镜是主要的科学仪器。尽管在400年的历史中，其性能和易用性都得到显著改善，显微镜仍有一些局限性。首先，衍射限制了它们的空间分辨率，特别是在高放大倍率下。这种限制可以通过增大物镜（数值孔径）的接受角改善，但我们在每一侧光学轴约70度达到实际限制。其次，在显微镜对象被认为在从一个单一的方向（参见图3）的正投影。横向的显微镜载物台移动标本，不会产生视差，使其难以消除歧义叠加功能。第三，显微镜有一个很浅的景深，特别是在高放大倍率和数值孔径下。在观看厚样本时，此“光学切片”是有用的，但检查整个样本时需要上下移动，这是缓慢的，并且可能不适于活的或光敏感的样本。

第一个限制是固有的物理光，其它是从现有的显微镜出现的。尽管空间分辨率的成本，可以通过捕捉光场而不是图像移除这些限制。作为在自由空间中的位置和方向的函数的标量光字段被定义为辐射率。显微镜的光场问题是Gabor在用两相干光的干扰时第一个发表的。随后激光的发展使得他的技术实用化，领导了全息摄影和全息显微镜的出现。不幸的是，全显微照片不仅记录样本还有显微镜的内部，限制了它们的用处。研究者们也提出的照明或方向的视图，其中的方向被限制在每个图像中的图像捕获序列，但这些方法是缓慢的。经调查，使用透镜阵列捕捉光场李普曼于1908年发明的整体摄影。在改进的技术制造微透镜（小于1毫米）的带动下，研究人员提出了利用计算机阵列，3D视频和摄影镜，透镜阵列已被用来建立一个单一的视图点阵列显微镜用超广角的视野，但并不是据我

们所知的捕捉到多视点图像。在本文中，我们将展示通过微透镜阵列放置在中间显微镜图像平面，我们可以在一张照片中捕捉光场的标本。至于在李普曼的建议，我们牺牲空间分辨率，以获得角分辨率。然后，我们可以采用光场渲染产生的角度，至少捕捉到我们拍摄的角度限制的射线。同样，我们也可以使用合成聚焦到一个焦点堆栈，每一集中在不同的平面上的图像的序列。大多数捕捉光场的设备都是在宏观场景操作（从厘米到米）。在显微镜下，我们的场景是3-4个大小的数量级。这种变化范围有几个重要含义：

1．在宏观场景中，光场捕捉和显示可以使用几何光学来分析。我们还必须考虑到在显微镜下的波动光学。正如我们将在第三部分看到的，在产品上的侧向和轴向分辨率中的光场显微镜衍射上限。

2．在宏观场景中，大多数物体的散射光线使其不透明。在显微镜下，散射不再占主导，大多数物体会变得部分透明。这意味着，尽管宏观的场景的三维结构，只能用于基于计算机视觉算法（如形状立体声），但显微镜光场的三维结构可以用于算法重建的预测分析。

在这个类中有两个算法是断层扫描和三维反褶积。在后者，观察一个焦点堆栈的每一片包含了功能，它的重点是模糊，如果我们知道这个模糊的性质，我们可以运用逆滤波将其移除。

虽然对声音敏感，三维反褶积通过用普通显微镜的图像呈现，这使其成为激光共聚焦显微镜的廉价替代品。在本文，我们将展示人工合成光场的焦点栈也可以反褶积，如在第4部分。

得到的切片数目因为光场的轴向分辨率而有限，但卷可以从一张单一的照片产生。再者，由于显微镜光场是在一个范围内的视场角的一组突起，有限的角度的

断层扫描可以被直接应用到光场，产生一个卷。正如在附录A，三维反褶积和有限角度的断层扫描- 在不同技术领域的发展- 实际上是一样的东西。

2. 光场显微镜（LFM）

如果将一个传感器放置在小透镜后面，并没有远心停止（如图3（b）），每个小透镜阵列上的从该位置观察到的场景的立体图记录。解释为两个平面的光场，它的角，或紫外线，分辨率取决于透镜片数，其空间或ST，分辨率取决于每个小透镜后面的像素数。将透镜放在物体侧上的小透镜阵列，和定位这个镜头让现场集中在阵列上，调换光场。现在其空间分辨率取决于小透镜的数目和其每个小透镜后面的像素的数目的角分辨率。首先的优势是机身薄。然而，人类对低空间分辨率的低角度的分辨率比更宽容，它很方便地构建比数以千计的小透镜的高品质的高品质的一个场透镜系统的厚度，因此，如果是不是一个问题，后者的安排是优选的。

对于一个显微镜，其中的图像的分辨率是至关重要的，场透镜是必不可少的。这种选择也允许我们重用的最关键和高度优化的组件在一个常规的显微镜，（参见图2（a））。显微镜物镜是一个高度校正的光学子系统能够捕捉撞击，在高达71度的角度从光轴（在空气中）的射线。这将是具有挑战性的，以取代该子系统具有微透镜阵列，实现令人满意的光学性能。因此，我们决定离开目标单独放置在中间像平面中的微透阵列，如在图2（b）所示。

图2（c）显示了我们的原型光场显微镜。我们的规格制造的微透镜阵列自适应光学，模塑环氧树脂中，并安装在一个光学质量的玻璃窗口。在平面图中，微透镜是平凸和方形的。序列的大小，微透镜曲率和微透镜尺寸将在第三部分讨论。显微镜通常采用一个冷却像素的摄像头的收集更多的光线，尤其在荧光研究中，