高动态范围视频

高动态范围视频

Sing Bing Kang Matthew Uyttendaele Simon Winder Richard Szeliski Interactive Visual Media Group, Microsoft Research, Redmond, WA

图1：驾驶场景的高动态范围视频。第一行：输入短视和长视交替视频。底行：

高动态范围视频（色调贴图）。.

摘要

使用现成的摄像机拍摄的典型视频素材动态范围有限。本文介绍了我们根据捕获的动态场景的图像序列生成高动态范围（HDR）视频同时快速改变每帧的曝光度的方法。我们的方法由三部分组成：捕捉时的自动曝光控制，相邻帧之间的HDR拼接以及查看色调映射。HDR拼接需要准确地记录相邻帧并选择合适的像素来计算辐射图。我们展示了各种动态场景的例子。我们还展示了如何从一系列括起来的静态照片中创建HDR时补偿场景和相机移动。

CR分类：I.3.3 [电脑图像]：图片/图像生成 - 显示算法; I.4.1 [图像处理和计算机视觉]：增强 - 数字化和图像捕获。

关键词：图像处理，视频处理，高动态范围，色调映射。

1 介绍

真实世界的亮度变化比现在大多数摄像机可用的传感器大得多。单个场景的光芒可能包含从阴影到全亮区域四个数量级。典型的CCD 或CMOS 传感器仅捕获大约256-1024个水平。（伽马曲线中的非线性水平分配可以稍微改善这一点。）

近年来，相机的动态范围有限，激发了许多解决方案。获得完整辐射图的一种方法是在不同的曝光下拍摄多张图像，并将这些图像结合起来以创建场景的高动态范围（HDR ）地图[Mann and Picard 1995; Debevec 和Malik 1997; Mitsunaga 和Nayar 1999; Tsin 等人2001;曼恩等人。 2002]。由于这些技术需要多个输入图像，所以由于场景中的动态元素或移动（即手持）相机，输入之间存在运动的可能性。 Mitsunaga 和Nayar [1999]通过拟合输入的全局运动模型来解决这个问题。曼恩等人。 [2002]使用单应性注册不同曝光的帧，这可以补偿较大的相机旋转。 Bogoni [2000]使用仿射运动，然后根据每像素流来记录不同的曝光，但没有给出帧配准的细节。在相关的方法中，Uyttendaele 等人[2001]使用基于块的曝光调整技术去除图像马赛克中的曝光伪影。但是，他们不计算HDR 图像。

可以使用多个图像检测器，新型传感器（例如，National LM9628传感器，IMS 芯片HDRC 传感器，SiliconVision 产品，SMaL 相机，Pixim ）或空间不同的像素曝光来重新移动在不同时间拍摄的图像。[Mit-sunaga 和Nayar 2000]。然而，我们在本文中的重点是使用广泛可用的常规（低动态范围）图像传感器和摄像机可以实现什么。

HDR stitch

图2：制作HDR 视频的处理阶段。

一旦计算出高动态范围的图像，就可以将其渲染为显示。由于典型的显示器只能产生约两个数量级，因此必须在HDR 图像上执行对比度降低。最近，一些研究人员探索了这种色调映射问题[Durand and Dorsey 2002; Fattal 等人2002; Reinhard 等人2002]。

我们的工作解决了在展览之间存在运动的情况下使用多次曝光生成HDR 地图的问题。这使我们能够生成HDR 视频序列以及运动场景的HDR 静态图像。将我们的方法应用于驾驶视频的结果可以在图1中看到。生成HDR 视频包括自动确定捕捉期间的时间曝光包围，相邻图像之间的运动补偿信息以及观看的色调映射（Fig-ure2）。这产生具有与可变曝光输入序列相同的帧速率的HDR 视频。要生成HDR 静止图像，我们使用类似的HDR 拼接技术。

Extract Register radiance map

我们的视频采集解决方案不同于以前的工作，因为它采用了摄像头中自动增益机制的简单重新编程。这使我们能够使用目前可用的廉价和高分辨率传感器，这与新型传感器设计尚未广泛普及，并且可能因缺乏分辨率而不同。在第二部分中，我们提出了一种自动增益算法，智能地改变帧与帧之间的曝光量，以捕捉场景辐射图的不同部分。与空间变化的像素曝光方法[Mitsunaga and Nayar 2000]相比，我们的方法可以被看作是沿着时间而不是空间维度的子采样。

采集过程之后是一个离线过程，运动补偿捕获的视频，并在每个帧时间估算完整的辐射图（第3节）。这种我们称之为HDR拼接的操作可以在图像之间建立密集的对应关系，以便在不同的曝光条件下合并像素。在组合像素中，我们引入运动补偿中间结果之间的一致性检查。这使得系统对流量估算中的误差更加粗暴。

在我们可以查看HDR视频之前，必须先进行色调映射。在逐帧的基础上应用现有算法之一是不够的，因为这会导致映射中可见的时间不一致。为了弥补这一点，我们扩展了现有的色调映射技术之一，使用来自时间相邻帧的统计信息来处理HDR视频，以产生时间上平滑变化的色调映射图像（第4节）。

2实时曝光控制

典型摄像机的自动增益控制（AGC）测量场景的亮度并计算适当的曝光。大多数场景的动态范围比相机的每像素8位传感器可以捕获的动态范围更大。因此，一些像素会饱和，有些像素会曝光不足。为了捕捉更大的动态范围，我们开发了一个系统，以每帧为基础改变曝光设置。基本思想是在不同的值之间顺序排列设置，依次适当地暴露场景的黑暗和明亮区域。后处理步骤（第3部分）然后组合这些不同曝光的帧。

Frequency

4322562048Radiance

图3：来自驾驶视频的两次输入曝光。顶部显示辐射直方图。红色图形与长曝光帧（左下）一起使用，而绿色图形与短曝光帧（右下）一起使用。请注意，这些图形的组合跨越的辐射范围大于单次曝光可捕获的范围。

我们的系统与今天许多照相机中的自动包围系统类似。当对场景进行自动包围时，相机使用当前测光模式确定正确的曝光，然后以原始曝光的固定倍数拍摄两次以上的曝光，例如向上和向下两次f-stop。我们采取类似的方法。但是，我们不是使用固定倍数，而是为当前场景计算一组更理想的曝光。这允许动态范围扩展，同时尽可能多地在所有图像中合理地曝光像素，从而促进良好的运动分析。

对于我们的实验，我们使用Pt每秒15帧的LadyBug火线相机。灰色研究有一个可编程控制单元。该固件升级有四个快门（CCD积分时间）和增益（ADC 增益）寄存器。相机在每个帧时间通过库存使用不同的寄存器组进行循环。此外，摄像机使用当前设置对每一帧进行标记，以便在辐射图计算过程中使用这些设置。实时AGC算法（运行在连接相机的PC上）确定下一组四种设置。

在我们当前的实施中，曝光设置在两个不同的值之间交替，并且不断更新以重新映射场景变化。根据在子采样帧上计算的场景统计数据自动确定适当的曝光。如果单个设置足以捕捉场景的强度，则曝光之间的比率可以从1变化到用户指定的最大值。在实践中，我们发现最多16个可以产生良好的结果，因为这给出了4位的动态范围扩展，同时仍允许在曝光之间进行运动分析。图3显示了相机捕获的连续帧以及它们在辐射空间中的相应直方图。在这种情况下，曝光比率接近最大值16。

3HDR 拼接

由于采用时间变化的曝光拍摄帧，在任何给定时间生成HDR帧都需要从相邻帧传输像素颜色信息。这反过来又要求跨不同帧的像素对应性非常准确。我们参考从相邻帧传输色彩信息并将HDR图像提取为HDR拼接的过程。

源视频包含交替的长和短曝光帧。HDR拼接的第一步是在每一瞬间生成一个长曝光帧和一个短曝光帧，以便可以从该对中计算辐射图。这就要求我们使用变形过程（3.1节）合成缺失的曝光，这需要高度精确的运动估计（3.2节和3.3节）。一旦内插帧被合成，我们就从这些图像中选择性地混合像素来计算高动态范围辐射图像（3.4节）。

3.2帧插值的图像变形

我们的HDR拼接过程产生四个中间变形帧：从前一帧和下一帧（图4中的SU-和SU +）单向变形的两帧和通过直接比较前一帧和下一帧而计算出的两个双向变形帧SB-和SB +。在当前帧和前一帧/下一帧之间存在良好对应关系时使用单向扭曲的帧，而在当前帧太暗或太饱和以致不能可靠地建立对应关系的区域中使用双向扭曲的图像。