数字图像处理论文翻译

视频中可逆的运动模糊

李** 通信*班S******

（湖南大学信息科学与工程学院，湖南长沙410012）

摘要：我们认为，即使单个图像中的点扩散函数（PSF）是不可逆的，但是连续视频图像中的运动模糊是可逆的。模糊图像在点扩散函数的频域变换中显示出多个空值（零值），从而导致不良解卷积。硬件解决方案虽然可以避免运动模糊，但是它要求很专业的设备比如编码曝光摄影机或者加速传感器运动。我们使用普通的摄影机并且引入多个模糊函数的联合可逆性的空值填充概念。其关键思想就是记录下某个目标的不同PSF，以便于该帧图像的频率成分中的空值能被其他帧中的频率填充。这样联合频域变换中就不会出现空值，去模糊效果就很会很好了。我们简单的通过改变连续图像的曝光时间来获得联合可逆性的模糊。我们解决了匀速移动目标的自动去模糊的问题，通过解决以下四个关键问题：保留了所有空间频率，移动目标的分割，移动目标的运动估计，保持静态背景的保真度。我们演示了在几个具有挑战性的包括特征显著的背景以及局部封闭的目标运动模糊情况下的去模糊效果。

关键词：计算摄影术；运动去模糊；PSF可逆性；PSF估计

Invertible Motion Blur in Video

Amit Agrawal* , Yi Xu+, Ramesh Raskar

(Mitsubishi Electric Research Labs (MERL), Cambridge, MA ;MIT Media Lab, Cambridge, MA)

Abstract: We show that motion blur in successive video frames is invertible even if the point-spread function (PSF) due to motion smear in a single photo is non-invertible. Blurred photos exhibit nulls (zeros) in the frequency transform of the PSF, leading to an ill-posed deconvolution. Hardware solutions to avoid this require specialized devices such as the coded exposure camera or accelerating sensor motion. We employ ordinary video cameras and introduce the notion of null-filling along with joint-invertibility of multiple blurfunctions. The key idea is to record the same object with varying PSFs, so that the nulls in the frequency component of one frame can be filled by other frames. The combined frequency transform becomes null-free, making deblurring well-posed. We achieve jointly-invertible blur simply by changing the exposure time of successive frames. We address the problem of automatic deblurring of objects moving with constant velocity by solving the four critical components: preservation of all spatial frequencies, segmentation of moving parts, motion estimation of moving parts, and non-degradation of the static parts of the scene. We demonstrate several challenging cases of object motion blur including textured backgrounds and partial occluders.

Keywords: Computational Photography; Motion Deblurring; PSF Invertibility; PSF Estimation

1.介绍

在摄影中，快速运动中的物体模糊不清，这是一个很普遍的问题。因此考虑对静态背景前面快速移动的目标进行去模糊处理。自动去模糊包含三个关键因素：(a)保持可逆的PSF；(b)移动物体的运动估计；(c)移动物体与静态背景的分割。另外，要能保证图中其他静态部分的保真度。之前的方法已经单独地尝试解决了其中一个或几个问题，但是没有一种方法能解决以上所有问题。对于单幅图像，要解决他们显然是具有挑战性的，但是我们认为解决视频的去模糊问题还是很有希望的。本文基于普通摄影机提出了一个很独特的方法，通过频域中空值填充的概念显示出视频模糊具有联合可逆性。

在普通摄影机中保证可逆运动PSF是不可能的。由于有限的曝光时间，框函数就等同于与一个低通滤波器进行卷积，因此PSF的频域中包含了多个空值。由于所捕获图像的空间频率有所丢失，因此去模糊处理效果不理想。之前的方法使用了很专业的设备来处理运动PSF。Raskar et al. [2006]提出了使用宽频带的二进制编码在有限时间内开闭快门的方法。在频域中编码没有空值，因此使PSF可

图1：通过简单的改变视频各帧的曝光时间，多图去模糊可以变得可逆。（左）为一辆运动的小汽车的不同曝光图像。注意捕获的图像中光照和模糊大小的改变。（右）近景目标被自动矫正，分割，去模糊，然后使用不同曝光视频组成背景。新颖的渲染，比如运动条纹效果可以通过去模糊图像和模糊图像的线性组合产生。

逆。然而，他们假设了背景固定不变，并要求人工PSF估计和目标分割。运动不变摄影术(MIP) [Levin et al.2008b]要求在捕获图像时摄影机等加速移动。其思想是为了使运动PSF不变量在一定范围内跟上移动目标的速度。这使得不在需要进行分割和PSF 估计。但是，它需要运动方向的先验知识以及在使场景中的静态部分引起模糊。

本文中，我们通过使用多帧图像的信息认为自动去模糊是可能的。关键思想就是记录具有不同PSF的同一个目标，以便于该帧图像的频率成分中的空值能被其他帧填充。这样联合频域变换中就不会出现空值，去模糊效果就很理想。我们简单的通过改变连续图像的曝光时间来获得联合可逆性的模糊。我们的技术不要求摄像机在曝光时间内运动或者任何编码。它可以在带有自动曝光功能的标准摄像机上实现，该功能典型地改变着曝光时间以用来补偿场景的亮度。:

1.1贡献

我们通过解决去模糊过程中的关键性问题以及利用模糊可逆性的瞬时变化提出了一种自动去模糊的方法。我们的论文贡献有如下几方面：

(a)我们提出了PSF空值填充，它结合多个不可

逆的PSF来组成一个运动模糊的联合可逆

的PSF。

(b)我们认为通过改变某个视频中的每帧图像

的曝光时间，目标运动的PSF空值填充就能

得到。

(c)我们演示了针对匀速运动的自动PSF估计

以及目标分割。

1.2 优势与不足

我们的技术可以与现成的机器视觉摄像机一起使用，并且不要求很专业的硬件设备比如[Raskar et al. 2006]中提到的。它也可以在带有自动曝光功能或在突发模式下曝光的传统相机上实现。多帧图像简化了过程中关键性的组成成分，用以提高自动去模糊。场景中的静态部分没有退化，同时也不需要目标运动的先验知识，这与MIP[Levin et al. 2008b]中提到的截然相反。

我们的方法与典型的去模糊技术有着共同的不足之处。我们假设目标作线性匀速运动，这样就导致照片中产生的是空间不变量的模糊。非匀速运动（比如加速运动）就打破了空间不变量PSF的假设。但是，我们在图像纠正后仍然可以处理空间变速运动，它产生空间不变量模糊。我们无法处理看得见的依赖效应比如平面旋转，高光和非散射双向反射分布函数，以及透明盒半透明物体。我们假设运动目标是关注的焦点并且允许背景也当做焦点。多个运动的目标在图像中只要彼此没有封闭也是可以作去模糊处理的。另外，依附的阴影被考虑成背景的一部分，由于低信噪比因而在去模糊输出中成为了噪声。

1.3 相关研究

PSF处理：专业摄影设备对于处理PSF使用了两个重要的技术类别：使PSF可逆或者不变。为了使PSF散焦，波前编码[Dowski and Cathey 1995]在棱镜前使用立方相位板以使PSF不变量场景深度化。也可以通过横向传感器运动来达到目的[Nagahara et al. 2008]。但是这些方法导致产生了在初始聚焦的场景部分物体散焦模糊。编码曝光[Raskar et al. 2006]使用宽带二进制编码来颤振快门以便使

PSF