HighqualityMotionDeblurringfromaSingleImage(运动图像去模糊)中文翻译

高质量单幅图片运动去模糊
celerychen 译
摘要：我们提出了一种从单一图片去除运动模糊的算法。

我们的方法在去模糊图像的计算过程中，对于卷积核的估计和清晰图像，采用统一的概率模型。

我们分析了当前去模糊方法中通常存在的人工痕迹的产生原因，而后在我们的概率模型中引入了一些新的术语。

这些术语包括模糊图像噪声的空域随机模型，还有新的局部平滑先验知识。

通过对比度约束，即使是低对比的模糊图像，也能减少人工振铃效应。

最后，我们描述了一种有效的优化方案，通过交替估计模糊核和清晰图像的复原过程直到收敛。

经过这些步骤，我们能够在一个低的计算复杂度的时间内获得一个高质量的清晰图像。

我们的方法生成的图像质量相当于用多张模糊图片生成的清晰图片的效果，而后者的方法需要额外的硬件资源。

关键字运动去模糊人工振铃图像增强滤波
1.介绍
数字摄像机最常见的人工痕迹之一是由于相机的抖动引起的运动模糊。

在很多情况下，光线不足，要避免使用快速的长快门；这一不可避免将使我们的快照变得模糊和令人失望。

在数字图像处理领域，从单张运动模糊的照片中恢复出清晰的图像，是一个长期和根本性的研究课题。

如果我们假定模糊核，或者说是点扩散函数PSF是线性时不变的,这一问题可以被概括为图像的反卷积问题。

图像的反卷积问题可以进一步分为盲反卷积和非盲反卷积。

在非盲反卷积的问题当中，卷积核被认为是已知的或者在别处已经计算得出了，剩下的问题就是估计不模糊的清晰的自然图像。

传统的方法例如维纳滤波和RL反卷积方法在几十年之前就已经被提出了。

但是，他们现在仍然被广泛采用，因为他们简单高效。

然而，这些方法在在图像的强边缘出易于产生令人生厌的人工振铃的痕迹。

盲反卷积问题当中，卷积核和清晰的自然图像均是未知的，而且问题甚至是高度病态的。

自然图像结构的复杂性和卷积核形状的任意性，很容易使得先验概率的估计出现过拟合或欠拟合。

在本论文当中，我们通过探究盲反卷积问题产生的可视人工痕迹例如振铃效应产生的原因开始。

我们的研究表明，如果模糊图像没有噪声并且卷积核被准备无误的估计而没有误差，现有的反卷积方法能够高效的执行的很好。

因此，我们注意到，一个固有的带噪图像的好的模型和一个更明确的处理由于卷积核估计误差造成的可视人工痕迹的方法，对于产生好的结果是有本质上的提高的。

基于这样的想法，我们提出了一个统一的概率模型。

不管是盲反卷积问题还是非盲反卷积问题，通过一种高级的迭代优化方案，交替地估计卷积核和复原图像直到收敛。

这种方法的迭代过程就是求解相应的最大后验概率问题。

我们的算法使用一个很粗糙的核估计方法来初始化卷积核【例如一条直线】，我们的方法收敛的结果能够保持复杂图像的结构和边缘细节的清晰，同时避免人工振铃的痕迹，参见图一。

为了实现这些结果，我们的技术主要得益于三方面的因素。

首先，一种新的图像噪声空域随机分布模型。

这个模型有助于我们分离在图像的噪声估计和卷积核估计过程中产生的误
差。

在之前的方法当中，这种混合误差是产生人工痕迹的关键因素。

其次，引入新的平滑约束项。

平滑约束是我们强加在自然图像当中的区域，这一区域在我们观测图像上具有低对比度。

这一约束不仅能够在图像的平滑区域有效的抑制人工振铃效应，而且在图像纹理区域也能做到如此是效果。

这种约束的扩散对于卷积核的估计阶段也是有效的。

我们的最后一个策略是采用了一种有效的优化算法。

优化算法采用了一些高级的优化策略和技术，例如变量替换，帕斯瓦尔定理，从而在计算上能够在频率域高效地执行优化过程。

我们用已有的结果展示了我们的方法，并对比了一些现有的单张图片去模糊的方法的结果。

我们也对比了我们的结果和其他使用多张图片去模糊的结果，这一方法需要使用特定的硬件。

令人惊奇的是，即使我们使用单张图片作为输入，但是结果大部分是可媲美多张图片的处理结果。

2．相关工作
首先，我们回顾一下非盲反卷积技术。

对于非盲反卷积问题，模糊核是已知的，只有真实的自然图像需要从观测的模糊图像中恢复。

最常用的技术之一是RL反卷积。

它假定图像像素服从泊松分布，根据此计算自然图像。

文献【2006】用一种基于偏微分方程PDE的方法恢复自然图像，他通过结合抗反射边界条件和再次模糊的步骤，较弱了振铃效应。

在信号处理领域，在小波域或频率域求解反卷积问题的一些方法已经提出【2004】。

很多方法在真实的照片的去模糊上缺少实验，其中有一些尝试在估计模糊核上面对误差的建模，例如文献【2007】，采用导数稀疏的先验知识，在反卷积过程中避免人工振铃效应。

大部分非盲反卷积方法都假定模糊核没有误差，然而，我们下面的比较结果表明，即使卷积核的一点点误差或图像的噪声，都将导致一个可观的人工痕迹。

最后，这些很多反卷积方法需要复杂的参数测试和很长的计算时间。

盲反卷积是一个很值得研究且更具挑战性的病态问题，因为模糊核也是未知的。

有一些方法可以是问题变得易于处理，例如利用额外的输入，即多张图片。

文献【2005】利用两张运动模糊图片的信息，同时文献【2007】采用一对图片，其中一张模糊图片，一张带噪图片，使相机在低亮条件下方便处理。

其他一些运动去模糊的系统利用一些额外的，特定的硬件设备。

文献【2004】依附一台低分辨率数字相机到高分辨率相机上，这有助于记录模糊核。

文献【2006】在曝光期间最小化高频失真，快速打开和关闭相机快门。

在他们的方法当中，用户必须指定运动目标的路径。

与上述所有的方法对比，我们的方法只需要操作单张图片，也不需要额外的硬件资源。

单张图片的盲反卷积问题大部分都是病态的。

盲反卷积既要估计PSF又要估计自然图像。

早期的方法通常都假设PSF为简单参数模型，例如一个频域低通滤波【1998】或一个正态分布的和【2004】。

文献【2006】表明模糊卷积核通常是复杂和或尖锐的。

他们采用了整体学习的方法【2000】来恢复模糊核，只要假定图像的梯度有一个确定的统计分布。

变分法一般是估计后验概率，然后用RL方法求解反卷积问题。

文献【2007】通过假设物体清晰的前景图的透明图与透明图的透视图有相同的颜色来恢复PSF，这种方法必须要先找到一个高质量的抠图区域。

我们的方法与前人的工作最重要的区别在于，我们为PSF核和自然图像创建了统一的概率框架，通过交替的估计两个问题，我们能够更好的避免局部极小值和人工振铃效应。

3．人工振铃效应的分析
在盲反卷积和非盲反卷积问题中，我们从分析误差源开始。

时不变运动模糊过程通常用下面的卷积过程描述为：
其中，I，L，n分别表示退化的图像，不模糊的自然图像和加性噪声。

是卷积算子，
f是线性时不变的点扩散函数PSF。

自然图像复原的最大的问题之一就是会出现人工振铃效应，具体例子可以参见图2. 反卷积之后的图像在强边缘出会出现暗的或亮的波纹，这就是人工振铃效应。

通常认为，振铃效应是由傅里叶变换的基函数不能对阶跃信号建模所导致的，而这种阶跃信号在自然图像中是很常见的。

然而，我们发现足够的傅里叶基函数能够重建自然图像而失真并不可觉察。

请看图3,1维的阶跃信号被512点的傅里叶基函数所重建，我们发现在图像空间上的离散傅里叶变换，采用多点的傅里叶基函数，会得到精度是类似的，而计算代价根本不大。

既然反卷积中的人工效应不是吉普斯现象引起的，那么，是由什么引起的呢？在实验中，我们发现，对图像噪声建模的准确性和PSF的估计误差是造成人工效应的主要原因。

图4展示了这样的例子。

图像的头两行是两个1维信号，即观测信号和模糊核均被噪声污染了。

分别用RL方法和维纳滤波得到的不满意的结果。

第三行展示的是2维图像信号，观测图像和模糊核都被噪声污染。

虽然采用RL方法和维纳滤波得到的图像保留了很强的边缘，但是也引入了可觉察的人工效应。

为了阐明带噪图像和核函数误差是造成问题的原因，我们让卷积模型中当前的变量都叠加一个分量，真实的模糊核和自然图像分别为，即
在上述方程中，我们看到，如果观测噪声不能够被很好的建模，那么，在估计算法中很
容易产生错误，而这些也会当做噪声的一部分，使得估计算法变得不稳定而难以求解。

之前的研究对噪声的建模都是假定噪声和它的一阶导数服从零均值的高斯分布。

这个假设是比较弱的假设，因为它不能捕获噪声图像一个重要特性，即图像噪声的空域随机性。

图6展示的是我们对噪声更强的建模来替代简单的零均值高斯分布的噪声模型的结
果，很明显，简单的噪声模型中，对噪声的估计在结构上已经不是空域随机
的了。

综上，我们得出这样的结论：人工振铃效应不是Gibbs现象引起的，而主要是由观测图像的噪声和模糊核估计的误差引起的。

对图像噪声的估计会影响图像的空域结构。

下面的章节，我们将主要阐述我们提出的统一的概率模型以及如何抑制人工振铃效应。

4. 我们的模型
我们概率模型对于盲反卷积和非盲反卷积问题都归结为一个单一的MAP准则。

我们的算法通过迭代不停的更新模糊核和自然图像的概率，如图5所示。

根据贝叶斯公式：
其中表示似然函数，分别表示自然图像的先验分布和模糊核函数的先验分布，我们现在定义这些项，下面来描述我们的优化算法。

4.1 概率项的定义
似然函数：
在任意给定的自然图像和模糊核下，观测图像的似然函数，是基于卷积模型。

图像的噪声n，被建模为一系列独立同分布的随机变量，对于每一个变量，都服从高斯分布。

之前的工作，似然函数这一项被简单的写为，或者
，i为图像的像素索引。

为标准差。

然而，正如我们之前所讨论的，这些模型不能捕获图像噪声的空域随机性。

在我们的构想中，我们对噪声的随机性建模，引入其高阶导数的约束。

下文中，图像的
坐标和像素点会交替使用，为了方便图像的偏导数的表示便利，我们有时候用
表示。

点在两个方向上的偏导数分别记为，我们可以通过相邻像素的前向差分计算得到：
；
.
已经证明【2002】，如果任意点是服从标准差为的高斯独立同分布的随机变量，那
么它的导数也服从高斯分布，
其中，标准差为
对于噪声图像的更高阶导数，很容易证明也服从独立同分布的不同标准差的高斯分布，
我们可以用前向差分的方法递归地定义噪声图像的高阶导数，例如：二阶导数可按下式计算：
由于一阶导数都是独立同分布的随机变量，可以证明二阶导数也是高斯分布且标准差为.
为了简单起见，下面的公式中，我们用符号表示任意的偏导数算子，表示
偏导数的阶数。

例如，当时，如果，且
那么服从独立同分布的高斯变量，标准差满足
为了建模噪声图像的空域独立同分布特性，我们把对噪声的高斯分布的约束表示为不同阶的导数，定义如下的似然函数：
其中，表示像素值，是再次卷积图像中第i个像素，是
偏导数符号的集合，即，定义0阶导数为图像原
始像素。

我们计算导数的最大阶数为2阶是因为在我们的实验中已经足够产
生一个好的结果。

从似然函数(3)的定义我们看出，相比与仅仅使用1阶导数，我们的优化过程并没有增加计算的复杂性。

图6展示的是我们的似然函数能恢复出有效的图像，图d和图f是噪声的对比，我们的噪声包含很少的图像结构。

卷积核的先验知识：
卷积核，通常可认为是相机拍摄时相对于景物的运动轨迹，是一个稀疏的矩阵，其只有在相机运动轨迹上的点非零，而其它大部分位置为零。

所以我们把模糊核建模为一个指数分布模型：
其中是一个比例参数，j为遍历卷积核的所有元素指标。

自然图像的先验知识：
我们设计的自然图像的先验分布满足两个目标。

一方面，先验分布应该作为归一化项来减少反卷积问题中的病态性。

另一方面，先验分布应该在自然图像复原过程中有助
于减少人工振铃效应。

故，我们引入两个分量来表示：全局先验分布，局部先验分布，这样便有：
全局先验分布:
最近的一些研究，通过对一系列样本图像的学习得到的关于自然图像统计分布。

他们认为图像的梯度服从一种长尾分布【2005,2007】，这种分布描述了自然图像的先验分布。

图7是从10张自然图像中得到了图像梯度分布对数直方图。

文献【2006】用K个高斯混合模型
来来拟合这一分布：，其中遍历图像的像素，符号
分别表示第K个高斯分布的权值和标准差。

我们发现，上述估计的挑战在于如何优化的问题。

特别地，求解最大后验MAP问题，我们总是采用对数似然函数。

这样，取
对数之后的对数似然函数：，能够把指数项变为和的形式。

对于对数似然函数的优化，基于梯度的优化方法通常是可行【2006】。

对于一个复杂的能量泛函来说，它包含众多的未知量，可以采用众所周知的梯度下降算法，但它不是高效的也不是稳定的。

在我们的论文当中，我们引入了一种新的表示方法。

我们通过拼接两个分段的连续函数来拟合对数梯度分布：
其中，x表示图像的梯度幅值，lt是两个函数的交界位置。

如图7所示：，绿色
部分表示中心位置的一种尖峰分布。

是对拖尾的部分的建模。

是中心对称的。

k,a,b是模型的拟合参数，它们分别被设置为2.7,6.1x10^(-4),5.0.
这样，我们已经对图像梯度的对数概率密度函数的建模，最终的全局先验分布的定义可以写成如下的形式：
局部先验分布：
我们对自然图像梯度的约束，这种新颖的先验分布能非常有效的抑制振铃效应。

这种先验分布的动机源于这样的事实，模糊的过程通常认为是一个平滑滤波的过程。

在模糊图像的局部区域，图像的像素几乎是常量，与之对应的非模糊图像的区域也应该是平滑的【如图8a，图8b中黄色线标注区域显示】，也就是意味着，这些像素展现的是没有明显的边缘。

图8c显示的是人工振铃效应的结果，与之对应的图案结构违反了这一约束。

为了计算这一局部先验分布，模糊图像中的每一个像素，以其为中心形成一个和
模糊核大小一样的窗，如图8a中的绿色矩形区域的。

计算这个矩形区域像素的标准差，如果这个数值小于一个阈值【实验中我们设置的阈值为5】，那么，我们认为像素是区域
中的元素，也就是。

图8d显示的白色像素就是区域，它当中的每一个像素都是
一个局部平滑窗的中心。

对区域中的所有像素，我们对模糊图像的梯度约束类似与于不模糊图像的梯度，误差定义服从零均值标准差为的高斯分布：
其中为标准差，随着优化地进度逐渐增加，更具体的描述在第五节，随着模糊核估计的越来越精确，这个先验分布会变得越来越不重要。

应该指出，局部先验分布虽然是定义在区域，但是，模糊核宽泛的人工脚迹的传播能够能够全局地抑制，包括像素的纹理区
域。

图9显示了我们采用这一先验分布的效果，在我们的示例中，很明显，局部先验分布能够有助于抑制由模糊核的估计误差引起的人工振铃效应。

5.优化策略
通过对我们定义的概率密度函数取负对数，最大后验问题【MAP】变换为一个能量泛函的最小化问题，也就是：
将所有的似然函数代入公式2的定义，我们得到：
其中，是p范数算子，符号表示元素的点乘算子。

方程5中的4项与方程
2中的4项有相同的阶数。

矩阵是一个2值掩膜图像，用来对局部平滑先验分布进行编
码。

对于任意元素，如果与它对应的像素，否则。

我们有这样一些参数：。

它们可以从概率项得到，即：
在这些参数当中，的数值遵循下面的方式。

根据似然函数的定义，对于任意
的，我们有在实验中我们通常设
置，这样，对于任意的，只要我们
就可以确定为参数的设置将在5.3节描述。

采用梯度下降的方法直接优化方程5是很慢且收敛很弱的，因为它有大量的未知参数。

我们通过交替的估计来优化。

我们采用了一系列高级的优化技术，使得我们的算法能够快速有效地处理自然图像这一具有挑战性的任务。

5.1 优化
在这一步当中，我们固定来优化。

通过移去常数项，能量泛函可以化简为：
化简之后，仍然是一个高度非凸的能量泛函，涉及很多的未知量。

为了有效的优化这个泛函，我们提出了一种变量替换方案同时迭代参数能够重新加权的技术。

基本的思路是从方程7中把复杂的卷积从其它项中分离出来，这样，我们就可以用快速傅里叶变换有效的计算。

我们引入辅助变量集来替代变量增加额
外的约束这样，对于每一个与之相对应的有
，这样方程7变换为：
其中参数随着迭代的进行而增加，直到最终增加到一个很大的数。

迭代最后，期望的条
件：得到满足，这样，最小化等效于优化最小给定这一变量替换，只
要其它变量是固定的，我们就可以在之间进行迭代优化。

我们的实验表明：这一过程是有效的，能够收敛到最优点。

采用一个简单的分支策略，就能够得到的全局最优。

其中更新的过程用到了快速傅里叶变换。

更新：
固定，方程8可以化简为：
通过简单的代数运算，可以分解为所有的和，可以更进一步分解为一系列子项能量之和：
其中，每一个仅仅包含一个单一的变量
这样可以写为：
每一个只包含一个变量所以可以被独立地优化。

这样，包含4个凸的，可微的分段函数，每一段都可以分别最小化，而最小值在它们之中选取。

这一优化步骤可以快
速地完成，并生成一个全局最小的。