引导滤波论文翻译
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
引导滤波图像
摘要:
这篇论文中,我们提出一个新的明确的图像滤波器叫,引导滤波器。
来自于一个局部线性模型,引导滤波器计算滤波结果通过考虑引导图像的内容,引导图像可以是输入图像自身或者是另外一个不同的图像。
引导滤波器能够向双边滤波器[1]一样保持边缘平滑,但是它在边缘附近有更好的表现。
引导滤波器也是更一般地超越平滑的概念:它可以转化引导图的结构为滤波输出,用于很多新的滤波应用图像去雾、及引导抠图。
更多的,引导滤波器自然的有个快速并且不近似线性时间算法,与核的尺寸和像素亮度范围无关。
现在,它是最快的边缘保持滤波器之一。
实验显示引导滤波器在很多种计算机视觉及图形学的应用中有很好的作用及效率,包括边缘保持平滑,细节增强,HDR压缩,图像抠图,去雾,级联采样等等。
1 介绍
大部分的计算机视觉以及计算机图形学图像滤波涉及到抑制或者提取图像的内容。
简单的有核的线性平移不变滤波器(LTI),例如平均,高斯,拉普拉斯和Sobel 滤波器[2],都被广泛应用于图像恢复,模糊/锐化,边缘检测,特征提取等等。
可选择的,LTI滤波器能明确地通过解决一个在高动态范围(HDR)压缩[3]的泊松方程来执行图像拼接[4],图像抠图[5],以及梯度域操作[6]。
滤波核是通过一个齐次的拉普拉斯矩阵的转置明确地被定义。
LTI滤波核是空间不变并且与图像内容独立的。
但是通常有时候需要考虑引导图像的附加信息。
各向异性扩散[7]的先驱工作用需要滤波的图像本身的梯度去指导扩散过程,避免平滑到边缘。
平方和最小加权滤波器[8]利用输入需要滤波的图像(而不是像[7]的中间结果)去指导,并且选择一个二次函数,这个二次函数等价于一个非一般稳定状态的各向异性扩散。
在其他的应用中,引导图像也能是另外的图像而不是本来的输入图像。
例如,灰度图着色[9]色度通道不应该在亮度边缘溢出;在图像抠图[10], α应该抓住一个复合图像的细薄结构;在图像去雾[11]景深层应该与原场景一致。
在这些例子中我们将色度/α/景深层作为需要被滤波的图像,亮度/复合/场景看做相应的引导图。
滤波过程[9]、[10]、[11] 是通过优化引导图像的权重二次成本函数获得的。
解决方法是解一个仅依赖引导的大的系数矩阵。
这个非齐次的矩阵明确的是定义于一个平移变化的滤波
核。
同时,这些依赖于最优化的方法[8]、[9]、[10]、[11]常常牺牲精确度来达到快的计算速度。
另外的一个利用引导图像的方法是明确的建立它的滤波核。
双边滤波器,在[12]、[13]中分别提出,[1]以及也许是这种滤波器中最受欢迎之一的后来提出的[14]。
它们在一个像素的输出是附近像素的加权平均,这个加权是依赖于同引导图亮度/颜色的相似度。
这个引导图能够是滤波器自己本身[1]或者是另一幅图像[14]。
双边滤波器能够平滑小的波动并且保持边缘。
尽管这个滤波器在很多情况下都有效,它可能会有一些不希望的在边缘附近的梯度逆转伪影[15],[16],[8](将在3.4部分讨论)。
快速的执行双边滤波器也是一个挑战性的问题。
近期的技术[17]、[18]、[19]、[20]、[21]依赖于量子化方法加速,但是牺牲了精确度。
在这篇论文中,我们提出了一个新的明确的图像滤波叫做引导滤波。
这个滤波器输出结果是引导图像的局部线性转换。
在一方面,引导滤波器有一个号的边缘保持平滑效果像双边滤波器一样,但是它没有梯度逆转伪影的影响。
在另一方面,引导滤波能够远远不只是平滑:在引导图的辅助下,它能让滤波输出更结构化并且不比输入平滑。
我们论证了引导滤波在很多方面的应用中都有很好的结果,包括图像平滑/增强,HDR压缩,flash/非flash成像,抠图,去雾,和级联采样。
更多的,引导滤波器自然地有一个O(N)(N个像素)时间复杂度算法在灰度图和高维图像中,与核的尺寸和亮度范围无关。
特别的,我们的CPU执行达到40ms每兆像素在灰度滤波器:就我们所知,这是最快的边缘保持滤波器。
本文的初步版本已经被ECCV10[22]出版。
值得一提的是,从那时候开始起,引导滤波器见证了一些列新的应用。
这个引导滤波器能有一个高质量的实时O(N)立体匹配算法[23]。
一个相似的立体方法被独立地提出来[24]。
引导滤波也被应用于光流估计[23],交互式的图像分割[23],显著性检测[25],照明渲染[26]。
我们相信引导滤波有很大的潜能在计算机视觉及图形学,贡献出他的简单,高效及高质量。
我们提供一个公开的代码来促进未来的学习[27]。
2 相关工作
我们回顾一下边缘保持滤波技术,我们对他们进行分类为显式及隐式平均权重滤波器和没有平均的一种。
2.1 显式的平均权重滤波器
双边滤波器[1]也许是最简单并且最直观的一个显式平均权重滤波器。
它计算滤波输出为每个像素邻近像素的平均值,由高斯权重空间及亮度距离。
双边滤波器平滑图像并且保持边缘。
他已经被广泛应用于减少噪声[28],HDR压缩[15],多尺度细节分解[29],图像提取[30],它推广成了级联滤波器[14],权重是通过另一个引导图计算来的而不是输入的滤波图像。
级联滤波器是很适合当需要滤波的图像不能提供可靠的边缘信息的时候,当它噪声非常多或者是一个中间结果的时候,例如Flash/非flash去噪[14],图像采样[31],图像去卷积[32],立体匹配[33]。
双边滤波器也有限制尽管他很普遍。
他已经被提到[15],[16],[8],双边滤波器可能会产生“梯度逆转”伪影。
原因是当(通常是边缘附近)一个像素周围有很多相似的像素时,高斯平均权重不稳定。
在这样的情况下,结果在边缘处会产生不希望的轮廓,通常被发现在细节增强和HDR压缩的情况中。
双边滤波器的另外一个问题是效率问题。
最有效的执行是O(Nr2)时间复杂度。
核的半径是r。
Durand and Dorsey[15]提出一个线性分段函数模型并且能够给于FFT(快速傅里叶变换)滤波。
Paris和Durand[17]计算双边滤波器作为一个3D滤波器在一个空间变化的领域,并且向下采样这个领域去加速如果奈奎斯特条件大致上如此。
在这种空间盒子核的情况,Weiss[34]提出一个O(Nlogr)时间复杂度的方法基于分布直方图,并且Porikli[18]提出第一个O(N)的时间复杂度算法应用积分直方图。
我们指出那些建立直方图本质上是执行2D的空间滤波器在空间变化领域用下面的1D变化滤波器。
在这个观点下,[34]和[18]沿着范围域取样但是不重构它。
Yang[19]提出另一种O(N)方法,在范围域内插入值以至于可以进行更激进的再次抽样。
这上面的所有方法都是线性复杂W,r,t取样亮度值的数目(eg线性分段数目或者直方图条的数目)。
他们需要粗采样去或者满意的数度,但是如果奈奎斯特条件被严重破坏,就会导致质量退化。
空间变化域被推广到更高维的情况,颜色权重双边滤波器[35]。
这个大的代价归因于高维能通过高斯线段树[20],the Permutohedral Lattices [21], or the Adaptive Manifolds [36]降低。
但是这些方法的表现不能同灰度双边滤波器竞争,因为它们花费了很多额外的时间准备数据结构。
在双边滤波器的限制下,人们开始调查新的设计边缘保持滤波器。
O(N)时间复杂度的边缘避免小波(EAW)[37]是用显式图像自适应的小波变换。
但是核的小波是在图像平面的稀疏分布的。
限制核的尺寸,这
可能会限制它的应用。
最近Gastal and Oliveira[38]提出了另一个O(N)滤波器,就是大家都知道的域转换滤波器。
关键思想是反复地和分开地应用1D边缘保持滤波器。
O(N)时间复杂度是通过积分图像或者递归滤波获得的。
我们会在本论文中比较这些滤波器。
2.2 隐式的平均权重滤波器
一系列优化二次成本函数并求解线性方程组的方法,等效于隐式滤波图像的逆矩阵。
在图像分割[39]和色彩化[9],这个矩阵的关系是高斯函数的颜色相近。
在图像抠图,一个抠图拉普拉斯矩阵[10]是被设计来强制αmatte作为一个图像颜色的局部线性转换。
这个矩阵也被用来去雾处理[11]。
平方和最小权重滤波器[8]根据图像梯度调整矩阵的相关性产生无光晕边缘保持平滑结果。
尽管这些基于最优化的方法常常产生高质量结果,解决线性方程组很耗时。
直接解决像高斯消元法由于内存要求“填充”问题[40]、[41]而不实际。
迭代解决例如Jacobi方法,SOR和共轭梯度法[40]都汇集太慢。
尽管仔细设计预处理器[41]很大的减少了迭代次数,但是计算成本还是太高。
多网格的方法[42]是被证明O(N)时间复杂度用作齐次的泊松方程,但是它的质量退化了当矩阵变得越来越不齐次的时候。
以经验为主的,隐式的加权平口滤波器至少花上好些秒去处理一个只有一个像素的图像或者用预处理器[41]或者用网格的方法[8]。
已经发现就是这些隐式的滤波器与显式的是密切相关的。
在[43],Elad展示双边滤波器是一个Jacobi迭代法在解决高斯相关矩阵的时候。
[41]局部自适应预处理器和[37]的小波边缘避免是用类似的方法构建的。
早在这篇论文中,我们展示一个引导滤波与抠图拉普拉斯矩阵密切相关[10]。
2.3 无平均滤波器
边缘保持滤波能后同样通过无平均滤波器得到。
中值滤波器[2]是一个很有名的边缘保持操作,和一个特别的例子局部直方图滤波器[44]。
直方图滤波器有O(N)时间复杂度在某种程度是双边网格的一种。
TV滤波器[45]优化一个正规化L1代价函数,并且相当于迭代中值滤波[46]。
L1代价函数能被优化通过半二次分割[47],在一个二次模型机软阈值法中选择。
最近,Paris[48]提出操纵每个像素的拉普拉斯金
字塔系数去保持边缘滤波。
Xu[49]提出优化一个正规化L0代价函数帮助分段常量解决方法。
这些无平均滤波器通常都很耗时。
3 引导滤波
我们先定义一个普通的线性平移变换滤波器程序,与引导图像I ,一个滤波输入图像p 以及一个输出图像q 相关。
I 和p 是根据应用预先给定的,他们可以完全相同。
在一个像素点i 处的滤波结果是被表达成一个加权平均:
()i ij j j
q W I p =∑ (1)
i 和j 都是像素下标。
滤波器核ij W 是指导图像I 的函数并且与p 独立。
这个滤波器是与p 线性相关的。
一个这样的滤波器的例子是级联滤波器[14]双边滤波核bf W 是被下面的
式子给定的: 2222||||||||1()exp()exp()i
j i j bf ij i s r
x x I I W I K σσ--=-- (2) X 是像素坐标,i K 是一个归一化参数保证1bf j ij
W =∑.参数s σ和r σ分别调整空间相似度和颜色亮度范围相似度的灵敏性。
当p 和I 相等时,级联滤波器降解成初始的双边滤波器[1]。
显式的加权平均滤波器优化一个二次函数并且解决一个下面形式的线性方程组: Aq p = (3)
q 和p 是列向量N-1,相应的{}i q 和{}i p .A 是一个N-N 的只跟I 相关的矩阵。
(3)的解1q A p -=,与(1)有相同的形式,1()ij ij W A -=。
3.1 定义
现在我们定义引导滤波器,关键的假设是这个引导滤波器在引导图像I 和滤波输出q 之间是一个局部线性模型。
我们假设q 是I 中心在像素k 的窗口k ω的线性转
换:
,i k i k k q a I b i ω=+∀∈ (4)
(,)k k a b 是假定同k ω相同的线性系数。
用一个半径为r 的方形窗口。
这个局部线
性模型确定只要I 有一个边缘那么q 就有一个边缘,因为q a I ∇=∇这个模型被证明在图像超分辨率[50],图像抠图[10],和去雾[11]中是有效的。
为了决定线性系数(,)k k a b ,我们需要约束输入的滤波图像p 。
我们定义输出q 为输入p 减去一些不希望的内容n 例如噪声/纹理:
i i i q p n =-. (5) 我们寻求一个解决办法能够最小化q 和p 之间的差异,同时保持线性模型(4)。
特别的,我们最小化下面的窗口k ω的代价函数:
22(,)(()k
k k k i k j k
i E a b a I b p a ωε∈=+-+∑ (6) 这里,ε是一个惩罚大的k a 的正则化参数。
我们将在3.2部分研究它的直观意义。
方程式(6)是线性回归模型[51],[52]并且它通过以下给定的解决: 21
||k i i k k i k k I p p a ωμωσε∈-=
+∑ (7) k k k k b p a μ=- (8)
这里,k μ和2k σ是引导图像I 的窗口k ω平均值跟方差,||ω是k ω中像素个数,1
||k k i i p p ωω∈=∑是p 在k ω的平均值。
获得了线性系数(,)k k a b ,我们能计算滤波输出i q 根据方程(4)。
图1(右)显示了关于一个引导滤波过程的解释。
然而,一个像素i 与所有覆盖i 的重叠窗口k ω相关,所以方程(4)中i q 的值不
是相同的当用不同的窗口中计算。
一个简单的策略是平均所有的i q 的可能值。
所以,
计算了所有图像中k ω窗口的(,)k k a b 值,我们计算通过下面滤波输出结果:
|1()||k i k i k k i q a I b ωω∈=+∑ (9)
注意|k i
k k k i k a a ωω∈∈=∑∑,由于盒子窗口是对称的,我们重写方程(9)为: i i i i q a I b =+ (10)
1||i i k k a a ωω∈=∑和1||i i k k b b ωω∈=∑是在i 处的所有重叠窗口平均系数。
这个重叠窗口的平均策略在图像去噪[53]很流行并且是非常成功的BM3D 算法
[54]的一个构件块。
用这个(10)中的修改,q ∇ 不再是I ∇的缩放了,因为线性系数,()i i a b 空间可变。
但是因为,()i i a b 是一个均值滤波器的输出,他们的梯度会比I 明显边缘附近要小得多。
在这种情况下,我们能将q a I ∇≈∇,意味着I 中的突然强度变化可以大部分被q 保存。
方程(7)、(8)、(10)是引导滤波器的定义。
一个伪代码在算法1中。
这个算法中,mean f 是用一个半径为r 的均值滤波器。
相关性的缩写(corr ),方差的缩
写(var ),协方差的缩写(cov )表明了这些变量的直观意义。
我们将讨论最快的执行并且在第4部分计算细节。
Algorithm 1. Guided Filter.
Input: filtering input image p, guidance image I , radius
r,regularization
Output: filtering output q.
....1:()
()
(.)
(.)
2:var cov 3:cov (var )
.4:()
()
5:I mean p mean I mean Ip mean I I I I
Ip Ip I p Ip I p I
a mean
b mean a b
mean f I mean f p corr f I I corr f I p corr mean mean corr mean mean a b mean a mean mean f a mean f b q mean I mean ε===*=*=-*=-*=+=-*===*+
/ *mean f is a mean filter with a wide variety of O (N) time methods. */
3.2 边缘保持滤波器
考虑到给定的引导滤波器,我们第一次学习边缘保持特性。
图2显示一个用一系列引导滤波参数的例子。
这里我们研究特别的例子,当引导图像I 是同输入滤波图p 相同的情况。
我们能看到引导滤波变现出的边缘保持平滑特性(图2)。
引导滤波的边缘保持滤波特性能够被解释为下面的直观反映。
考虑到I=P 时,
22()k k k a σσε=+并且(1)k k k b a μ=-。
很明显当0ε=,1k a =并且0k b =.如果0ε>,我们考虑两种情况。
第一种:”高方差”。
如果图像I 在k ω中很多变化,我们有
2k σε>> , so 1k a ≈ and 0k b ≈.
第二种:“平坦的块”。
如果图像I 几乎与窗口k ω相同的话,我们会有
2k σε>> , so 1k a ≈ and 0k b ≈, 因此,0k a ≈and k k b μ≈.
当k a 与k b 被平均得到i a 和i b ,结合(10)得到输出结果。
我们有,当一个像素在一个高方差区域的中间,它的值是不变的(1,0,)a b q p ≈≈≈。
然而,如果是在平坦区域的中间,它的值就会变成周围区域像素的平均值(0,,)a b q μμ≈≈≈
更具体的说,平坦与高方差的标准是被参数ε给定的。
如果块状的方差(σ2)比该参数小得多则被平滑,然而那些方差大得多则被保留。
ε在引导滤波中的影响就像是双边滤波器(2)中的方差σr 2,都决定什么是应该被保留一个边缘/高方差块。
更多的,在一个平坦区,引导滤波器变成一个级联的两箱平均值滤波器半径为r 。
级联的箱均值滤波器是高斯滤波器一个很好的近似。
因此,我们经验性地建立在引导滤波器和双边滤波器的一致:s r σ↔ 和2r εσ↔图2显示了两个滤波器的结果应用相应的参数,图2中的表格PSNR 显示了引导滤波器和双边滤波器用各自参数得到定量差异。
当PSNR>=40[18]时,它被认为视觉不敏感。
3.3 滤波器核
通过(7)、(8)、(10)中可以很容易的显示I ,p 和q 的关系如(1)中的平均加权形式。
实际上,k a 在(7)中能够被重写成一个权重总和:()k kj j j p a A I p =∑。
ij A 是仅仅只依赖于I 的权重。
同样的原因,我们也有来自(8)的()k kj j j b B I p =∑。
跟来自(10)的()i ij j j q W I p =∑.我们能够证明核权重是明确被下面的式子表示:
()(),22:(,)1
()1k i k j k i j k i j k I I W I ωμμσεω∈⎛⎫-- ⎪=+ ⎪+⎝⎭∑ (11) 由于p 跟q 的线性关系,滤波核被,i j i j W q p =∂∂给定。
把(8)代入(10)并且
消掉b,我们得到: ()2
1
()i i k i k k k q a I p ωμω∈=-+∑ (12)
Fig. 2. Edge-preserving filtering results of a gray-scale image using the guided filter (top) and the bilateral filter (bottom). In this example, the guidance I is identical to the input p. The input image is scaled in [0,1]. The table “PSNR” shows the quantitative difference between the guided filter results and the bilateral filter results using corresponding parameters. The input image is
[1].
Fig.3. A 1-D example of an ideal step edge. For a window that exactly center on the edge, the
variables μ and σ are as indicated.
求偏导,得到: 1()i i k k i k k j j j q a p I p p p ωμω∈⎛⎫∂∂∂=-+ ⎪ ⎪∂∂∂⎝⎭
∑ (13) 在这个等式中,我们有: 11k j k j k j p p ωωδδωω
∈∈∂==∂ (14) 当j 是窗口k ω中的时候,k j ωδ∈为1,否则为0.另一方面,偏微分
k j a p ∂∂在(13)中能够被式(7)计算:
2211111j k k i k i k j k k i j k j j k a p p I I p p p ωωμμδσεωσεωω∈∈⎛⎫⎛⎫∂∂∂=-=- ⎪ ⎪ ⎪ ⎪∂+∂∂+⎝⎭⎝⎭∑ (15)
将(14)(15)代入(13),我们得到
()(),2211i j i k j k i k k j k I I q p ωωμμσεω
∈∈⎛⎫--∂ ⎪=+ ⎪∂+⎝⎭
∑ (16) 这是滤波核ij W 的表达式。
一些更多的计算机代数操作显示()1ij j W I ≡∑不需要做额外的工作区归一化权重。
边缘保持平滑特性能够被理解通过研究滤波核(11)。
以一个理想的一维的边缘阶跃信号为例子(图3)I i −μk 和 I j −μk 有同样的符号(+、-)当I i 和I j 在边缘的同一边,而当在边缘的不同两边他们就会有相反的符号。
所以在(11),两个像素点再不同的边时2()()
i k j k k I I μμσε--+比在相同边时要小得多(接近于0)。
这意味着
像素穿过一个边缘几乎不会被平均到一起。
我们也能理解式(11)中ε对平滑的影响。
当2k σε<<(平坦区域)时,这个核变成2:(,)1()||k ij k i j W I ωω∈=
∑这是一个LTI
的低通滤波器(这是两个均值滤波器的级联)。
图4解释了一些真实图像的核形状的例子。
在最上排是在一个阶跃边缘的核。
像双边的核,引导滤波器的核分配到边缘另一边的像素的权重几乎为0.在中间的一行是在小比例的纹理局部快的核。
所有的滤波器都是将邻近的像素全部平均并且表现
为低通滤波器。
这在一个常量区更加明显(图4,低下的一行)引导滤波器分解成一个两个均值滤波器的级联。
在图4(b )中看到引导滤波器是选择的非均匀的并且对x/y 轴有轻微地偏差。
这是因为我们在设计滤波器的时候用的盒子窗口。
这个问题可以用高斯权重窗口替
代而得到解决。
形式上的,我们能引入这个(6)中的权重22exp(||||/)ik i k g x x ωσ=--:
22(,)(())k
k k ik k i k i k i E a b a I b p a ωωε∈=+-+∑ (17)
它直接显示了结果,高斯滤波器能够用于计算将算法1中的所有的均值滤波器用高斯滤波器Gauss f 计算。
结果核是图4d 中的旋转均匀的。
在第4部分,我们会显示始终是O(N)时间复杂度的高斯滤波器Gauss f 想初始的引导滤波器那样。
但是因为在实际中我们发现初始的引导滤波器总是足够好,我们所有剩下的实验中都用使用它。
3.4 梯度保留滤波器
尽管引导滤波是一个像双边滤波器一样的边缘保持平滑操作,在细节增强和HDR 压缩它避免了梯度逆转伪影。
一个简单细节增强算法的介绍如下(图5)。
给定的输入信号p (图5中的黑色部分),它的边缘保持平滑输出被用作一个基层q (红色)。
输入信号和基层的差是细节层(蓝色):d=p-q.它是用来放大去增强细节的。
增强信号(绿色)是增强层和基层的结合。
这个方法的仔细说明在[15]中能看到。
双边滤波器(图5顶部),基层与输入信号在边缘像素(看放大的)不一致。
图
(6)解释了双边滤波核的边缘像素。
因为这个像素与邻近不相似,高斯权重范围核不可靠的平均了一些像素。
更糟的是,这个范围核是因为突变的边缘而产生偏差。
例如图6中的边缘像素,它的边缘值比初始值小,让被滤波的信号q 比输入图像更加锐化了。
这个锐化影响已经被发现在[15],[16],[8]。
现在提出输入图像p 的梯度是正的:0x p σ>(如图5和图6)。
当q 是尖锐的,它给出了:x x q p σσ>
细节层d 因此有一个负的梯度0x x x d p q σσσ>-<意味着它有个翻转的梯度方向w,r,t 输入新哈(图5顶部)。
当细节层被夸大并且重组了输入信号,边缘处出现梯度逆转伪影。
这个伪影是固有的并且不能通过调节参数被安全的避免因为图像通常有各种规模和量级的边缘。
在另一方面,引导滤波器在避免逆转梯度上有很好的表现。
实际上,如果我们用分片连续模型(4),当(I p ≡)引导图是自身的时候能证明没有这种逆转伪影。
在这种情况下,(7)给出了22()1k k k a σσε=+<并且k b 是常量。
所以我们有
x k x q a p σσ=,并且细节层梯度 (1)x x x k x d p q a p σσσσ=-=-,意味着x d σ和x p σ总是有相同的梯度方向。
当我们用重叠模型(9)代替(4),我们有
x x x x q a p p a b σσσσ=++。
因为-a 与-b 是两个低通滤波图,我们得到x x q a p σσ≈并且上面的结论仍然是接近现实。
在实际中,我们在所有试验中不观察梯度逆转伪影。
图5(底下)给出了一个例子。
不像双边滤波核,引导滤波设计许多小的但是必要的权重去减弱核的边缘。
这让引导滤波核的偏差更少,避免减少图(5)中例子边缘像素的值。
我们注意到,梯度逆转问题也在最近的边缘保持域转换滤波器[38]中出现(图
7)。
这个非常有效的滤波器是来源于1维的双边滤波核,所以他不能安全的避免梯度逆转。
3.5 扩展到颜色滤波
这个引导滤波能容易得扩展到颜色图像中。
这种情况下,输入滤波图像p 是多通道的。
这非常明显的是需要将滤波器应用到各个独立的通道上。
在这种情况下,引导图像i I 也是多通道的,我们重写这个局部的线性模型(4)
,.T
i k i k k q b i ω=+∀∈a I (18)
这里i I 是一个3*1的颜色向量,k a 是一个3*1的系数向量,qi 和k b 是标量。
引导滤波器用于图像颜色的引导图变成
11()||k i i k k k i k U p p ωεμω-∈⎛⎫=+- ⎪⎝⎭
∑∑a I (19) k k k k T
b p μ=-a (20)
T i i i i q b =+a I (21)
∑是引导图像I的窗口kω的一个3*3的协方差矩阵,U是一个3*3的单这里,k
位矩阵。
一个颜色引导图能够更好的保持那些在灰度图像中不明显的边缘(图8)。
一个颜色引导图在抠图和去雾应用中也非常重要,如同我们后来知道的,因为局部线性模型是更可能对RGB颜色空间比对灰度图像有效[10]。
Fig. 8. Guided filtering results guided by the color image (b) and guided by its gray-scale version (c). The result in (c) has halos because the edge is not undistinguishable in gray-scale.
Fig. 9. Structure-transferring filtering.
3.6 结构转换过滤
有趣的是,引导滤波器不是简单地平滑滤波器。
考虑到局部线性模型i q b =+aI ,输出结果q 是一个局部引导图I 的缩放(加上一个补偿量)。
这让从引导图I 结构转化成输出q 成为可能,甚至滤波输出p 是平滑的(图9)
显示一个结构转化的滤波例子,我们提出一种引导滤波的应用:一个的二进制掩膜精炼去产生一个物体边界附近的α影像(图10)。
二进制的掩膜能通过割图或者其他分割方法得到,并且用于输入p 的滤波器。
引导图I 是颜色图像。
图10显示了三个滤波器的行为:引导滤波器,(级联)双边滤波器,和最近的一个域转换滤波器[38]。
我们观察到引导滤波器完全地恢复了头发,即使滤波输入是二进制的并
且很粗糙。
双边滤波器也许会失去一些细薄的结构(放大看)。
这是因为双边滤波器是用像素的颜色差异来引导的,然而引导滤波器是有分片连续模型。
我们也可以观察到域转换滤波器没有一个好的结构转换能力并且只是简单平滑了结果。
这是因为这个滤波器基于像素的测量距离,并且它的输出是一系列一维的自适应跨度的盒子滤波器[38]。
结构滤波是一个很重要的引导滤波器的特性。
它能用于新的基于滤波的应用,包括抠图和去雾。
它也能用到高质量的基于滤波的立体匹配。
[23][24]。
3.7 与隐式方法的关系
引导滤波器与抠图的拉普拉斯矩阵[10]有密切联系.这个引入例如新的视角去理解这个滤波器。
在一个封闭情况下去抠图[10],抠图拉普拉斯矩阵是源于一个局部线性模型。
不像引导滤波器,计算每个窗口的局部最佳值,这个密闭的情况裙子一个全局最优值。
为了解决这个未知的α,这个方法最小化下面的代价函数:
()()()T T E q q p q p q Lq =-∧-+ (22)
这里,q 是一个N*1的向量表示未知的αmatte ,p 是约束条件,L 是一个N*N 的抠图的“拉普拉斯”矩阵,并且A 是一个对角矩阵根据约束权重编码。
这个最小化问题解决方案是通过解下面的线性方程组:
()L q p +∧=∧ (23)
拉普拉斯抠图矩阵是通过下面的式子给定的:
()()2:(,)11k i k j k ij ij k i j k I I L ωμμδωσε∈⎛⎫⎛⎫-- ⎪ ⎪=-+ ⎪ ⎪+⎝⎭⎝⎭∑ (24)
ij δ克罗内克符号。
比较(24)与(11),我们发现抠图拉普拉斯矩阵元素能直接被引导滤波器的核给定:
()ij ij ij L W ωδ=- (25)
在[43]中的策略,我们证明引导滤波的输出是一个Jacobi 迭代在最
优化(22)时: ()i ij j j
q W I p ≈∑ (26)。