基于纹理合成图像修复的改进算法

基于纹理合成图像修复的改进算法李孟江 袁晓辉（东南大学自动化学院，南京 210096）摘 要: 图像修复是数字图像处理的重要内容，可用于被损坏的图像和视频修复、视频文字去除以及视频错误隐藏等。

本文在纹理合成算法的基础上进行了改进，引入优先权机制来决定边界像素的修复次序，既保持了纹理细节，又突出了边缘特征，达到了很好的修复效果。

关 键 词：图像修复；纹理合成；优先权0. 引 言图像修复(Inpainting)技术是一项古老的艺术，它最早出现于欧洲文艺复兴时期。

为了恢复美术作品丢失或损坏的部分，同时保持作品的整体效果，人们开始对美术作品进行修复，主要是填补作品上所出现的裂痕或沟，称之Retouching(润饰)或Inpainting(修复)。

图像修复技术是针对图像中遗失或者损坏的部分，利用未被损坏的图像信息，按照一定的规则填补，使修复后的图像接近或达到原图的视觉效果。

从数学的角度来看，图像修复是一个病态问题，因为没有足够的信息可以保证能唯一正确的恢复被损坏部分。

因此，人们从视觉心理学的角度进行分析，提出了各种假设来解决这个问题。

[1]M.Nitzberg 借助于图像分割提出一种去遮挡算法，其基本思想是利用最小曲率和相同灰度值的曲线连接T 型接头。

该方法只适合比较简单的图像，而不适合复杂的自然图像。

Masnon 和扩展M.Nitzberg 的思想，提出一种变分算法，它采用测地曲线连接断开于待修复区域边界的等照度线来达到图像修补的目的，但存在要求修复区域邻域的拓扑关系简单、直线连接、保角性差等缺点。

等人首次采用偏微分方程(PartialDifferential Equation,PDE)，通过将待修复区域外围信息沿着等照度线方向进行扩散来填补，能够处理不同结构和背景的区域，并且自动化程度较高。

在偏微分方程基础上，Chan和提出TV(Total Variational，整体变分)模型，采用欧拉-拉格朗日方程和各向异性扩散来保持等照度线的方向。

针对TV 模型的不足，Chan 和又提出CDD(Curvature-Driven Diffusion)模型，使之能够处理更大的区域。

提出一种非常简单的方法，反复通过3*3卷积运算将已知信息不断向待修复区域内部进行扩散，达到修复目的。

[2]Morel [3]Berlalmio [4]Shen [5]Shen [6]Oliveira 以上各种图像修复方法取得了一定效果，但仍然存在一些缺陷，不令人满意。

基于PDE的方法，需要反复迭代，速度非常慢，并且这些方法一般只修复较小的区域，无法处理大的区域。

另外这些方法不能很好的保持修复区域的纹理细节，修复后的图像通常具有模糊效应。

Oliveira 的卷积方法简单，对于平滑的区域具有较好的效果，但无法保持等照度线方向，也容易出现模糊现象。

图像修复的难点在于：自然图像非常复杂，既包含结构信息，又包含纹理细节。

所以在修复过程中既要保持纹理细节，又要突出结构(主要指边缘)特征。

所以本文在纹理合成算法的基础上，通过优先权机制来决定边界像素的修复次序，充分顾及到图像的边缘结构信息，不仅避免了反复迭代，缩短了运算时间，提高了效率，而且保证了纹理清晰、边缘突出。

1. 纹理合成算法纹理合成（texture synthesis），简单说来就是根据一个纹理样图，生成新的具有相同效果的纹理，可以用来恢复自然图像中的纹理区域。

基于纹理合成的图像修复主要分：[8]三步1）确定当前需要修复区域的位置；2)根据当前位置的邻域特征，从样图或自身图像中寻找相似块；3）把搜索到的相似块复制到待修补图像区域相应位置上，完成块的填充。

如图 1所示，代表需要填补的8*8图像区域，从待修复区域的边界一个像素块一个像素块的向区域内部填充。

t I 代表待修复区域周围已知的图像块，将其作为纹理合成的模板，代表在待修复区域边界上需要修复的(,)p i j t I 临近像素，表示像素相对模板的位置,之所以把点取在模板(,)i j (,)p i j t I 的边界，是为了保证块匹配时，已知信息更多，可信度更高。

选取3*3的图像块作为已知的模板，由于图像块的相关性与距离成反比，因此采样块搜索区域可以选择在待修复区域的邻域。

从丢失块附近邻域内寻找采样块ˆt I ，使ˆtI 满足下式： ''ˆ,(,(,)[()]t t t t p I p I p p d I I sqrt p p ∈∈=∑)2−)相对应） (1)'ˆa rg m in (,)t t t I d I I = 其中 't I ∈Ω (2)ˆ,p p代表模板和采样块相对应位置上的像素灰度值；表示两个块'(,)t t d I I ',t t I I 之间的距离，ˆt I 为与t I 距离最小块，也就是我们寻找的最相似块。

当找到了ˆt I ，把ˆt I 复制到tI ，就完成了该块的填充。

上述纹理合成算法，在整个邻域内寻找最相似块，修复效果很好，然而速度很慢，过程复杂。

在这种算法的基础上进行优化，简化其算法复杂性。

优化算法描述如下：(1) 判断图像灰度在待修复区域边缘等照度线的传播方向；(2) 在灰度变化比较缓慢的方向，即等照度线方向上进行纹理合成。

其中，在判断图像像素灰度在待修复区域边缘传播方向的时候，可以对待修复区域上下、左右两个方向的相邻已知图像块进行算法(1)运算，取其中变化最小的方向，就是灰度等照度线传输的近似方向。

这样就可以按照纹理合成算法在该方向上进行修复。

如图 2所示，当灰度等照度线在方向上传播时，寻找使得最小的图像块，并相应的复制x ˆ(,)xt xtd I I ˆxt xt I I =；同理，如果在y 方向上传播，则寻找使得最小的图像块，并相应的复制ˆ(,)yt ytd I I ˆyt ytI I =。

`图 1 图 2 2. 像素的优先权机制上面阐述的纹理合成算法，直接从采样块中寻找相应的最佳匹配像素，能够较好的保持纹理细节。

但不同于单纯的纹理合成，自然图像不仅包含纹理信息，还具有复杂的结构信息(主要指边缘)，所以在纹理合成的基础上要充分顾及图像的边缘特征。

[7]Criminisi 提出的基于纹理合成的算法是较好的方法，其基本思想：在多种纹理并存的图像上，修补的顺序十分重要，一般不同纹理的交界处是一些线形的结构（等值线isophote），如果能优先修补这些地方，结构信息就能比较好的保持下来。

2.1 像素修复顺序问题在纹理合成中，一般采用扫描行进行处理，但对于图像修复，采用这样的顺序是不合适的。

由于自然图像不是单纯的纹理，缺损区域可能覆盖多种纹理区域，并且各纹理[10]顺序区域之间具有明显的边缘。

采用简单的行处理顺序无法顾及边缘结构特征，可能导致明显的错误填补。

本文采用蚕食的方式，即从待修复区域外围边界开始，逐渐缩小包围圈。

该方式能够保证先填补离已知信息近的区域，可靠性更强一些。

图 3 图 4如图 3所示，在修复过程中，将像素分成四个类别，分别标志为：1、KNOWN —已知像素：图3中白色区域；2、FILLED —已修复像素：图3中阴影区域；3、BOUND —边界像素：待修复区域边界上的像素，即图3中实线所表示的像素，边界像素属于未知像素，是当前需要修复的像素点；4、INSIDE —内部像素：待修复区域内部的像素，图3中斜线区域2.2 边界像素优先权的计算若对当前边界采用同步收缩，则是一种各向同性填补，相当于边界上的像素具有相同的优先权，没有考虑边缘结构的影响，效果不太理想。

为了顾及图像的结构特征，可以采用优先权，让边界像素具有不同的修复优先权。

每次从边界像素中挑选具有最高优先权的一个像素进行处理，从而达到各向异性扩散的目的。

优先填补图像边缘附近的像素，然后填补其他像素，有利于边缘结构的保持。

[11]顺序[9]机制()P p 如图 4所示，I 代表整个图像，I =Φ+Ω；Φ为完好的区域，Ω为待修补区域，δΩ为待修补区域的边界，为以为中心的方形区域。

对待修补区域边界上每一个点p Ψp p ∈δΩ，其优先权本文采用如下的优先权计算方法：()P p ()()()P p C p D p =× (3)其中：()C p ＝()p q pC q ∈Ψ∩ΩΨ∑ (4) ()D p ＝p p nE × (5)()C p 称为点的可信度值，是对于点周围可靠信息的一种估计，点周围已知点越多，其周围优先被填充。

其中p p p p Ψ表示的是以为中心，以一定长度为边长的正方形修补窗口的面积。

在初始化的时候，令p p Ψ =1()或者 =0 (()C p p ∀∈Ω()C p p ∀∈Ω)这样在不断修补的过程中0<=<=1,而且越是深入待修补区域的内部，可信度就越低，符合一般规律。

可信度越低，最后得到的优先权就越低，这一项保证了合成的顺序基本上是从外围向中间合成。

()C p ()P p ()D p 称为数据项，体现点处图像边缘方向和强度。

其中表示在点处的边界线法线矢量，p p n p p E 表示p 点处边缘强度矢量。

数据项的值提供了不同纹理块之间边界的结构性信息。

通过这一项的计算，使得在有较强结构的地方有着更高的优先权，保证结构信息的连续。

p n 的计算方法是：计算中所有INSIDE 像素点(=0～m-1,m 为点数)到点的方向单位矢量=norm(p Ψi q i p i V ,qi p qi p x x y y −−)(其中,x y 表示像素坐标，norm(·)表示单位化运算)；然后计算这些矢量的平均值，作为p 点法线矢量p n =(,x y n n )。

p E 矢量需要通过梯度(Gradient)来计算。

先计算p Ψ中所有KNOWN 像素点和FILLED 像素点的梯度(=0～-1, 为点数)；然后计算这些梯度的平均值i G i k k (,)p x G G G y =。

由于梯度方向和边缘方向相互垂直，将旋转90，得到边缘强度矢量p G o p E =(,)y x G G −。

2.3 边界更新每次从边界像素中挑选具有最高优先权的像素p 进行修复后，将发生两个变化：1)p 由边界像素(BOUND)变成已修复像素(FILLED)，且p 的四邻域中的INSIDE 像素将成为新的BOUND 像素；2)邻域()p Ψ中其他BOUND 像素的优先权将发生变化。

所以，在每完成一个边界像素p 的修复后，需要重新确定邻域()p Ψ内的边界像素，并重新计算这些边界像素的优先权。

2.4 改进算法总结以上三个步骤，是整个纹理合成修复算法的核心。

基于纹理合成图像修复改进算法总结如下:1）确定待修复区域Ω；2）计算待修复区域边界上点的优先度；3）寻找边界上优先度最大的点，确定以为中心的方形块p p p Ψ；4）寻找最佳匹配块，并复制到相应的区域p Ψ上；5）更新边界，重新计算边界上点的优先度，返回步骤2）。