改进的整体变分法在图像修复中的应用[1]

２００７，４３（２７）ＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇａｎｄＡｐｐｌｉｃａｔｉｏｎｓ计算机工程与应用

Ａ

Ｂ

图１破损区域及其邻域示

１引言

图像修复是指对数字图像中丢失、破损的部分进行还原修

复，是一项出现很早的工艺技术，近年来图像修复技术有了长足的发展。Ｃｒｉｍｉｎｉｓｉ等［１］提出了基于纹理的图像修复方法，在未受损图像中寻找与受损模块最为匹配的修复模块并填充到受损区域内，从而实现图像的修复。Ｂｅｒｔａｌｍｉｏ等［２］人首先提出了基于偏微分方程的图像修补算法，利用待修补区域的边缘信息，将待修补区域外的信息沿梯度的垂直方向扩散到修补区域内，取得了很好的效果。Ｃｈａｎ等［３］成功地将整体变分法思想应用于图像修复中。

本文在前人的研究基础上，对整体变分法作了进一步改进，经过计算机仿真试验，改进后的方法和原方法结果相比，所得图像的修复效果更加完善。

２图像修复的整体变分算法

基于整体变分的图像恢复算法由Ｒｕｄｉｎ等［４］提出，本文为

简明描述整体变分法［５－７］在图像修复中的应用，先给出破损区域及其邻域示意图（图１）。其中Ｂ为图像破损部分（空信息），Ａ为破损区域的边缘部分，!＝Ａ∪Ｂ。

在图像修复中，噪声污染的图像ｕｏ大多满足加性关系

ｕｏ（ｘ

）＝ｕ（ｘ）＋ｎ（ｘ），其中ｎ（ｘ）为均值为０，方差为δ２

的高斯白噪声。通过正则化方法处理得：

ｍｉｎ

１

２‖ｕ－ｕｏ

‖２

＋"２

Ｒ（ｕ#$）（１）

用ＴＶ＝

!

%｜&ｕ｜ｄｘｄｙ

（整体变分）代替Ｒ（ｕ）得到新的能量函数如下：

ｇ［ｕ］＝１２‖ｕ－ｕｏ‖２＋"

２!

%｜&ｕ｜ｄｘｄ#

’

ｙ（２）

其中&ｕ表示梯度，

"为拉格朗日乘子。同时又有约束条件：１２

‖ｕ－ｕｏ‖２＝δ２（３）

所以整体变分法对图像的修复过程实际上是在约束条件（３）限制下，最小化图像能量函数（２）的过程。

改进的整体变分法在图像修复中的应用

周密，彭进业，赵健，田艳艳，史晶ＺＨＯＵＭｉ，ＰＥＮＧＪｉｎ－ｙｅ，ＺＨＡＯＪｉａｎ，ＴＩＡＮＹａｎ－ｙａｎ，ＳＨＩＪｉｎｇ

西北大学信息科学与技术学院，西安７１０１２７ＳｃｈｏｏｌｏｆＩｎｆｏｒｍａｔｉｏｎａｎｄＴｅｃｈｎｏｌｏｇｙ，ＮｏｒｔｈｗｅｓｔＵｎｉｖｅｒｓｉｔｙ，Ｘｉ’ａｎ７１０１２７，ＣｈｉｎａＥ－ｍａｉｌ：ｚｍ２３１８２８３＠ｓｏｈｕ．ｃｏｍ

ＺＨＯＵＭｉ，ＰＥＮＧＪｉｎ－ｙｅ，ＺＨＡＯＪｉａｎ，ｅｔａｌ．Ｉｍｐｒｏｖｅｄｔｏｔａｌｖａｒｉａｔｉｏｎｍｅｔｈｏｄｆｏｒｉｍａｇｅｉｎｐａｉｎｔｉｎｇ．ＣｏｍｐｕｔｅｒＥｎｇｉｎｅｅｒｉｎｇａｎｄＡｐｐｌｉｃａｔｉｏｎｓ，２００７，４３（２７）：８８－９０．Ａｂｓｔｒａｃｔ：Ａｎｉｍｐｒｏｖｅｄｉｍａｇｅｉｎｐａｉｎｔｉｎｇｍｅｔｈｏｄｂａｓｅｄｏｎｔｈｅｔｏｔａｌｖａｒｉａｔｉｏｎａｌｇｏｒｉｔｈｍｉｓｐｒｅｓｅｎｔｅｄｉｎｔｈｉｓｐａｐｅｒ．Ｔｈｅｒｅｌａｔｉｖｉｔｙｃｏｅｆｆｉｃｉｅｎｔｉｓｉｎｔｒｏｄｕｃｅｄａｃｃｏｒｄｉｎｇｔｏｔｈｅｓｕｒｒｏｕｎｄｉｎｇｉｎｆｏｒｍａｔｉｏｎｏｆｔｈｅｄａｍａｇｅｄａｒｅａ．Ｗｉｔｈｔｈｅｈｅｌｐｏｆｔｈｅｒｅｌａｔｉｖｉｔｙｃｏｅｆｆｉｃｉｅｎｔ，ｗｅｇｒａｄｕａｌｌｙｄｉｆｆｕｓｅｔｈｅｓｕｒｒｏｕｎｄｉｎｇｉｎｆｏｒｍａｔｉｏｎｔｏｔｈｅｄａｍａｇｅｄａｒｅａａｎｄｒｅｓｔｏｒｅｔｈｅｄａｍａｇｅｄａｒｅａ．Ａｒａｎｇｅｏｆｅｘｐｅｒｉｍｅｎｔｓｓｈｏｗｔｈａｔｔｈｅｎｅｗｍｅｔｈｏｄｉｓｅｆｆｅｃｔｉｖｅｆｏｒｔｈｅｉｍａｇｅｉｎｐａｉｎｔｉｎｇ，ａｎｄｔｈｅｅｄｇｅｏｆｔｈｅｄａｍａｇｅｄａｒｅａｂｅｃｏｍｅｓｍｏｒｅｎａｔｕｒａｌ．Ｋｅｙｗｏｒｄｓ：ｉｍａｇｅｐｒｏｃｅｓｓｉｎｇ；ｉｍａｇｅｉｎｐａｉｎｔｉｎｇ；ｔｏｔａｌｖａｒｉａｔｉｏｎ；ｒｅｌａｔｉｖｉｔｙｃｏｅｆｆｉｃｉｅｎｔ摘要：提出了一种改进的整体变分法并且将其应用于图像修复中。在修复的过程中考虑图像破损区域外部参考像素和待修补点的相关度，再利用图像破损区外部参考像素信息从破损区域的边缘逐步地向破损区域内部进行扩散，从而达到图像修复的目的。仿真试验表明，改进后的算法与原方法相比图像边缘过渡更加自然，修复效果得到改善。关键词：图像处理；图像修复；整体变分；相关度系数文章编号：１００２－８３３１（２００７）２７－００８８－０３文献标识码：Ａ中图分类号：ＴＰ３９１

基金项目：国家部委基础研究项目；陕西省自然科学基金（ｔｈｅＮａｔｕｒａｌＳｃｉｅｎｃｅＦｏｕｎｄａｔｉｏｎｏｆＳｈａａｎｘｉＰｒｏｖｉｎｃｅｏｆＣｈｉｎａｕｎｄｅｒＧｒａｎｔＮｏ．２００６Ｆ４２）。作者简介：周密，硕士研究生，主要研究方向为数字图像处理；彭进业，博士，教授，博导，主要从事图像处理研究；赵健，博士，副教授，硕导，主要从

事图像处理研究；田艳艳，硕士研究生，主要研究方向为图像处理；史晶，硕士研究生，主要研究方向为图像处理。

８８

２００７，４３（２７）

ａ１１

ａ１２

ａ１３

ａ２１

ａ２３ａ３１

ａ３３ａ３２

ｎ

ｕｏ

ｗ

ｅｓ

图３半点格式法求梯度

Ｕ１Ｕ３Ｕ２

Ａ

ｕｋ１

ｋ２

Ｂ

ｋ３

ｋ４

Ｕ４

图２目标点与其参考点的相关度系数

（ａ）原图

（ｂ）受损图

（ｃ）未改进的结果（ｄ）改进后的结果

图４改进后算法的结果和未改进的算法结果比较１

３改进后的算法描述与实现

基于整体变分的图像修复算法，在对破损区域修复时，利

用破损区域外部的图像信息从破损区域的边缘逐步地向破损区域内部进行各项异性扩散，经过多次的运算达到图像修复的目的，本文在修复时考虑到破损区边缘各个参考点对目标点的影响不同，对每个参考点设置权值来区分它们分别对目标点的影响程度。

为了说明本文的改进方法和思路引入图２。Ａ为破损区域的外围部分，

Ｂ为破损区域，其中破损区域Ｂ内为空信息。在对点ｕ的修复中不仅要考虑上下左右Ｕ１、Ｕ２、Ｕ３、Ｕ４４个参考点对它的影响，还要考虑哪个参考点对目标点ｕ的影响大，因为距离越近说明目标点ｕ与哪个参考点的关联程度越大，关系越密切。现以图２为例，目标点ｕ距离图像破损区域边缘的上界和左界的距离近，距离下界和右界远，换言之就是与上界和左界的关联程度强，与下界和右界的关联程度弱。

所以如果计算时多考虑上界点Ｕ１和左界点Ｕ３的话，那么修复后图像边缘结合效果好，图像逼真度就会提高。为便于清楚认识和计算方便，结合图２，本文定义了相关度系数Ｒ这个概念，来表示目标点ｕ与它的上下左右４个修复参考点之间的关联程度，若某一方向上的Ｒ值大表示目标点与这一方向上的修复参考点相关度大，反之表示相关度小；那么在修复计算过程中以Ｒ为权值，

Ｒ值大就会放大这一方向上的参考点的影响，如果Ｒ小就会削弱这个方向参考点的影响。现以目标点ｕ与上界点Ｕ１相关度Ｒ１为例，Ｒ１可以定义为如下式：

Ｒ１＝

１

ｋ１

１ｋ１＋１ｋ２＋１ｋ３＋１ｋ４

（４）

式（４）中，参数ｋ１、ｋ２、ｋ３、ｋ４分别为目标点ｕ距上下左右４个方向参考点Ｕ１、

Ｕ２、Ｕ３、Ｕ４的距离（在本文中距离量取目标点与参考点间的相隔像素数），同理可得目标点ｕ其他３个参考点的相关度Ｒ２、

Ｒ３、Ｒ４。在本文中只考虑对破损部分的修复没有加入高斯噪声的干扰，那么最小化式（２）

ｇ［ｕ］即求!２

!

!｜"ｕ｜ｄｘｄｙ的最小值。

如果式

!

２

!

!｜"ｕ｜ｄｘｄｙ在ｕ＝ｕ（ｘ，

ｙ）时取极值，则ｕ＝ｕ（ｘ，ｙ）在!域内满足欧拉公式，可以得到基于整体变分法的图像修补基本公式：

ｄｉｖ"ｕ

｜"ｕ｜#$

＝０（５）

同时有

ｖ＝（ｖ１，ｖ２）＝

"ｕ

｜"ｕ｜

（６）

其散度近似为：

"

・ｖ＝%ｖ１%ｘ＋%ｖ２

%ｙ≈ｖｅ１

－ｖｗ１

ｈ＋ｖｎ２

－ｖｓ２

ｈ

（７）

其中ｅ、ｗ、ｎ、ｓ为目标点ｕｏ的半邻域像素点。再根据半点格式法［６，７］

求解梯度，示意图如下（图３），以ｖｅ

１

为例进行说明：

ｖｅ１

＝

１

｜"ｕｅ｜%ｕ%ｘ

’(ｅ

≈１｜"

ｕｅ

｜ｕｅ

－ｕ

ｏ

ｈ

（８）｜"ｕｅ｜≈

１ｈ

（ａ２３－ｕ）２

＋（

ａ１３－ａ３３２

）２

)

（９）

依照同样的方法可以得出ｖｗ１

．ｖｎ２

．ｖｓ２

，并把ｖｅ１

．ｖｗ１

．ｖｎ２

．ｖｓ２

和步长ｈ＝１及Ｒ１．Ｒ２．Ｒ３．Ｒ４连同式（７）代入式（５）得到：

ｕ（ｉ）ｏ＝Ｒ１｜"ｕｗ｜ａ（ｉ－１）２３＋Ｒ２｜"ｕｅ｜ａ（ｉ－１）２１＋Ｒ３｜"ｕｎ｜ａ（ｉ－１）１２＋Ｒ４｜"ｕｓ｜ａ

（ｉ－１）

３２Ｒ１｜"ｕｗ｜＋Ｒ２｜"ｕｅ｜＋Ｒ３｜"ｕｎ｜＋

Ｒ４

｜"ｕｓ｜

（１０）

运算式（１０）经过多次迭代得到修复后的图像。具体算法的实现如下：（１）读入破损的图像信息。

（２）判断破损区域，并记录待修复目标点的下标。（３）取得待修复目标点的相关域的像素值及其与参考像素的相关度系数值和其他参数，代入算式（１０）进行计算，得到新的像素值，并用求出的像素值取代原像素的值。

（４）判断是否符合要求，不符合则继续迭代，重复（２）￣（４）步的工作。

４计算机仿真结果

本文用ｍａｔｌａｂ进行编程实现，经过大量试验，结果理想，下面选出３组结果图。

在图４中对于破损区（白色）的修复结果，（ｄ）明显比（ｃ）好。图５中从小企鹅的头部可以看出改进算法的效果较原来有改善。图６中在对电视台标的去除效果上看，（ｄ）的阴影部分面积比（ｃ）小了不少。

周密，彭进业，赵健，等：改进的整体变分法在图像修复中的应用

８９