改进的CDD图像修复模型算法

改进的CDD图像修复模型算法
李建民;汪琦;林振荣;袁梁
【摘要】为解决CDD图像修补模型修复时间长、迭代复杂、边缘过度不自然的问题,提出一种改进的CDD图像修复模型算法.通过简化曲率项运算来减少修复算法的运行时间,引入像素点灰度差值比率和权重平滑函数,克服图像边缘处的扩散相互抵制的现象,有效解决修复后图像边缘模糊的问题.通过实验数据中峰值信噪比(PSNR)和修复时间的对比,表明改进的CDD模型算法比传统的CDD模型算法修复时间更短,边缘过渡更清晰,视觉效果更佳.
【期刊名称】《计算机工程与设计》
【年(卷),期】2018(039)008
【总页数】6页(P2564-2569)
【关键词】CDD模型;灰度差值比率;权重平滑函数;偏微分方程;峰值信噪比
【作者】李建民;汪琦;林振荣;袁梁
【作者单位】南昌大学信息工程学院,江西南昌330031;南昌大学信息工程学院,江西南昌330031;南昌大学信息工程学院,江西南昌330031;新余学院中兴通讯信息学院,江西新余338004
【正文语种】中文
【中图分类】TP391.41
0 引言
数字图像修复技术[1](digital inpainting)是由Bertalmio等通过长期的探索和实验，并建立数学模型而提出的概念。

近些年，基于偏微分方程(PDE)的数字图像修复技术一直是计算机视觉中的热门话题之一。

该技术时常用于对一些年代久远的照片和被噪声污染的图像进行复原。

主要有TV模型修复算法和CDD模型修复算法，它们在解决待修复区域较小的图像上有很好的效果。

TV模型是采用各向异性扩散
的形式对破损的边缘区域来进行修复的，然而该模型并不能较好达到连接断裂边缘区域的视觉连通性[2]要求，因此，CDD模型是在此基础上引进曲率驱动而提出的高阶偏微分方程模型[3]，然而CDD模型仍然存在收敛性差，修复时间长，边缘模糊等问题，在近几年的研究中，国内外对CDD模型做了进一步的研究与改进，文献[2]提出了一种自适应的改进算法，引入自适应系数使得图像在不同的曲率区域
的扩散方式不同来保证修复的效果，文献[4]提出一种结合退化模型的改进算法，
通过对待修复像素点梯度和曲率进行加权处理来保证边缘连通性。

本文针对以上的研究，通过改变曲率，定义像素点灰度差值比率和引入权重平滑函数的方式改进传导系数来建立一种改进的CDD模型算法。

1 CDD模型介绍
CDD模型是在TV模型的原理上引入了曲率项驱动所提出的改进模型。

其中TV模型定义的能量函数为
(1)
并且满足如下噪声约束
σ2
(2)
上述公式中，ux,y表示图像函数，u0x,y为受到噪声影响的图像函数，r为非负函数，ux,y为该函数的梯度，E为破损区域，D为破损区域周围的邻接区域,AE表示
领域E的面积，σ为高斯噪声的标准差，为了达到修复边缘并尽可能平滑破损区域的要求，取ru=u，根据拉格朗日乘子法将有约束的式(1)和式(2)转化为无约束的泛函，其代价函数为
Jλ
(3)
式(3)中第一项为图像的全变分，保证待修复区域的平滑性，第二项为保真项，尽可能保持去除噪声后图像的质量。

根据欧拉-拉格朗日方程可知，代价函数求得极值应该满足
·λu-u0=0
λ
(4)
·表示散度，λ为拉格朗日乘子，为u-1传导系数。

TV模型的原理是用最短的直线距离来连接断裂的等照度线，所以当待修复区域的范围大于图像自身的宽度，会导致不能正确修复破损区域的问题，并且根据TV模型[5]的扩散系数v=u-1，表明该模型的扩散程度的大小仅仅与梯度值的大小有关，在一些梯度相近的平坦区域，若图像信息的扩散强度仍然只依赖于梯度值的大小，则很容易出现阶梯效应，导致修复效果不佳。

如图1所示，从视觉心理学的角度来看，人们会总认为图1(b)是最理想的修复结果，但是在使用TV模型对图1(a)进行修复时，如果w<l，修复结果为图1(c)，而当w>l时，修复结果却是图1(b)。

图1 视觉上的连通原理
为了解决这个问题，考虑到扩散不仅仅依赖于梯度值还受到等照度线上的几何信息影响，Chan等在TV模型原理上提出了CDD模型，用曲率来表示等照度线的几何信息并将其作用到扩散系数中，引入曲率函数gk，传导系数修改为gku-1。

函数gk的定义为
(5)
其中，k为曲率，k=·由于函数的递增性，这样可使图像在曲率较大的区域扩散强度变大，在曲率较小的区域扩散强度逐渐消失。

因此，CDD模型为
·λu-u0=0
(6)
2 CDD模型的改进与实现
2.1 改进的CDD模型修复模型
CDD模型的传导系数为，所以扩散强度是由曲率和梯度模值一起决定的。

在一般待修复区域的边缘处像素点具有较大的梯度，而在待修复区域边缘的角点处也具有较大的曲率，曲率与梯度模值对扩散强度的作用相互抵消，而且在平直的边缘点处由于曲率也近似为零，扩散速度也变为零，所以会导致CDD模型扩散效率降低，由于增加了曲率函数gk，原来的二阶偏微分方程模型变成了三阶，导致其迭代过程繁杂，迭代时间较长。

由于图像的像素点的灰度值基本是一种接近平滑的变化，所以像素点与领域内灰度差值越大的区域一定是待修复区域，扩散速度应该变慢。

反之，则是相对平坦的区域，扩散速度应该加快。

通过以上分析，先将曲率函数gk的参数重新定义为k=·u，由于k中舍去了，避免了u=0的奇异性，同时也有效减少数值运算曲率过程中参考点的梯度模值的时间。

由于梯度是矢量，为了方便数值计算分析，本文通过定义灰度差值比率[6]来描述梯度方向和大小变化的程度
(7)
O为待修复像素点，N为目标O的邻域集合，为了避免，引入一个足够小的参数
ε。

若up-uO很大，说明p点跟O点相似度很低，处于待修复区域的可能性大，灰度差值比率Tp也大。

若up-uO越小，说明p点跟O点相似度很高，处于图像平坦区域的可能性大，灰度差值比率Tp也小。

在上述步骤的基础上再引入平滑函h(Tp)=来达到去噪和保护边缘的作用，将扩散系数与梯度值剥离，重新定义v=gk·h(Tp)，让扩散强度不直接受到梯度值大小的影响，有效克服了边缘角点处梯度与曲率相互抵制而导致扩散速度变慢的问题。

由于灰度差值比率Tp是反应梯度变化程度的函数，所以扩散仍然沿着曲率和梯度的方向进行。

在平滑函数的作用下，梯度大的地方，h(Tp)小，降低平滑度和保证边缘清晰；梯度小的地方，h(Tp)大，获得更多的平滑效果。

2.2 数值计算
用半点中心差分法[7,8]对模型进行离散化来求解偏微分方程，具体过程如下。

如图2所示，O为待修复像素点，引入半邻域像素是为了数值计算的稳定和减少误差。

记Λ={E,N,W,S}，M={n,s,e,w}分别为邻域像素点集合和半邻域像素点的集合。

图2 待修复像素点和邻域
综上所述，改进的CDD模型为
(8)
改进的CDD模型算法求解的欧拉-拉格朗日方程为
·gk·h(Tp)·u-λu-u0=0
(9)
令divv=v1,v2=gk·hT·u，对散度进行中心差分方法可以近似离散化为
·≈
(10)
h为步长，分别求出，，，的逼近值
(11)
(12)
(13)
(14)
(15)
之后再计算出曲率函数参数kq的值(q为半像素点的集合)，设I=v1,v2=u，对散度进行离散化处理后，可得
(16)
下面以像素e为例
·
(17)
为了计算对角领域上像素点的梯度，将领域范围扩展到5×5的大小来进行计算，如图3所示。

图3 5×5邻域
(18)
(19)
(20)
同理可以求出,,，将求出的所有参数带入式(16)求出ke，按照上述步骤可分别求出kn,kw,ks的值，之后依次求出g(ke), g(ks), g(kn), g(kw)。

最终求得函数div(v)的解，根据上式与式(9)，可得求解方程为
·hq·uQ-uO+λu0-uO=0
(21)
下标O表示待修复像素点，u0为破损的像素点。

为了简化计算，令
wq=gkq·hTq
(22)
(23)
(24)
将上述公式代入式(21)中可得
(25)
上式中满足，采用Gauss-Jacobi迭代算法对修复像素点进行n次迭代的表达式为
(26)
2.3 算法步骤
(1)读入待修复图像，对其进行归一化处理。

(2)选择相应的迭代次数，之后确定破损区域的掩膜信息。

(3)根据式(10)至式(20)，计算待修复区域每个像素点周围领域指定点的扩散系数。

(4)根据公式计算出新的像素值，替换原来的像素值并转至第(3)步继续执行，直到
迭代次数完成。

2.4 实验结果分析
在Matlab2014a上对TV模型、CDD模型、文献[4]、本文改进的模型进行了大
量的仿真实验。

如果图像修复后的结果需要标准规范来衡量，通常分为主观评价和客观评价两种方法来进行评判。

当修复结果不能从评价者的视觉感官做出评判时，本文采用主观与客观相结合的方式进行评判[9]，客观评价标准中采用峰值信噪比[10](PSNR)和修
复时间结合的方式作为图像修复后的衡量标准，主观评价标准中采用评判者对图像的主观感受来评判图像修复后的效果。

PSNR的计算公式如下
(27)
M、N为图像的大小，ui,j和分别为原始图像和修复后的图像。

通过以下实验进行仿真修复。

迭代次数分别取n=30、50、100、200、500,
ε=0.0001。

实验一：对容易造成视觉连通性问题的图4(203×40)进行修复，以100次迭代后
的结果作对比，实验效果如表1、表2、图4所示。

实验一对比结果从主观感受可以看出，图4(c)中图像的4个拐点没有在梯度方向
得到充分的扩散，修复效果不佳。

而图4(d)～图4(f)中边缘信息得到了充分的扩散，修复效果较好。

因此，可以得出TV模型无法满足连通性原理，而CDD模型、文
献[4]、本文改进的模型都满足连通性，且通过表1和表2的数据观察，从客观评
价中可以得出CDD模型、文献[4]、本文改进的算法模型的迭代次数对峰值信噪比(PSNR)的影响不明显。

TV模型修复时间虽然快，但修复效果差，而本文改进的算
法模型在满足视觉连通性的情况下修复时间明显要快于CDD模型和文献[4]。

图4 实验一修复对比表1 迭代次数与PSNR关系
迭代次数PSNR/dBTV模型CDD模型文献[4]本文算法
304.1413.7813.7813.78504.3213.7813.7813.781004.6013.7813.7813.782004. 9113.7813.7813.785005.2513.7813.7813.78
表2 迭代次数与时间关系迭代次数时间/sTV模型CDD模型文献[4] 本文算法300.583.853.811.34500.906.406.372.231001.8512.7712.514.502003.8325.25 25.119.015009.5063.0863.2322.26
实验二：对有小面积划痕的child图(355×256)进行修复，以500次迭代后的结果作对比，实验效果如图5、图6和图7所示。

图5 实验二迭代次数与PSNR关系
图6 实验二迭代次数与修复时间关系
图7 实验二修复对比
实验二对比结果从主观感受可以看出，图7(d)中child图的边缘断裂明显，图7(c)和图7(e)中child图左边脸颊至下巴的破损区域过渡不自然，而图7(f)中的修复效果则较为理想。

CDD模型对较宽、较大的划痕边缘区域连接效果不好。

通过图5和图6的数据，从客观评价中不难得出，CDD模型随着迭代次数的增长，修复时间越长，收敛性较差。

文献[4]的修峰值信噪比明显优于CDD模型，由于仍然没有简化数值计算曲率的过程，所以修复时间并没有减少，本文改进的CDD模型算法在修复时间和PSNR的大小上要明显优于前面两者。

实验三：对有大面积文字污染的vegetables图(256×256)进行修复，以500次迭代后的结果作对比，实验效果如图8、图9和图10所示。

图8 实验三迭代次数与PSNR关系
图9 实验三迭代次数与修复时间关系
图10 实验三修复对比
实验三结果从主观感受可以看出，CDD模型对有大量文字的破损图像的修复收敛
性较差，文字区域在修复后仍然有少量细小斑点未连接起来。

从图8和图9的数
据来看，运用客观评价的方法可知文献[4]和本文改进的CDD模型能在迭代次数较少的情况下达到明显的修复效果，PSNR较高。

但是文献[4]的修复时间仍然非常
缓慢，本文改进的CDD模型在收敛性、修复时间和修复效果都明显优于其它两者。

3 结束语
本文首先介绍了TV模型和CDD模型的推导过程。

之后，在CDD模型的基础上
通过简化曲率项运算，引入像素点灰度差值比率和权重平滑函数建立了一种改进的CDD图像修复模型算法。

从实验结果得出，本文改进的修复算法不仅满足了视觉
的连通性原理，而且对小面积破损和大面积文字干扰的图像都有较好的修复效果，能在迭代次数较少的情况下收敛，迭代次数相等的情况下，修复时间和峰值信噪比值明显优于CDD模型，并且同时与文献[4]的对比也验证了本文修复模型算法在数字图像修复方向的良好性与实用性。

参考文献：
【相关文献】
[1]CHAN R,CHAN TF,YIP A,et al.Numerical methods and applications in total variation image restoration[J].Springer Reference,2015,1(1):1-28.
[2]YIN Yong,LI Ding,HU Linyun.Adaptive image inpainting algorithm based on CDD
model[J].Journal of Chongqing University,2013,36(4):81-86(in Chinese).[印勇,李丁,胡琳昀.采
用CDD模型的自适应图像修复算法[J].重庆大学学报,2013,36(4):81-86.]
[3]Li P,Li SJ,Yao ZA,et al.Two anisotropic fourth-order partial differential equations for image inpainting[J].The Institution of Engineering and Technology Image
Process,2013,7(3):260-269.
[4]WANG Junfeng,PEI Yanxia,WANG Tao.New algorithm of image inpainting curvature-driven diffusion model[J].Computer Systems & Applications,2016,25(8):135-138(in Chinese).[王军锋,裴艳侠,王涛.图像修复的CDD模型新算法[J].计算机系统应用,2016,25(8):135-138.]
[5]SUN Xiangrong,LIU Fangfang.Research on fast algorithm of image inpainting total variational model[J].Computer Technology and Development,2014,24(11):144-147(in Chinese).[孙向荣,刘芳芳.图像修复TV模型的快速算法研究[J].计算机技术与发
展,2014,24(11):144-147.]
[6]JIA Yuan,LIU Pengcheng,NIU Sijie.Partial differential equation and program design for image processing[M].Beijing:Science Press,2012:109-137(in Chinese).[贾渊,刘鹏程,牛四杰.偏微分方程图像处理及程序设计[M].北京:科学出版社,2012:109-137.]
[7]CHAN TF,SHEN J.Mathematical models for local nontexture inpaintings[J].Siam Journal on Applied Mathematics,2015,62(3):1019-1043.
[8]HE Kun,JU Shenggen,LIN Tao,et al.Image denoising on TV numerical
computation[J].Journal of University of Electronic Science and Technology of
China,2013,42(3):460-463(in Chinese).[何坤,琚生根,林涛,等.TV数值计算的图像去噪[J].电子科技大学学报,2013,42(3):460-463.]
[9]XU Liming,WU Yajuan,LIU Hangjiang.Research on image restoration technology by total variation and partial differential equation[J].Journal of China West Normal University(NaturalSciences),2016,37(3):343-348(in Chinese).[徐黎明,吴亚娟,刘航江.基于变分偏微分方程图像修复技术研究[J].西华师范大学学报(自然学科版),2016,37(3):343-348.]
[10]Wen YW,Chan RH,Yip AM.A primal-dual method for total variation based wavelet domain inpainting[J].IEEE Trans on Image Processing,2012,21(1):106-114.。