TV修补模型的介绍

TV 修复模型的介绍1， 背景知识介绍在日常的生活中由于自然或者是人为的原因使得一些图像受到了污染或者是破损，在早期的时候采取的是人为的进行修补，这样的修补的效率十分的低，而且有的图像本身就是艺术品，修补的过程要特别的小心，不然将会是艺术品失去它本来的价值。

随着科技的发展，现在可以把图像修补的问题用计算机来解决，一个好的算法可以使修补的效果和那些艺术修补大师修补的效果相仿，用计算机进行图像修补的问题最早是由Bertalmin 等人在2000年的SIGGRAPH 会议上提出BSCB 图像修补模型（模型的命名取的是四个人名字的第一个字母），并发表了他们的研究成果，明确地提出图像修补的定义、预期目的及应用分类，并使用了基于偏微分方程（PDE ）的分析方法，从而奠定了PDE 图像修补的基础，促进了这个领域的研究。

整体变分（Total Variation ）的方法最早是用来对受到噪声污染的图像进行降噪的，在这方面的应用最早是由L.Rudin 和S.Osher 等人在1992年提出的，2002年Chan 等人把TV 模型推广到图像修补中，并提出了基于TV 模型的图像修补方法，同时说明了TV 修补模型的缺点，进一步提出了CDD 修补模型（curvature driven diffusions ），此修补模型改正了TV 修补模型的缺陷，对图像的修补具有很好的效果。

图像修复的应用不仅仅包括图像修补，同时也包括对一些图像进行物体的移除，以及文字的擦除等，这些都可以运用图像修补的模型来解决，在实际的操作里我们可以把这些需要擦除的地方当成污损的区域来处理。

2， T V 修复模型的介绍2.1 变分方法的介绍基本概念：[]b a C ,1表示在区间[]b a ,所有一阶可导的函数组成的集合；[][]()(){}0,,|,11==∈=b v a v b a C v v b a C ； 引理 2.1设],[b a C u ∈，且[]b a C v ,10∈∀，且⎰=badx x v x u 0)()(成立，则0)(=x u 。

Euler 方程首先考虑最简单的变分模型，，推导出满足的必要条件，考虑下面的集合})(,)(],,[|{1b a y b y y a y b a C y y K ==∈=考虑下面泛函⎰=badx y y x F y J )',,()(这里要求F 具有连续的一阶偏导数，下面求K y ∈*，使得K y y J y J ∈=)},(min{*)(这里我们用y 来代替y*讨论，当y 满足上面的式子时，我们可以得到[]b a C ,10∈∀η这里我们可以得到0)(,0)(==b a ηη，所以对于)()(x x y λη+有b a y b b y y a a y =+=+)()(,)()(ληλη由于y 使得J （y ）最小，所以我们可得)()(λη+≤y J y J对于一个特定的y 来说)(λη+y J 可以看作是λ的函数，这里我们设)()(ληλϕ+=y J求得0=λ的一阶导数和二阶导数，也称之为泛函的变分可得⎰⎰⎪⎪⎭⎫ ⎝⎛∂∂+∂∂∂+∂∂==⎪⎪⎭⎫⎝⎛∂∂+∂∂====b a b a y y y x F y y y y x F y y y x F d d J dx y y y x F y y y x F d d J 222222202220'')',,('')',,(2)',,(|'')',,()',,(|ηηηηλϕδηηλϕδλλ在0=λ时，我们知道此时的泛函达到最小值，因为这时的一阶导数应该为0，于是0'')',,()',,(|0=⎪⎪⎭⎫⎝⎛∂∂+∂∂==⎰=dx y y y x F y y y x F d d J b a ηηλϕδλ 进行分部积分我们可以得到0'=⎥⎦⎤⎢⎣⎡⎪⎪⎭⎫ ⎝⎛∂∂-∂∂⎰dx y F dx d y F baη 又由引理2.1可以知道0'=⎪⎪⎭⎫⎝⎛∂∂-∂∂y F dx d y F 根据同样的分析方法我们可以得到当泛函（两个变量的泛函）如下式时dxdyu u u y x F y x u J y x ),,,,()),((⎰⎰=这里的下标表示的是偏导数，其中y u u x u u y x ∂∂=∂∂=,求泛函的最小值，只要求下式即可=∂∂-∂∂-y x u u u F yF x F （由于两个变量的泛函的分析较麻烦一点，这里略过，可以参看一些关于借偏 微分方程的书籍）2.2 TV 修复模型如图所示D 为待修补区域，而E 是紧临着D 的带状区域，TV 图像修补就是在区域在噪声约束的条件下，对区域E 和D 进行整体的变分，达到对污损区域D 进行的修补，其建立的模型是基于下面的原理：上图中的左图上半区域和下半区域的差别很大，那么在边界处对于一个像素它的梯度向量的模相对的比较的大，而对于右图来说，上半区域与下半区域基本上达到一致，这样梯度向量的模相对的也就小，当对图像的修补达到一定的效果的时候，那么可以知道在各像素点的过渡都比较的光滑，换句话说就是在各个像素点的梯度向量的模都十分的小，这里引入的TV 修补的模型就是根据这个事实而建立的。

我们记修补完以后的图像为I*，于是我们可以定义代价函数如下：⎰⋃∇=DE dxdy I r I R |)*(|*)( （1）这里的r(x)是一个当x 为正的时候输出的结果也为正的函数，这里我们直接可以去r(x)=x,在这里我们可以知道我的求得积分就是对每个像素点的梯度进行积分，当代价函数越小的时候，图像就显得越光滑，这样修补的效果也就越好。

在考虑完代价函数的时候，就如前面说的那样，图像应该考虑到噪声的影响，边界带状区域产生的噪声不可以超过一定的范围，于是我们可以得到如下的约束式子(这里的σ是参数白噪声的方差):)2(|*|)(122⎰=-Edxdy I I E A σ为了对于在边界E 上，图像也保持着光滑性，在边界处*I ∇是一个冲击函数，于是我们可以得到以下的条件+∞<⎰⋃DE dxdy s r )( （3）我们可以知道要使得上式成立则得低阶的式子+=αs s r )( （4）在这里α是小于等于1的，当1=α时，则这时的模型就是TV 修复模型，在TV 修补模型中我们同样选取这样的模型，当然可以选取其他的模型。

运用拉格朗日算子把有条件极值装换为无条件极值，得到新的代价函数为)5(|*|2|*|*)(2⎰⎰-+∇=⋃EDE dxdy I I dxdy I I J λλ对于我们这里的式（5）我们运用前面二元泛函最小值满足的条件可以得到要使得（5）式最小，则要满足以下的式子)6(),(,0),(,,0)*(|*|*⎩⎨⎧∈∈==-+⎪⎪⎭⎫⎝⎛∇∇⋅∇-Dy x E y x I I I I e eλλλ其中对上面的式子进行离散化就可以得到当前修补的像素点和周围的像素点之间的关系，离散化的过程将在下节中介绍。

3， T V 修复模型的数值实现对于上节的（6）式我们可以采取半点差分的模式实现（主要的是因为在离散化的过程中会多次差分）如上图O 点为待修补点， {}E W S N O ,,,=Λ为O 点的四个相邻的像素值，{}e w s n ,,,=Λ为O 点相邻的半点的像素值。

这里我们记()21,||J J I IJ =∇∇=，利用中心差分公式我们可以得到J 的散度)(J ⋅∇的离散化的结果，采用半点的差分hJ J h J J y J x J J sn w e O 221121)(-+-=∂∂+∂∂=⋅∇ 下面对式子中各个元素离散化hI I I x I I J O E e e e e -⋅∇≈⎥⎦⎤⎢⎣⎡∂∂∇=||1||11⎪⎭⎫⎝⎛--+-=⎪⎪⎭⎫ ⎝⎛⎥⎦⎤⎢⎣⎡∂∂⎥⎦⎤⎢⎣⎡∂∂=∇h I I I I h I I y I x I I SE S NE N O E e e e 4,, hI I I x I I J W O w w w w -⋅∇≈⎥⎦⎤⎢⎣⎡∂∂∇=||1||11 ⎪⎭⎫⎝⎛--+-=⎪⎪⎭⎫ ⎝⎛⎥⎦⎤⎢⎣⎡∂∂⎥⎦⎤⎢⎣⎡∂∂=∇h I I I I hI I y I x I I SW S NW N W O w w w 4,, h I I I y I I J ON nn nn -⋅∇≈⎥⎦⎤⎢⎣⎡∂∂∇=112 ⎪⎭⎫⎝⎛---+=⎪⎪⎭⎫ ⎝⎛⎥⎦⎤⎢⎣⎡∂∂⎥⎦⎤⎢⎣⎡∂∂=∇h I I h I I I I y I x I I O N W NW E NE n n n ,4, h I I I y I I J SO ss ss -⋅∇≈⎥⎦⎤⎢⎣⎡∂∂∇=112 ⎪⎭⎫⎝⎛---+=⎪⎪⎭⎫ ⎝⎛⎥⎦⎤⎢⎣⎡∂∂⎥⎦⎤⎢⎣⎡∂∂=∇h I I h I I I I y I x I I SO W SW E SE s s s ,4,将所得的结果代入（6）式可以得到()0)()(1=-⋅+-∇∑Λ∈O O P O P pI I O I I IλP 代表的是O 的四个相邻的像素点，p 代表的是四个相邻的半点，而0O I 代表的是前次迭代得到的结果。

为了防止梯度出现为零的情况，我们常常用Λ∈≠+∇=p I w p p ,0,122αα来表示梯度，这里设∑∑+=+=)()()(O w O h O ww h p OOppOp λλλ于是我们可以得到∑Λ∈+=OP o OOO POp O I h I hI 所以TV 修补方法的一般的迭代公式为∑Λ∈---+=OP n OOO n Pn Op nO I h IhI 111 当没有噪声污染的时，0)(=O λ，我们可以得到以下的迭代公式∑Λ∈--=OP n Pn Op nO I hI 11当含有噪声污染时，要实现对图像的降噪，这时0)(≠O λ，则我们可以用以下的方法求)(O λ()()()()()()()()()()⎥⎥⎦⎤⎪⎪⎪⎭⎫∆+∆∆∆-∆+∆∆∆-⎢⎣⎡ ⎝⎛∆+∆-=++++++++++∑220220,222),(),(),(),(),(),(),(),(),(),(21j i I j i I j i I j i I j i I j i Ij i I j i I j i I j i Iny n x n y y n y n x n x x j i n y n x n σλ对于所有的点，nλ都为其降噪过程中的)(O λ，其中这里的n 代表的是迭代的次数，),()1,(),(),(),1(),(j i I j i I j i I j i I j i I j i I n n n x n n n x -+=∆-+=∆++对于边界像素的处理采用下面的方法),()1,(),0,()0,(),(),1(),,1(),0(N i I N i I i I i I j M I j M I j I j I n n n n n n n n =+==+=),(j i I n 表示的是第n 次迭代的结果，M 和N 表示的是图像的大小。