图像修复

二. 基于纹理修复
与基于结构修复方法不同
1.
2.
3.
充分利用视觉认知规律的相似性原则，追求 整体一致性。 基于结构修复是通过信息扩散实现修复，是 基于点的分析；基于纹理修复利用图像块之 间的相似性，是基于块的分析。 基于纹理修复是在全图搜索以寻找最匹配的 块，利用信息更充分。
基本思想：
由为缺损区域中采样合适的图像块，复制或合成到缺 损区域中，同时保证纹理结构的连续性和相似性。
参照Markov随机场中概率函数的定义方式，将修复图 像的概率函数定义为：
为简化求解，定义：
通过置信度扩散（BP）方法求解，得到具有最大概率函 数的图像值，即为修复结果。
修复结果
修复结果与训练的图像密切相关，充分反映了所学习的模式特征。
存在问题
最优概率函数的求解复杂度较高，学习的信息较为简单，只有梯度幅 度以及相邻点梯度的夹角，只能描述一些较为简单的结构（如结构拐 角处的修复）。
图像修复方法
基于结构修复
基于纹理修复
基于学习修复
变分PDE模型
纹理合成方法
偏微分方程方法
变分方法
特征匹配
一. 基于结构的修复方法
模拟微观修复机制
BSCB模型 Bertalmio（2000）
依据手工修复的经验，将边缘信息沿着等照度线方向 扩散到待修复区域内。
修复结果
存在问题
算法时间复杂度太高，执行速度非常慢 对大的缺陷区域的修复，效果不好 稳定性不好，有时会导致修复图像视觉效果不好 容易受到噪声干扰，影响等照度线方向的判断
有
物理意义：如果当前点与邻点的梯度较小，即差别较小时，具有 较高的扩散系数，会与邻点相平滑；如果差别较大，那么扩散系 数较低，则基本保持当前点的值。
缺点：不满足“连接性准则”，扩散强度仅依 赖于等照度线的对比度或强度，不依赖于等照 度线的几何信息。
基于曲率驱动扩散（Curvature-Driven 基于曲率驱动扩散 Diffusion,CDD）方法 方法
加入等照度线几何信息——曲率
f (k) ∂I = div ∇I ∂t ∇I ∇I 曲率 k = div ∇I
加入曲率信息，大曲率处扩散强度大，小曲率处扩散 逐渐消失
基于结构修复算法缺点
本质上是一种信息扩散的过程，修复区域较大时，使 由外边界向区域中心的信息扩散过程变得极慢，运算 量剧增。 扩散过程使得修复区域过于平滑，若修复区域存在丰 富纹理，就会使修复区域变得模糊。 分析过于局部，仅利用修复区域邻域的信息，缺少整 体指导。
总结与展望
视觉认知规律的利用不充分。结构性原则、相似性原则、结构优 先原则和纹理一致原则往往只是部分得到利用，因此存在相应的 局限性。 基于偏微分方程的修复方法着眼点较为局部，缺乏整体把握，应 对图像轮廓趋势进行学习分析，然后进行连接从而确定整个图像 的大致趋势，因此基于学习的修复方法值得进一步研究。 一个重要的应用：面向修复的图像压缩 如何提取图像特征及辅助信息，如何编码和重构这些信息等问 题值得研究 视频修复 自动寻找破损区域
D：待修补区域 I：原始图像
E∪D
∫
∇I dxdy +
I0：破损图像
λ
∫ I −I 2
E
2 0
dxdy
E：待修补区域的外邻域
第一项是为了使待修复区域及其边界尽可能的平滑 第二项是保持修复结果与原图的一致性 由变分原理，最小化上式等价于求解对应的Euler-Lagrange方程
∇I −div ∇ I + λE ( I − I 0 ) = 0
模拟宏观修复机制 1. 整体变分（TV）模型 Chan&Shen（2001） 整体变分（ ）
“最佳猜测”原理与贝叶斯框架理论 图像修复问题是一个贝叶斯问题
u：原始图像 u0：破损图像
P(u0 | u)：似然项（数据模型），依赖观测数据 P(u)：先验项（图像模型），反映主观自然性评价
TV模型
min J λ ( I ) =
实质为各向异性扩散方程
∂I = div g ( ∇I ) ∇I ∂t
(
)
各向同性扩散（图像平滑）
g ( • ) 各向异性函数
当 g ( ∇I ) = 1
当 g ( ∇I ) = 1 ∇I
有
∂I = div ( ∇I ) = ∆I ∂t
∇I ∂I = div ∇I性，找到图像中纹理的大致走向，沿该走 向寻找匹配块，可减少搜索空间。 对图像进行结构-纹理分解，分别对结构纹理进行修复。 对块拼接的边界进行处理，实现无缝拼接，达到自然过渡的效果。
三. 基于学习的修复方法
非学习方法：
通过设定一些前提条件如平 滑性假设、局部相似性假设， 然后以此为基础进行修复
修复过程：搜索、匹配、合成
修复优先级问题
修复块优先级决定因素： 1. 数据项：在图像边缘数 据项值较大，优先修复边 缘。 2. 置信度：反映待修复块 信息完整程度。置信度越 高，块内信息缺失越少， 修复可靠度越高，应优先 修复。
修复结果
算法缺点：
寻找匹配块时，大多采用全局搜索方法，增大了修复时间。 缺少对图像结构分析，造成局部相似整体却不和谐的结果。 由于采用块匹配粘贴的缘故，在处理结构信息时，可能无法自然 的拼接，产生块效应。
结构优先
结构在视觉感知中作用更重要，结构修复优先保持整体图像一致 性，否则先进行纹理填充会出现细节相似但整体产生偏差的情况
纹理一致
纹理并不被大脑所重视，如果不仔细观察，则被看成是相似物体， 而不会主动分辨其中细节，因此，修复纹理时只要不出现不同于 当前纹理的新信息，大脑就不容易察觉。
图像修复经典方法
缺点：
仅适用原图少量信息，对图 像中所呈现出的模式缺乏一 个整体认识。
基于学习的修复方法
在原图的有效区域或其他图像数据库中，通过学习发 掘出图像的统计信息或先验概率，并通过某些优化算 法如置信度传播（BP）、梯度下降法等来获得修复结 果。 Levin（2003）从图像统计的角度，提出学习型图像修复 方法。统计学习的信息为每点的梯度幅度以及相邻点 梯度的夹角：
几种图像修复实例
旧照片修复 Old Photo Restoration
字幕去除 Text Removal
目标物去除 Object Removal
视觉认知规律
结构性
结构型轮廓在感知中的作用最为明显，断断续续的线条出现，大 脑将其连接成一个整体。
相似性
对于未知区域的信息，大脑根据相似性原理，使用其邻域的信息 进行推断，把类似的物体组合在一起。
图像修复 Image Inpainting
jyzw_zw 2010-10-25
Bertalmio 2000年首次提出“图像修补 （image inpainting）” 利用损坏图像已知信息，按照一定规则 对损坏区域进行填补，其目的是使修复 够图像接近或达到原图像的视觉效果。 缺少足够信息保证唯一正确的修复结果， 因此是一个病态问题，解的合理性取决 于人类视觉系统的接受程度。