基于分形的图像修复算法
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Байду номын сангаас
Abstract: The image inpainting is the hot research points and have widely application. The traditional methods have good re sults for small area repairing, which can restore the edge structure, but can not handle the texture details and the image with big hole. A new inpainting method based on fractal theory is presented, which uses the total information of image effectively. The rela tion of fractal dimension and the size range block is discussed, a repair method by multi scale fractal coding and reconstruction is propo sed. In order to strengthen detail information, local fractal iterative is used. U sing fractal interpolation, the image is magnified to get good recover quality . Experiments show that the proposed method has good results especially suitable for texture image and large missing image.
即首先将原图像划分成互不搭接的序列块( range block,
R1, R2, !Ri !Rn) 和可以搭接的主块 ( domain block, D 1, D2, !Dj , !, Dm) , 由所有 主块 及其 8 种 等距变 换构 成 主块选择池( domain pool) ; 然后为 每一序列 块寻找 相似
2 431
的等照度线, 可修 补较 大的 区 域, 但 边界 处 往往 模糊. 基于非线性偏微分方程的算法 很好地 保持了等 照度线 方向, 但这类 算法难 于实现且 收敛速 度慢. Oliveira[ 4] 利 用了高斯卷 积核 对图 像进 行滤 波, 能 快速 地 修复 破损 区域, 但该算 法仅 考虑 了破 损区 域边 缘一 周 的图 像颜 色值, 使得其仅适用 于破损 区域为 2~ 3 个 象素宽 度的 情形. Masnou[ 5] 通过在待修复区域边界利用 动态规划来 估计水平线 的连 接方 式, 然 后直 接连 到待 修 复区 域内 部, 该方法对简单结构 修复效 果好, 但 是抗噪声 能力不 强, 且要求处 理动 态规 划, 计 算 较复 杂. 径 向 基函 数将 图像处理的问题转化为三维曲 面重建 问题进行 图像修 复, 运用径向 基函 数建 立描 述散 乱数 据点 的 隐式 曲面 方程, 直接使用 RBF 是 不能够 很好 地对 较大 的孔 洞进 行修复[ 6] . Chant[ 7] 等人提出一 种基于 纹理的修 复算法, 在待修复区域的边界通过块匹 配的方 式选择合 适的纹 理填充, 但对结构信息 的修复 能力有限. 经验模 型分解 的图像修复 方法, 通过 方向 经验 模型 将待 修 复图 像进 行分解, 然后 在各 级分 解图 像上 根据 待修 复 区域 边界 上像素点的梯度特征计 算填充优 先级[ 8] . Elad[ 9] 等将图 像分解的稀 疏矩 阵表 示扩 展后 用于 图像 修复, 可 同时 填充缺损区中的纹理层 和结构层. Fortier[ 10] 等采 用基于 样块的填充 方法 来进 行修 复, 可 同时 填补 较 大面 积的 结构和纹理, 但样块的 构造具 有不确定 性, 算法 较为复 杂.
算术迭代方法是较早使用的图像恢复方法之一, 该 方法不需要建立图像模型, 依靠迭代的收敛得到一个最 小均方意义下的恢复图像. 迭代方 法是逐 点计 算的, 能 够依据图像的局部特征作不同程度的改进, 因而结果好 于那些依据平稳模型的恢复方法. 但此方法不适合有孔 洞的图像, 对这类 图像 进 行修 复通 常采 用 扩 散 的方
摘 要: 图像修复是目前图 像处理领域中的一 个研究热点, 对于较大孔洞的 修复一直是个难点 问题, 已有 算法
都未能很好地解决. 本文基于分形相关理 论, 提出了一种新的修复算法, 很好地利用了图像的整体信息. 论述了分形维
数和分形编码序列块大小之间的关系, 提出多尺度 的分形编码及重 构的修复 方法. 为 了强化图 像细节信息, 进行 了分
主块, 通过保存仿射变换 参数和 主块位置 信息, 实 现对
序列块的编码.
分形图象编码技术是 基于量 度空间中 迭代收 缩变
换的数学理论为基础的. 大小为 N ∀ N 的原始图象 I 首
先被分割成称 为序列 块 R 的不 重叠区 域, 其 大小 为 B
∀ B( B 通常取 8、6、4 等 ) . 主 块从 原始图 象中 抽取, 每
比高等特点, 获得了广泛 的关注, 是最有前 途的图 像编
码方法之一. 分形 几何或 分形 理论 研究 的 对象 是那 些
很不规则而有自相似性的形状.
目前的分形图像压缩方法基本上都是 以 Jacquin 的 PIFS( Part itioned Iterated Function Systems) 算法[ 12] 为基础.
应用 8 个自对称变换之一; ( 3) 完成亮 度偏移 来最 近似
地匹配序列块.
2. 2 分形插值
Key words: image inpainting ; image reconstruction; fractal; fractal dimension; interpolation
1 引言
图像修复技术 是近年 来计算机 图形学 和计算 机视 觉中的倍受关注一个研究热点问题, 图像修复是利用受 损区域周围的图像数据修复、填充受损区域图像数据的 技术, 本质上属于图像插值 问题. 该 技术有 着广泛 的应 用前景: 填补美术作品、旧照片上所出现的裂痕或孔洞, 在文物保护、影视特技制作、虚拟现 实等方 面有着 重大 的应用价值. 目前一些图像处理软件可通过手工交互来 对图像进行修复.
一个主块的大小为 2B ∀ 2B, 它要比序列 块要大以 满足
收缩的要求. 主块{ Dj, j = 1, 2, !, m} 是 通过按 单个 象 素从左到右, 从底向上将原图象分成大小为 2B ∀ 2B 的 窗口而获得 一个主 块缓 冲池. 对于 一个 灰 度级 图象 仿
射变换 wi 可以看作为具有二维空间和一 个亮度维 的 3 维实体. 对于序列块 Ri , 定义主池{ Di } 和收缩仿 射变换 集{ wi} , 然 后开 始编 码过 程. 对于 每一 个 序列 块, 在 主 池中寻找一个主块, 然后: ( 1) 收缩到序列块的大小; ( 2)
收稿日期: 2009 03 07; 修回日期: 2010 07 19 基金项目: 国家 863 高技术研究发展计划( No. 2009AA01Z304) ; 国家自然科学基金( No. 60970105) ; 教育部博士点基金( No. 20070422098)
第 10 期
李晋江: 基于分形的图像修复算法
法. Bertalmio 和 Sapio 等人较早对 图像修 补进行了 研究, 采用 PDE 进行修 补, 并 认为 应该 通过 图像 的整 体决 定 如何填补裂痕或孔洞, 待修补区域周围的结构信息必须 延伸至裂痕或孔洞的内部[ 1] . 该算法采用三阶偏微分方 程, 将修补区域边界的等值线外部的信息沿轮廓法向扩 散到中间的像素上, 考 虑了各 向异性 的扩散, 以保 证边 界的 连续 性. Chan 在 Bertalmio 的 研究 基础 上提 出了 局 部修补的方 法[ 2] , 采用 最小 化重 构 图像 的总 变差 ( TV) 模的方式去填补缺损数据, 它实际上是直接在曲率驱动 下生成曲线的修复 模型, 但是 修复的 图像不 自然, 选定 的目标区域 轮廓明 显. Chan 认 为图 像局 部 修补 模型 不 需要借助于整体理解和统计学习, 仅能够修补断裂的光 滑狭窄 边 缘, 并 提 出 了 曲 率 驱 动 扩 散 的 偏 微 分 方 程 ( Curvature Driven Diffusion, CDD) [ 3] , 同 样是 一 个三 阶 偏 微分方程, 该是整体变 分方法 的一种 扩展, 在 扩散 过程 中考虑了轮廓的曲率, 通过曲率来抑制修补区域大曲率
2 分形相关知识
2. 1 分形编码 分形图像编码是基于分形 学和迭 代函数系 统理论
的, 一种全新的图像编 码思路, 与以往 的正交变 换编码 有着本质的区别. 它以 一组迭 代变换来 描述图 像, 在解 码时, 只要对任意一幅 初始图 像进行迭 代变换, 最后都 会收敛到解码图像. 由 于分形 编码思路 新颖, 具 有压缩
第 10 期 2010 年 10 月
电子 学 报 ACTA ELECTRONICA SINICA
Vol. 38 No. 10 Oct. 2010
基于分形的图像修复算法
李晋江1, 2, 张彩明1, 范 辉2, 原 达2
( 1. 山东大学计算机科学与技术学院, 山东济南 250061; 2. 山东工商学院计算机科学与技术学院, 山东烟台 264005)
已有的方法没有很好地利 用图像 的整体信 息来进
行填补裂痕或孔洞, 这 涉及到 视觉心理 学的问 题. 图像 放大和图像 修复 技术 有一 些相 似的 地方, 图 像放 大问 题最终可转化为图像中空白行 或者空 白列的数 据填补 问题. 图像放大技术在 众多领 域有着广 泛的应 用, 分形 技术已成功地应用 于图像 放大[ 11] . 传统 的图 像放 大是 采用插值方 法, 如 最近 邻插 值、双线 性插 值等, 插 值方 法利用局部 邻近 像素 对图 像细 节进 行估 计, 往往 忽略 了图像的全局信息, 而 带来方 块或者模 糊效应. 自然界 实际物体的 几何 图像 遵循 分形 几何 变化 规律, 其 各像 素亮度的分 布同 样具 有分 形的 特征. 分形 方 法能 够充 分利用自然 图像 具有 局部 与全 局自 相似 的特 点. 本文 利用分形理 论对 图像 进行 修复, 很好 地利 用 了图 像的 整体信息.
文章编号: 0372 2112 ( 2010) 10 2430 06
Image Inpainting Algorithm Based on Fractal Theory
LI Jin jiang1, 2, ZHANG Cai ming1, FAN Hui2, YUAN Da2
(1. School of Computer Science and Technology , Shandong University, Jinan , Shandong 250061, China ; 2. School of Comput er Science and Technology , Shandong Institute of Economi c and Technol ogy , Yantai , Shandong 264005, Chi na )
形局部迭代. 为了提高图像修复的质量, 将图像进行了分形放 大, 再进 行分形插 值修复. 从实验结 果可以看出, 新 方法
取得了较好的修补效果, 尤其是对纹理图 像和有较大孔洞的图像效果更好.
关键词: 图像修复; 图像重建; 分形; 分形维数; 插值
中图分类号: TP391 41
文献标识 码: A
Abstract: The image inpainting is the hot research points and have widely application. The traditional methods have good re sults for small area repairing, which can restore the edge structure, but can not handle the texture details and the image with big hole. A new inpainting method based on fractal theory is presented, which uses the total information of image effectively. The rela tion of fractal dimension and the size range block is discussed, a repair method by multi scale fractal coding and reconstruction is propo sed. In order to strengthen detail information, local fractal iterative is used. U sing fractal interpolation, the image is magnified to get good recover quality . Experiments show that the proposed method has good results especially suitable for texture image and large missing image.
即首先将原图像划分成互不搭接的序列块( range block,
R1, R2, !Ri !Rn) 和可以搭接的主块 ( domain block, D 1, D2, !Dj , !, Dm) , 由所有 主块 及其 8 种 等距变 换构 成 主块选择池( domain pool) ; 然后为 每一序列 块寻找 相似
2 431
的等照度线, 可修 补较 大的 区 域, 但 边界 处 往往 模糊. 基于非线性偏微分方程的算法 很好地 保持了等 照度线 方向, 但这类 算法难 于实现且 收敛速 度慢. Oliveira[ 4] 利 用了高斯卷 积核 对图 像进 行滤 波, 能 快速 地 修复 破损 区域, 但该算 法仅 考虑 了破 损区 域边 缘一 周 的图 像颜 色值, 使得其仅适用 于破损 区域为 2~ 3 个 象素宽 度的 情形. Masnou[ 5] 通过在待修复区域边界利用 动态规划来 估计水平线 的连 接方 式, 然 后直 接连 到待 修 复区 域内 部, 该方法对简单结构 修复效 果好, 但 是抗噪声 能力不 强, 且要求处 理动 态规 划, 计 算 较复 杂. 径 向 基函 数将 图像处理的问题转化为三维曲 面重建 问题进行 图像修 复, 运用径向 基函 数建 立描 述散 乱数 据点 的 隐式 曲面 方程, 直接使用 RBF 是 不能够 很好 地对 较大 的孔 洞进 行修复[ 6] . Chant[ 7] 等人提出一 种基于 纹理的修 复算法, 在待修复区域的边界通过块匹 配的方 式选择合 适的纹 理填充, 但对结构信息 的修复 能力有限. 经验模 型分解 的图像修复 方法, 通过 方向 经验 模型 将待 修 复图 像进 行分解, 然后 在各 级分 解图 像上 根据 待修 复 区域 边界 上像素点的梯度特征计 算填充优 先级[ 8] . Elad[ 9] 等将图 像分解的稀 疏矩 阵表 示扩 展后 用于 图像 修复, 可 同时 填充缺损区中的纹理层 和结构层. Fortier[ 10] 等采 用基于 样块的填充 方法 来进 行修 复, 可 同时 填补 较 大面 积的 结构和纹理, 但样块的 构造具 有不确定 性, 算法 较为复 杂.
算术迭代方法是较早使用的图像恢复方法之一, 该 方法不需要建立图像模型, 依靠迭代的收敛得到一个最 小均方意义下的恢复图像. 迭代方 法是逐 点计 算的, 能 够依据图像的局部特征作不同程度的改进, 因而结果好 于那些依据平稳模型的恢复方法. 但此方法不适合有孔 洞的图像, 对这类 图像 进 行修 复通 常采 用 扩 散 的方
摘 要: 图像修复是目前图 像处理领域中的一 个研究热点, 对于较大孔洞的 修复一直是个难点 问题, 已有 算法
都未能很好地解决. 本文基于分形相关理 论, 提出了一种新的修复算法, 很好地利用了图像的整体信息. 论述了分形维
数和分形编码序列块大小之间的关系, 提出多尺度 的分形编码及重 构的修复 方法. 为 了强化图 像细节信息, 进行 了分
主块, 通过保存仿射变换 参数和 主块位置 信息, 实 现对
序列块的编码.
分形图象编码技术是 基于量 度空间中 迭代收 缩变
换的数学理论为基础的. 大小为 N ∀ N 的原始图象 I 首
先被分割成称 为序列 块 R 的不 重叠区 域, 其 大小 为 B
∀ B( B 通常取 8、6、4 等 ) . 主 块从 原始图 象中 抽取, 每
比高等特点, 获得了广泛 的关注, 是最有前 途的图 像编
码方法之一. 分形 几何或 分形 理论 研究 的 对象 是那 些
很不规则而有自相似性的形状.
目前的分形图像压缩方法基本上都是 以 Jacquin 的 PIFS( Part itioned Iterated Function Systems) 算法[ 12] 为基础.
应用 8 个自对称变换之一; ( 3) 完成亮 度偏移 来最 近似
地匹配序列块.
2. 2 分形插值
Key words: image inpainting ; image reconstruction; fractal; fractal dimension; interpolation
1 引言
图像修复技术 是近年 来计算机 图形学 和计算 机视 觉中的倍受关注一个研究热点问题, 图像修复是利用受 损区域周围的图像数据修复、填充受损区域图像数据的 技术, 本质上属于图像插值 问题. 该 技术有 着广泛 的应 用前景: 填补美术作品、旧照片上所出现的裂痕或孔洞, 在文物保护、影视特技制作、虚拟现 实等方 面有着 重大 的应用价值. 目前一些图像处理软件可通过手工交互来 对图像进行修复.
一个主块的大小为 2B ∀ 2B, 它要比序列 块要大以 满足
收缩的要求. 主块{ Dj, j = 1, 2, !, m} 是 通过按 单个 象 素从左到右, 从底向上将原图象分成大小为 2B ∀ 2B 的 窗口而获得 一个主 块缓 冲池. 对于 一个 灰 度级 图象 仿
射变换 wi 可以看作为具有二维空间和一 个亮度维 的 3 维实体. 对于序列块 Ri , 定义主池{ Di } 和收缩仿 射变换 集{ wi} , 然 后开 始编 码过 程. 对于 每一 个 序列 块, 在 主 池中寻找一个主块, 然后: ( 1) 收缩到序列块的大小; ( 2)
收稿日期: 2009 03 07; 修回日期: 2010 07 19 基金项目: 国家 863 高技术研究发展计划( No. 2009AA01Z304) ; 国家自然科学基金( No. 60970105) ; 教育部博士点基金( No. 20070422098)
第 10 期
李晋江: 基于分形的图像修复算法
法. Bertalmio 和 Sapio 等人较早对 图像修 补进行了 研究, 采用 PDE 进行修 补, 并 认为 应该 通过 图像 的整 体决 定 如何填补裂痕或孔洞, 待修补区域周围的结构信息必须 延伸至裂痕或孔洞的内部[ 1] . 该算法采用三阶偏微分方 程, 将修补区域边界的等值线外部的信息沿轮廓法向扩 散到中间的像素上, 考 虑了各 向异性 的扩散, 以保 证边 界的 连续 性. Chan 在 Bertalmio 的 研究 基础 上提 出了 局 部修补的方 法[ 2] , 采用 最小 化重 构 图像 的总 变差 ( TV) 模的方式去填补缺损数据, 它实际上是直接在曲率驱动 下生成曲线的修复 模型, 但是 修复的 图像不 自然, 选定 的目标区域 轮廓明 显. Chan 认 为图 像局 部 修补 模型 不 需要借助于整体理解和统计学习, 仅能够修补断裂的光 滑狭窄 边 缘, 并 提 出 了 曲 率 驱 动 扩 散 的 偏 微 分 方 程 ( Curvature Driven Diffusion, CDD) [ 3] , 同 样是 一 个三 阶 偏 微分方程, 该是整体变 分方法 的一种 扩展, 在 扩散 过程 中考虑了轮廓的曲率, 通过曲率来抑制修补区域大曲率
2 分形相关知识
2. 1 分形编码 分形图像编码是基于分形 学和迭 代函数系 统理论
的, 一种全新的图像编 码思路, 与以往 的正交变 换编码 有着本质的区别. 它以 一组迭 代变换来 描述图 像, 在解 码时, 只要对任意一幅 初始图 像进行迭 代变换, 最后都 会收敛到解码图像. 由 于分形 编码思路 新颖, 具 有压缩
第 10 期 2010 年 10 月
电子 学 报 ACTA ELECTRONICA SINICA
Vol. 38 No. 10 Oct. 2010
基于分形的图像修复算法
李晋江1, 2, 张彩明1, 范 辉2, 原 达2
( 1. 山东大学计算机科学与技术学院, 山东济南 250061; 2. 山东工商学院计算机科学与技术学院, 山东烟台 264005)
已有的方法没有很好地利 用图像 的整体信 息来进
行填补裂痕或孔洞, 这 涉及到 视觉心理 学的问 题. 图像 放大和图像 修复 技术 有一 些相 似的 地方, 图 像放 大问 题最终可转化为图像中空白行 或者空 白列的数 据填补 问题. 图像放大技术在 众多领 域有着广 泛的应 用, 分形 技术已成功地应用 于图像 放大[ 11] . 传统 的图 像放 大是 采用插值方 法, 如 最近 邻插 值、双线 性插 值等, 插 值方 法利用局部 邻近 像素 对图 像细 节进 行估 计, 往往 忽略 了图像的全局信息, 而 带来方 块或者模 糊效应. 自然界 实际物体的 几何 图像 遵循 分形 几何 变化 规律, 其 各像 素亮度的分 布同 样具 有分 形的 特征. 分形 方 法能 够充 分利用自然 图像 具有 局部 与全 局自 相似 的特 点. 本文 利用分形理 论对 图像 进行 修复, 很好 地利 用 了图 像的 整体信息.
文章编号: 0372 2112 ( 2010) 10 2430 06
Image Inpainting Algorithm Based on Fractal Theory
LI Jin jiang1, 2, ZHANG Cai ming1, FAN Hui2, YUAN Da2
(1. School of Computer Science and Technology , Shandong University, Jinan , Shandong 250061, China ; 2. School of Comput er Science and Technology , Shandong Institute of Economi c and Technol ogy , Yantai , Shandong 264005, Chi na )
形局部迭代. 为了提高图像修复的质量, 将图像进行了分形放 大, 再进 行分形插 值修复. 从实验结 果可以看出, 新 方法
取得了较好的修补效果, 尤其是对纹理图 像和有较大孔洞的图像效果更好.
关键词: 图像修复; 图像重建; 分形; 分形维数; 插值
中图分类号: TP391 41
文献标识 码: A