超分辨率图像恢复方法综述
合集下载
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
Ｑ 对于 Ｑ 幅观测图像｛ Ｙｒ ｝ 每幅图像都具有 ｒ＝ １，
＾ ＾ 之后利用Ｘ 模糊操作模拟 率图像Ｘ ０， ０ 通过下采样、 ＾ 。迭代反投影就是利用模拟的低 低分辨率图像 Ｙ ＾ 分辨率 Ｙ 和给定低分辨率图像之间 Ｙ 的差值来不
断更新当前估算， 而迭代操作过程中有一个反迭 代矩阵 ＨＢＰ ， 它近似为 Ｈ －１ ， 即有
１ 超分辨率图像恢复方法
图像插值技术是一种比较简单的数学问题， 它是利用周围像素或者邻近点之间的关系对高分 辨率图像网格中未知像素的估计， 使得这个估计 值接近最理想的结果。常见的插值算法有最近邻 插值、 双线性插值、 三线性插值、 以及样条插值和 分形插值。插值技术比较简单， 但是插值技术会 因为放大因子的增大而出现立即下降的情况， 因 此很少考虑插值技术。下面主要介绍两种图像恢 复的超分辨率技术： 基于约束重建和基于学习的 超分辨率图像恢复技术。 １． １ 基于约束重建的超分辨图像恢复技术 实际应用中， 所获得的低分辨率图像是由成 像器件采集到的图像。而由于受成像器件的限制 以及成像水平的影响， 获得的图像一般是模糊、 分 辨率低且含有噪声的图像， 故一般实现图像恢复 算法采用的低分辨率图像都是将高分辨率图像经 过退化模型模拟产生。 １． １． １ 图像退化模型
Ｑ ｛ Ｙｒ ｝ 恢复出超分辨率图像 Ｘ， 所以图 ｒ＝ １ 的条件下，
足够多的情况下， 只要低分辨率图像配准精度足 够高就能恢复出具有较高质量的图像。基于学习 的超分辨率图像恢复方法
［ ６］
是目前研究的热点和
难点， 它打破了奈奎斯特采样频率的极限， 即使采 样率小于等于 ２ 倍的奈奎斯特频率， 仍然能够恢 复出原始图 像。而 在 基 于 学 习 的 超 分 辨 率 算 法 中， 基于稀疏学习的超分辨率图像恢复 此基础上进行扩展。
１１］ Ｍ ＡＰ 图像重建 ［ 。该算法对未知图像的估计是
通过最大化给定的一系列观测图像 Ｙ 对理想图像 Ｘ 的条件概率密度函数 Ｐ（ Ｘ｜ Ｙ）而得到的， 即有
＾ Ｘ ＝ａｒｇ ｍａｘ（ Ｐ（ Ｘ｜ Ｙ） ）＝
Ｙ｜ Ｘ） Ｘ） Ｐ（ ｍａｘ Ｐ（ Ｘ Ｐ（ Ｙ）
(
)
（ ３）
相同的尺寸大小 ａ ×ｂ ， 可以假设这些图像是由一 ｑｂ 的高分辨率图像经过模糊、 变形 幅大小为 ｑａ ×
ｊ＋ １ ｊ ｊ ＾ ＾ ＾ Ｘ ＝Ｘ ＋ＨＢＰ （ Ｙ －Ｙ ）
)
（ ２）
反迭代投影强调重建的结果要和原始的观测 数据匹配， 但是由于重建结果的病态问题的存在， 重建的结果不是唯一的， 且在 ＩＢＰ 中没有加入先 验知识， 因此解的结果可能不稳定、 不唯一， 而且 ＨＢＰ 的选择也是一大难点。 ２ ）最大后验概率（ Ｍ ＡＰ） 最大后验 概 率 是 在 ＩＢＰ 出 现 之 后 发 展 起 来 Ｈａｒｄｉｅ 提 出 的 的， 最经 典 的 算 法 是 由 Ｒｕｓｓｅｌｌ Ｃ．
) )
)
（ ６）
该方法没有唯一解， 而且最后的解依赖图像 的初始 估 计， 具有收敛速度较慢且解不稳定等 缺点。 １． １． ３ 小结 上面的方法各有优缺点， 后续有很多研究给 出了各种改进。改进后的图像效果和速度有所改 善， 但是当图像的放大因子达到饱和时， 不论增加 多少低分辨率图像都不能再改善图像的效果， 因 此基于学习的超分辨率图像恢复技术应运而生。 １． ２ 基于学习的超分辨率图像恢复技术 基于学习的超分辨率图像恢复技术是目前图 像恢复技术研究的热点。它通过学习高、 低分辨 率图像块之间的关系， 并将这个关系作为先验信 息指导低分辨率图像进行重建， 这个关系就是需 要学习的。目前基于学习的方法大致可以分为两 种： 基于样本的方法和基于稀疏表示的方法。下 面主要围绕这两种超分辨率图像恢复进行说明。 １． ２． １ 基于样本的超分辨率图像恢复方法
第 ２８ 卷 第 ９ 期
重 庆 理 工 大 学 学 报（ 自然科学）
２０１４ 年 ９ 月
Ｓｅｐ． ２０１４ Ｊｏｕｒｎａｌ ｏｆ Ｃｈｏｎｇｑｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ（ Ｎａｔｕｒａｌ Ｓｃｉｅｎｃｅ ） Ｖｏｌ． ２８ Ｎｏ． ９
［ ７， １３ ］
像恢 复 是 一 个 反 问 题， 其求解是一个病态逆
８－ ９］ 问题 ［ 。
是目
１． １． ２ 对重建模型的求解 １ ）迭代反投影（ ＩＢＰ） 算法
１０ ］ 迭代反投影 ［ 是出现比较早的算法， 它的基
前研究中效果最佳的算法， 后续很多研究都是在
本思想是： 首先通过插值方法估计出一幅高分辨
［ １］
费用和代价， 因此从软件方面来实现图像的超分 辨率具有较大的研究意义和价值。
２］ 自 Ｔｓａｉ 和 Ｈｕａｎｇ ［ 于 １９８４ 年第一次提出超
百度文库
分辨率重建问题以来， 出现了很多超分辨率恢复 方法。超分辨率图像恢复方法主要分为 ３ 种： 第 一种是基于插值的超分辨率恢复算法； 第二种是 基于重建约束的超分辨率图像恢复算法； 最后一
} Ｃｊ（ ｘ１ ， ｙ１ ） ＝ { ｘ（ ｘ１ ， ｙ１ ） ： ｜ ｒｊ（ ｘ， ｙ）≤ δ
)
从式（ ４） 可以看出： 该算法有效地利用了图像 的先验知识， 因此能对解进行约束， 从而实现解的 唯一。但是目前而言， 图像的先验信息选取不准 确会对图像的效果有很大影响， 而且该算法的时 间代价也较高， 不利于视频和图像的实时处理。 ３ ）凸集投影（ ＰＯＣＳ ）
) )
像的各种先验信息， 例如正定、 能量有界、 数据可 靠、 光滑等定义为约束凸集， 满足这些约束的值就 是图像解集。ＰＯＣＳ 是一种迭代过程， 在给定超分 辨率图像空间中任意一点的前提下， 它可以定位 满足所有凸约束集条件的点， 即收敛解。
［ ｒｊ（ ｘ， ｙ）－δ ］ ｈｋ （ ｘ， ｙ； ｘ１ ， ｘ２ ） ｉｆ ｒｊ（ ｘ， ｙ） ＞δ ２ ∑ ∑ ｈｋ （ ｘ， ｙ； ｍ １ ｍ２ ） ｍ １ ｍ２ Ｘ［ ｘ（ ｘ１ ， ｘ２ ） ］ ＝ｘ（ ｘ１ ， ｘ２ ）＋０ ｉｆ ｜ ｒｊ（ ｘ， ｙ）｜ ＞δ ［ ｒｊ（ ｘ， ｙ）＋δ ］ ｈｋ （ ｘ， ｙ； ｘ１ ， ｘ２ ） ｉｆ ｒｊ（ ｘ， ｙ） ＜－δ ∑ ∑ ｈ２ （ ｘ， ｙ； ｍ １ ｍ２ ） ｍ １ ｍ２ ｋ
［ ５］ 投影法（ ＰＯＣＳ ） 等。这些方法在低分辨率图像 ［ ３］ ［ ４］
以及欠采样， （ ｑ 为采样因子） 并且叠加噪声而得 来的。设原始图像为 Ｘ， 观测模型如式（ １） ： Ｙｒ ＝Ｄｒ Ｍｒ Ｆｒ Ｘ ＋ｎ
２
（ １）
式（ １） 中： Ｄｒ 为采样矩阵， 大小为 ａｂ ×ｑ ａｂ ， 由于 Ｍｒ 选择的采样率一样， 所以直接用 Ｄ 表示即可； 为模糊矩阵， 大小为 ｑ２ ａｂ ×ｑ２ ａｂ ， 模糊矩阵也是相 同的， 也用 Ｍ 表示； Ｆｒ 为运动矩阵， 大小为 ｑ２ Ｍ Ｎ × ｑ２ Ｍ Ｎ； ｎ 为噪声， 和原始图像大小一样即为 ａ × ｂ， 此处利用 Ｈ ＝ ＤＭ Ｐ 来表示整个过程。超分辨率 图像恢复就是在已知观测的一系列低分辨率图像
ｄｏｉ ：１０． ３９６９ ／ ｊ． ｉｓｓｎ． １６７４－ ８４２５ （ ｚ） ． ２０１４． ０９． ０１６
超分辨率图像恢复方法综述
向海燕
（ 重庆邮电大学 信号与信息处理重点实验室， 重庆 ４０００６５ ） 摘 要： 由于成像技术及工艺的限制， 从硬件方面提高超分辨率需要花费高昂的费用， 因此 考虑从软件方面实现图像的超分辨率。对现有的超分辨率图像技术进行了介绍， 然后在此基础 上提出了算法的研究方向和展望， 对超分辨率图像恢复技术的研究有一定意义。 关 键 词： 超分辨率； 高分辨率图像； 低分辨率图像； 图像恢复 中图分类号： ＴＰ１３ 文献标识码： Ａ 文章编号： １６７４ － ８４２５ （ ２０１４ ） ０９ － ００７２ － ０５
。由于目前成像器件分辨率
的限制， 从硬件上提高图像的分辨率需要高昂的
收稿日期： ２０１４ － ０５ － １８
基金项目： 国家自然科学基金项目（ ６１２７５０９９ ） ， 信号与信息处理重庆市市级重点实验室建设项目（ ＣＳＴＣ ， ２００９ＣＡ２００３ ） ， 重庆市自然科学基金项目（ ＣＳＴＣ ， ２０１０ＢＢ２３９８ ） 和重庆市科技攻关计划项目（ ＣＳＴＣ ， ２０１ １ ＡＢ２００８ ） 作者简介： 向海燕（ １９９０ —） ， 女， 重庆万州人， 硕士研究生， 主要从事图像处理方面的研究。 引用格式： 向海燕． 超分辨率图像恢复方法综述［ Ｊ］ ． 重庆理工大学学报： 自然科学版， ２０１４ （ ９） ： ７２ － ７６． Ｃｉｔａｔｉｏｎ ｆｏｒｍａｔ： ＸＩＡＮＧ Ｈａｉ ｙａｎ． Ｒｅｖｉｅｗ ｏｆ Ｓｕｐｅｒ ｒｅｓｏｌｕｔｉｏｎ Ｉｍａｇｅ Ｒｅｓｔｏｒａｔｉｏｎ Ｍ ｅｔｈｏｄ ［ Ｊ］ ． Ｊｏｕｒｎａｌ ｏｆ Ｃｈｏｎｇｑｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ Ｎａｔｕｒａｌ Ｓｃｉｅｎｃｅ ， ２０１４ （ ９） ： ７２ － ７６． ｏｆ Ｔｅｃｈｎｏｌｏｇｙ：
Ｒｅｖｉｅｗ ｏｆ Ｓｕｐｅｒ ｒｅｓｏｌｕｔｉｏｎ Ｉｍａｇｅ Ｒｅｓｔｏｒａｔｉｏｎ Ｍｅｔｈｏｄ
ＸＩＡＮＧ Ｈａｉ ｙａｎ
（ Ｋｅｙ Ｌａｂｏｒａｔｏｒｙ ｏｆ Ｓｉｇｎａｌ ａｎｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｒｅａｔｍｅｎｔ，Ｃｈｏｎｇｑｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｐｏｓｔｓ ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ，Ｃｈｏｎｇｑｉｎｇ ４０００６５ ，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ａｓ ｔｈｅ ｌｉｍｉｔａｔｉｏｎ ｏｆ ｉｍａｇｉｎｇ ｔｅｃｈｎｏｌｏｇｙ，ｉｍｐｒｏｖｉｎｇ ｓｕｐｅｒ ｒｅｓｏｌｕｔｉｏｎ ｆｒｏｍ ｔｈｅ ｈａｒｄｗａｒｅ ｎｅｅｄｓ ｅｘｐｅｎｓｉｖｅ ｃｏｓｔ，ｓｏ ｗｅ ｃｏｎｓｉｄｅｒ ｉｍｐｌｅｍｅｎｔｉｎｇ ｓｕｐｅｒ ｒｅｓｏｌｕｔｉｏｎ ｉｍａｇｅ ｆｒｏｍ ｔｈｅ ｓｏｆｔｗａｒｅ．Ｆｉｒｓｔｌｙ， ｔｈｉｓ ｐａｐｅｒ ｉｓ ａ ｂｒｉｅｆ ｉｎｔｒｏｄｕｃｔｉｏｎ ｏｆ ｔｈｅ ｐｒｅｖｉｏｕｓ ｓｕｐｅｒ ｒｅｓｏｌｕｔｉｏｎ ｒｅｓｔｏｒａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ，ａｎｄ ｔｈｅｎ ｂａｓｅｄ ｏｎ ｔｈｉｓ，ｔｈｉｓ ｐａｐｅｒ ｐｕｔｓ ｆｏｒｗａｒｄ ｔｈｅ ａｌｇｏｒｉｔｈｍ ｒｅｓｅａｒｃｈ ｄｉｒｅｃｔｉｏｎ ａｎｄ ｄｅｖｅｌｏｐｍｅｎｔ ｉｎ ｔｈｅ ｆｕｔｕｒｅ． Ｋｅｙ ｗｏｒｄｓ：ｓｕｐｅｒ ｒｅｓｏｌｕｔｉｏｎ ；ｈｉｇｈ ｒｅｓｏｌｕｔｉｏｎ ｉｍａｇｅ ；ｌｏｗ ｒｅｓｏｌｕｔｉｏｎ ｉｍａｇｅ ，ｉｍａｇｅ ｒｅｓｔｏｒａｔｉｏｎ 图像超分辨率可以被理解为图像放大之后细 节仍然清晰可见。现有的超分辨率图像恢复一般 是指恢复出一幅图像边缘清晰， 细节、 轮廓等较为 清晰、 合理的算法。超分辨率恢复技术通过一幅 或者多幅低分辨率图像， 经由重建的方法来获得 一幅高分辨率图像
向海燕： 超分辨率图像恢复方法综述 ７３ 种是基于学习的超分辨率图像恢复方法。基于插 值的算法主要包括双线性插值， 双三次插值等， 算 法简单但效果差， 特别是当放大倍数较大的时候， 重建效果会急剧下降。基于重建约束的超分辨率 图像恢复算法是研究较多的算法， 主要包括迭代 反投影（ ＩＢＰ） ， 最大后验概率大（ Ｍ ＡＰ ） ， 凸集
１２ ］ 凸集投影 ［ 使用集合理论把需要恢复的图
Ｎ－ １ Ｎ－ １
ｒｊ（ ｘ， ｙ） ＝ｙｊ（ ｘ， ｙ）－∑ ∑ ｘ（ ｘ１ ， ｙ１ ） ｈ ｊ（ ｘ， ｙ； ｘ１ ， ｙ１ ）
ｘ１ ＝ ０ ｙ１ ＝ ０
ｊ ＝１ ， ２， …， Ｑ （ ５） 其中： ｙｊ（ ｘ， ｙ） 表示第 ｊ 幅低分辨率图像的像素值； ｒｊ（ ｘ， ｙ） 表示残差； ｘ（ ｘ１ ， ｙ１ ） 表示高分辨率图像的 估计； ｈ ｊ（ ｘ， ｙ； ｘ１ ， ｙ１ ） 表示对图像的下采样和模糊 等操作。 因此， 对于 ｘ （ ｘ１ ， ｙ１ ） 中任意一点的像素值投 影到 Ｃｊ（ ｘ１ ， ｙ１ ） 的形式表示如下：
由于 Ｐ（ Ｙ）与 Ｘ 是无关的， 对上面取对数， 因此可 以简化为下面的式子：
重庆理工大学学报 ７４
＾ Ｘ ＝ｍｉｎ （ －ｌｎ Ｐ（ Ｙ｜ Ｘ）＋ｌｎ Ｐ（ Ｘ） ）
Ｘ
（ ４）
ＰＯＣＳ 的 解 集 是 一 个 凸 集， 该凸集可以定义 如下：
＾ ＾ 之后利用Ｘ 模糊操作模拟 率图像Ｘ ０， ０ 通过下采样、 ＾ 。迭代反投影就是利用模拟的低 低分辨率图像 Ｙ ＾ 分辨率 Ｙ 和给定低分辨率图像之间 Ｙ 的差值来不
断更新当前估算， 而迭代操作过程中有一个反迭 代矩阵 ＨＢＰ ， 它近似为 Ｈ －１ ， 即有
１ 超分辨率图像恢复方法
图像插值技术是一种比较简单的数学问题， 它是利用周围像素或者邻近点之间的关系对高分 辨率图像网格中未知像素的估计， 使得这个估计 值接近最理想的结果。常见的插值算法有最近邻 插值、 双线性插值、 三线性插值、 以及样条插值和 分形插值。插值技术比较简单， 但是插值技术会 因为放大因子的增大而出现立即下降的情况， 因 此很少考虑插值技术。下面主要介绍两种图像恢 复的超分辨率技术： 基于约束重建和基于学习的 超分辨率图像恢复技术。 １． １ 基于约束重建的超分辨图像恢复技术 实际应用中， 所获得的低分辨率图像是由成 像器件采集到的图像。而由于受成像器件的限制 以及成像水平的影响， 获得的图像一般是模糊、 分 辨率低且含有噪声的图像， 故一般实现图像恢复 算法采用的低分辨率图像都是将高分辨率图像经 过退化模型模拟产生。 １． １． １ 图像退化模型
Ｑ ｛ Ｙｒ ｝ 恢复出超分辨率图像 Ｘ， 所以图 ｒ＝ １ 的条件下，
足够多的情况下， 只要低分辨率图像配准精度足 够高就能恢复出具有较高质量的图像。基于学习 的超分辨率图像恢复方法
［ ６］
是目前研究的热点和
难点， 它打破了奈奎斯特采样频率的极限， 即使采 样率小于等于 ２ 倍的奈奎斯特频率， 仍然能够恢 复出原始图 像。而 在 基 于 学 习 的 超 分 辨 率 算 法 中， 基于稀疏学习的超分辨率图像恢复 此基础上进行扩展。
１１］ Ｍ ＡＰ 图像重建 ［ 。该算法对未知图像的估计是
通过最大化给定的一系列观测图像 Ｙ 对理想图像 Ｘ 的条件概率密度函数 Ｐ（ Ｘ｜ Ｙ）而得到的， 即有
＾ Ｘ ＝ａｒｇ ｍａｘ（ Ｐ（ Ｘ｜ Ｙ） ）＝
Ｙ｜ Ｘ） Ｘ） Ｐ（ ｍａｘ Ｐ（ Ｘ Ｐ（ Ｙ）
(
)
（ ３）
相同的尺寸大小 ａ ×ｂ ， 可以假设这些图像是由一 ｑｂ 的高分辨率图像经过模糊、 变形 幅大小为 ｑａ ×
ｊ＋ １ ｊ ｊ ＾ ＾ ＾ Ｘ ＝Ｘ ＋ＨＢＰ （ Ｙ －Ｙ ）
)
（ ２）
反迭代投影强调重建的结果要和原始的观测 数据匹配， 但是由于重建结果的病态问题的存在， 重建的结果不是唯一的， 且在 ＩＢＰ 中没有加入先 验知识， 因此解的结果可能不稳定、 不唯一， 而且 ＨＢＰ 的选择也是一大难点。 ２ ）最大后验概率（ Ｍ ＡＰ） 最大后验 概 率 是 在 ＩＢＰ 出 现 之 后 发 展 起 来 Ｈａｒｄｉｅ 提 出 的 的， 最经 典 的 算 法 是 由 Ｒｕｓｓｅｌｌ Ｃ．
) )
)
（ ６）
该方法没有唯一解， 而且最后的解依赖图像 的初始 估 计， 具有收敛速度较慢且解不稳定等 缺点。 １． １． ３ 小结 上面的方法各有优缺点， 后续有很多研究给 出了各种改进。改进后的图像效果和速度有所改 善， 但是当图像的放大因子达到饱和时， 不论增加 多少低分辨率图像都不能再改善图像的效果， 因 此基于学习的超分辨率图像恢复技术应运而生。 １． ２ 基于学习的超分辨率图像恢复技术 基于学习的超分辨率图像恢复技术是目前图 像恢复技术研究的热点。它通过学习高、 低分辨 率图像块之间的关系， 并将这个关系作为先验信 息指导低分辨率图像进行重建， 这个关系就是需 要学习的。目前基于学习的方法大致可以分为两 种： 基于样本的方法和基于稀疏表示的方法。下 面主要围绕这两种超分辨率图像恢复进行说明。 １． ２． １ 基于样本的超分辨率图像恢复方法
第 ２８ 卷 第 ９ 期
重 庆 理 工 大 学 学 报（ 自然科学）
２０１４ 年 ９ 月
Ｓｅｐ． ２０１４ Ｊｏｕｒｎａｌ ｏｆ Ｃｈｏｎｇｑｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ（ Ｎａｔｕｒａｌ Ｓｃｉｅｎｃｅ ） Ｖｏｌ． ２８ Ｎｏ． ９
［ ７， １３ ］
像恢 复 是 一 个 反 问 题， 其求解是一个病态逆
８－ ９］ 问题 ［ 。
是目
１． １． ２ 对重建模型的求解 １ ）迭代反投影（ ＩＢＰ） 算法
１０ ］ 迭代反投影 ［ 是出现比较早的算法， 它的基
前研究中效果最佳的算法， 后续很多研究都是在
本思想是： 首先通过插值方法估计出一幅高分辨
［ １］
费用和代价， 因此从软件方面来实现图像的超分 辨率具有较大的研究意义和价值。
２］ 自 Ｔｓａｉ 和 Ｈｕａｎｇ ［ 于 １９８４ 年第一次提出超
百度文库
分辨率重建问题以来， 出现了很多超分辨率恢复 方法。超分辨率图像恢复方法主要分为 ３ 种： 第 一种是基于插值的超分辨率恢复算法； 第二种是 基于重建约束的超分辨率图像恢复算法； 最后一
} Ｃｊ（ ｘ１ ， ｙ１ ） ＝ { ｘ（ ｘ１ ， ｙ１ ） ： ｜ ｒｊ（ ｘ， ｙ）≤ δ
)
从式（ ４） 可以看出： 该算法有效地利用了图像 的先验知识， 因此能对解进行约束， 从而实现解的 唯一。但是目前而言， 图像的先验信息选取不准 确会对图像的效果有很大影响， 而且该算法的时 间代价也较高， 不利于视频和图像的实时处理。 ３ ）凸集投影（ ＰＯＣＳ ）
) )
像的各种先验信息， 例如正定、 能量有界、 数据可 靠、 光滑等定义为约束凸集， 满足这些约束的值就 是图像解集。ＰＯＣＳ 是一种迭代过程， 在给定超分 辨率图像空间中任意一点的前提下， 它可以定位 满足所有凸约束集条件的点， 即收敛解。
［ ｒｊ（ ｘ， ｙ）－δ ］ ｈｋ （ ｘ， ｙ； ｘ１ ， ｘ２ ） ｉｆ ｒｊ（ ｘ， ｙ） ＞δ ２ ∑ ∑ ｈｋ （ ｘ， ｙ； ｍ １ ｍ２ ） ｍ １ ｍ２ Ｘ［ ｘ（ ｘ１ ， ｘ２ ） ］ ＝ｘ（ ｘ１ ， ｘ２ ）＋０ ｉｆ ｜ ｒｊ（ ｘ， ｙ）｜ ＞δ ［ ｒｊ（ ｘ， ｙ）＋δ ］ ｈｋ （ ｘ， ｙ； ｘ１ ， ｘ２ ） ｉｆ ｒｊ（ ｘ， ｙ） ＜－δ ∑ ∑ ｈ２ （ ｘ， ｙ； ｍ １ ｍ２ ） ｍ １ ｍ２ ｋ
［ ５］ 投影法（ ＰＯＣＳ ） 等。这些方法在低分辨率图像 ［ ３］ ［ ４］
以及欠采样， （ ｑ 为采样因子） 并且叠加噪声而得 来的。设原始图像为 Ｘ， 观测模型如式（ １） ： Ｙｒ ＝Ｄｒ Ｍｒ Ｆｒ Ｘ ＋ｎ
２
（ １）
式（ １） 中： Ｄｒ 为采样矩阵， 大小为 ａｂ ×ｑ ａｂ ， 由于 Ｍｒ 选择的采样率一样， 所以直接用 Ｄ 表示即可； 为模糊矩阵， 大小为 ｑ２ ａｂ ×ｑ２ ａｂ ， 模糊矩阵也是相 同的， 也用 Ｍ 表示； Ｆｒ 为运动矩阵， 大小为 ｑ２ Ｍ Ｎ × ｑ２ Ｍ Ｎ； ｎ 为噪声， 和原始图像大小一样即为 ａ × ｂ， 此处利用 Ｈ ＝ ＤＭ Ｐ 来表示整个过程。超分辨率 图像恢复就是在已知观测的一系列低分辨率图像
ｄｏｉ ：１０． ３９６９ ／ ｊ． ｉｓｓｎ． １６７４－ ８４２５ （ ｚ） ． ２０１４． ０９． ０１６
超分辨率图像恢复方法综述
向海燕
（ 重庆邮电大学 信号与信息处理重点实验室， 重庆 ４０００６５ ） 摘 要： 由于成像技术及工艺的限制， 从硬件方面提高超分辨率需要花费高昂的费用， 因此 考虑从软件方面实现图像的超分辨率。对现有的超分辨率图像技术进行了介绍， 然后在此基础 上提出了算法的研究方向和展望， 对超分辨率图像恢复技术的研究有一定意义。 关 键 词： 超分辨率； 高分辨率图像； 低分辨率图像； 图像恢复 中图分类号： ＴＰ１３ 文献标识码： Ａ 文章编号： １６７４ － ８４２５ （ ２０１４ ） ０９ － ００７２ － ０５
。由于目前成像器件分辨率
的限制， 从硬件上提高图像的分辨率需要高昂的
收稿日期： ２０１４ － ０５ － １８
基金项目： 国家自然科学基金项目（ ６１２７５０９９ ） ， 信号与信息处理重庆市市级重点实验室建设项目（ ＣＳＴＣ ， ２００９ＣＡ２００３ ） ， 重庆市自然科学基金项目（ ＣＳＴＣ ， ２０１０ＢＢ２３９８ ） 和重庆市科技攻关计划项目（ ＣＳＴＣ ， ２０１ １ ＡＢ２００８ ） 作者简介： 向海燕（ １９９０ —） ， 女， 重庆万州人， 硕士研究生， 主要从事图像处理方面的研究。 引用格式： 向海燕． 超分辨率图像恢复方法综述［ Ｊ］ ． 重庆理工大学学报： 自然科学版， ２０１４ （ ９） ： ７２ － ７６． Ｃｉｔａｔｉｏｎ ｆｏｒｍａｔ： ＸＩＡＮＧ Ｈａｉ ｙａｎ． Ｒｅｖｉｅｗ ｏｆ Ｓｕｐｅｒ ｒｅｓｏｌｕｔｉｏｎ Ｉｍａｇｅ Ｒｅｓｔｏｒａｔｉｏｎ Ｍ ｅｔｈｏｄ ［ Ｊ］ ． Ｊｏｕｒｎａｌ ｏｆ Ｃｈｏｎｇｑｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ Ｎａｔｕｒａｌ Ｓｃｉｅｎｃｅ ， ２０１４ （ ９） ： ７２ － ７６． ｏｆ Ｔｅｃｈｎｏｌｏｇｙ：
Ｒｅｖｉｅｗ ｏｆ Ｓｕｐｅｒ ｒｅｓｏｌｕｔｉｏｎ Ｉｍａｇｅ Ｒｅｓｔｏｒａｔｉｏｎ Ｍｅｔｈｏｄ
ＸＩＡＮＧ Ｈａｉ ｙａｎ
（ Ｋｅｙ Ｌａｂｏｒａｔｏｒｙ ｏｆ Ｓｉｇｎａｌ ａｎｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｒｅａｔｍｅｎｔ，Ｃｈｏｎｇｑｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｐｏｓｔｓ ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ，Ｃｈｏｎｇｑｉｎｇ ４０００６５ ，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ａｓ ｔｈｅ ｌｉｍｉｔａｔｉｏｎ ｏｆ ｉｍａｇｉｎｇ ｔｅｃｈｎｏｌｏｇｙ，ｉｍｐｒｏｖｉｎｇ ｓｕｐｅｒ ｒｅｓｏｌｕｔｉｏｎ ｆｒｏｍ ｔｈｅ ｈａｒｄｗａｒｅ ｎｅｅｄｓ ｅｘｐｅｎｓｉｖｅ ｃｏｓｔ，ｓｏ ｗｅ ｃｏｎｓｉｄｅｒ ｉｍｐｌｅｍｅｎｔｉｎｇ ｓｕｐｅｒ ｒｅｓｏｌｕｔｉｏｎ ｉｍａｇｅ ｆｒｏｍ ｔｈｅ ｓｏｆｔｗａｒｅ．Ｆｉｒｓｔｌｙ， ｔｈｉｓ ｐａｐｅｒ ｉｓ ａ ｂｒｉｅｆ ｉｎｔｒｏｄｕｃｔｉｏｎ ｏｆ ｔｈｅ ｐｒｅｖｉｏｕｓ ｓｕｐｅｒ ｒｅｓｏｌｕｔｉｏｎ ｒｅｓｔｏｒａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ，ａｎｄ ｔｈｅｎ ｂａｓｅｄ ｏｎ ｔｈｉｓ，ｔｈｉｓ ｐａｐｅｒ ｐｕｔｓ ｆｏｒｗａｒｄ ｔｈｅ ａｌｇｏｒｉｔｈｍ ｒｅｓｅａｒｃｈ ｄｉｒｅｃｔｉｏｎ ａｎｄ ｄｅｖｅｌｏｐｍｅｎｔ ｉｎ ｔｈｅ ｆｕｔｕｒｅ． Ｋｅｙ ｗｏｒｄｓ：ｓｕｐｅｒ ｒｅｓｏｌｕｔｉｏｎ ；ｈｉｇｈ ｒｅｓｏｌｕｔｉｏｎ ｉｍａｇｅ ；ｌｏｗ ｒｅｓｏｌｕｔｉｏｎ ｉｍａｇｅ ，ｉｍａｇｅ ｒｅｓｔｏｒａｔｉｏｎ 图像超分辨率可以被理解为图像放大之后细 节仍然清晰可见。现有的超分辨率图像恢复一般 是指恢复出一幅图像边缘清晰， 细节、 轮廓等较为 清晰、 合理的算法。超分辨率恢复技术通过一幅 或者多幅低分辨率图像， 经由重建的方法来获得 一幅高分辨率图像
向海燕： 超分辨率图像恢复方法综述 ７３ 种是基于学习的超分辨率图像恢复方法。基于插 值的算法主要包括双线性插值， 双三次插值等， 算 法简单但效果差， 特别是当放大倍数较大的时候， 重建效果会急剧下降。基于重建约束的超分辨率 图像恢复算法是研究较多的算法， 主要包括迭代 反投影（ ＩＢＰ） ， 最大后验概率大（ Ｍ ＡＰ ） ， 凸集
１２ ］ 凸集投影 ［ 使用集合理论把需要恢复的图
Ｎ－ １ Ｎ－ １
ｒｊ（ ｘ， ｙ） ＝ｙｊ（ ｘ， ｙ）－∑ ∑ ｘ（ ｘ１ ， ｙ１ ） ｈ ｊ（ ｘ， ｙ； ｘ１ ， ｙ１ ）
ｘ１ ＝ ０ ｙ１ ＝ ０
ｊ ＝１ ， ２， …， Ｑ （ ５） 其中： ｙｊ（ ｘ， ｙ） 表示第 ｊ 幅低分辨率图像的像素值； ｒｊ（ ｘ， ｙ） 表示残差； ｘ（ ｘ１ ， ｙ１ ） 表示高分辨率图像的 估计； ｈ ｊ（ ｘ， ｙ； ｘ１ ， ｙ１ ） 表示对图像的下采样和模糊 等操作。 因此， 对于 ｘ （ ｘ１ ， ｙ１ ） 中任意一点的像素值投 影到 Ｃｊ（ ｘ１ ， ｙ１ ） 的形式表示如下：
由于 Ｐ（ Ｙ）与 Ｘ 是无关的， 对上面取对数， 因此可 以简化为下面的式子：
重庆理工大学学报 ７４
＾ Ｘ ＝ｍｉｎ （ －ｌｎ Ｐ（ Ｙ｜ Ｘ）＋ｌｎ Ｐ（ Ｘ） ）
Ｘ
（ ４）
ＰＯＣＳ 的 解 集 是 一 个 凸 集， 该凸集可以定义 如下：