多形态稀疏性正则化的图像超分辨率算法

合集下载

稀疏平滑特性的多正则化约束图像盲复原方法

像，这是一种严重的“ 病态问题” ［】Ｉ２］．为了能够很好地求解这类 “ 病态问题” ，正则化技术便孕育而生了．正则化技
术也就是在求解复原图像的过程中加入能够反映真实清晰图像某种内在特性的正则项，以保证得到的解具有这种特性．因此，能够真实、准确地找到反映原始清晰图像内在特性的正则项，是正则化技术成功的关键．
数的分布，提出了一种基于贝叶斯的单幅运动模糊图像盲复原方法】．２００８年，Ｓｈａｎ等人也利用这种思想提出一种更加合理的分段函数，以便更好地近似这类严重的拖尾分布，但却认为运动模糊退化函数只服从某种指数的分布【６Ｊ．文献［５，６］已被认为是运动模糊盲复原领域中极具代表性的两篇文章．这种严重的拖尾分布是基于统计
用到了模糊图像的盲复原中【．因为ＴＶ－ｎｏｒｍ存在分段常数特性，所以该方法只能较好地适用于具有明显边缘
的ＰＳＦ（比如运动模糊、理想的低通滤波器等等）．近几年的一些方法认为，大多数清晰自然图像的边缘都近似地服从一种严重的拖尾分布。而模糊图像的边
不可能得到同一场景的多幅不同的模糊图像．２０１０年，Ａｌｍｅｉｄａ等人根据自然图像边缘的稀疏性原理，对图像运用了一种基于稀疏先验分布的类ＴＶ函数
正则化约束，提出了一种适用于多种模糊情况的自然图像盲复原方法【ｌ们．该方法针对无约束的ＰＳＦ以及有约束的ＰＳＦ都能达到较好的复原效果．自然图像边缘的这种稀疏特性能够反映出几乎所有自然图像的内在特性，具有较好的普适性。但是该方法对于有约束的ＰＳＦ也只运用了一种ＴＶ－ｎｏｒｍ的正则化约束．

利用稀疏编码进行图像超分辨率重建的方法研究

利用稀疏编码进行图像超分辨率重建的方法研究随着科技的不断发展，图像处理技术也取得了巨大的进步。

在图像处理领域，图像超分辨率重建是一个备受关注的研究方向。

图像超分辨率重建的目标是从低分辨率图像中恢复出高分辨率图像的细节信息，以提升图像的质量和清晰度。

近年来，利用稀疏编码进行图像超分辨率重建的方法成为了研究的热点之一。

稀疏编码是一种基于信号稀疏性的图像处理技术。

它的基本思想是利用信号在某个特定的基下表示时的稀疏性，通过最小化重建图像与原始图像之间的误差来恢复出高分辨率图像的细节信息。

稀疏编码的优势在于能够充分利用图像的局部特征，提取出图像的高频细节信息。

在图像超分辨率重建中，稀疏编码的方法可以分为两个阶段：训练阶段和重建阶段。

在训练阶段，需要利用一组高分辨率图像和对应的低分辨率图像对稀疏编码模型进行训练。

训练的目标是学习到一个稀疏基，使得图像在该基下的表示具有较高的稀疏性。

在重建阶段，通过最小化重建图像与低分辨率图像之间的误差，利用稀疏编码模型对低分辨率图像进行重建，从而得到高分辨率图像的细节信息。

稀疏编码的方法在图像超分辨率重建中取得了显著的效果。

相比于传统的插值方法，稀疏编码能够更好地保留图像的细节信息，提升图像的清晰度和质量。

此外，稀疏编码还具有一定的鲁棒性，能够在一定程度上对图像的噪声和失真进行抑制和修复。

然而，稀疏编码的方法也存在一些挑战和限制。

首先，稀疏编码的训练过程需要大量的计算资源和时间，对于大规模图像的处理可能会面临困难。

其次，稀疏编码的方法对于图像的稀疏性要求较高，对于一些复杂的图像可能无法有效地进行重建。

此外，稀疏编码的方法在处理图像边缘和纹理等细节信息时可能存在一定的不准确性。

为了克服这些限制，研究者们不断提出了一系列的改进和优化方法。

例如，可以引入先验信息来约束稀疏编码的过程，提高重建图像的准确性和稳定性。

另外，可以结合其他图像处理技术，如深度学习和卷积神经网络等，来进一步提升图像超分辨率重建的效果。

基于多成分字典和稀疏表示的超分辨率重建算法

中图分类号：ＴＰ３９１．４１文章编号：１００５ — ９８３０（２０１４）０１－０００１－０５
Ｓｕｐｅｒ・ｒｅｓｏｌｕｔｉｏｎｒｅｃｏｎｓｔｒｕｃｔｉｏｎａｌｇｏｒｉｔｈｍｂａｓｅｄｏｎ
ｒｅｓｏｌｕｔｉｏｎｉｍａｇｅｓａｎｄｈｉｇｈ— ｒｅｓｏｌｕｔｉｏｎｉｍａｇｅｓ．Ｔｈｉｓｐａｐｅｒｃｏｎｃｌｕｄｅｓｔｈａｔｔｈｅｈｉｇｈ— ｒｅｓｏｌｕｔｉｏｎｉｍａｇｅｓｃａｎｂｅｒｅｃｏｎｓｔｒｕｃｔｅｄｂｙｔｈｅｃｏｅｉｃｆｉｅｎｔｓｏｆｌｏｗ— ｒｅｓｏｌｕｔｉｏｎｉｍａｇｅｓｉｎｔｈｅｃｏｒｒｅｓｐｏｎｄｉｎｇｄｉｃｔｉｏｎａｒｙ．Ｔｈｅｓｐａｒｓｅｃｏｅｉｃｆｉｅｎｔｓａｒｅｏｂｔａｉｎｅｄｂｙｔｈｅｍｅｔｈｏｄｏｆｍａｔｃｈｐｕｒｓｕｉｔｂａｓｅｄｏｎｔｈｅｍｕｌｔｉ — ｃｏｍｐｏｎｅｎｔｄｉｃｔｉｏｎａｒｙｗｈｉｃｈｉｎｄｉｃａｔｅｓｄｉｆｆｅｒｅｎｔｓｔｕｃｒｔｕｒａｌｃｈａｒａｃｔｅｉｓｒｔｉｃｓｏｆｔｈｅｉｍａｇｅ．Ｔｈｅｈｉｇｈ— ｒｅｓｏｌｕｔｉｏｎｉｍａｇｅｓ

基于稀疏表示的多幅图像快速超分辨率重建

ＮｏｒｔｈＣｈｉｎａＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ，Ｂｅｉｊｉｎｇ１００１４，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：Ａｉｍｉｎｇａｔｐｒｏｂｌｅｍｓｔｈａｔｉｍａｇｅｓｕｐｅｒ—ｒｅｓｏｌｕｔｉｏｎｒｅｃｏｎｓｔｒｕｃｔｉｏｎ（ＳＲＲ）ｂａｓｅｄｏｎｓｐａｒｓｅｒｅｐｒｅｓｅｎｔａｔｉｏｎ
型优化。曹翔等人提出了通过一种优化的广义正交匹配追踪算法改进稀疏表示算法。沈辉等人提出了基于预测稀疏编码的单幅图像ＳＲＲ算法。但是上述方法并未达到理想的重建效果，所以，本文提出了一种基于多幅图像的快速ＳＲＲ算法，通过改善稀疏表示算法和优化图像融合方法来提高图像ＳＲＲ速度。引入优化算法加速稀疏分解获得稀疏表示；利用多幅图像稀疏表示后的信息进行超分辨率图像融合。实验表明：在改善图像重建质量的同时，本文方法显著地提高了图像ＳＲＲ的速度。１稀疏表示的ＳＲＲ算法
Ｆａｓｔｓｕｐｅｒ－ｒｅｓｏｌｕｔｉｏｎｒｅｃｏｎｓｔｒｕｃｔｉｏｎｏｆｍｕｌｔｉｐｌｅｉｍａｇｅｓ
ｂａｓｅｄｏｎｓｐａｒｓｅｒｅｐｒｅｓｅｎｔａｔｉｏｎ
ＹＡＮＧＢｉａｏ，ＤＩＭｉａｏ（ＢｅｉｊｉｎｇＫｅｙＬａｂｏｒａｔｏｒｙｏｆＩｎｔｅｌｌｉｇｅｎｔＣｏｎｔｒｏｌＴｅｃｈｎｏｌｏｇｙｏｆＵｒｂａｎＲｏａｄＴｒａｆｆｉｃ，
０引言图像超分辨率（ｓｕｐｅｒｒｅｓｏｌｕｔｉｏｎ，ＳＲ）重建是一种利用
单幅或者多幅低分辨率（１ｏｗｒｅｓｏｌｕｔｉｏｎ，ＬＲ）图像进行重建从而得到高分辨率（ｈｉｇｈｒｅｓｏｌｕｔｉｏｎ，ＨＲ）图像的数字信号处理技术。一般而言，多幅图像的超分辨率重建（ＳＲｒｅｃｏｎ－ｓｔｒｕｃｔｉｏｎ，ＳＲＲ）算法利用了多幅图像间的互补信息，图像质量较单幅重建算法更高，因此，本文主要研究基于多幅图像的超分辨率算法。近年来，基于学习的ＳＲＲ算法成为了ＳＲＲ算法的重要研究方向，其中基于稀疏理论的超分辨率算法具有良好的重建效果，已被广泛地应用于图像处理的各个领域。由压缩感知（ｃｏｍｐｒｅｓｓｉｖｅｓｅｎｓｉｎｇ）理论出发根据稀疏表示理论，ＹａｎｇＪＣ等人提出了一种基于稀疏表示的单幅图像ＳＲＲ算法，其算法重建得到的图像重建质量较高，但重建速度较慢。针对该问题，孙玉宝等人通过改进稀疏性正则化的多帧图像超分辨凸变分模

基于稀疏表示的彩色图像超分辨率重建算法

representation. Through analyzing the regularization parameter and data item，we propose an adaptive regularization parameter and then introduce a fast and effective construction method of dictionary to implement image super-resolution reconstruction adaptively. Simulation results show that our method outperforms the other methods not only on visual perception but also on peak signal to noise ratio (PSNR).
张琼等：基于稀疏表示的彩色图像超分辨率重建算法
基于稀疏表示的彩色图像超分辨率重建算法
张琼，付怀正，沈民奋
1) 2) 3) 1) 2) 3)
（广东省数字信号与图像处理技术重点实验室, 汕头 515063）
1)
（中国科学技术大学电子科学技术系安徽合肥 230026）
摘
要：本文针对图像降质过程，结合人眼视觉特性，提出一种基于稀疏表示的彩色图像超分辨率重建算法。对
[3-6]
96
第十五届全国图像图形学学术会议
深入分析的基础上，提出自适应正则化参数选取方法，并引入了一种可以快速构造超完备字典的稀疏编码算法，实现图像快速有效的超分辨率重建。
为解决邻近块之间的兼容性，按照光栅扫描的顺序选取 y。要使超分辨率重建 Dhα (Dh 为与 Dl 对应的高分辨率字典)和先前得到的高分辨率邻近块保持一致，需将式 (3)修改：

基于前向后向算子分裂的稀疏性正则化图像超分辨率算法

1.2 图像稀疏表示模型
图像稀疏表示是一个新兴的图像模型,在这个模型中,将图像信号u ∈ RN 表示为一组原子{ϕi }i∈I 的线性组合: u = Φα (3) 其中I = {1, . . . , I }(I ∈ N)为原子参数指标集(为有限集合),Φ ∈ RN ×I 为所有原子作为列向量组合而成的字典矩阵.当I > N 时Φ 是过完备的冗余字典,表示方式并不唯一,期望从中选择稀疏的表示系数α = (αi )i∈I ,即只有很少的为非零元素,∥α∥0 ≪ n,从而对图像u形成稀疏表示. 传统地,通常采用傅立叶字典、 DCT以及小波字典等非冗余的正交系统对图像形成表示,现代计算调和分析研究表明,当{ϕi }i∈I 为过完备框架系统时,能够对图像形成更为稀疏的表示.框架系数α = U x确定信号x的一个完全且稳定的信号表示,其中U 为框架算子,它是单射的有界线性算子,定义为:
2
自
动
化
学
报
XX 卷
稀疏表示理论认为自然图像在合适的过完备字典下总存在稀疏的表示,即:大部分表示系数为零,只有少数的非零大系数.图像稀疏表示模型能够刻画图像的内在结构和先验属性,在图像去噪、去模糊、压缩感知等反问题中已经得到了广泛的应用,并且都获得了出色的实验结果[5,6,7] .因而本文提出了一种新的基于稀疏表示正则化的多帧图像超分辨凸变分模型,模型中的正则项刻画了理想图像在框架字典下的稀疏性先验约束,保真项度量其在退化模型下与观测信号的一致性,同时分析了该模型解最优解条件.前向后向算子分裂法(Forward Backward Splitting:FBS)采取一种分而治之的策略,能够将复杂问题分解为一系列简单子问题的迭代求解,是凸分析中一种经典而有效的优化算法,具有很好的收敛性.当前该数值优化算法在图像处理中得到了广泛的应用[8] .因此,本文基于向前向后算子分裂法提出了求解该模型的不动点迭代数值算法,每一次迭代分解为仅对保真项的前向(显式)步与仅对正则项的后向(隐式)步,从而可大幅度降低超分辨重建的计算复杂性;分析了该算法的收敛性,并采取序贯策略(Continuation method)进一步提高算法的收敛速度.针对可见光与红外图像序列进行了数值仿真,实验结果验证了本文模型与数值算法的有效性,同全变差图像模型相比,能够更加有效地保持恢复图像的边缘、轮廓等几何结构.

超分辨 omp算法

超分辨 omp算法
超分辨率（Super-Resolution, SR）是一种图像处理技术，旨
在将低分辨率图像转换为高分辨率图像。

OMP算法是一种压缩感知
重建算法，可以用于超分辨率图像重建。

下面我将从几个方面来回
答你关于超分辨率OMP算法的问题。

首先，让我们来谈谈超分辨率技术。

超分辨率技术可以通过使
用多个低分辨率图像来重建出高分辨率图像。

这种技术对于图像处
理和计算机视觉领域具有重要意义，因为它可以改善图像的质量，
提高图像的清晰度和细节，对于监控、医学影像和卫星图像等领域
有着广泛的应用。

其次，OMP算法是一种压缩感知重建算法，它可以用于超分辨
率图像重建。

OMP算法是一种基于稀疏表示的算法，它利用信号的
稀疏性来重建信号。

在超分辨率图像重建中，OMP算法可以利用低
分辨率图像的信息来重建出高分辨率图像，从而实现图像的超分辨
率处理。

此外，超分辨率OMP算法的实现通常包括以下几个步骤，首先，对低分辨率图像进行预处理，例如去噪处理和图像配准；然后，利
用OMP算法对预处理后的低分辨率图像进行稀疏表示；接着，利用稀疏表示的结果来重建出高分辨率图像；最后，对重建得到的高分辨率图像进行后处理，例如锐化处理和去马赛克处理。

总的来说，超分辨率OMP算法是一种有效的图像重建算法，它可以通过利用低分辨率图像的信息来重建出高分辨率图像，从而实现图像的超分辨率处理。

这种算法在实际应用中具有广泛的应用前景，可以为图像处理和计算机视觉领域带来更多的发展机遇。

图像超分辨率重建算法综述

图像超分辨率重建算法综述作者：龙超来源：《科技视界》2015年第13期【摘要】超分辨率图像重建是指由同一场景的低分辨率退化图像（或图像序列）重建出一幅（或多幅）清晰的高分辨率图像。

该技术已经成为图像处理领域的研究热点，然而传统的方法已很难获得突破，今年来过完备稀疏表示为超分辨重建提供了一种新的思路，也成为了目前的热点。

本文通过分析超分辨率技术的三个方面的算法，分析了其以往和最新的研究进展，并对未来超分辨率技术的发展重点作了一点展望。

【关键词】超分辨率；图像重建；过完备稀疏表示0 引言超分辨率图像重建[1]是指由同一场景的低分辨率退化图像重建出一幅清晰的高分辨率图像。

它借助信号估计理论，很好地解决了固有的传感器阵列排列密度限制引起的图像分辨率低的问题，弥补了传感器硬件方面的不足。

同时，超分辨率重建可以有效地克服图像获取过程中的模糊、噪声等退化因素的影响，在工业控制、医学成像、遥感、安全监控、视频信号传输等领域具有广阔的应用前景。

超分辨率重建技术具有重要的理论意义和应用价值，成为图像处理、计算机视觉和应用数学等领域研究的国际热点问题。

经过近 30年的研究与发展，出现了大量关于图像超分辨率技术的研究成果。

一般说来，图像超分辨技术主要分为三种类型：基于插值的方法、基于重构的方法和基于学习的方法。

1 基于插值的超分辨率方法基于多帧图像插值技术的方法是超分辨率研究中最直观的方法。

这类方法首先估计各帧图像之间的相对运动信息，获得高分辨率图像在非均匀间距采样点上的像素值，接着通过非均匀插值得到高分辨率图像栅格上的像素值，最后采用图像恢复技术来去除模糊和降低噪声。

典型的方法包括： Rajan和 Chaudhuri[2]通过分解、插值和融合3个步骤实现的通用插值方法；Taohj等[3]提出的小波域的双线性插值；Lertrat-tanapanich和 Bose[4]提出的使用基于光滑性约束的Delaunay三角化插值算法等。

利用稀疏编码进行图像超分辨率重建

利用稀疏编码进行图像超分辨率重建随着科技的不断进步，图像处理技术也在不断发展。

图像超分辨率重建是一项重要的图像处理任务，它旨在从低分辨率图像中重建出高分辨率图像。

在过去的几十年中，许多方法被提出来解决这个问题，其中一种比较有效的方法是利用稀疏编码。

稀疏编码是一种信号处理技术，它基于信号的稀疏性假设，即信号在某个特定的基下可以被表示为少量的非零系数。

在图像超分辨率重建中，我们可以将低分辨率图像看作是一个低频信号，而高分辨率图像则是一个高频信号。

根据稀疏编码的原理，我们可以通过对低频信号进行稀疏表示，然后利用这个稀疏表示来重建出高频信号，从而实现图像的超分辨率重建。

具体来说，稀疏编码方法通常包括两个步骤：稀疏表示和重建。

在稀疏表示阶段，我们需要选择一个合适的基来表示低频信号。

常用的基有小波基、傅里叶基等。

通过将低频信号在这个基下进行表示，我们可以得到一个系数矩阵，其中大部分系数为零。

接下来，在重建阶段，我们可以利用这个稀疏系数矩阵和高频信号的基来重建出高频信号，从而得到高分辨率图像。

稀疏编码方法在图像超分辨率重建中的优势主要体现在两个方面。

首先，稀疏编码能够利用信号的稀疏性来减少重建过程中的计算量。

由于低频信号在合适的基下可以被表示为少量的非零系数，我们只需要计算这些非零系数，而不需要计算整个信号的像素值。

这样可以大大提高计算效率。

其次，稀疏编码方法能够提高重建图像的质量。

由于稀疏编码方法可以利用低频信号的稀疏表示来重建高频信号，所以可以更准确地还原出原始图像的细节信息，从而得到更高质量的重建图像。

然而，稀疏编码方法也存在一些挑战和限制。

首先，选择合适的基是一个关键的问题。

不同的基适用于不同类型的图像，选择不当的基可能会导致重建图像的质量下降。

其次，稀疏编码方法对计算资源的需求较高。

由于需要进行大量的矩阵运算和优化算法，所以在实际应用中需要考虑计算资源的限制。

此外，稀疏编码方法对于图像中的纹理和细节信息的重建效果较好，但对于图像中的平滑区域和边缘信息的重建效果相对较差。

基于稀疏表示的图像超分辨率重建快速算法

( 1 . S chool of Comp uter S cience and T echnology , N anj ing Univ . of Science and T echnolog y , N anj ing 210094 , China; 2. Lab. of T hr ee D imensional Simulation, 60 th Inst. of General Staf f Dep t . of PLA , N anj ing 210016 , China)
k
, k = 1, 2,
,K
( 1)
式中, gk ! RL 表示第 k 帧低分辨率图像 ; u ! RN 表示原始
k
! RL 表示加性随机噪声; Fk !
基金项目 : 国家高技术研究发展计划 ( 863 计划 ) ( 2007A A 12Z142) ; 国家自然科学基金 ( 60672074, 60802039 ) ; 江苏省研究生创新基金资助课题作者简介 : 孙玉宝 ( 1982 ) , 男 , 博士研究生 , 主要研究方向Байду номын сангаас图像稀疏模型及其应用、分布式仿真、网络虚拟环境设计与开发。 E mail: s yb 8692833@ 126. com
[ 5]
数的原子揭示了信号的主要特征与内在结构, 从而为几何结构保持的超分辨率重建奠定良好的基础。基于理想高分辨率图像在字典下的稀疏表示为式( 3) , 图像退化模型可表示为 g k = Hk !+ ∀ k , k = 1, 2, ,K ( 4) 根据式( 4 ) , 为了超分辨重建高分辨率图像, 可建立一个新的关于稀疏表示系数的变分问题, 相应地对理想图像的先验约束转变为对系数的稀疏先验约束。根据正则化理论, 稀疏性正则化的超分辨重建模型可建模为如下变分问题

基于稀疏表示的图像超分辨率重构算法研究

基于稀疏表示的图像超分辨率重构算法研究随着科技的不断发展，图像处理技术也得到了极大的发展。

图像超分辨率是图像处理领域中的一个热门问题。

在许多实际应用中，如卫星图像、医学图像等，在高分辨率重建中都需要图像超分辨率重构算法。

稀疏表示技术被广泛应用于图像重构中，它具有很好的重构性能和较高的效率。

稀疏表示是一种能够利用信号自身的特性来描述信号的技术。

对于一个K维信号Z，如果它可以表示为一个N维基向量组合的形式，那么它就是一个稀疏信号。

使用稀疏表示技术可以极大地减少图像重构中信息的冗余，从而提高图像处理的效率。

基于稀疏表示的图像超分辨率重构算法通过对图像信号进行稀疏表示，对低分辨率图像进行高分辨率估计。

稀疏表示算法将低分辨率图像表示为高分辨率基向量的线性组合，从而实现对高分辨率图像的重构。

这种技术可以充分利用图像自身的特性，包括空域和频域特性，从而实现高质量、高精度的图像重构。

稀疏表示算法是一种优秀的超分辨率重构算法，它具有很多优势。

首先，稀疏表示算法具有非常强的通用性，可以适用于不同类型的图像重构问题。

其次，稀疏表示算法药抵制一定程度的噪声扰动，并且具有很高的重构精度。

最后，稀疏表示算法具有较高的计算效率，可以有效降低图像处理的时间成本。

然而，稀疏表示算法也存在一些问题。

首先，稀疏表示算法对于信号的选择和信号的稀疏程度有一定的依赖关系，因此对于不同类型的图像重构需要针对性的选择算法。

其次，稀疏表示算法高度依赖于基向量的选择和数量，因此需要对基向量的确定进行深入研究。

此外，稀疏表示算法对于重建参数的选择也有一定的影响，因此需要对重建参数的调整进行仔细的实验。

在研究基于稀疏表示的图像超分辨率重构算法时，需要充分考虑图像自身的特性，针对性地选择不同的算法。

应该对基向量选择、信号稀疏性和重建参数进行深入研究，并进行仔细的实验分析。

通过不断的实验探索，可以逐步完善基于稀疏表示的图像超分辨率重构算法，提高图像的重建精度和效率，为实际应用提供更好的服务。

超分辨 omp算法

超分辨omp算法全文共四篇示例，供读者参考第一篇示例：超分辨率(超分辨率)是指一种通过利用多个低分辨率图像或视频帧生成高分辨率图像或视频帧的技术。

这在计算机视觉、图像处理和视频处理中具有广泛的应用，例如提高图像和视频质量、增强细节和纹理等。

omp(Orthogonal Matching Pursuit,正交匹配追踪)算法是一种经典的超分辨算法，能够在较短的时间内生成高质量的超分辨图像。

omp算法是一种使用贪心方法的迭代算法，以迭代逼近原始信号的稀疏表示。

其基本思想是在每一次迭代中，通过匹配当前残差与字典中原子的投影，选择一个最匹配的原子来更新估计的稀疏表示。

通过不断迭代这一过程，最终得到与原信号最接近的稀疏表示，进而重构出高质量的超分辨图像。

与其他超分辨算法相比，omp算法具有以下优点：omp算法的迭代过程简单快速，可以在较短的时间内生成高质量的超分辨图像。

omp算法基于稀疏表示的假设，能够有效地捕捉图像和视频的稀疏结构，从而提高超分辨效果。

omp算法易于实现和调整，可以根据不同的需求和场景进行优化。

虽然omp算法在超分辨领域取得了很好的效果，但也存在一些挑战和限制。

在处理大规模图像和视频数据时，omp算法的计算复杂度较高，需要大量的计算资源和时间。

omp算法对字典的选择和稀疏表示的初始化比较敏感，需要合适的设置才能达到最佳效果。

omp算法在处理非线性和复杂图像结构时效果有限，需要结合其他算法进行优化。

第二篇示例：超分辨率( Super-resolution) 是一种通过使用计算机算法来提高图像或视频的空间分辨率的技术。

在图像处理领域，超分辨率算法主要是通过结合多个低分辨率图像来生成一个高分辨率图像，从而实现提高图像质量的目的。

在图像处理和计算机视觉领域，超分辨率算法被广泛应用于医学影像处理、视频监控、遥感图像等方面。

超分辨率OMP算法的基本原理是通过将低分辨率图像分解成一组基函数组合的线性表示，通过迭代算法不断搜索最优的表示系数，进而重构出一个更高分辨率的图像。

正则化图像超分辨率重建算法

正则化图像超分辨率重建算法1. MAP 正则化算法理论介绍图像超分辨率重建问题是一个病态的问题，而在求解中加入先验信息可以提供一个很好的正则化机制来获得具有物理意义的解。

贝叶斯（Bayesian ）方法可以用先验概率分布的形式来加入先验限制，从而可以获得超分辨率问题的正则解，而且该方法在近年的研究中被证明十分有效，因此成为图像超分辨率重建的主要方法之一。

贝叶斯的基本思想是：假设原始图像X 和降质图像Y 都是随机场，当概率()|P X Y 取最大值时，X 代表了在已知降至图像Y 时，原始图像X 的最大可能，被称为X 的最大后验概率估计。

()()()()arg max || arg max MAP X X X P X Y P Y X P X P Y =⎡⎤⎣⎦⎡⎤=⎢⎥⎣⎦(1)由于以e 为底数的log 函数是单调递增函数，因此可以将上述概率函数取log对数，不会影响最大值的结果。

()()()arg max log log log MAP X X Y X P X P Y ⎡⎤=+-⎣⎦(2)由上式可知，()log P Y 与MAP X 取得最大值无关，因此可以忽略不计。

由此可得：()()arg max log log MAP X X Y X P X ⎡⎤=+⎣⎦(3)假定图像的噪声是均值为0，方差为2σ的高斯分布，则在给定的HR 图像的当前估计X 的条件下，LR 图像的概率密度为：()22,,,,,|exp(()2)2k i j k i j k n i jP Y X Y Y σπσ=--∏(4)由此可得()22,,,,,22,,,,,,2,,,,,,ˆarg max log |arg max log ()2)arg min ()2arg min ()X X i j k i j k n i j X i j k i j k n i j k X i j k i j k i j k X P Y X Y Y Y Y Y Y σσ⎡⎤=⎣⎦⎡⎤=--⎢⎥⎢⎥⎣⎦⎡⎤=-⎢⎥⎣⎦⎡⎤=-⎢⎥⎣⎦∑∑ (5)上式中，由于方差齐次性，所以可以消去n σ的影响。

基于稀疏表示和多成分字典学习的超分辨率重建

产生视觉伪影的问题，提出了基于稀疏表示和多成分字典学习的超分辨率重建算法。在字典训练阶段，所提算法
在利用图像形态分量分析方法构造纹理和结构字典的基础上，为了有效地提取低分辨率图像特征细节信息，对图
第４Ｏ卷第３期２０１８年３月
文章编号：ｉ００１—５０６Ｘ（２０１８）０３—０６９９—０５
Hale Waihona Puke 系统工程与电子技术
ＳｙｓｔｅｍｓＥｎｇｉｎｅｅｒｉｎｇａｎｄＥｌｅｃｔｒｏｎｉｃｓ
Ｖｏ１．４０Ｎｏ．３Ｍａｒｃｈ２Ｏ１８
网址：ｗｗｗ．ｓｙｓ～ｅｔｅ．ｔｏｍ
ＸＵＺｈｉｇａｎｇ，ＬＩＷｅｎｗｅｎ，ＹＵＡＮＦｅｉｘｉａｎｇ，ＺＨＵＨｏｎｇｌｅｉ，ＸＵＹａｍｅｉ（ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒａｎｄＣｏｍｍｕｎｉｃａｔｉｏｎ，ＬａｎｚｈｏｕＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ，Ｌａｎｚｈｏｕ７３００５０，Ｃｈｉｎａ）
非局部相似性约束相结合的方法对重建高分辨率图像进行优化。实验结果表明，该算法在重建图像主观和客观
评价指标方面均有较好的表现。
关键词：超分辨率；稀疏表示；Ｌ／正则化；非局部相似性
中图分类号：ＴＰ３９１
文献标志码：Ａ
ＤＯＩ：１０．３９６９／ｊ．ｉｓｓｎ．１００１—５０６Ｘ．２０１８．０３．３２

一种梯度正则化稀疏表示的图像超分辨率重建方法

小型微型计算机系统Journal of Chinese Computer Systems 2020年12月第12期 Vol.41 N o. 12 2020一种梯度正则化稀疏表示的图像超分辨率重建方法黄淑英，胡晓燕，吴昕，吴佳俊，许亚婷(江西财经大学软件与物联网工程学院，南昌330032)E-mail ：************************摘要：近年来，稀疏表示的方法在图像超分辨率（Super-r e s o l u t i o n,S R)重建方面取得了较好的结果.但是，由于图像在获取的过程中受外界因素的影响，获取到的低分辨率（L o w Resolution,L R)图像细节往往损失严重，在图像S R重建中L R图像自身可利用的先验信息有限.因此，传统的稀疏表示不能很好地恢复出图像的高频细节.针对这一不足，本文基于稀疏表示的SR重建思想，采用邻域回归的方法从外部样例中学习图像的梯度先验信息来弥补图像自身先验不足的缺点，提出一种梯度正则化稀疏表示的图像S R重建方法.该方法通过构建一种图像梯度正则化项来引导图像的细节重建,提高重建的高分辨率（High Resolution,H R)图像的质量. 实验结果表明，本文提出的 SR 重建算法重建结果较好，能恢复出更清晰的边缘信息，在主观和客观上重建结果都优于大多数的方法.关键词：图像超分辨率;稀疏表示;梯度正则化;邻域回归中图分类号：TP391 文献标识码：A文章编号：1000-1220(2020) 12-258847Image Super-resolution Reconstruction Based on Gradient Regularized Sparse RepresentationHUANG Shu-ying,HU Xiao-yan,WU Xin.WU Jia-jun,XU Ya-ting(School of Software & Internet of Things Engineering,Jiangxi University of Finance and Economics,Nanchang 330032 .China)Abstract： In recent years, the sparse representation method has achieved good results in image super-resolution ( SR) reconstruction. However, due to the influence of external factors in the process of image acquisition, the low resolution (LR) image details obtained are often seriously lost,and the prior information available to LR image itself is limited in image SR reconstruction. Therefore,the traditional sparse representation cannot recover the high-frequency details of the image very well. To solve this problem,this paper uses the neighborhood regression method to learn the gradient prior information of image from external samples to make up for the shortcomings of the imaged own prior,and proposes an image SR reconstruction method based on the sparse representation of gradient regularization. In this method,an image gradient regularization term is constructed to guide the detail reconstruction of the image and improve the quality of HR image reconstruction. Experimental results show that the SR reconstruction algorithm proposed in this paper has better reconstruction results and can recover more clear edge information. Meanwhile, both the subjective and objective reconstruction results of the proposed method are superior to most SR methods.Key words： image super-resolution ； sparse representation; gradient regularization ； neighborhood regressioni引言单幅图像S R重建是指从一幅输人的L R图像恢复出H R 图像的技术[1].S R重建技术是当前计算机视觉和图像处理领域的研究热点，许多S R重建算法相继被提出，主要有基于插值的方法、基于重建的方法、基于学习的方法.基于插值的图像S R重建方法[24]简单且易实现，其思想是重建图像中待补充的像素点利用周围的像素点加权获得，加权像素点距离补充像素点的距离越近加权的比重就越大，但重建出的图像边缘往往比较模糊.基于重建的图像S R重建方法[5~根据图像观测模型进行建模来估计H R图像，并结合先验知识来约束重建图像，以得到更多的图像细节信息，主要方法包括：凸集投影法[71、迭代反投影法[8]和最大后验概率法[9]等,在图像先验信息不足的情况下基于重建的方法得到的重建结果不理想.基于学习的S R重建方法1~是目前比较流行的S R重建技术，其主要思想是利用图像训练集来学习L R图像块到H R 图像块之间的映射关系.该思想最初是由Freeman和Paz-t〇r[in等人提出.基于学习的S R方法优势是充分利用了图像自身的先验知识，能得到较准确的重建结果.C h a n g等人[121提出了局部线性嵌入（Local Linear Embedding,L L E)的方法，认为H R/L R图像块在两个不同的特征空间中具有相似的局部几何形状流形.该算法应用训练集重构H R图像，通过重叠目标H R图像中的块,实现了块之间的局部兼容性，增加了平滑度约束.2010年Y a n g等人[13]运用压缩感知（Compressive Sensing,C S)的思想提出了基于稀疏表示的S R重建算法，该收稿日期:2020>06-23收修改稿日期:2020^07-23基金项目：国家自然科学基金项目（61862030,61662026,62072218)资助；江西省自然科学基金项目（20丨8280822006,20丨8丨8八8202010,20192六0820002,20192六081^21008)资助.作者简介：黄淑英（通讯作者），女，1977年生，博士，副教授,研究方向为图像处理、机器学习；胡晓燕，女，1995年生，硕士研究生，研究方向为图像处理；吴昕，女，1996年生，硕士研究生，研究方向为图像处理;吴佳俊，男，19%年生，硕士研究生，研究方向为图像处理;许亚婷，女，1995年生，硕士研究生，研究方向为图像处理.黄淑英等:一种梯度正则化稀疏表示的图像超分辨率重建方法2589 12期算法用图像对联合训练两个过完备字典，将L R图像块用L R 字典表示的系数与H R图像块用H R字典表示系数来重建图像.该算法实现了对图像块更紧凑的表示,从大量L R图像学习先验知识，图像重建效果较好,但学习过完备字典需要耗费大量时间.Zeyde等人[M]在Y a n g基础上改进算法，用K-S V D 算法和正交匹配追踪算法（Orthogonal Matching Pu rsuit,〇M P)进行字典训练，缩短了运行时间且得到了更好的重建结果.2011年,D o n g等人[15)提出了自适应稀疏域选择和自适应正则化的图像S R算法，将样例图像块学习自回归模型引人到算法中规范化图像局部结构,提高重建图像的质量.后来 D o n g等人[16]在稀疏模型中考虑到稀疏编码对噪声的影响提出了非局部集中稀疏表示（Non-locally C e n t r a l i z e d Sparse Representation，N C S R)方法，加人非局部自相似性约束来更精确地估计稀疏编码系数，在图像去噪、去模糊、S R重建方面均表现出色.近年来，由于深度学习具有强大的学习能力，基于深度学习的方法[17’18]也越来越被重视,并且有一系列方法被提出.D o n g等人[|9:首次将3层卷积神经网络（Conv ol ut io na l Neural Network,C N N)引人图像S R中，效果上取得了显著的提升.虽然基于深度学习的方法已取得很好的重建结果，但是需要大量的数据训练，目前真实场景的训练数据集很难获得，数据集中的L R大多是通过双3次插值降采样等操作模拟获得，因而对处理真实场景的L R图像效果并不好.因此，本文将重点针对稀疏表示的S R重建方法进行研究.虽然稀疏表示的方法取得了较好的效果，但还有许多值得改进的地方.由于L R图像受到噪声和模糊的影响，重建算法往往对噪声不够鲁棒，在恢复图像质量去除噪声的同时也丢失了大量图像的高频信息.针对稀疏表示的S R重建存在的问题，本文在非局部稀疏表示的基础上，结合邻域回归的方法,提出一种图像梯度信息正则化来增强重建图像的纹理细节.本文也通过大量的实验验证了所提出的梯度正则化稀疏表示的S R重建方法对含有噪声的L R图像重建能获得很好的重建结果.,$4]表本为：x= <l>a(2)其中,a= 力]为稀疏编码系数，其特点是大部分元素都为零，只有较少的非零元素.因此，稀疏系数求解又可以用优化问题[2〇]表示为：a= argmin ||a ||〇s.t.x^^>a(3)a其中，||a I L表示系数的范数.为了解决优化问题，上述最小化问题可以转化为近似范数最小化,要求是a有足够少的非零元素，可表示为：a= argmin ||a || ,s.t.(4)a为了求解，可以把上式中约束项^ =<1^转换成惩罚项得到下式：5 = argmin ||<Pa-x|| 2 + A ||a, ||(5)其中,A是正则参数，用来平衡系数稀疏度和图像重建误差之间的权重.2.3基于稀疏表示的图像S R重建图像S R重建是图像降质的逆过程，利用所获得的退化图像y,恢复出H R图像;c.稀疏表示在图像复原领域表现优异，图像的稀疏先验信息可以有效提高图像重建质量，恢复图像可以用字典原子的线性组合来逼近.假设L R图像y和H R 图像;c在过完备字典上的稀疏编码系数非常接近，首先需要求得L R图像在字典$上的稀疏系数+，再根据;c= 就可以估计出H R图像;c.根据上节信号稀疏表示理论，图像>«在字典<5上的稀疏系数a v求解为：S y= argmin\\\y- H<bay ||2 + A||a, || , |(6)学习到一个好的字典，不仅能获取图像中所包含的信息，而且使得图像在该字典上的表达更稀疏，进而提高S R重建的质量，这也是图像稀疏表示的目的.从式（6)中可以看出，在求解系数+时,构建合适的字典是重建图像的关键，同时构建合适的正则化项可以提高稀疏系数的求解精度.3提出的图像SR重建方法2图像S R重建相关理论2.1图像降质模型在图像获取的过程中，通常会受到图像采集设备的影响，或者恶劣的天气环境、抖动、光照等外界因素的影响，所获得的图像大多分辨率比较低、质量比较差.在图像S R领域，建立符合实际成像的退化模型十分重要.图像的降质过程模型[6]如下：y= Hx+ n(1)其中，y是获取的L R图像，是理想的H R图像,//表示下采样和模糊矩阵代表加性噪声.图像的S R重建与上述图像降质过程相反，包括提升L R图像的分辨率、去噪、去模糊等操作.2.2信号稀疏表示理论对于给定的正交字典或过完备字典，信号稀疏表示理论是指用该字典中尽可能少的原子来表示信号,并且总是可以求出一组大多数元素为零的稀疏解，其中字典生成和信号稀疏分解是该理论的关键.信号x用一组过完备字典$ =3.1重建模型传统的稀疏表示S R重建方法对含有噪声的L R图像进行S R重建时，为了减少噪声对重建结果的影响，通常会损失部分的高频信息，从而导致重建的H R图像出现模糊现象和斑块效应.本文在图像自适应稀疏表示的基础上，结合邻域回归[21]知识，通过构建一个图像梯度正则化项，提出一种基于稀疏表示的图像S R算法.该方法在减少噪声影响的同时，可以增强重建图像细节.本文构建的S R重建模型表示如下：r I I I I2+A,|| a,I I, + 1a = argmin^ , ^(7)U2I I G(x)-V x I I2J 其中，用;f表示重建H R图像的初始估计，A,和>\2是正则化参数，第1项是图像重建的保真项，第2项是稀疏非局部正则化项，第3项为本文提出的梯度正则化项,▽表示提取梯度操作,G(2)是用邻域回归的方法估算的重建H R图像的梯度_其中，稀疏非局部正则化项是利用图像的非局部先验信息来减少稀疏系数中噪声的影响,提高重建图像的质量.这里2590小型微型计算机系统2020 年用块提取矩阵尽来获得2的图像块，毛=/?,j e(f= l,2,…,A〇表示第个大小为的图像块.％是图像块元在字典$上的表示系数，A是系数的非局部均值[16),求出每个图像块A的非局部自相似块，对其稀疏系数加权平均得到/?,,稀疏编码噪声可以用A约束a,消除.其中A表示如下：A= Y,,W'i a'<(8)其中W!是权重系数，a丨是第/个与A相似的图像块¥的编码系数，W!.可以通过下式获得：M=4exP(H2!丨丨冰（9)其中W是归一化因子是用来控制平滑程度的全局参数.稀疏非局部正则项虽然在图像重建过程中能够减少噪声的影响，同样也会导致图像一部分纹理信息的丢失.针对此问题,本文在此基础上通过构建一种基于邻域回归的梯度正则项来增强重建图像的细节信息.下面将对图像S R重建中字典学习、图像块稀疏域的选择及邻域回归正则项做详细地描述.3.2字典学习学习一个好的字典可以提升图像重建结果，因为同一个图像块在不同字典上的稀疏性是有差异的.本文通过图像自身来学习字典，首先,将图像裁剪为W个大小的图像块，用& = U,巧，…，h]表示.然后，为了得到高质量的样本，本文通过设置方差阈值来筛选出边缘纹理较多的图像块，去除纹理较平滑图像块，筛选后的图像块可表示为& = [4, 4].训练样本是& = …,<]，利用高通滤波得到图像块的高频部分作为聚类特征，这样不仅能提高聚类的准确性而且也能有效地保持图像边缘信息.最后，在此基础上应用K-M e a n s聚类方法将&聚为&类，来学习个子字典 l〇tt，公式表示如下：=argmin||| 5t - <t4a t ||2f+ A||a* || ,|(10)^k，a k其中，&表示聚类后的子数据集，叫为&在％上的系数矩阵.为了减小字典学习的计算量，降低复杂度，用主成分分析 (P r i n c i p a l Components Analysis，P C A)算法对数据降维，并计算每类数据集的主成分来构建字典.数据集&的协方差矩阵表示为，应用P C A方法求解得到正交变换矩阵P t,令子数据集&的字典为匕，则稀疏系数为叫=/^5».3.3自适应稀疏域选择为了找到表示图像块最好的稀疏表示，提高图像重建质量,我们通过判断目标图像块和字典类中心的距离自适应选择稀疏域，找到合适的字典，得到精确的图像块估计.用K-M e a n s算法，确定聚类中心为叫，对每个图像块2,计算与叫的距离，依据距离最小原则自适应选择一个子字典与&的距离可由下面公式获得：k,= argmin||x i-ti k\\2(11)其中太表示第个图像块与第A:个聚类中心的距离.由于图像块A含有噪声，通常使得距离计算结果不够准确.因此，在叫子空间来确定子字典，令"=[M,,叱，…叫]，应用奇异值分解（Si ng u l a r Value Decomposition,S V D)算法求出的协方差矩阵.令也为前几个最显著的特征向量组成的投影矩阵，可以在子空间A来计算距离，则距离计算为：< =argjn in ||丨|2(12)图像块A利用稀疏表示可以近似为尤=重建图像 X可表示为：X= 4>〇:= (1 21 (^^«.)(13)«=1«=•重建图像S通过对所有的重建图像块S,.求平均来得到.〇代表所有子字典的集合，a表示所有系数％的集合.整个S R重建过程中利用公式（12)迭代更新稀疏域的选择，并通过X= 来更新jc的估计.3.4邻域回归梯度正则项的构建由于重建图像2本身含有噪声，边缘比较模糊，其自身可利用的先验信息非常有限.因此，为了更好地恢复和增强重建图像的纹理细节，本文基于邻域回归的思想在外部干净的 H R图像梯度样本库中学习与图像S梯度信息相似的结构来重构高频细节，构建一种图像梯度正则项，利用重构的图像梯度来引导重建H R图像的梯度，以增强重建图像的纹理细节.构建图像梯度正则项的具体过程如下所述:首先,建立外部图像的梯度样本库，利用一阶梯度提取算子分别提取外部样例H R图像和L R图像的水平、垂直方向梯度来构建数据集;然后，利用最近邻检索（K-Nearest Neighbor,K-N N)方法在图像梯度数据集中查找结构相似的梯度块;接着，用邻域回归的方法来拟合与重建X结构相似的高频信息，获得拟合系数,并利用对应的H R图像梯度块来拟合与重建3f结构相似的清晰的梯度信息;最后，利用拟合的清晰的梯度信息来构建图像梯度正则项.下面将对具体操作进行描述.在重建高频信息过程中，在L R空间通过K-N N方法得到与相似的梯度邻域块在此基础上，利用邻域回归方法对重建梯度信息进行拟合，这一过程可以用最小二乘回归方法来求解，因为系数的A范数进行正则化通常更耗时、效率更低，我们使用h范数正则化的最小二乘回归计算系数，可以表示为：min||V S-N s a s ||^+A3||a g ||^(14)其中▽表示^度提取操作，包含评估图像的水平梯度 &(幻和垂直梯度A(2)，A3是正则化参数,a s是利用梯度邻域块乂表示的拟合系数,对公式（14)求解得到：ag = {N]Ng+\,I)-'NT g S/x(15)其中/是单位矩阵，由上式可得到在L R梯度数据集中评估图像3?梯度的加权系数根据评估图像$与H R图像中的小图像块具有相似的局部几何特征，利用相同的加权系数 %来加权对应的H R特征空间的邻域来重建评估图像清晰的梯度信息G(2),其公式表达如下：G(x) =NG ag(16)其中,是与\对应的H R空间的梯度邻域.针对图像重建过程中出现的边缘纹理模糊的现象，本文利用上述邻域回归的方法来对评估图像进行清晰纹理细节的重建,来修正重建图像的梯度信息，即在重建过程中让重建图像的梯度信息更接近评估的纹理信息.其能量函数定义如下：黄淑英等:一种梯度正则化稀疏表示的图像超分辨率重建方法2591 12期min ||V X-G(x) || 2(17)该能量函数在公式（7)中作为S R重建模型的一个正则项，在图像重建过程中用来增强估计H R图像的纹理细节.3.5 S R模型的求解本节将详细介绍公式（7)的求解过程，其过程如下：首先，将L R图像用简单3次插值放大到与重建H R图像一样的尺寸，得到重建图像的初始估计然后，用K-Means方法对 2的图像块聚为（类，每一类的子字典用P C A算法来学习.2 的每个图像块自适应选择所属类的子字典作为其字典〇;最后，我们采用迭代收缩算法求解目标函数.通过梯度下降法更新H R图像2,公式如下：^(>♦1/2) _S(,) +S(HT(y-H x{,))+A2V r(G(3c) - V3c(0))(18)在每次迭代获得评估图像后，利用下面公式来更新图像块的稀疏系数，其公式如下：«<,+1/2)(19)对获得的稀疏系数a,利用公式（8)的非局部均值进行更新，采用迭代收缩算法更新稀疏编码系数，公式如下：«<,+1)=S,{^T HT(y-H W；*'n))/c + a\'*'n)+A (2〇)其中叉是软阈值函数，£•是辅助参数，用来保证收缩函数是可优化的.稀疏编码系数更新完之后，则图像块重构表示为：j c,u+,) =0t a j'tn(21)重建H R图像为：=(X心,)-1 土 (心n’+n)(22)/'=11=14实验结果及性能分析为了验证所提出模型的有效性，本文做了大量的对比实验并与近年来一些方法做了比较，比较方法包括：Bicubic、N C S R[16]、E P L L[22]、N R S R[21]、INSR[231、R E P S-S R124]方法.本节主要选取了 12张测试图像如图1所示，来展示各方法的重建结果，其中包括6张彩色图像（其名分别为：Bu t t e r f l y、Hat、Parr ot s、Zebra、Plants、Bird)和6张灰度图像（其名分别为：Flower、b a b y、barbara、flowers、baboon、Comic).在实验中采用如下步骤对测试图像进行降质:首先,对测试图像用标准偏差为1.6,尺寸大小为的7x7的髙斯函数进行模糊；然后，对模糊后的图像进行下采样，下采样的尺度因子分别为2、3、4; 最后，对下采样得到的L R图像加入不同水平的高斯噪声得图1测试图像 Fig.1T e st images到最后的L R图像.实验中根据经验设置基本参数如下：图像块的尺寸为6 x6,聚类数A为64,重叠像素点数为4,3为7，c 为0.35,A2为0. I.下面将利用实验结果对我们提出的模型的有效性进行验证，并对各个方法所获得S R重建图像分别在主观方面和客观方面给出评价.4.1梯度正则化有效性验证本文提出的梯度正则化是利用外部图像样例的梯度先验信息来引导H R图像的重建，使获得的H R图像具有更清晰的边缘.下面我们通过对比算法在迭代更新3E过程中，使用一次邻域回归重建图像之前和之后的图像梯度图来证明我们方法的有效性.如图2所示，图2(a)为没有应用邻域回归正则项获得的重建图像的梯度图，图2(b)为使用一次邻域回归正则项后获得的重建图像的梯度图.为了方便观察,我们将局部区域进行了放大，从放大区域我们可以看到图2(a)中蝴蝶的翅膀边缘模糊，有明显的断裂痕迹,而在图2(b)中经过一次邻域回归正则项获得的重建图像的梯度更加清晰，断裂区域明显地减少了.由此可见，利用加人邻域回归正则项后的S R重建方法能恢复出更多的图像边缘信息.⑷邻域回归正则化之前图2使用邻域回归正则化前后重建图像梯度对比Fig. 2 Image gradient comparison before and afterregularization by neighborhood regression4.2实验结果对比本节将从主观和客观两方面与其余方法比较来证明我们提出方法的有效性.图3是对图像Butterfly放大3倍时的视觉图，图4是对图像Parrots放大4倍时的视觉图.为了方便观察，我们剪切了局部区域进行放大，从图中的放大区域，可以明显地观察到其中BicU bic、N RSR方法重建的图像损失了(b)邻域回归正则化之后2592小型微型计算机系统2020 年78 9 10 11 12噪声水平5 67 8 9 10 11 12噪声水平Fig . 5图5不同方法在不同噪声水平下图像放大3倍P S N R /S S I M 均值P S N R / SSIM average v a l u e s of d i f f e r e n t methods under d i f f e r e n t n o i s e l e v e l s with a s c a l e f a c t o r of 3最好的，S S I M 指标也相对较高，并且在噪声逐渐增大的时候我们提出的方法下降趋势更慢.随着噪声水平增加,N C S R 方法的P S N R和S S I M值比其他方法下降得更快；INSR方法S S I M 值下降较快;E P L L 方法虽然P S N R —直处于较低水平，但在噪声增大时S S I M 指标呈上升趋势.综上所述，我们的方法在高噪声时达到了较高的P SN R /S S I M 值，实验表明我们的方法在不同噪声水平下重建效果都优于所比较的方法.我们也给出了所对比的几种方法针对12幅测试图像在不同放大倍数和不同噪声水平下的重建图像的客现评价结大量的纹理细节、边缘模糊且含有一定的噪声，如图4中鸟眼睛周围的纹路几乎无法分辨；E P L L 方法重建的图像光滑区域仍存在很多噪声且重建的边缘存在锯齿;N C S R J N S R 方法况;R E P S -S R 方法对噪声更具鲁棒性可以很好地恢复出H R 图像，但在消除图像噪声的同时也损失了图像的纹理细节;本文方法重建的图像的边缘相比于其它方法更为清晰同时也保重建图像较E P L L 方法质量稍有提升,但仍存在边缘模糊情留了图像更多的纹理细节信息.(a)LR (b)Or i g i n a l(f)NRSR(g)INSR (h )R E P S -S R (i)Proposed menhod图3放大倍数为3 ,噪声为8时不同算法对图像Butterfly 重建视觉效果对比Fig . 3 Vi s u a l comparison samples of d i f f e r e n t methods on ’B u t t e r f l y , image with a s c a l e f a c t o r of 3, n o i s e l e v e l of 8(a)LR (b )O r i g i n a l (c )B i cu bi c (d)NCSR (e)EPLL■迮■邊(f)NRSR!|g|(g)INSR(h )R E P S -S R (i)Proposed menhod图4放大倍数为4,噪声为5时不同算法对图像Parrots 重建视觉效果对比Fig . 4 Visu al comparison samples of d i f f e r e n t methods on Tarrots " image with a s c a l e f a c t o r of 4, n o i s e l e v e l of 5为了更好地说明本文方法在重建图像质量方面的优越性及对噪声的鲁棒性，我们对前面给出的12幅测试图像在多种噪声水平降质的情况下进行了实验比较.图5显示了当噪声水平逐渐增加时,所有对比方法在对图像放大3倍的情况下得到的重建结果的P S N R /S S I M 平均值.从图中可以看出，相比于其他的S R 重建方法，我们提出的方法获得的P S N R 是O Jz sd黄淑英等:一种梯度正则化稀疏表示的图像超分辨率重建方法2593 12期果.表1、表2和表3分别为放大倍数为2噪声水平为10,放大倍数为3噪声水平为8,放大倍数为4噪声水平为5时的 P S N R/S S I M结果.其中指标测定值的最佳结果以粗体表示，下划线表示结果处于第2高，从客观结果可以看出我们提出的方法的PSNR/SSIM值在绝大部分情况下相比于其他对比方法效果更好，所有的PSN R和SSIM平均值均高于其他对比方法，这表明了本文提出的方法对边缘模糊的L R图像梯度信息重建是有效的.表1放大倍数为2噪声为10时PSNR/SSIM结果Table 1PSNR/SSIM results with a scale factor of 2 and noise level of 10Im ages Bicubic NCSR EPLL NRSR IN SR REPS-SR Proposed Butterfly22.18/0.713826.73/0.871126.51/0.867224.12/0.828027.17/0.879326.95/0.885527.27/0.8860 Flow er24.70/0.557825.82/0.645525.93/0.685525.79/0.683825.87/0.677325.66/0.637926.31/0.6869 H at27.45/0.683229.48/0.788429.52/0.791228.53/0.787429.63/0.793529.80/0.822229.75/0.8026 Parrots26.25/0.738329.10/0.842628.71/0.841727.32/0.840529.29/0.848929.34/0.870329.35/0.8573 Z ebra24.13/0.672828.04/0.771027.52/0.758725.87/0.704128.05/0.766528.07/0.765828.12/0.7679 Plants28.47/0.721231.12/0.831730.71/0.815829.54/0.804031.24/0.834931.33/0.846131.38/0.8393 baby27.74/0.597428.47/0.661829.43/0.747130.44/0.799729.16/0.720228.19/0.644929.69/0.7354 barbara24.08/0.519524.95/0.598824.93/0.634425.03/0.649925.15/0.639124.82/0.587625.42/0.6506 flow ers24.49/0.562225.57/0.626826.08/0.693825.74/0.696025.62/0.665625.46/0.619626.22/0.6802 Bird28.77/0.792132.20/0.884131.86/0.877330.07/0.862232.17/0.887032.35/0.893432.32/0.8926 baboon21.87/0.396722.28/0.458122.31/0.467522.14/0.429022.32/0.468422.24/0.454222.48/0.4719 C om ic21.48/0.537822.60/0.638422.57/0.649221.97/0.594022.28/0.645922.58/0.636122.91/0.6606 A verage25.13/0.624427.20/0.718227.17/0.735826.38/0.724127.33/0.735627.23/0.722027.60/0.7443表2放大倍数为3噪声为8时P S N R/S S I M结果Table2 PSNR/SSIM r e s u l t s with a s c a l e f a c t o r of3 and no i s e l e v e l of8Im ages Bicubic NCSR EPLL NRSR INSR REPS-SR Proposed Butterfly20.68/0.684826.23/0.867726.03/0.857623.08/0.803426.55/0.875126.33/0.874126.75/0.8806 Flower24.02/0.568025.75/0.657325.73/0.678125.12/0.658125.73/0.680725.70/0.666426.12/0.6903 H at26.73/0.709029.20/0.790729.12/0.783228.07/0.777929.35/0.796129.45/0.815429.53/0.8037 Parrots25.23/0.760728.61/0.846028.05/0.834726.43/0.823028.80/0.851728.75/0.865928.81/0.8573 Zebra22.27/0.614927.25/0.745426.84/0.736724.68/0.668627.26/0.740727.18/0.726327.41/0.7423 Plants27.31/0.725830.80/0.825930.18/0.802828.59/0.783430.81/0.826231.01/0.838530.94/0.8292 baby27.46/0.663728.89/0. 696129.19/0.748429.33/0.785029.44/0.743128.67/0.686029.72/0.7488 barbara23.56/0.543625.02/0.621724.70/0.626824.49/0.639225.14/0.650224.94/0.617425.29/0.6558 flowers23.66/0.586225.67/0.651525.85/0.683525.00/0.675425.72/0.679225.74/0.669826.06/0.6865 Bird27.02/0.782531.47/0.877431.23/0.869128.68/0.838931.54/0.879131.59/0.884731.74/0.8851 baboon21.52/0.379422.11/0.447822.12/0.446921.87/0.409922.09/0.452622.07/0.446222.22/0.4553 Com ic20.54/0.503722.42/0.627822.30/0.628021.34/0.558122.29/0.633922.40/0.630522.58/0.6415 Average24.17/0.626926.95/0.723626.78/0.724725.56/0.701727.06/0.734126.99/0.726827.69/0.7397表3放大倍数为4噪声为5时P S N R/S S I M结果Table3 PSN R/SS IM r e s u l t s with a s c a l e f a c t o r of4 and n o i s e l e v e l of5Im ages Bicubic NCSR EPLL NRSR INSR REPS-SR Proposed Butterfly19.23/0.633424.85/0.851724.42/0.832521.73/0.763625.13/0.859325.00/0.851825.34/0.8643 Flower23.18/0.562825.93/0.695325.64/0.679024.51/0.644025.97/0.706025.99/0.711126.07/0.7078 H at25.89/0.722028.87/0.803628.66/0.787027.44/0.773829.01/0.805229.02/0.809229.18/0.8087 Parrots24.27/0.767227.47/0.849726.97/0.832725.62/0.813727.42/0.850127.41/0.854627.74/0.8559 Zebra20.61/0.540425.80/0.713625.14/0.705423.24/0.627925.72/0.708225.64/0.684425.70/0.7101 Plants26.11/0.714830.11/0.826929.59/0.801127.66/0.768330.20/0. 826030.00/0. 826230.23/0.8265 baby26.90/0.730530.72/0.803230.33/0.787928.55/0.792430.90/0.816630.91/0.819830.96/0.8174 barbara23.05/0.569925.22/0.679624.83/0.647924.09/0.639325.26/0.688725.28/0.693625.24/0.6886 flowers22.79/0.598925.97/0.706825.93/0.703024.20/0.665626.01/0.715926.04/0.722726.11/0.7180 Bird25.34/0.752930.83/0.879730.59/0.866627.20/0.811630.90/0.880130.80/0.878931.06/0.8831 baboon21.18/0.360222.10/0.450922.06/0.444221.66/0.398822.08/0.450122.09/0.452022.12/0.4507 Com ic19.60/0.454122.17/0.621422.09/0.611220.73/0.531822.17/0.625822.19/0.625922.23/0.6264 Average23.18/0.617326.67/0.740226.35/0.724924.72/0.685926.73/0.744326.70/0.744226.83/0.74652594小型微型计算机系统2020 年5结论本文在自适应稀疏表示的基础上，针对当前重建图像存在边缘模糊的情况，提出了一种梯度正则化稀疏表示的图像 S R重建算法.该算法在自适应稀疏表示S R重建方法的基础上，为了重建出更多的图像细节信息，结合邻域回归的思想，对评估的H R图像在H R梯度数据集中查找相似的纹理结构来实现清晰纹理细节的重建，构建一种邻域回归的梯度正则化项，以实现增强重建H R图像的边缘纹理信息的目的.实验结果表明，我们提出的基于梯度正则化的图像S R重建算法重建结果优于比较的其他方法，能恢复出更精细的边缘信息.References ：[1] Duan Li-juan,Wu Chun-li,En Qing,et al. Deep residual network inwavelet domain for image super-resolution [ J ]. Journal of Softw are,2019,30(4) ：941-953.[2 ] Zhang Y，Fan Q，Bao F，et al. Single-image super-resolution basedon rational fractal interpolation [ J ]. IEEE Transactions on ImageProcessing,2018,28(7) ：3782-3797.[3] Wang Zhong-fei. Medium and low magnification super resolutionalgorithm using direction map and fitting interpolation [ J ]. Journalof Computer-Aided Design & Computer Graphics, 2020,32(3)：445451.[4] Ji Lin-lin,Wang Ping,Zhang Yun-feng. Bicubic image magnification based on local interpolation[ J]. Journal of Graphics,2019,40(1) ：143-149.[5] Tang L. Blind super-resolution image reconstruction based onweighted POCS [ J ]. International Journal of Multimedia & Ubiquitous Engineering,2016,11 (5) ：367-376.[6 ] Yue L,Shen H,Li J,e t al. Image super-resolution：the techniques,applications, and future [J].Signal Processing, 2016, 128 ： 389- 408.[7] Huang J,G ao B,Chen Y,et al. Super-resolution reconstruction ofmulti-polarization sar images based on projections onto convex setsalgorithm[C]//IE E E International Geoscience and Remote Sensing Symposium,2018 ：8456-8459.[8] Castro E,Nakano M,S6nchez G,et al. Improvement of image super-resolution algorithms using iterative back projection [ J ]. IEEELatin America Transactions,2017,15(11) ：2214-2219.[9] Li Fang-biao, He Xin, Wei Zhong-hui，et al. Super-resolution imagereconstruction based on an improved maximum a posteriori algorithm [ J ].Journal of Beijing Institute of Technology ,2018,27 (2)：237-240.[10] Dehkordi R.Khosravi H, Ahmadyfard A. Single image super-resolution based on sparse representation using dictionaries trained withinput image patches [ J]. IET Image Processing, 2020, 14 ( 8 )：1587-1593.[11] Freeman W T, Pasztor E C, Carmichael O T. Learning low-level vision [J]. International Journal of Computer Vision, 2000,40 ( 1)：25-47.[12] Chang H,Yeung D Y,Xiong Y. Super-resolution through neighborembedding[ C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR) ,2004 ：275-282.[13] Yang J, Wright J, Huang T S,e t al. Image super-resolution viasparse representation[ J]. IEEE Transactions on Image Processing,2010,19(11) ：2861-2873.[14] Zeyde R, Elad M, Protter M. On single image scale-up usingsparse-representations [ C ]//International Conference on Curves and Surfaces,2010:711-730.[15] Dong W,Zhang L,Shi G,et al. Image deblurring and super-resolution by adaptive sparse domain selection and adaptive regularization[J].正££7>〇1153也〇115〇1111113§6?1'〇€6551叩，2011，20(7):1838-1857.[16] Dong W,Zhang L,Shi G,et al. Nonlocally centralized sparse representation for image restoration [ J ]. IEEE Transactions on ImageProcessing,2013,22(4) ：1620-1630.[17] Wang Wei,Zhang Tong, Wang Xin. Survey of single image superresolution based on deep learning [ J ]. Journal of Chinese Computer Systems,2019,40(9) ：1891-1896.[18] Zhang Hai-tao,Zhao Yi. Super-resolution reconstruction algorithmbased on improved super-resolution convolutional neural network and dictionary leaming[ J]. Journal of Chinese Computer Systems,2018,39(9) ：2090-2097.[19] Dong C,Chen C L,He K,et al. Image super-resolution using deepconvolutional networks [ J ]. IEEE Trans. Pattern Analysis & Machine Intelligence,2016,38(2) ：295-307.[20] Peleg T,Elad M. A statistical prediction model based on sparse representations for single image super-resolution [ J ]. IEEE Transactions on Image Processing,2014,23(6) ：2569-2582.[21] Li Y,Liu J,Yang W,et al. Neighborhood regression for edge-pre-serving image super-resolution [ C ]//EEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) ,2015 ：1201-1205.[22] Papyan V,Elad M. Multi-scale patch-based image restoration[ J].IEEE Transactions on Image Processing,2016,25(1) ：249-261. [23] Wang N,Shi W,Fan C,et al. An improved nonlocal sparse regularization-based image deblurring via novel similarity criteria[ J]. International Journal of Advanced Robotic Systems,2018,15(3) ：1-18.[24] Huang S,Sun J,Yang Y,et al. Robust single-image super-resolution based on adaptive edge-preserving smoothing regularization[J]. IEEE Transactions on Image Processing,2018,27(6) ：2650- 2663.附中文参考文献：[1]段立娟，武春丽，恩擎，等.基于小波域的深度残差网络图像超分辨率算法[J].软件学报，2019,30(4) :941-953.[3 ]王钟斐.方向映射拟合插值的中低倍率超分辨率算法[J].计算机辅助设计与图形学学报，2020,32(3) :445451.[4]纪琳琳，王平，张云峰.基于局部插值的双三次图像放大[J].图学学报，2019,40(1) :143-149.[17]王威，张彤，王新•用于图像超分辨率重构的深度学习方法综述[J].小型微型计算机系统，2019,40(9) :1891-1896. [18]张海涛，赵鍈.改进超分辨率卷积神经网络和字典学习的图像超分辨率重构算法[J].小型微型计算机系统，2018，39 (9):2090-2097.。

稀疏编码在图像超分辨率重建中的应用

稀疏编码在图像超分辨率重建中的应用随着科技的不断进步，图像超分辨率重建技术成为了图像处理领域的热门研究方向。

在数字图像处理中，超分辨率重建指的是通过一系列算法和技术，将低分辨率图像提升到高分辨率的过程。

而稀疏编码作为一种重要的数学工具，在图像超分辨率重建中发挥着重要的作用。

稀疏编码是一种基于信号稀疏性的信号表示方法。

在图像处理中，图像通常可以被看作是一个高维向量。

而稀疏编码的思想是，通过选择适当的基向量，将图像表示为一个稀疏的线性组合。

这种表示方式可以大大减少图像的冗余信息，提取出图像的主要特征。

在图像超分辨率重建中，稀疏编码可以用来学习低分辨率图像与高分辨率图像之间的映射关系。

具体而言，首先通过一组训练样本，学习得到一个稀疏字典。

然后，通过将低分辨率图像表示为稀疏线性组合的方式，利用稀疏字典将其映射到高分辨率空间。

最后，根据映射得到的高分辨率图像，进行超分辨率重建。

稀疏编码在图像超分辨率重建中的应用可以带来许多优势。

首先，通过稀疏编码可以提取出图像的主要特征，减少图像的冗余信息，从而提高图像的清晰度和细节表现力。

其次，稀疏编码可以通过学习得到的稀疏字典，实现低分辨率图像到高分辨率图像的映射，从而实现图像的超分辨率重建。

这种方式避免了传统的插值方法中可能引入的伪像和模糊现象。

然而，稀疏编码在图像超分辨率重建中也存在一些挑战和限制。

首先，稀疏编码的过程需要大量的计算资源和时间，对于大规模图像的处理可能会带来较高的计算复杂度。

其次，稀疏编码的性能很大程度上依赖于训练样本的选择和稀疏字典的学习。

如果训练样本不足或者选择不合适，可能会导致重建结果的质量下降。

为了克服这些挑战，研究者们提出了许多改进和优化的方法。

例如，可以通过引入先验知识，对稀疏编码的过程进行约束和优化，提高重建结果的准确性和稳定性。

另外，可以结合其他图像处理技术，如深度学习和卷积神经网络，进一步提升图像超分辨率重建的效果。

总之，稀疏编码在图像超分辨率重建中具有重要的应用价值。

一种基于多级稀疏字典学习的图像超分辨率方法[发明专利]

专利名称：一种基于多级稀疏字典学习的图像超分辨率方法专利类型：发明专利
发明人：杨欣,朱晨,谢堂鑫,周大可,吴臣桓
申请号：CN201910342711.X
申请日：20190426
公开号：CN110211037A
公开日：
20190906
专利内容由知识产权出版社提供
摘要：本发明公开了一种基于多级稀疏字典学习的图像超分辨率方法，该方法采用多级稀疏字典训练方法，训练多级子字典。

在数据预处理阶段，对原始高分辨率图像的退化图像，使用一阶及二阶梯度算子滤波，并提取块特征，构成低分辨率块特征训练集。

字典训练阶段，基于特征集离线训练低分辨率多级别稀疏字典，根据广义逆计算多级别高分辨率字典。

重建阶段，对所有级别子字典，求解输入低分辨率图片特征块对应的1‑稀疏系数，根据对应多级高分辨率字典计算对应高分辨率图像块，最后对重叠部分采用平滑处理重建得高分辨率图像。

本发明方法克服了一般方法稀疏度不够导致图像重建效果不理想，泛化能力弱的问题，有效提高最终图像超分辨率质量。

申请人：南京航空航天大学
地址：210016 江苏省南京市秦淮区御道街29号
国籍：CN
代理机构：南京经纬专利商标代理有限公司
代理人：姜慧勤
更多信息请下载全文后查看。