正则化图像超分辨率重建算法

合集下载

基于lp BTV正则化的图像超分辨率重建算法

基于lp BTV正则化的图像超分辨率重建算法

好地保护图像 的边缘信息。

r o b u s t 正则化重建算法 , 对 运 动 和 模 糊 估 计 具 有 很
好 的鲁 棒 性 , 并 使 图像 的边 缘 锐 化 。该 模 型对 边 缘

基 于双边 全变分 - , v  ̄ U 化 的超分 辨率重建
( 1 )
的保 持 特 性 比 T v模 型 更 好 。蒋 建 国 等 l 3 ] 在 B T V
子进 行改 进 , 根ቤተ መጻሕፍቲ ባይዱ 汉 字 的笔 画 特 征提 出新 型 B T V C H
V0 l _ 3 3 No . 2 Ma v 20l 7
[ 应用研 究 ]
基 于 B T V正 则 化 的 图像 超 分 辨 率 重 建 算 法
黄 巧 洁
( 广东农 工商职业技术学院 机 电系 , 广东 广州 5 1 0 5 0 7 )
摘要 : 针对双边 全变 分正则化 ( B T V) 边缘细节处 理时 出现过平 滑 的问题 , 结合 自然 图像 梯度 稀疏先 验模型 , 给 出一种基
算 子 和马 尔 可夫 随机 场 的基础 上 , 引入 非局 部模 型 ,
经典 的 图像退 化 的数学 模 型可表 示 为 :
= D B F ^ + N k
将 图像 的边缘 信 息加 入 计 算 , 较 好 地保 留 了 图像 边 缘 。贲 圣 兰 等 [ 4 ] 利 用 汉 字 结 构 的特 点 , 对 B T V 算
边缘 。F S i n a等 l 2 ] 在 T V模 型 的基 础 上 , 结 合 双 边
滤波 思想 , 提 出 了双 边 全 变 分 ( B T V: B i l a t e r a l T o t a l V a r i a t i o n ) 模型, 采用 Z 范 数 构 建 R o b u s t和 F a s t .

超分辨率图像重建算法的使用教程

超分辨率图像重建算法的使用教程

超分辨率图像重建算法的使用教程随着科技的不断进步,人们对图像质量的需求也越来越高。

在某些场景下,我们经常需要将低分辨率的图像转换为高分辨率的图像,以便更好地观察细节和提取信息。

超分辨率图像重建算法就是用来实现这一目标的有效工具。

本篇文章将介绍超分辨率图像重建算法的基本原理、常见算法以及使用教程。

一、超分辨率图像重建算法的基本原理超分辨率图像重建算法的基本原理是通过利用图像中的信息进行插值和补偿,从而提高图像的分辨率。

主要思路是在低分辨率图像的基础上,通过图像处理和图像恢复算法,推断出高分辨率图像的细节信息,从而实现图像的重建。

常见的超分辨率图像重建算法包括插值法、重建法和基于深度学习的方法。

插值法是指通过对像素进行插值处理,来增加图像的分辨率。

插值法简单易用,但无法获得高质量的重建结果。

重建法是指通过对图像的模型进行估计,利用先验知识进行超分辨率重建。

重建法能够提高图像的可视化效果,但需要较多的计算资源。

基于深度学习的方法是近年来发展起来的新兴技术,通过深度神经网络学习图像的映射模型,能够实现更高质量的超分辨率图像重建。

二、常见的超分辨率图像重建算法1. 插值法插值法是最简单、最常见的超分辨率图像重建算法,常见的插值方法包括最近邻插值、双线性插值和双三次插值。

最近邻插值是指在目标像素周围找到距离最近的像素,并将其值赋给目标像素。

双线性插值是指在目标像素周围找到最近的4个像素,通过线性加权平均的方式获得目标像素的值。

双三次插值是指在目标像素周围找到最近的16个像素,通过三次插值的方式获得目标像素的值。

插值法简单易用,但无法获得高质量的重建结果。

2. 重建法重建法是一种通过建立数学模型对图像进行重建的方法。

常见的重建方法包括最小二乘重建、最大似然重建和正则化重建。

最小二乘重建是指通过最小化观测图像和重建图像之间的差异来进行重建。

最大似然重建是指通过最大化重建图像的似然概率来进行重建。

正则化重建是指在最小二乘重建的基础上加入正则化项,以控制重建图像的平滑度和细节保持程度。

自适应加权的总变分正则化图像超分辨率重建

自适应加权的总变分正则化图像超分辨率重建

4
结束语
3
实验结果及分析
实验一选择分辨率为 120×120 的 EIAcen 图像 依次进行平移、模糊、欠采样并加入噪声生成 10 幅分辨率为 60×60 的低分辨率图像, 其中模糊函数 为 3×3,方差为 1 的高斯核函数。实验步骤为:首 先采用文献[9]的方法进行图像配准,估计变换矩阵 Fk,然后采用 3 次样条 2 倍插值图像作为高分辨率 图像初始估计,最后利用最速下降法迭代求解(迭 。 代步长为) 图 2(a)为一帧低分辨率图像,图 2(b)和图 2(c)

p
p
ml
l m X Sx Sy X
(4)
式中:p 为选取窗口的半径,Sxl 和 Sym 分别为图像 沿 x 和 y 方向分别平移 l 和 m 个像素算子,为尺 度加权系数,取值范围(0,1)。
2
本文采用的正则化函数和参数
X arg min Yk DHFk X
X k 1

Abstract:In bilateral total variation regularization method(BTV), which was proposed by Farsiu, the scale weight is a constant, so the image reconstruction effect is not ideal for texture and edge region. In order to solve this problem, an adaptive weighted regularization function and regularization parameter algorithm is proposed in this paper. In the proposed algorithm, the local structure information of image is used to control the shape, bandwidth of the weighted function and the regularization parameter. The experimental results show that the proposed algorithm, compared with BTV, can retain the image details better and improve the image contrast. Key words:super resolution reconstruction,adaptive weight,total variation,regularization parameter 程的稳定性,从而将超分辨率图像重建由不适定转 化为适定。 总变分(Total variation,TV)超分辨率重建方 法最早由 Osher 等[4]提出,实验证明该超分辨率重 建方法能够有效地去噪和消除模糊。但 TV 方法在 强噪声下图像的平滑区域会产生阶梯效应,而且不 能很好的保持图像的纹理信息。随后,Farsiu 等[5] 在 TV 方法的基础上又提出双边总变分(Bilateral Total Variation,BTV)正则化方法。在 BTV 正则化 方法中引入了值域和空域双约束,所以双边总变分 方法比总变分方法有更好的重建效果。但是 BTV 方 法是分别对值域和空域进行滤波,并且尺度加权系

基于多种正则化的改进超分辨率重建算法

基于多种正则化的改进超分辨率重建算法

基于多种正则化的改进超分辨率重建算法黄吉庆;王丽会;秦进;程欣宇;张健;李智【摘要】为了解决超分辨率图像重建过程中无法同时降低平滑区域噪声和保持图像细节的问题,结合改进的非局部变分(NLTV)和全变分(TV)正则项方法提出一种新的超分辨率重建算法.首先,根据图像重尾分布特性,结合高斯分布、拉普拉斯分布及柯西分布改进了传统NLTV正则项系数,提出了改进的ANLTV正则项.然后利用ANLTV正则项基于分裂Bregman算法重建了初始的高分辨率图像.最后结合TV 正则项对重建的高分辨率图像进行去模糊操作,进而得到最终的超分辨率图像重建结果.为验证所提算法的性能,分别利用该算法与传统的TV和NLTV算法进行超分辨率图像重建并对比.实验结果表明,所提出的方法相比于传统的TV和NLTV重建算法,其峰值信噪比、信噪比和结构相似度均有所提高,能够同时满足超分辨率图像重建过程中抑制噪声和保持边缘细节的需求.【期刊名称】《计算机工程与应用》【年(卷),期】2018(054)015【总页数】7页(P22-28)【关键词】超分辨率重建;正则化方法;改进的非局部变分;分裂Bregman算法【作者】黄吉庆;王丽会;秦进;程欣宇;张健;李智【作者单位】贵州省智能医学影像分析与精准诊断重点实验室,贵州大学计算机科学与技术学院,贵阳 550025;贵州省智能医学影像分析与精准诊断重点实验室,贵州大学计算机科学与技术学院,贵阳 550025;贵州省智能医学影像分析与精准诊断重点实验室,贵州大学计算机科学与技术学院,贵阳 550025;贵州省智能医学影像分析与精准诊断重点实验室,贵州大学计算机科学与技术学院,贵阳 550025;贵州省智能医学影像分析与精准诊断重点实验室,贵州大学计算机科学与技术学院,贵阳550025;贵州省智能医学影像分析与精准诊断重点实验室,贵州大学计算机科学与技术学院,贵阳 550025【正文语种】中文【中图分类】TP751.11 引言由于成像设备分辨率的限制,外加噪声及运动等因素的影响,采集图像的分辨率通常较低,无法满足应用需求。

L1范数的总变分正则化超分辨率图像重建

L1范数的总变分正则化超分辨率图像重建
v r c t n o e e e t e e so l t o . e f a o ft f ci n s ft e me h d i i i h v }
第 3期
21 0 2年 6月




No 3 .
MI CROP ROCES ORS S
J n .0 2 u .2 1
L 。范 数 的总 变分 正则 化超 分 辨 率 图像重 建
刘志文 , 潘晓露 , 李一 民
( 昆明理 工大 学信 息工程 与 自动 化学 院, 昆明 60 0 550)
L No m fTo a r t n Re ua ia in Ba e p rle ou in 。 r o t l Va i i g lr t s d Su e s lt a o z o q o Re o s r c in f rl g s c n tu t o ma e o
u igteL OT fterc n t ce ma ef ei o s an ,te ueo tlvrai e uai t nt s h l I l e o sr td i g d l yc n t it h s f oa ail n rg lrz i n n to h u i t r t 0 o ao o
关键 词 : 变分 ; 总 正则 化 ; 分辨 率 ; 范数 超 L
D I O 编码 :0 3 6 / . s .0 2— 2 9 2 1 . 3 0 0 1 .9 9 ji n 10 2 7 .0 2 0 . 1 s
中图分 类号 :P 5 . T 7 11
文献标 识码 : A
文章 编号 :02— 29(02 0 03 10 27 2 1 )3— 07—0 3
Ab t a t S p r r s l t n i g e o s u t n i e e h oo y w i h me o u e mu t l sr c : u e e ou o ma e r c n t ci s a n w tc n l g h c i t s l pe i r o ms i vd o s q e c s r s ge— f me i g n h r i ig s p e i g s o o l me t r no ma o i e e u n e ,o i l n r a ma e a d t e t n n a l ma e f c mp e n a y i fr t n a m i b t e n t e i g st e o sr c et r u  ̄ , ih rs a a e ou o g aa,ma e u e oi ・ ew e h ma e r c n t t b t Mi h g e p t l s lt n i e d t o u a e q i r i ma k pt r h g i a ma e d t s t e l c fs a ilr s l t n,i rv d i g p t lr s lt n fr fr e a d ca i . n i g a i h a k o p t e o u i l a a o mp o e ma e s a a e ou o o o c n lr y i i t D s r e e me o a e n r g lr a in o e s p r e o u o g e o s u o . i b ss e c b st t d b s d o e u a i t f u e —r s l t n i i h h z o h t i ma e rc n t  ̄i n On t s a i , r t h

基于空间自适应正则化的超分辨率重建算法

基于空间自适应正则化的超分辨率重建算法

法充分考虑 了图像 的局部 特性, 引入 了空间 自适 应加权 矩 阵, 采用 全局 正则化参 数 与局 部正则 化参数矩 阵相结合 的方法 , 弥 补 了传统正则化 方法所带来的正则化误差 以及噪声放大误差 。实验结果表 明, 算法能够有效地 减少重建误 差, 该 保护 图像 的
细节信息 。
误差的产生均与图像 的局部统计特征有关。为了减
少 重建过程 中的这两类误 差 , 文在 已有 正则化 重建 本 算 法 的基础 上 , 入关 于 图像 的局 部统 计特 征 , 用 引 采
全局正则化参数和局部正则化参数 图像边缘 。
辨率技术始于 2 世纪 6 年代 , a s G om n 0 o H r 和 od a 提 i r
H ag 先提 出 了在频 域 对 多 幅欠采 样 图像 进行 超 un 首
分辨率 图像重建。之后虽然很多学者在此基础上进
行 了发展 , 域方 法 没 能成 为研 究 的主 流 ; 反超 但频 相
D Hn ; F X+ 凡=1 … , , Ⅳ
() 1
分辨率重建的空域方法却获得 了很大的发展。空域
关键词
超分辨 率
正则化
空 间 自适应
图像 重建
中 图法 分类号
T3 14 P9. ;
文献 标志码

图像 的超 分辨 率 ( ue eo t n,R) 建技 SprR sl i S 重 uo 术是 指利用 软件 和信 号处 理 的方 法从 一 幅 或者 多 幅
算 子 的逆算 子而引入重建误差 ;2 由于噪声 , 获 () 图像 得 算子频谱 零点 以及正则 化引入 的重 建误差 ; 两类 这
第 1 1卷
第3 4期

基于空间自适应正则化的超分辨率重建算法

基于空间自适应正则化的超分辨率重建算法

基于空间自适应正则化的超分辨率重建算法靳晓娟;邓志良【摘要】针对模糊图像的复原问题,从正则化技术克服问题病态性的思想出发,研究了一种有效的超分辨率重建算法.该算法充分考虑了图像的局部特性,引入了空间自适应加权矩阵,采用全局正则化参数与局部正则化参数矩阵相结合的方法,弥补了传统正则化方法所带来的正则化误差以及噪声放大误差.实验结果表明,该算法能够有效地减少重建误差,保护图像的细节信息.%Aiming at the restoration of blurred image, an effective approach to super resolution image restoration was proposed based on regularization technique for dealing with ill-posed problem. The new algorithm gave full consideration to local characteristic of the image, and introduced spatial adaptive weighting matrix. By combining global regularization parameter with local regularization matrix, the new algorithm overcame regularization error and noise amplification error which were generated by regularization. The results of the experiments indicate that the new algorithm could decrease reconstruction error and protect the detail information in high resolution image.【期刊名称】《科学技术与工程》【年(卷),期】2011(011)034【总页数】5页(P8509-8513)【关键词】超分辨率;正则化;空间自适应;图像重建【作者】靳晓娟;邓志良【作者单位】江苏科技大学计算机科学与工程学院,镇江212003;常州信息职业技术学院,常州213164【正文语种】中文【中图分类】TP391.4图像的超分辨率(Super Resolution,SR)重建技术是指利用软件和信号处理的方法从一幅或者多幅低分辨率(Low Resolution,LR)图像序列中获得一幅高分辨率(High Resolution,HR)图像的过程。

一种梯度正则化稀疏表示的图像超分辨率重建方法

一种梯度正则化稀疏表示的图像超分辨率重建方法

小型微型计算机系统Journal of Chinese Computer Systems 2020年12月第12期 Vol.41 N o. 12 2020一种梯度正则化稀疏表示的图像超分辨率重建方法黄淑英,胡晓燕,吴昕,吴佳俊,许亚婷(江西财经大学软件与物联网工程学院,南昌330032)E-mail :************************摘要:近年来,稀疏表示的方法在图像超分辨率(Super-r e s o l u t i o n,S R)重建方面取得了较好的结果.但是,由于图像在获取的 过程中受外界因素的影响,获取到的低分辨率(L o w Resolution,L R)图像细节往往损失严重,在图像S R重建中L R图像自身可 利用的先验信息有限.因此,传统的稀疏表示不能很好地恢复出图像的高频细节.针对这一不足,本文基于稀疏表示的SR重建 思想,采用邻域回归的方法从外部样例中学习图像的梯度先验信息来弥补图像自身先验不足的缺点,提出一种梯度正则化稀疏 表示的图像S R重建方法.该方法通过构建一种图像梯度正则化项来引导图像的细节重建,提高重建的高分辨率(High Resolu­tion,H R)图像的质量. 实验结果表明,本文提出的 SR 重建算法重建结果较好,能恢复出更清晰的边缘信息,在主观和客观上重 建结果都优于大多数的方法.关键词:图像超分辨率;稀疏表示;梯度正则化;邻域回归中图分类号:TP391 文献标识码:A文章编号:1000-1220(2020) 12-258847Image Super-resolution Reconstruction Based on Gradient Regularized Sparse RepresentationHUANG Shu-ying,HU Xiao-yan,WU Xin.WU Jia-jun,XU Ya-ting(School of Software & Internet of Things Engineering,Jiangxi University of Finance and Economics,Nanchang 330032 .China)Abstract: In recent years, the sparse representation method has achieved good results in image super-resolution ( SR) reconstruction. However, due to the influence of external factors in the process of image acquisition, the low resolution (LR) image details obtained are often seriously lost,and the prior information available to LR image itself is limited in image SR reconstruction. Therefore,the tradi­tional sparse representation cannot recover the high-frequency details of the image very well. To solve this problem,this paper uses the neighborhood regression method to learn the gradient prior information of image from external samples to make up for the shortcom­ings of the imaged own prior,and proposes an image SR reconstruction method based on the sparse representation of gradient regulari­zation. In this method,an image gradient regularization term is constructed to guide the detail reconstruction of the image and improve the quality of HR image reconstruction. Experimental results show that the SR reconstruction algorithm proposed in this paper has bet­ter reconstruction results and can recover more clear edge information. Meanwhile, both the subjective and objective reconstruction re­sults of the proposed method are superior to most SR methods.Key words: image super-resolution ; sparse representation; gradient regularization ; neighborhood regressioni引言单幅图像S R重建是指从一幅输人的L R图像恢复出H R 图像的技术[1].S R重建技术是当前计算机视觉和图像处理领 域的研究热点,许多S R重建算法相继被提出,主要有基于插 值的方法、基于重建的方法、基于学习的方法.基于插值的图 像S R重建方法[24]简单且易实现,其思想是重建图像中待补 充的像素点利用周围的像素点加权获得,加权像素点距离补 充像素点的距离越近加权的比重就越大,但重建出的图像边 缘往往比较模糊.基于重建的图像S R重建方法[5~根据图像观测模型进行建模来估计H R图像,并结合先验知识来约束 重建图像,以得到更多的图像细节信息,主要方法包括:凸集 投影法[71、迭代反投影法[8]和最大后验概率法[9]等,在图像先验信息不足的情况下基于重建的方法得到的重建结果不 理想.基于学习的S R重建方法1~是目前比较流行的S R重建 技术,其主要思想是利用图像训练集来学习L R图像块到H R 图像块之间的映射关系.该思想最初是由Freeman和Paz-t〇r[in等人提出.基于学习的S R方法优势是充分利用了图像 自身的先验知识,能得到较准确的重建结果.C h a n g等人[121提出了局部线性嵌入(Local Linear Embedding,L L E)的方法,认为H R/L R图像块在两个不同的特征空间中具有相似的局 部几何形状流形.该算法应用训练集重构H R图像,通过重叠 目标H R图像中的块,实现了块之间的局部兼容性,增加了平 滑度约束.2010年Y a n g等人[13]运用压缩感知(Compressive Sensing,C S)的思想提出了基于稀疏表示的S R重建算法,该收稿日期:2020>06-23收修改稿日期:2020^07-23基金项目:国家自然科学基金项目(61862030,61662026,62072218)资助;江西省自然科 学基金项目(20丨8280822006,20丨8丨8八8202010,20192六0820002,20192六081^21008)资助.作者简介:黄淑英(通讯作者),女,1977年生,博士,副教授,研究方向为图像处理、机器学习;胡晓燕,女,1995年生,硕士研究生,研究方向为图像处理;吴昕,女,1996年生,硕士研究生,研究 方向为图像处理;吴佳俊,男,19%年生,硕士研究生,研究方向为图像处理;许亚婷,女,1995年生,硕士研究生,研究方向为图像处理.黄淑英等:一种梯度正则化稀疏表示的图像超分辨率重建方法2589 12期算法用图像对联合训练两个过完备字典,将L R图像块用L R 字典表示的系数与H R图像块用H R字典表示系数来重建图 像.该算法实现了对图像块更紧凑的表示,从大量L R图像学 习先验知识,图像重建效果较好,但学习过完备字典需要耗费 大量时间.Zeyde等人[M]在Y a n g基础上改进算法,用K-S V D 算法和正交匹配追踪算法(Orthogonal Matching Pu rsuit,〇M P)进行字典训练,缩短了运行时间且得到了更好的重建 结果.2011年,D o n g等人[15)提出了自适应稀疏域选择和自适 应正则化的图像S R算法,将样例图像块学习自回归模型引 人到算法中规范化图像局部结构,提高重建图像的质量.后来 D o n g等人[16]在稀疏模型中考虑到稀疏编码对噪声的影响提 出了非局部集中稀疏表示(Non-locally C e n t r a l i z e d Sparse Representation,N C S R)方法,加人非局部自相似性约束来更精 确地估计稀疏编码系数,在图像去噪、去模糊、S R重建方面均 表现出色.近年来,由于深度学习具有强大的学习能力,基于 深度学习的方法[17’18]也越来越被重视,并且有一系列方法被 提出.D o n g等人[|9:首次将3层卷积神经网络(Conv ol ut io na l Neural Network,C N N)引人图像S R中,效果上取得了显著的 提升.虽然基于深度学习的方法已取得很好的重建结果,但是 需要大量的数据训练,目前真实场景的训练数据集很难获得,数据集中的L R大多是通过双3次插值降采样等操作模拟获 得,因而对处理真实场景的L R图像效果并不好.因此,本文 将重点针对稀疏表示的S R重建方法进行研究.虽然稀疏表示的方法取得了较好的效果,但还有许多值 得改进的地方.由于L R图像受到噪声和模糊的影响,重建算 法往往对噪声不够鲁棒,在恢复图像质量去除噪声的同时也 丢失了大量图像的高频信息.针对稀疏表示的S R重建存在 的问题,本文在非局部稀疏表示的基础上,结合邻域回归的方 法,提出一种图像梯度信息正则化来增强重建图像的纹理细 节.本文也通过大量的实验验证了所提出的梯度正则化稀疏 表示的S R重建方法对含有噪声的L R图像重建能获得很好 的重建结果.,$4]表本为:x= <l>a(2)其中,a= 力]为稀疏编码系数,其特点是大部分元素都为零,只有较少的非零元素.因此,稀疏系数求解 又可以用优化问题[2〇]表示为:a= argmin ||a ||〇s.t.x^^>a(3)a其中,||a I L表示系数的范数.为了解决优化问题,上述最小化问题可以转化为近似范数最小化,要求是a有足够少的非零元素,可表示为:a= argmin ||a || ,s.t.(4)a为了求解,可以把上式中约束项^ =<1^转换成惩罚项得 到下式:5 = argmin ||<Pa-x|| 2 + A ||a, ||(5)其中,A是正则参数,用来平衡系数稀疏度和图像重建 误差之间的权重.2.3基于稀疏表示的图像S R重建图像S R重建是图像降质的逆过程,利用所获得的退化图像y,恢复出H R图像;c.稀疏表示在图像复原领域表现优 异,图像的稀疏先验信息可以有效提高图像重建质量,恢复图 像可以用字典原子的线性组合来逼近.假设L R图像y和H R 图像;c在过完备字典上的稀疏编码系数非常接近,首先需要 求得L R图像在字典$上的稀疏系数+,再根据;c= 就可以估计出H R图像;c.根据上节信号稀疏表示理论,图像>«在字典<5上的稀疏系数a v求解为:S y= argmin\\\y- H<bay ||2 + A||a, || , |(6)学习到一个好的字典,不仅能获取图像中所包含的信息,而且使得图像在该字典上的表达更稀疏,进而提高S R重建 的质量,这也是图像稀疏表示的目的.从式(6)中可以看出,在求解系数+时,构建合适的字典是重建图像的关键,同时 构建合适的正则化项可以提高稀疏系数的求解精度.3提出的图像SR重建方法2图像S R重建相关理论2.1图像降质模型在图像获取的过程中,通常会受到图像采集设备的影响,或者恶劣的天气环境、抖动、光照等外界因素的影响,所获得 的图像大多分辨率比较低、质量比较差.在图像S R领域,建 立符合实际成像的退化模型十分重要.图像的降质过程模型[6]如下:y= Hx+ n(1)其中,y是获取的L R图像,是理想的H R图像,//表示 下采样和模糊矩阵代表加性噪声.图像的S R重建与上述 图像降质过程相反,包括提升L R图像的分辨率、去噪、去模 糊等操作.2.2信号稀疏表示理论对于给定的正交字典或过完备字典,信号稀疏表示理论 是指用该字典中尽可能少的原子来表示信号,并且总是可以 求出一组大多数元素为零的稀疏解,其中字典生成和信号稀 疏分解是该理论的关键.信号x用一组过完备字典$ =3.1重建模型传统的稀疏表示S R重建方法对含有噪声的L R图像进 行S R重建时,为了减少噪声对重建结果的影响,通常会损失 部分的高频信息,从而导致重建的H R图像出现模糊现象和 斑块效应.本文在图像自适应稀疏表示的基础上,结合邻域回 归[21]知识,通过构建一个图像梯度正则化项,提出一种基于稀疏表示的图像S R算法.该方法在减少噪声影响的同时,可以增强重建图像细节.本文构建的S R重建模型表示如下:r I I I I2+A,|| a,I I, + 1a = argmin^ , ^(7)U2I I G(x)-V x I I2J 其中,用;f表示重建H R图像的初始估计,A,和>\2是正 则化参数,第1项是图像重建的保真项,第2项是稀疏非局部 正则化项,第3项为本文提出的梯度正则化项,▽表示提取梯度操作,G(2)是用邻域回归的方法估算的重建H R图像的梯度_其中,稀疏非局部正则化项是利用图像的非局部先验信 息来减少稀疏系数中噪声的影响,提高重建图像的质量.这里2590小型微型计算机系统2020 年用块提取矩阵尽来获得2的图像块,毛=/?,j e(f= l,2,…,A〇表示第个大小为的图像块.%是图像块元在字典$上的表示系数,A是系数的非局部均值[16),求出每个图像 块A的非局部自相似块,对其稀疏系数加权平均得到/?,,稀 疏编码噪声可以用A约束a,消除.其中A表示如下:A= Y,,W'i a'<(8)其中W!是权重系数,a丨是第/个与A相似的图像块¥的编码系数,W!.可以通过下式获得:M=4exP(H2!丨丨冰(9)其中W是归一化因子是用来控制平滑程度的全局参数.稀疏非局部正则项虽然在图像重建过程中能够减少噪声 的影响,同样也会导致图像一部分纹理信息的丢失.针对此问 题,本文在此基础上通过构建一种基于邻域回归的梯度正则 项来增强重建图像的细节信息.下面将对图像S R重建中字 典学习、图像块稀疏域的选择及邻域回归正则项做详细地描述.3.2字典学习学习一个好的字典可以提升图像重建结果,因为同一个 图像块在不同字典上的稀疏性是有差异的.本文通过图像自 身来学习字典,首先,将图像裁剪为W个大小的图像块,用& = U,巧,…,h]表示.然后,为了得到高质量的样 本,本文通过设置方差阈值来筛选出边缘纹理较多的图像块,去除纹理较平滑图像块,筛选后的图像块可表示为& = [4, 4].训练样本是& = …,<],利用高通滤波得到图像块的高频部分作为聚类特征,这样不仅能提高聚类的 准确性而且也能有效地保持图像边缘信息.最后,在此基础上 应用K-M e a n s聚类方法将&聚为&类,来学习 个子字典 l〇tt,公式表示如下:=argmin||| 5t - <t4a t ||2f+ A||a* || ,|(10)^k,a k其中,&表示聚类后的子数据集,叫为&在%上的系数矩阵.为了减小字典学习的计算量,降低复杂度,用主成分分析 (P r i n c i p a l Components Analysis,P C A)算法对数据降维,并计 算每类数据集的主成分来构建字典.数据集&的协方差矩阵 表示为,应用P C A方法求解得到正交变换矩阵P t,令子数 据集&的字典为匕,则稀疏系数为叫=/^5».3.3自适应稀疏域选择为了找到表示图像块最好的稀疏表示,提高图像重建质 量,我们通过判断目标图像块和字典类中心的距离自适应选 择稀疏域,找到合适的字典,得到精确的图像块估计.用K-M e a n s算法,确定聚类中心为叫,对每个图像块2,计算与叫的距离,依据距离最小原则自适应选择一个子字典与&的距离可由下面公式获得:k,= argmin||x i-ti k\\2(11)其中太表示第个图像块与第A:个聚类中心的距离.由于图像块A含有噪声,通常使得距离计算结果不够准确.因此,在叫子空间来确定子字典,令"=[M,,叱,…叫],应用奇异值分解(Si ng u l a r Value Decomposition,S V D)算法求出的协方差矩阵.令也为前几个最显著的特征向量组成的投影 矩阵,可以在子空间A来计算距离,则距离计算为:< =argjn in ||丨|2(12)图像块A利用稀疏表示可以近似为尤=重建图像 X可表示为:X= 4>〇:= (1 21 (^^«.)(13)«=1«=•重建图像S通过对所有的重建图像块S,.求平均来得到.〇代表所有子字典的集合,a表示所有系数%的集合.整 个S R重建过程中利用公式(12)迭代更新稀疏域的选择,并 通过X= 来更新jc的估计.3.4邻域回归梯度正则项的构建由于重建图像2本身含有噪声,边缘比较模糊,其自身 可利用的先验信息非常有限.因此,为了更好地恢复和增强重 建图像的纹理细节,本文基于邻域回归的思想在外部干净的 H R图像梯度样本库中学习与图像S梯度信息相似的结构来 重构高频细节,构建一种图像梯度正则项,利用重构的图像梯 度来引导重建H R图像的梯度,以增强重建图像的纹理细节.构建图像梯度正则项的具体过程如下所述:首先,建立外 部图像的梯度样本库,利用一阶梯度提取算子分别提取外部 样例H R图像和L R图像的水平、垂直方向梯度来构建数据 集;然后,利用最近邻检索(K-Nearest Neighbor,K-N N)方法 在图像梯度数据集中查找结构相似的梯度块;接着,用邻域回 归的方法来拟合与重建X结构相似的高频信息,获得拟合系 数,并利用对应的H R图像梯度块来拟合与重建3f结构相似 的清晰的梯度信息;最后,利用拟合的清晰的梯度信息来构建 图像梯度正则项.下面将对具体操作进行描述.在重建高频信息过程中,在L R空间通过K-N N方法得 到与相似的梯度邻域块在此基础上,利用邻域回归方法对重建梯度信息进行拟合,这一过程可以用最小二乘回归 方法来求解,因为系数的A范数进行正则化通常更耗时、效 率更低,我们使用h范数正则化的最小二乘回归计算系数,可以表示为:min||V S-N s a s ||^+A3||a g ||^(14)其中▽表示^度提取操作,包含评估图像的水平梯度 &(幻和垂直梯度A(2),A3是正则化参数,a s是利用梯度邻 域块乂表示的拟合系数,对公式(14)求解得到:ag = {N]Ng+\,I)-'NT g S/x(15)其中/是单位矩阵,由上式可得到在L R梯度数据集中评 估图像3?梯度的加权系数根据评估图像$与H R图像中 的小图像块具有相似的局部几何特征,利用相同的加权系数 %来加权对应的H R特征空间的邻域来重建评估图像清晰 的梯度信息G(2),其公式表达如下:G(x) =NG ag(16)其中,是与\对应的H R空间的梯度邻域.针对图像重建过程中出现的边缘纹理模糊的现象,本文 利用上述邻域回归的方法来对评估图像进行清晰纹理细节的 重建,来修正重建图像的梯度信息,即在重建过程中让重建图 像的梯度信息更接近评估的纹理信息.其能量函数定义如下:黄淑英等:一种梯度正则化稀疏表示的图像超分辨率重建方法2591 12期min ||V X-G(x) || 2(17)该能量函数在公式(7)中作为S R重建模型的一个正 则项,在图像重建过程中用来增强估计H R图像的纹理细节.3.5 S R模型的求解本节将详细介绍公式(7)的求解过程,其过程如下:首 先,将L R图像用简单3次插值放大到与重建H R图像一样的 尺寸,得到重建图像的初始估计然后,用K-Means方法对 2的图像块聚为(类,每一类的子字典用P C A算法来学习.2 的每个图像块自适应选择所属类的子字典作为其字典〇;最 后,我们采用迭代收缩算法求解目标函数.通过梯度下降法更新H R图像2,公式如下:^(>♦1/2) _S(,) +S(HT(y-H x{,))+A2V r(G(3c) - V3c(0))(18)在每次迭代获得评估图像后,利用下面公式来更新图像 块的稀疏系数,其公式如下:«<,+1/2)(19)对获得的稀疏系数a,利用公式(8)的非局部均值进行更 新,采用迭代收缩算法更新稀疏编码系数,公式如下:«<,+1)=S,{^T HT(y-H W;*'n))/c + a\'*'n)+A (2〇)其中叉是软阈值函数,£•是辅助参数,用来保证收缩函数是可优化的.稀疏编码系数更新完之后,则图像块重构表 示为:j c,u+,) =0t a j'tn(21)重建H R图像为:=(X心,)-1 土 (心n’+n)(22)/'=11=14实验结果及性能分析为了验证所提出模型的有效性,本文做了大量的对比实 验并与近年来一些方法做了比较,比较方法包括:Bicubic、N C S R[16]、E P L L[22]、N R S R[21]、INSR[231、R E P S-S R124]方法.本 节主要选取了 12张测试图像如图1所示,来展示各方法的重 建结果,其中包括6张彩色图像(其名分别为:Bu t t e r f l y、Hat、Parr ot s、Zebra、Plants、Bird)和6张灰度图像(其名分别为:Flower、b a b y、barbara、flowers、baboon、Comic).在实验中采 用如下步骤对测试图像进行降质:首先,对测试图像用标准偏 差为1.6,尺寸大小为的7x7的髙斯函数进行模糊;然后,对 模糊后的图像进行下采样,下采样的尺度因子分别为2、3、4; 最后,对下采样得到的L R图像加入不同水平的高斯噪声得图1测试图像 Fig.1T e st images到最后的L R图像.实验中根据经验设置基本参数如下:图像 块的尺寸为6 x6,聚类数A为64,重叠像素点数为4,3为7,c 为0.35,A2为0. I.下面将利用实验结果对我们提出的模型 的有效性进行验证,并对各个方法所获得S R重建图像分别 在主观方面和客观方面给出评价.4.1梯度正则化有效性验证本文提出的梯度正则化是利用外部图像样例的梯度先验 信息来引导H R图像的重建,使获得的H R图像具有更清晰 的边缘.下面我们通过对比算法在迭代更新3E过程中,使用 一次邻域回归重建图像之前和之后的图像梯度图来证明我们 方法的有效性.如图2所示,图2(a)为没有应用邻域回归正则项获得的 重建图像的梯度图,图2(b)为使用一次邻域回归正则项后获 得的重建图像的梯度图.为了方便观察,我们将局部区域进行 了放大,从放大区域我们可以看到图2(a)中蝴蝶的翅膀边缘 模糊,有明显的断裂痕迹,而在图2(b)中经过一次邻域回归 正则项获得的重建图像的梯度更加清晰,断裂区域明显地减 少了.由此可见,利用加人邻域回归正则项后的S R重建方法能恢复出更多的图像边缘信息.⑷邻域回归正则化之前图2使用邻域回归正则化前后重建图像梯度对比Fig. 2 Image gradient comparison before and afterregularization by neighborhood regression4.2实验结果对比本节将从主观和客观两方面与其余方法比较来证明我们 提出方法的有效性.图3是对图像Butterfly放大3倍时的视 觉图,图4是对图像Parrots放大4倍时的视觉图.为了方便观察,我们剪切了局部区域进行放大,从图中的放大区域,可 以明显地观察到其中BicU bic、N RSR方法重建的图像损失了(b)邻域回归正则化之后2592小型微型计算机系统2020 年78 9 10 11 12噪声水平5 67 8 9 10 11 12噪声水平Fig . 5图5不同方法在不同噪声水平下图像放大3倍P S N R /S S I M 均值P S N R / SSIM average v a l u e s of d i f f e r e n t methods under d i f f e r e n t n o i s e l e v e l s with a s c a l e f a c t o r of 3最好的,S S I M 指标也相对较高,并且在噪声逐渐增大的时候 我们提出的方法下降趋势更慢.随着噪声水平增加,N C S R 方 法的P S N R和S S I M值比其他方法下降得更快;INSR方法S S I M 值下降较快;E P L L 方法虽然P S N R —直处于较低 水平,但在噪声增大时S S I M 指标呈上升趋势.综上所述,我们的方法在高噪声时达到了较高的P SN R /S S I M 值,实验 表明我们的方法在不同噪声水平下重建效果都优于所比较的 方法.我们也给出了所对比的几种方法针对12幅测试图像在 不同放大倍数和不同噪声水平下的重建图像的客现评价结大量的纹理细节、边缘模糊且含有一定的噪声,如图4中鸟眼 睛周围的纹路几乎无法分辨;E P L L 方法重建的图像光滑区 域仍存在很多噪声且重建的边缘存在锯齿;N C S R J N S R 方法况;R E P S -S R 方法对噪声更具鲁棒性可以很好地恢复出H R 图像,但在消除图像噪声的同时也损失了图像的纹理细节;本 文方法重建的图像的边缘相比于其它方法更为清晰同时也保重建图像较E P L L 方法质量稍有提升,但仍存在边缘模糊情留了图像更多的纹理细节信息.(a)LR (b)Or i g i n a l(f)NRSR(g)INSR (h )R E P S -S R (i)Proposed menhod图3放大倍数为3 ,噪声为8时不同算法对图像Butterfly 重建视觉效果对比Fig . 3 Vi s u a l comparison samples of d i f f e r e n t methods on ’B u t t e r f l y , image with a s c a l e f a c t o r of 3, n o i s e l e v e l of 8(a)LR (b )O r i g i n a l (c )B i cu bi c (d)NCSR (e)EPLL■迮■邊(f)NRSR!|g|(g)INSR(h )R E P S -S R (i)Proposed menhod图4放大倍数为4,噪声为5时不同算法对图像Parrots 重建视觉效果对比Fig . 4 Visu al comparison samples of d i f f e r e n t methods on Tarrots " image with a s c a l e f a c t o r of 4, n o i s e l e v e l of 5为了更好地说明本文方法在重建图像质量方面的优越性及对噪声的鲁棒性,我们对前面给出的12幅测试图像在多种 噪声水平降质的情况下进行了实验比较.图5显示了当噪声水平逐渐增加时,所有对比方法在对图像放大3倍的情况下 得到的重建结果的P S N R /S S I M 平均值.从图中可以看出,相 比于其他的S R 重建方法,我们提出的方法获得的P S N R 是O Jz sd黄淑英等:一种梯度正则化稀疏表示的图像超分辨率重建方法2593 12期果.表1、表2和表3分别为放大倍数为2噪声水平为10,放 大倍数为3噪声水平为8,放大倍数为4噪声水平为5时的 P S N R/S S I M结果.其中指标测定值的最佳结果以粗体表示,下划线表示结果处于第2高,从客观结果可以看出我们提出的方法的PSNR/SSIM值在绝大部分情况下相比于其他对比 方法效果更好,所有的PSN R和SSIM平均值均高于其他对 比方法,这表明了本文提出的方法对边缘模糊的L R图像梯 度信息重建是有效的.表1放大倍数为2噪声为10时PSNR/SSIM结果Table 1PSNR/SSIM results with a scale factor of 2 and noise level of 10Im ages Bicubic NCSR EPLL NRSR IN SR REPS-SR Proposed Butterfly22.18/0.713826.73/0.871126.51/0.867224.12/0.828027.17/0.879326.95/0.885527.27/0.8860 Flow er24.70/0.557825.82/0.645525.93/0.685525.79/0.683825.87/0.677325.66/0.637926.31/0.6869 H at27.45/0.683229.48/0.788429.52/0.791228.53/0.787429.63/0.793529.80/0.822229.75/0.8026 Parrots26.25/0.738329.10/0.842628.71/0.841727.32/0.840529.29/0.848929.34/0.870329.35/0.8573 Z ebra24.13/0.672828.04/0.771027.52/0.758725.87/0.704128.05/0.766528.07/0.765828.12/0.7679 Plants28.47/0.721231.12/0.831730.71/0.815829.54/0.804031.24/0.834931.33/0.846131.38/0.8393 baby27.74/0.597428.47/0.661829.43/0.747130.44/0.799729.16/0.720228.19/0.644929.69/0.7354 barbara24.08/0.519524.95/0.598824.93/0.634425.03/0.649925.15/0.639124.82/0.587625.42/0.6506 flow ers24.49/0.562225.57/0.626826.08/0.693825.74/0.696025.62/0.665625.46/0.619626.22/0.6802 Bird28.77/0.792132.20/0.884131.86/0.877330.07/0.862232.17/0.887032.35/0.893432.32/0.8926 baboon21.87/0.396722.28/0.458122.31/0.467522.14/0.429022.32/0.468422.24/0.454222.48/0.4719 C om ic21.48/0.537822.60/0.638422.57/0.649221.97/0.594022.28/0.645922.58/0.636122.91/0.6606 A verage25.13/0.624427.20/0.718227.17/0.735826.38/0.724127.33/0.735627.23/0.722027.60/0.7443表2放大倍数为3噪声为8时P S N R/S S I M结果Table2 PSNR/SSIM r e s u l t s with a s c a l e f a c t o r of3 and no i s e l e v e l of8Im ages Bicubic NCSR EPLL NRSR INSR REPS-SR Proposed Butterfly20.68/0.684826.23/0.867726.03/0.857623.08/0.803426.55/0.875126.33/0.874126.75/0.8806 Flower24.02/0.568025.75/0.657325.73/0.678125.12/0.658125.73/0.680725.70/0.666426.12/0.6903 H at26.73/0.709029.20/0.790729.12/0.783228.07/0.777929.35/0.796129.45/0.815429.53/0.8037 Parrots25.23/0.760728.61/0.846028.05/0.834726.43/0.823028.80/0.851728.75/0.865928.81/0.8573 Zebra22.27/0.614927.25/0.745426.84/0.736724.68/0.668627.26/0.740727.18/0.726327.41/0.7423 Plants27.31/0.725830.80/0.825930.18/0.802828.59/0.783430.81/0.826231.01/0.838530.94/0.8292 baby27.46/0.663728.89/0. 696129.19/0.748429.33/0.785029.44/0.743128.67/0.686029.72/0.7488 barbara23.56/0.543625.02/0.621724.70/0.626824.49/0.639225.14/0.650224.94/0.617425.29/0.6558 flowers23.66/0.586225.67/0.651525.85/0.683525.00/0.675425.72/0.679225.74/0.669826.06/0.6865 Bird27.02/0.782531.47/0.877431.23/0.869128.68/0.838931.54/0.879131.59/0.884731.74/0.8851 baboon21.52/0.379422.11/0.447822.12/0.446921.87/0.409922.09/0.452622.07/0.446222.22/0.4553 Com ic20.54/0.503722.42/0.627822.30/0.628021.34/0.558122.29/0.633922.40/0.630522.58/0.6415 Average24.17/0.626926.95/0.723626.78/0.724725.56/0.701727.06/0.734126.99/0.726827.69/0.7397表3放大倍数为4噪声为5时P S N R/S S I M结果Table3 PSN R/SS IM r e s u l t s with a s c a l e f a c t o r of4 and n o i s e l e v e l of5Im ages Bicubic NCSR EPLL NRSR INSR REPS-SR Proposed Butterfly19.23/0.633424.85/0.851724.42/0.832521.73/0.763625.13/0.859325.00/0.851825.34/0.8643 Flower23.18/0.562825.93/0.695325.64/0.679024.51/0.644025.97/0.706025.99/0.711126.07/0.7078 H at25.89/0.722028.87/0.803628.66/0.787027.44/0.773829.01/0.805229.02/0.809229.18/0.8087 Parrots24.27/0.767227.47/0.849726.97/0.832725.62/0.813727.42/0.850127.41/0.854627.74/0.8559 Zebra20.61/0.540425.80/0.713625.14/0.705423.24/0.627925.72/0.708225.64/0.684425.70/0.7101 Plants26.11/0.714830.11/0.826929.59/0.801127.66/0.768330.20/0. 826030.00/0. 826230.23/0.8265 baby26.90/0.730530.72/0.803230.33/0.787928.55/0.792430.90/0.816630.91/0.819830.96/0.8174 barbara23.05/0.569925.22/0.679624.83/0.647924.09/0.639325.26/0.688725.28/0.693625.24/0.6886 flowers22.79/0.598925.97/0.706825.93/0.703024.20/0.665626.01/0.715926.04/0.722726.11/0.7180 Bird25.34/0.752930.83/0.879730.59/0.866627.20/0.811630.90/0.880130.80/0.878931.06/0.8831 baboon21.18/0.360222.10/0.450922.06/0.444221.66/0.398822.08/0.450122.09/0.452022.12/0.4507 Com ic19.60/0.454122.17/0.621422.09/0.611220.73/0.531822.17/0.625822.19/0.625922.23/0.6264 Average23.18/0.617326.67/0.740226.35/0.724924.72/0.685926.73/0.744326.70/0.744226.83/0.74652594小型微型计算机系统2020 年5结论本文在自适应稀疏表示的基础上,针对当前重建图像存 在边缘模糊的情况,提出了一种梯度正则化稀疏表示的图像 S R重建算法.该算法在自适应稀疏表示S R重建方法的基础 上,为了重建出更多的图像细节信息,结合邻域回归的思想,对评估的H R图像在H R梯度数据集中查找相似的纹理结构 来实现清晰纹理细节的重建,构建一种邻域回归的梯度正则 化项,以实现增强重建H R图像的边缘纹理信息的目的.实验 结果表明,我们提出的基于梯度正则化的图像S R重建算法 重建结果优于比较的其他方法,能恢复出更精细的边缘信息.References :[1] Duan Li-juan,Wu Chun-li,En Qing,et al. Deep residual network inwavelet domain for image super-resolution [ J ]. Journal of Soft­w are,2019,30(4) :941-953.[2 ] Zhang Y,Fan Q,Bao F,et al. Single-image super-resolution basedon rational fractal interpolation [ J ]. IEEE Transactions on ImageProcessing,2018,28(7) :3782-3797.[3] Wang Zhong-fei. Medium and low magnification super resolutionalgorithm using direction map and fitting interpolation [ J ]. Journalof Computer-Aided Design & Computer Graphics, 2020,32(3):445451.[4] Ji Lin-lin,Wang Ping,Zhang Yun-feng. Bicubic image magnifica­tion based on local interpolation[ J]. Journal of Graphics,2019,40(1) :143-149.[5] Tang L. Blind super-resolution image reconstruction based onweighted POCS [ J ]. International Journal of Multimedia & Ubiqui­tous Engineering,2016,11 (5) :367-376.[6 ] Yue L,Shen H,Li J,e t al. Image super-resolution:the techniques,applications, and future [J].Signal Processing, 2016, 128 : 389- 408.[7] Huang J,G ao B,Chen Y,et al. Super-resolution reconstruction ofmulti-polarization sar images based on projections onto convex setsalgorithm[C]//IE E E International Geoscience and Remote Sens­ing Symposium,2018 :8456-8459.[8] Castro E,Nakano M,S6nchez G,et al. Improvement of image su­per-resolution algorithms using iterative back projection [ J ]. IEEELatin America Transactions,2017,15(11) :2214-2219.[9] Li Fang-biao, He Xin, Wei Zhong-hui,et al. Super-resolution imagereconstruction based on an improved maximum a posteriori algo­rithm [ J ].Journal of Beijing Institute of Technology ,2018,27 (2):237-240.[10] Dehkordi R.Khosravi H, Ahmadyfard A. Single image super-reso­lution based on sparse representation using dictionaries trained withinput image patches [ J]. IET Image Processing, 2020, 14 ( 8 ):1587-1593.[11] Freeman W T, Pasztor E C, Carmichael O T. Learning low-level vi­sion [J]. International Journal of Computer Vision, 2000,40 ( 1):25-47.[12] Chang H,Yeung D Y,Xiong Y. Super-resolution through neighborembedding[ C]//Proceedings of the IEEE Conference on Comput­er Vision and Pattern Recognition (CVPR) ,2004 :275-282.[13] Yang J, Wright J, Huang T S,e t al. Image super-resolution viasparse representation[ J]. IEEE Transactions on Image Processing,2010,19(11) :2861-2873.[14] Zeyde R, Elad M, Protter M. On single image scale-up usingsparse-representations [ C ]//International Conference on Curves and Surfaces,2010:711-730.[15] Dong W,Zhang L,Shi G,et al. Image deblurring and super-resolu­tion by adaptive sparse domain selection and adaptive regularization[J].正££7>〇1153也〇115〇1111113§6?1'〇€6551叩,2011,20(7):1838-1857.[16] Dong W,Zhang L,Shi G,et al. Nonlocally centralized sparse repre­sentation for image restoration [ J ]. IEEE Transactions on ImageProcessing,2013,22(4) :1620-1630.[17] Wang Wei,Zhang Tong, Wang Xin. Survey of single image super­resolution based on deep learning [ J ]. Journal of Chinese Computer Systems,2019,40(9) :1891-1896.[18] Zhang Hai-tao,Zhao Yi. Super-resolution reconstruction algorithmbased on improved super-resolution convolutional neural network and dictionary leaming[ J]. Journal of Chinese Computer Systems,2018,39(9) :2090-2097.[19] Dong C,Chen C L,He K,et al. Image super-resolution using deepconvolutional networks [ J ]. IEEE Trans. Pattern Analysis & Ma­chine Intelligence,2016,38(2) :295-307.[20] Peleg T,Elad M. A statistical prediction model based on sparse rep­resentations for single image super-resolution [ J ]. IEEE Transac­tions on Image Processing,2014,23(6) :2569-2582.[21] Li Y,Liu J,Yang W,et al. Neighborhood regression for edge-pre-serving image super-resolution [ C ]//EEEE International Confer­ence on Acoustics, Speech and Signal Processing (ICASSP) ,2015 :1201-1205.[22] Papyan V,Elad M. Multi-scale patch-based image restoration[ J].IEEE Transactions on Image Processing,2016,25(1) :249-261. [23] Wang N,Shi W,Fan C,et al. An improved nonlocal sparse regular­ization-based image deblurring via novel similarity criteria[ J]. In­ternational Journal of Advanced Robotic Systems,2018,15(3) :1-18.[24] Huang S,Sun J,Yang Y,et al. Robust single-image super-resolu­tion based on adaptive edge-preserving smoothing regularization[J]. IEEE Transactions on Image Processing,2018,27(6) :2650- 2663.附中文参考文献:[1]段立娟,武春丽,恩擎,等.基于小波域的深度残差网络图像超分辨率算法[J].软件学报,2019,30(4) :941-953.[3 ]王钟斐.方向映射拟合插值的中低倍率超分辨率算法[J].计算机辅助设计与图形学学报,2020,32(3) :445451.[4]纪琳琳,王平,张云峰.基于局部插值的双三次图像放大[J].图学学报,2019,40(1) :143-149.[17]王威,张彤,王新•用于图像超分辨率重构的深度学习方法综述[J].小型微型计算机系统,2019,40(9) :1891-1896. [18]张海涛,赵鍈.改进超分辨率卷积神经网络和字典学习的图像超分辨率重构算法[J].小型微型计算机系统,2018,39 (9):2090-2097.。

一种空间自适应正则化MAP超分辨率重建算法

一种空间自适应正则化MAP超分辨率重建算法

一种空间自适应正则化MAP超分辨率重建算法
娄帅;丁振良;袁峰;李晶
【期刊名称】《计算机应用与软件》
【年(卷),期】2009(026)012
【摘要】提出一种简单、通用的基于正则化技术的自适应MAP超分辨率重建算法.与以往算法不同,该方法引入了局部空间自适应正则化参数,弥补了传统算法对图像自身的局部特性缺乏考虑的不足.算法通过迭代的方式,利用中间重建结果不断对正则化参数进行更新,并最终得到重建图像.实验结果表明,该方法可以根据不同图像序列的特点以及图像的局部灰度特性,自适应地确定相应的正则化参数,并找到最优解,有效地保护了高分辨率图像的细节信息.
【总页数】3页(P238-240)
【作者】娄帅;丁振良;袁峰;李晶
【作者单位】哈尔滨工业大学电气工程及自动化学院,黑龙江,哈尔滨,150001;哈尔滨工业大学电气工程及自动化学院,黑龙江,哈尔滨,150001;哈尔滨工业大学电气工程及自动化学院,黑龙江,哈尔滨,150001;哈尔滨工业大学电气工程及自动化学院,黑龙江,哈尔滨,150001
【正文语种】中文
【相关文献】
1.一种基于MAP的图像超分辨率重建算法 [J], 洪逸飞;姚琦敏;张贻雄
2.一种参数自适应正则化超分辨率图像重建算法 [J], 林玉明;赵勋杰;沈琪琪
3.空间自适应正则化超分辨率图像重建 [J], 袁建华
4.耦合光度配准的双边全变差正则化MAP超分辨率重建算法 [J], 陈琳;殷卫霞;卢荣胜
5.基于空间自适应正则化的超分辨率重建算法 [J], 靳晓娟;邓志良
因版权原因,仅展示原文概要,查看原文内容请购买。

基于正则化处理的超分辨率重建

基于正则化处理的超分辨率重建
X
2
(1) α(X ) 必须为一个光滑函数,以便于下述求导运算。 (2) α(X ) 必须关于数据项 d (X ) 和正则项 r (X ) 单调上
升。因为当数据项 d (X ) 变大时,拟合误差增大,此时信号 的高频噪声太多, 应该加大 α(X ) 以增强正则项的演化作用, 反之则减小 α(X ) 。而当 r (X ) 变小时,即表示信号的正则性 增强(或奇异性减弱),信号高频信息丢失严重,为使重建信 号不偏离观测数据太远,应该减小 α(X ) 以适当减弱正则项 此外 α(X ) 还必须满足 的演化平滑作用, 反之则增大 α(X ) 。 两个极端情况 lim α(X ) = 0 , lim
2005-12-15 收到,2006-07-20 改回 江苏省高等学校研究生创新计划(XM04-33)资助课题
2
2
超分辨率重建模型
设 X ∈ RL 为 描 述 某 一 连 续 场 景 的 理 想 离 散 信 号 ,
Y ∈ RM 为观测到的降质信号,L > M 分别为原来信号与观
测信号的维数,则一般信号的降质模型为 Y = AX + E (1) 其中 E 为降质模型的随机噪声部分,假设为期望为 0、标准 差为 σ 的高斯白噪声,A 为降质模型的确定性部分,一般假 设为一个线性算子,代表信号获取过程中的各种变换、模糊 及降采样等。所谓信号的超分辨率重建,就是采用一切技术 手段由观测到的降质信号 Y 尽可能地复原重建出原来的高
2
[1]
[4, 5]
,具体
为根据观测数据来估计噪声水平 ε2 和凭经验选取一个正则 化能量上界 E ,从而确定正则化系数 α = (ε / E ) ,这种方 法的缺点是太过主观,需要噪声和正则项的先验知识。(2) 广义交叉验证方法 GCV[6, 7](Generalize Cross Validation), 其本质就是将观测数据随机分为一些估计集和验证集,采用 其中估计集进行模型估计,而用验证集进行数据验证,经过 大量的交叉实验,最后选择预测误差最小的正则化系数作为 最优系数。它的特点是直接数据驱动,无需先验知识,但是

基于正则化方法的图像降噪算法在超分辨率图像重建中的应用

基于正则化方法的图像降噪算法在超分辨率图像重建中的应用

基于正则化方法的图像降噪算法在超分辨率图像重建中的应用图像降噪是数字图像处理中的重要问题之一,其目标是恢复图像中被噪声破坏的细节和特征。

随着超分辨率图像重建的需求日益增长,研究人员开始探索将正则化方法应用于图像降噪算法,以提高重建图像的质量和准确性。

本文将介绍基于正则化方法的图像降噪算法在超分辨率图像重建中的应用。

正则化方法主要通过引入先验信息来约束图像降噪过程,以提高图像重建的质量。

其中,基于总变差(Total Variation, TV)正则化的图像降噪算法在超分辨率图像重建中取得了显著的效果。

总变差正则化方法强调图像中相邻像素之间的差异,通过最小化图像的总变差来降低图像中的噪声。

在图像重建的过程中,总变差正则化方法能够保留图像细节并去除噪声。

此外,由于超分辨率图像的特殊性,总变差正则化方法还能够提高重建图像的精细度和细节恢复能力。

在基于正则化方法的图像降噪算法中,首先需要构建迭代优化模型。

常用的模型包括总变差最小化模型和低秩约束模型。

通过迭代优化模型,可以在恢复图像细节和去除噪声之间取得一个平衡。

接下来,需要选择合适的求解算法来求解优化模型。

常见的求解算法包括近端梯度法、交替方向乘子法和广义分裂Bregman算法等。

这些算法能够有效地求解正则化模型,并得到满足超分辨率图像重建需求的高质量图像。

在超分辨率图像重建中,基于正则化方法的图像降噪算法不仅能够提高图像质量,还能够提高图像的细节恢复能力。

通过引入先验信息和迭代优化模型,该算法能够更好地去除噪声和重建图像特征,使得重建图像更加清晰和真实。

此外,基于正则化方法的图像降噪算法还具有一定的实用性。

它不仅可以应用于图像处理领域,还可以应用于医学影像处理、视频处理等多个领域。

通过对图像降噪算法的改进和扩展,可以进一步提高图像重建的效果和应用范围。

总之,基于正则化方法的图像降噪算法在超分辨率图像重建中具有广泛的应用前景。

通过引入先验信息和迭代优化模型,并选择合适的求解算法,该算法能够更好地去除噪声和重建图像特征,提高图像质量和细节恢复能力。

一种参数自适应正则化超分辨率图像重建算法

一种参数自适应正则化超分辨率图像重建算法

一种参数自适应正则化超分辨率图像重建算法
林玉明;赵勋杰;沈琪琪
【期刊名称】《红外技术》
【年(卷),期】2016(038)007
【摘要】在正则化超分辨率重建算法中,正则化参数自适应对于抑制噪声和保持边缘非常重要.参数自适应通常是通过建立空间信息与参数的关系来实现的.在近期文献中,提出了一些空间信息自适应超分辨率重建方法,取得了较好的实验结果.然而在这些方法中,提取空间信息方法的计算量大,导致重建速度慢,限制了算法的应用.提出一种快速空间信息提取方法,并构建自适应参数模型,实验结果显示,该方法在大幅提高重建速度的同时,获得了更好的重建效果.
【总页数】5页(P592-596)
【作者】林玉明;赵勋杰;沈琪琪
【作者单位】朝阳广播电视大学,辽宁朝阳122000;苏州大学物理光电与能源学部,江苏苏州215006;苏州大学物理光电与能源学部,江苏苏州215006
【正文语种】中文
【中图分类】TP391
【相关文献】
1.一种新的超分辨率图像重建算法 [J], 张丽红;侯鲜桃;王晓凯;张慧
2.基于L1/2正则化的超分辨率图像重建算法 [J], 王欢;王永革
3.一种基于正则化参数自适应选择的快速近似求逆的图像恢复新算法 [J], 李超;陈
武凡
4.一种新的正则化图像重建算法及参数优化 [J], 陈晓艳;房晓东
5.一种基于共轭梯度的正则化OT图像重建算法 [J], 金永明;王加俊
因版权原因,仅展示原文概要,查看原文内容请购买。

图像超分辨率重建算法的综述

图像超分辨率重建算法的综述

图像超分辨率重建算法的综述图像超分辨率重建算法是一类比较新的技术,它能够将低分辨率图像转化为高分辨率图像,使得图像的细节展现更为清晰,分辨率更高。

超分辨率重建算法在计算机视觉、图像处理等领域有着广泛的应用。

本文将对超分辨率重建算法进行综述,包括算法的原理、应用场景、评估指标、常见算法等等。

一、算法原理超分辨率重建算法的原理是基于对于低分辨率图像的补偿和对于高分辨率图像的估计。

补偿可以通过从高分辨率图像产生若干个低分辨率图像,然后根据这些低分辨率图像来推测高分辨率图像的方式得到。

而对于高分辨率图像的估计则是基于图像本身具有的一些高维度特征信息,比如纹理、边缘等等来实现的。

其中,最近邻插值、双三次插值、双线性插值等算法都属于传统的插值算法,而基于学习的超分辨率算法则结合了图像处理和机器学习等技术,是超分辨率技术目前的主流算法。

二、应用场景超分辨率重建算法在实际应用中有很广泛的应用场景,例如在摄影、医学图像处理、视频编码、远程监控等领域都有着重要的作用。

1.摄影在拍摄过程中,由于拍摄距离或者相机带宽等原因导致图像分辨率不高,这时候使用超分辨率重建就可以将原本的低分辨率图像转化为高分辨率图像,让细节展现更为鲜明。

2.医学图像处理在医学图像的处理中,超分辨率重建技术可以用于放大小尺寸图像,以此更好地展示出不同组织之间的界面。

3.视频编码超分辨率重建技术可以用于视频编码中对低分辨率帧进行重建,减少编码的带宽需求和传输时间,同时提高画面质量。

4.远程监控在远程监控领域,超分辨率重建技术也有着广泛的应用。

例如,可以对长时间进行的视频进行重建提高图像质量,或者对远程拍摄的对象放大细节等等。

三、评估指标超分辨率重建算法的评估指标通常包括PSNR(Peak Signal to Noise Ratio)和SSIM(Structural Similarity Index Measure)等。

PSNR是图像重建算法中常用的评估指标,它可以衡量图像的峰值信噪比,一般越高代表重建的质量越好,但是PSNR并不能完全反映图像的质量,还需要结合SSIM等指标一起评估。

空间自适应正则化超分辨率图像重建

空间自适应正则化超分辨率图像重建

空间自适应正则化超分辨率图像重建袁建华【期刊名称】《计算机应用》【年(卷),期】2009(029)011【摘要】超分辨率图像重建是一个病态问题,在重建过程中需要正则化处理,而正则化重建会引入正则化误差及重建过程中由于病态性而引入的噪声放大误差,且这两类误差均和图像的空间局部特性有关.提出根据图像的局部空间统计特性自适应控制超分辨率图像正则化重建算法,采用图像局部统计方差来区分图像棱边区域及平滑区域,在图像的棱边区域加强图像的约束重建,而在图像的平滑区域加强正则化.实验表明该算法能有效地减小重建误差,算法的信噪比得益优于传统的正则化重建算法及总变分模型重建算法,并且对正则化参数的选择具有一定的鲁棒性.%Super-resolution image processing is an ill-posed problem, which needs to be regularized in the reconstruction. There are two class regularization errors in the regularized reconstruction image, which are related strongly to the local structures encountered within the image. An algorithm about super-resolution image reconstruction was proposed, which could reconstruct the super-resolution image adaptively based on the image local structures. The edge region and the smooth region were distinguished by the image local statistic variance. The observed model was reinforced in the edge region during the reconstruction, while the regularization was emphasized in the smooth region. The experiments show this algorithm is better thanthe traditional algorithms and the TV reconstruction algorithms, and is robust to the regularization parameter.【总页数】3页(P3008-3010)【作者】袁建华【作者单位】南京工业大学,电子与信息工程学院,南京,210009【正文语种】中文【中图分类】TP391.41【相关文献】1.一种参数自适应正则化超分辨率图像重建算法 [J], 林玉明;赵勋杰;沈琪琪2.基于自适应加权的正则化超分辨率图像重建 [J], 马飞;苏敏;杨晓梅3.基于加权低分辨率图像的自适应正则化图像重建 [J], 王抒;齐苏敏4.基于加权低分辨率图像的自适应正则化图像重建 [J], 王抒;齐苏敏5.自适应正则化超分辨率磁共振图像重建 [J], 彭洁;徐启飞;冯衍秋;吕庆文;陈武凡因版权原因,仅展示原文概要,查看原文内容请购买。

正则化图像超分辨率重建算法

正则化图像超分辨率重建算法

正则化图像超分辨率重建算法1. MAP 正则化算法理论介绍图像超分辨率重建问题是一个病态的问题,而在求解中加入先验信息可以提供一个很好的正则化机制来获得具有物理意义的解。

贝叶斯(Bayesian )方法可以用先验概率分布的形式来加入先验限制,从而可以获得超分辨率问题的正则解,而且该方法在近年的研究中被证明十分有效,因此成为图像超分辨率重建的主要方法之一。

贝叶斯的基本思想是:假设原始图像X 和降质图像Y 都是随机场,当概率()|P X Y 取最大值时,X 代表了在已知降至图像Y 时,原始图像X 的最大可能,被称为X 的最大后验概率估计。

()()()()arg max || arg max MAP X X X P X Y P Y X P X P Y =⎡⎤⎣⎦⎡⎤=⎢⎥⎣⎦(1)由于以e 为底数的log 函数是单调递增函数,因此可以将上述概率函数取log对数,不会影响最大值的结果。

()()()arg max log log log MAP X X Y X P X P Y ⎡⎤=+-⎣⎦(2)由上式可知,()log P Y 与MAP X 取得最大值无关,因此可以忽略不计。

由此可得:()()arg max log log MAP X X Y X P X ⎡⎤=+⎣⎦(3)假定图像的噪声是均值为0,方差为2σ的高斯分布,则在给定的HR 图像的当前估计X 的条件下,LR 图像的概率密度为:()22,,,,,|exp(()2)2k i j k i j k n i jP Y X Y Y σπσ=--∏(4)由此可得()22,,,,,22,,,,,,2,,,,,,ˆarg max log |arg max log ()2)arg min ()2arg min ()X X i j k i j k n i j X i j k i j k n i j k X i j k i j k i j k X P Y X Y Y Y Y Y Y σσ⎡⎤=⎣⎦⎡⎤=--⎢⎥⎢⎥⎣⎦⎡⎤=-⎢⎥⎣⎦⎡⎤=-⎢⎥⎣⎦∑∑ (5)上式中,由于方差齐次性,所以可以消去n σ的影响。

一种纹理自适应正则化超分辨率图像重建算法

一种纹理自适应正则化超分辨率图像重建算法

一种参数自适应正则化超分辨率图像重建算法摘要:在正则化超分辨率重建算法中,正则化参数自适应对于抑制噪声和保持边缘非常重要。

参数自适应通常是通过建立空间信息与参数的关系来实现的。

在近期文献中,提出了一些空间信息自适应超分辨率重建方法,取得了较好的实验结果。

然而在这些方法中,提取空间信息方法的计算量大,导致重建速度慢,限制了算法的应用。

提出一种快速空间信息提取方法,并构建自适应参数模型,实验结果显示,该方法在大幅提高重建速度的同时,获得了更好的重建效果。

关键词:正则化;超分辨率重建;参数自适应;纹理保持Regularization Image Super-resolution Reconstruction Using Adaptive ParameterAbstract :In regularization image super-resolution reconstruction, adaptive regularization parameter is very important for reducing noise and keeping texture. In general, regularization parameter adjusted adaptively is implemented by building a calculation formula which relates the parameter with the local texture feature. In recent work, several methods of adaptive regularization parameter were proposed and the test shows that the quality of reconstruction is enhanced. However, in the algorithms, calculation for local texture feature take too much time and it lead to long reconstruction time, which limit its applicability. In this paper, we develop an adaptive regularization approach based on the fact that the regularization parameter should be a function of local texture feature. The performance of the proposed approach has been tested on several images and the obtained results demonstrate the superiority of our approach compared with existing methods.Key words :regularization ,super-resolution reconstruction ,adaptive parameter ,texture preserving0 引言图像超分辨率重建是指由一幅低分辨率图像或图像序列恢复出高分辨率图像的技术,利用超分辨率重建技术可以提高现有成像设备的分辨率[1]。

图像超分辨率重建算法及应用研究

图像超分辨率重建算法及应用研究

图像超分辨率重建算法及应用研究随着科技的发展,图像的应用也越来越广泛,如医学影像的诊断、视频监控、卫星遥感等。

然而,采集到的图像往往存在分辨率低、失真等问题,如何提升图像质量成为了一个十分重要的问题。

图像超分辨率重建算法便应运而生,成为了极具挑战性和实用性的研究课题。

什么是图像超分辨率重建?所谓图像超分辨率,是指将低分辨率(LR)图像转换成高分辨率(HR)图像,即从原始图像中重建出更高分辨率的图像。

超分辨率重建的核心是推测缺失的高频细节信息,达到提升图像细节、清晰度、真实性的效果。

当前常用的图像超分辨率重建算法1.插值法:插值是指根据已知数据构造出未知数据的方法,当采样率越高时,重建效果越好,但计算复杂度也随之变高。

常见的插值方法有最近邻插值、双线性插值、双三次插值等。

2.缩小图像反演:该方法是从LR图像出发,通过反演过程重建HR图像。

缩小图像反演主要分为两种方法:基于手工设计的算法和基于学习的算法。

前者依靠手工制作的规则来推理图像的细节信息,后者通过机器学习的方式推断高频细节信息。

3.基于统计的方法:该方法中主要使用了多个LR图像来构建HR图像。

例如,超分辨率可逆的盲方法(CSC-RM)、高斯混合模型(GMM)等方法。

4.基于学习的方法:此方法主要借助于图像处理和机器学习的相关知识,利用一对LR和HR图像,通过样本学习来构建映射函数,从而实现从LR到HR图像的转换。

应用场景图像超分辨率重建技术可以应用于医学成像、电影制作、安防监控和无人驾驶汽车等领域。

例如,在医学成像领域,对于血管的影像、肿瘤影像等都需要进行超分辨率处理,以提高诊断的准确性和有效性。

总结近年来,随着计算机硬件以及机器学习算法的发展,图像超分辨率重建技术的性能和效果不断提高。

虽然已取得了一定的研究成果,但由于其复杂度和局限性,仍有需要探索和突破的地方。

随着技术的发展,图像超分辨率重建技术将会有更广泛的应用。

  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

正则化图像超分辨率重建算法
1. MAP 正则化算法理论介绍
图像超分辨率重建问题是一个病态的问题,而在求解中加入先验信息可以提供一个很好的正则化机制来获得具有物理意义的解。

贝叶斯(Bayesian )方法可以用先验概率分布的形式来加入先验限制,从而可以获得超分辨率问题的正则解,而且该方法在近年的研究中被证明十分有效,因此成为图像超分辨率重建的主要方法之一。

贝叶斯的基本思想是:假设原始图像X 和降质图像Y 都是随机场,当概率
()|P X Y 取最大值时,X 代表了在已知降至图像Y 时,原始图像X 的最大可能,
被称为X 的最大后验概率估计。

()()()()arg max || arg max MAP X X X P X Y P Y X P X P Y =⎡⎤⎣⎦
⎡⎤
=⎢⎥
⎣⎦
(1)
由于以e 为底数的log 函数是单调递增函数,因此可以将上述概率函数取log
对数,不会影响最大值的结果。

()()()arg max log log log MAP X X Y X P X P Y ⎡⎤=+-⎣⎦
(2)
由上式可知,()log P Y 与MAP X 取得最大值无关,因此可以忽略不计。

由此可得:
()()arg max log log MAP X X Y X P X ⎡⎤=+⎣⎦
(3)
假定图像的噪声是均值为0,方差为2σ的高斯分布,则在给定的HR 图像的
当前估计X
的条件下,LR 图像的概率密度为: (
)22,,,,,|()2)k i j k i j k n
i j
P Y X Y Y σ=-- (4)
由此可得
(
)22,,,,,22,,,,,,2,,,,,,ˆarg max log |arg max log ()2)arg min ()2arg min ()X X i j k i j k n i j X i j k i j k n i j k X i j k i j k i j k X P Y X Y Y Y Y Y Y σσ⎡⎤=⎣⎦
⎡⎤=--⎢⎥
⎢⎥⎣⎦⎡⎤=-⎢⎥
⎣⎦
⎡⎤=-⎢⎥⎣⎦
∑∑ (5)
上式中,由于方差齐次性,所以可以消去n σ的影响。

2. 图像超分辨率重建的正则化处理
由于图像成像系统降质过程模型表达式为:
y Hx n =+
(6) 图像超分辨率重建问题转化为求解使下式达到最小值的X
2ˆarg min X X
Y HX =-
(7)
其Euler-Lagrange 方程为:
T T H HX H Y =
(8)
由此可看出,H 及Y 的很小变化就会造成解的很大变化,从而导致解不连续依赖于观测数据,所以这种情况是病态的。

由于上述问题,我们通常加入正则化项2
CX α,对X 进行约束,构造正则化泛函如下:
{
}2
2
ˆarg min X
X
Y HX CX
α=-+
(9)
2Y HX -表示数据拟合项,通过已知数据和未知数据的差来衡量数据拟合程
度;2
CX α是正则项,用来平衡数据的奇异性,并补偿降质图像所丢失的一些信息,使问题不在病态;α为正则化参数,起平衡正则项和数据项的作用,其值
的变化,可以影响数据的平滑性和数据拟合误差,直接影响重建数据的效果;C 通常代表高通滤波。

上式作为代价函数是凸函数,可以找到唯一解
1()T T T x H H C C H y α-=+
(10)
但由于逆矩阵的求解十分复杂,本文采用迭代下降算法求解重建图像,可以得到迭代表达式为:
1(())T T T k k k k x x H y H H x C C x α+=+-+ (11)
222
2
()15k k
x y Hx y
α=-
(12)
其中,k x 表示第k 次迭代的结果,迭代终止准则如下:
21
2
22
k k k
x x x ε
--≤ (13)
满足收敛条件后,终止迭代。

相关文档
最新文档