多尺度上采样方法的轻量级图像超分辨率重建
- 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。
第 22卷第 4期2023年 4月
Vol.22 No.4
Apr.2023软件导刊
Software Guide
多尺度上采样方法的轻量级图像超分辨率重建
蔡靖,曾胜强
(上海理工大学光电信息与计算机工程学院,上海 200093)
摘要:目前,大多数图像超分辨率网络通过加深卷积神经网络层数与拓展网络宽度提升重建能力,但极大增加了
模型复杂度。
为此,提出一种轻量级图像超分辨率算法,通过双分支特征提取算法可使网络模型一次融合并输出不
同尺度的特征信息,组合像素注意力分支分别对各像素添加权重,仅以较少参数为代价增强像素细节的特征表达。
同时,上采样部分结合亚像素卷积与邻域插值方法,分别提取特征深度、空间尺度信息,输出最终图像。
此外,组合注
意力机制的亚像素卷积分支也进一步强化了重要信息,使输出图像具有更好的视觉效果。
实验表明,该模型在参数
量仅为351K的情况下达到了与参数量为1 592K的CARN模型相似的重建性能,在部分测试集中的SSIM值高于
CARN,证实了所提方法的有效性,可为轻量级图像超分辨率重建提供新的解决方法。
关键词:图像超分辨率重建;轻量级;像素注意力;多尺度上采样;图像处理
DOI:10.11907/rjdk.221516开放科学(资源服务)标识码(OSID):
中图分类号:TP391.41 文献标识码:A文章编号:1672-7800(2023)004-0168-07
Lightweight Image Super-resolution Reconstruction using Multi-scale
Upsampling Method
CAI Jing, ZENG Sheng-qiang
(School of Optical-Electrical and Computer Engineering,University of Shanghai for Science and Technology,Shanghai 200093, China)Abstract:At present, most image super-resolution networks improve the reconstruction ability by deepening the convolution neural network layers and expanding the network width, but greatly increase the model complexity. To this end, a lightweight image super-resolution algo‐rithm is proposed. Through the two-branch feature extraction algorithm, the network model can be fused and output the feature information of different scales at one time, and the pixel attention branches are combined to add weights to each pixel respectively, which only enhances the feature expression of pixel details at the cost of fewer parameters. In addition, the up-sampling part combines subpixel convolution and neigh‐borhood interpolation methods to extract feature depth and spatial scale information respectively, and output the final image. In addition, the subpixel convolution integral branch of the combined attention mechanism further strengthens the important information and makes the output image have better visual effect. The experimental results show that the model achieves similar reconstruction performance to the CARN model with a parameter quantity of 1 592K when the parameter quantity is only 351K, and the SSIM value in some test sets is higher than the CARN value, which confirms the effectiveness of the proposed method and can provide a new solution for lightweight image super-resolution recon‐struction.
Key Words:image super-resolution; lightweight; pixel attention; multi-scale upsampling; image processing
0 引言
图像超分辨率重建是指将低分辨率图像重建为与之对应的高分辨率图像重建,在机器视觉和图像处理领域是非常重要的课题。
超分辨率重建在医学成像[1]、视频监控和安全[2]等领域具有广泛的应用场景,除了能提高图像感知质量外,还有助于改善其他机器视觉任务[3]。
然而,图像超分辨率任务是一个不适定问题,因为重建过程中会存在多张高分辨率图像对应一张低分辨率图像。
因此,研究重建性能高、适应性强的超分辨率算法至关重要。
Harris[4]于1964年提出超分辨率重建任务,目前主要的重建方法包括插值法、重构法和基于学习的方法。
其中,传统的插值法包括近邻插值、双线性、双三次线性插值
收稿日期:2022-05-10
作者简介:蔡靖(1997-),男,上海理工大学光电信息与计算机工程学院硕士研究生,研究方向为图像处理;曾胜强(1997-),男,上海理工大学光电信息与计算机工程学院硕士研究生,研究方向为动作识别。
本文通讯作者:蔡靖。
第 4 期蔡靖,曾胜强:多尺度上采样方法的轻量级图像超分辨率重建
等方法是最早提出的超分辨率重建方法,此类方法利用临近像素值人为计算出某一位置的像素,虽然易于解释和实现,但由于仅基于图像自身的信息提高分辨率,实验结果存在明显的边缘效应,细节恢复效果较差;重构法可分为频域法[5]、空域法[6],此类方法需要预先配准图像,操作复杂、效率较低、计算量大且难以保证重建精度,处理复杂退化模型的能力有限;基于学习的方法主要包括基于样例学习、基于深度学习,基于样例学习的方法包括基于图像自相似性[7]、基于邻域嵌入[8]和基于稀疏表示的方法[9]。
本文研究方法属于基于深度学习的超分辨率算法。
Dong等[10]提出一个3层卷积神经网络——超分辨率图像卷积网络(Convolutional Network for Image Super-Resolu‐tion, SRCNN),自此将深度学习引入图像超分辨率领域,但相较于深层网络拟合能力较弱,无法高效学习低分辨率图像到高分辨率图像的映射。
为此,Dong等[11]提出快速超分辨率图像卷积网络(Faster Super-Resolution Convolu‐tion Neural Network, FSRCNN)进一步提升重建效果。
近年来,研究人员在拓展网络深度、宽度的基础上,极大提升了所提超分辨率算法的网络性能。
Kim等[12]提出深度卷积神经网络超深超分辨卷积神经网络(Very Deep Super-Resolution Convolution Neural Network,VDSR),将网络层数加深到至20层,引入残差学习思想既有效解决了随着网络加深带来的梯度消失问题,又提升了模型拟合能力。
受到递归学习启发,Kim等[13]在VDSR基础上提出深度递归卷积网络(Deeply-Recursive Convolutional Network,DRCN),取得了更优的重建效果。
深层网络虽然能提升网络性能,但会带来梯度消失问题。
针对该问题,He等[14]提出深度残差网络(Deep Resid‐ual Network, ResNet),通过融合浅层、深层信息有效解决了梯度方面的问题。
Huang等[15]提出密集连接网络(Densely Connected Convolutional Network,DenseNet)高度融合不同卷积层的特征。
Tong等[16]将DenseNet融入超分辨率任务中提出SRDenseNet,取得了较好的效果。
上述网络模型在各通道对图像特征映射中均作出了相同处理,但在人类视觉环境中,图像在不同区域、通道中的重要性各不相同,注意力机制起源于人眼系统能筛选重要信息而忽略其他次要信息这一生物特性。
Hu等[17]考虑到不同通道间的交互作用,设计注意力机制SENet (Squeeze-and-Excitation Network),首次提出通道注意力机制,通过全局平均池化将每个输入通道压缩到一个通道描述符中,利用Sigmoid函数产生每个通道的重要系数。
Zhang等[18]结合通道注意力机制与超分辨率提出残差通道注意力网络(Residual Channel-attention Network,RCAN),显著提升了模型性能。
Woo等[19]提出注意力机制网络CBAM(Convolutional Block Attention Module),在通道注意力的基础上增加空间注意力机制。
Zhao等[20]首次提出像素注意力机制,相较于通道注意力与空间注意力,像素注意力机制能对所有像素分别分配权重,采用一个1×1的卷积核减少了网络参数引用。
近年来,多种深度神经网络[21]被引入以改善重建结果。
然而,大量的参数和昂贵的计算成本限制了深度神经网络在实际中的应用,通常使用递归或参数共享策略来减少实验参数[22],但在减少参数的同时增加了网络深度或宽度,导致计算复杂度大幅增加。
为此,部分研究者设计轻量且高效的网络结构,避免使用递归模型。
例如,Hui 等[23]提出一种信息蒸馏网络(Information Distillation Net‐
work, IDN),该网络明确地将提取的特征分为两部分,一部分保留,另一部分进一步处理,以获得良好的性能,但在各通道处理图像的特征映射方法相同,存在改进空间。
本文提出一种轻量级的网络,以更好地平衡模型性能与适用性,主要贡献为:①提出双分支特征提取模块。
多尺度提取图像特征信息,结合注意力机制、残差和密集连接加强特征提取;②提出多尺度上采样重构模块。
该模块相较于传统上采样方法能够具有更丰富的纹理细节,并且目前鲜有将注意力机制引入重构阶段的研究;③提出轻量级的图像超分辨率网络。
实验证明,所提算法不仅保持了较低的参数量,还具有更高的重建效率与视觉效果。
1 像素注意力
通道注意力的目标是生成一维(C×1×1)注意力特征向量,空间注意力是生成二维(1×H×W)注意力特征图,而像素注意力(Pixel Attention, PA)可生成一个三维(C×H×W)注意力特征。
其中,C为通道数,H、W为特征图的高和宽。
如图1所示(彩图扫OSID码可见,下同)。
其中,GP为Global Pooling,FC为Fully Connected,C为
(a) Channel attention
(a)
通道注意力
(b) Spatial attention
(b)
空间注意力
(c) Pixel attention
(c) 像素注意力
Fig. 1 Comparison of attention mechanism
图1 注意力机制比较
·
·169
2023 年
软件导刊Convolution ,S 为Sigmoid ,像素注意力只使用1×1的卷积核和Sigmoid 函数得到注意力权重,再与输入特征相乘,在引入少量参数的前提下,分别计算每个像素的权重。
将输入特征图定义为x m -1,输出特征图定义为x m ,PA 可表示为:
x m =f PA (x m -1)⋅x m -1
(1)
式中,f PA 为1×1卷积加Sigmoid 运算。
2 网络结构
本文提出残差与像素注意力相结合的双分支卷积网
络(Two-branch with Residual and Pixel-attention Convolu‐tional Network , TRPCN ),该网络主要由密集残差特征提取模块(Feature Extract with Residual and Dense Block , FER‐DB )与像素注意力上采样模块(Upsampling with Pixel-at‐
tention Block , UPAB )构成。
如图2所示,输入的低分辨率图像首先由一个特征提
取层FE (Feature Extraction )提取浅层特征;然后通过核心特征提取模块FERDB ,该模块包括16个双通道注意力残差块(Two-branch with Residual and Pixel-attention Block , TRPB ),一层卷积核大小为1的特征聚合层和两个3×3的卷积层;最后由像素注意力机制和上采样层组成的上采样
模块UPAB 进行处理输出高分辨率图像。
2.1 FE 层
FE 层用来初步提取特征,为了降低模型参数量,仅由
一个大小为3的卷积核组成。
x 0=f conv 3(I LR )(2)
式中,f conv 3为3×3卷积运算,I LR 为输入的低分辨率图像
特征。
2.2 FERDB 模块
2.2.1 TRPB 模块
FERDB 的内部核心特征提取模块为前段的16个
TRPB 块,如图3(a )所示。
首先将特征分别经过两个1×1的卷积层输入特征提取分支,每个分支特征维度减半以降低参数;然后合并提取出的特征,由1×1卷积层增加各通道特征的交互性,输出通道还原为输入特征通道数;最终通过跳跃连接将其与浅层特征进行融合,输出特征x n 。
x n =x n -1+f conv 1(x 'n ,x "
n )
(3)式中,x 'n 特征通道为像素注意力残差分支,
由像素注意力与浅层残差块(Shallow Residual Block , SRB )组成,x "
n 特征通道为浅层残差分支。
SRB 的非线性变换如式(4)所示,组成结构如图3(b )
所示。
x "n =f relu (x "n -1+f conv 3(x "n -1))
(4)
式中,激活函数采用LReLU ,f conv 3表示卷积核大小为3的卷积运算。
2.2.2 FERDB 整体模块
如图4所示,TRBP 模块连接后段的特征聚合层组成
FERDB 模块。
特征聚合层通过聚合浅层特征与核心TRBP
模块提取的特征,通过非线性变换输出深度特征F df 。
F df =f conv 3(F r )
(5)
LR
SR
Fig. 2 Network structure
图2 网络结构
Xn-1
Xn
(a )
TRPB
X''n
(b ) SRB
Fig. 3 TRPB and SRB structure
图3 TRPB 和SRB 结构
Fdf
Fig. 4 FERDB structure 图4 FERDB 结构
··170
第 4 期蔡靖,曾胜强:多尺度上采样方法的轻量级图像超分辨率重建式中,F r 为将浅层特征与密集特征进行残差聚合的深度特征。
F r =x 0+f conv 3(f conv 1(x j ))
(6)
式中,f conv 1为密集特征聚合层,
用卷积核大小为1的卷积层合并16个TRPB 块的密集特征信息x j ,然后降维输出。
x j =f cat (x 1,x 2,⋅⋅⋅,x n )
(7)
2.3 UPAB 上采样模块
如图5所示,输入特征分别由一条单上采样分支与一条基于PA 的上采样分支进行提取,融合后输出最终图像。
本文所提方法相较于目前使用的单通道上采样而言,能提取特征的深度与空间信息,像素注意力分支使输出图像纹理信息更丰富,单上采样分支也保留了图像的边缘信息。
当上采样尺度为2或3时,仅进行图5(a )所示一次上采样;当上采样尺度为4时,进行图5(b )所示两次尺度为2的上采样。
其中,Upsample1为亚像素卷积上采样;为降低参数量,Upsample2采用邻域插值上采样。
3 实验结果与分析
3.1 数据集和评价指标
本文将DIV2K 作为训练数据集,DIV2K 由1 000张2K 分辨率图片构成,以8∶2的比例划分训练集与验证集。
为提高训练速度和样本数量,将每副图像进行交叉划分,每隔一段像素截取一张480×480的小图像,最终得到超过三千张可供训练和验证的小图像。
训练时再随机水平翻转和90°旋转图像进行数据增强。
测试阶段,采用Set5[24]、Set14[25]、B100[26]、Ur‐
ban100[27]作为测试集。
评价指标采用峰值信噪比(Peak Signal to Noise Ratio , PSNR )和结构相似性(Structure Simi‐larity Index , SSIM ),均在Y 通道进行测试。
(1)峰值信噪比。
其是信号的最大功率和噪声功率
之比。
PSNR =10*log 10(
(2n -1)2
MSE )
(8)MSE =
1
H *W
∑0
H -1∑0
W -1(I
sr
(i ,j )-I hr (i ,j ))
2
(9)
式中,MSE 为重建图像和高清图像间的均方误差,H 、W 表示图像尺寸。
一般PSNR 指标越高重建效果越好。
(2)SSIM 。
其是衡量两幅图像相似度的指标,取值范围为[0,1],SSIM 值越大表示图像失真程度越小,图像质量越高,给定两张图像x 、y ,SSIM 计算公式如式(10)所示。
SSIM (x ,y )=
2μx μy +c 1
σ2x +σ2y +c 1·
2σxy +c 2
σ2x +σ2
y +c 2
(10)
式中,μx 为x 像素的均值,μy 为y 像素的均值,σ2x 为x 的
方差,σ2y 为y 的方差,
σxy 表示x 和y 的协方差,c 1、c 2为常数,c 1=(k 1L )2,c 2=(k 2L )2,
一般k 1=0.01、k 2=0.03、L =255。
3.2 训练细节与损失函数3.2.1 训练细节
实验硬件平台为Intel (R ) Core (TM ) i7-9800X CPU ,
NVIDIA RTX2080,操作系统为Linux ,采用CUDA11.5加速
训练。
训练时,Batchsize=32,优化器选用Adam ,初始学习率设为10-3,迭代周期为250K 次,最低学习率为10-7,总迭代1 000K 次。
3.2.2 损失函数
算法采用L1损失,通过损失函数计算重建图像与高
分辨率图像间的像素误差。
L pixel _l 1(I ,I )=1hwc ∑h ,j ,k
|
|I i ,j ,k -I i ,j ,k
(11)
式中,h 、w 、c 分别表示高、宽、特征通道数,I 为重建图
像,I 为高分辨率图像。
3.3 实验结果
实验在4个公开数据集上分别测试比较了放大两倍、
3倍和4倍的重建性能,如表1所示。
由此可见,本文所提
Output
Intput
(a ) Up-sampling scale is 2 and 3
(a ) 上采样尺度为2和3
(c ) PA (Pixel-attention )(c ) PA (Pixel-attention )
Output
Intput
(b ) Up-sampling scale is 4(b ) 上采样尺度为4
Fig. 5 Structure of upsampling module
图5 上采样模块结构
·
·171
2023 年软件导刊
模型参数量最多不到370K,但性能优于大多数最先进方法。
具体而言,CARN与本文模型具有相似的性能,但参数接近1 592K,大约为本文模型的4倍;IMDN为AIM2019超分挑战赛排名第一的算法,仍具有715K的参数量。
除了比较PSNR、SSIM指标外,本文还对以上部分算法进行了视觉效果比较,如图6-图10所示。
图6从左至右分别为Set5、Set14、B100、Urban100中选取的高分辨率图像,分别截取图中一部分作为HR图片,然后通过Bicubic算法进行4倍下采样后才作为测试图片。
图7-图10从左至右分别为截取的原始HR图片、SRCNN、VDSR、CBPN-S、LESRCNN、IMDN、CARN和本文所提算法处理后的图片。
由此可见,本文所提算法重建的图像更好地还原了纹理,相较于其他算法避免了细节处的平滑处理,与原图更接近。
综上,TRPCN 算法在性能和模型复杂度方面取得了更好的权衡。
3.4 复杂度分析
本文通过参数量、计算量这两个指标分析所提算法的轻量性。
在重建尺度为4时,分别比较DSR、DRCN、CB‐PN-S、LESRCNN这4个网络,如表2所示。
由此可见,本文算法在参数量、计算量上均为最优。
3.5 消融实验
为验证上采样方法的有效性,本文对图5中其他上采样组合进行比较试验,实验均在Set5验证集上进行4倍上采样验证,结果如表3所示。
方案1:关闭Upsample2通道,Upsample1采用亚像素卷积上采样。
方案2:Upsample1、Upsample2均采用邻域插值上采样。
方案3:Upsample1、Upsample2均采用亚像素卷积上采样。
Table 1 PSNR and SSIM index comparison 表1 PSNR和SSIM指标对比
比例×2×3×4
算法
SRCNN[10]
VDSR[12]
CARN[29]
IMDN[30]
CBPN-S[28]
LESRCNN[31]
Ours
SRCNN[10]
VDSR[12]
CARN[29]
IMDN[30]
LESRCNN[31]
Ours
SRCNN[10]
VDSR[12]
CARN[29]
IMDN[30]
CBPN-S[28]
LESRCNN[31]
Ours
参数量/K
57
666
1 592
694
430
533
324
57
666
1 592
694
533
367
57
665
1 592
715
592
552
351
Set5
PSNR/SSIM
36.66/0.954 2
37.53/0.958 7
37.76/0.959 0
38.00/0.960 5
37.69/0.958 3
37.65/0.958 6
37.97/0.960 5
32.75/0.909 0
33.66/0.921 3
34.29/0.925 5
34.36/0.927 0
33.93/0.923 1
34.35/0.927 0
30.48/0.862 8
31.35/0.883 8
32.13/0.893 7
32.21/0.894 8
31.93/0.890 8
31.88/0.890 3
32.12/0.894 6
Set14
PSNR/SSIM
32.45/0.906 7
33.03/0.912 4
33.52/0.916 6
33.63/0.917 7
33.36/0.914 7
33.32/0.914 8
33.54/0.917 3
29.30/0.821 5
29.77/0.831 4
30.29/0.840 7
30.32/0.841 7
30.12/0.838 0
30.29/0.841 9
27.49/0.750 3
28.01/0.767 4
28.60/0.780 6
28.58/0.781 1
28.50/0.778 5
28.44/0.777 2
28.57/0.781 4
B100
PSNR/SSIM
31.36/0.887 9
31.90/0.896 0
32.09/0.897 8
32.19/0.899 6
32.02/0.897 2
31.95/0.896 4
32.16/0.899 7
28.41/0.786 3
28.82/0.797 6
29.06/0.803 4
29.09/0.804 6
28.91/0.800 5
29.06/0.804 4
26.90/0.710 7
27.29/0.725 1
27.58/0.734 9
27.56/0.735 3
27.50/0.732 4
27.45/0.731 3
27.56/0.735 7
Urban100
PSNR/SSIM
29.50/0.894 6
30.76/0.914 0
31.92/0.925 6
32.17/0.923 8
31.55/0.921 7
31.45/0.920 6
32.02/0.927 0
26.24/0.798 9
27.14/0.827 9
28.06/0.849 3
28.17/0.851 9
27.70/0.841 5
28.17/0.850 1
24.52/0.722 1
25.18/0.752 4
26.07/0.783 7
26.04/0.783 8
25.85/0.777 2
25.77/0.773 2
26.03/0.784 3
Fig. 7 Comparison of reconstruction effect at scale 4 from Set5
图7 Set5重建尺度为4
的效果比较
Fig. 6 Original images of Set5, Set14, B100 and Urban100 dataset
图6 Set5、Set14、B100、Urban100原图
·
·172
第 4 期蔡靖,曾胜强:多尺度上采样方法的轻量级图像超分辨率重建
方案4:Upsample2采用邻域插值上采样,Upsample1采用亚像素卷积上采样。
由表3可见,相较于方案2、3、4,方案1只使用了单一的亚像素卷积上采样,虽然参数量较少,但PSNR不高。
虽然同样融入了PA,但方案3的亚像素卷积上采样相较于方案2的插值上采样拥有更高的评价指标,可见深度学习方法使输出特征加入了更多非线性变换,最终输出图像的信息更丰富。
方案4同时采用亚像素卷积和插值上采样,并在亚像素卷积分支融入PA,不仅使输出特征加入了更多非线性变换,还丰富了输出图像的纹理细节,进一步加强了输出图像的结构特征,使输出图像具有更好的视觉效果。
4 结语
本文提出一种轻量级的卷积神经网络实现图像超分辨率重建任务,不同于堆砌神经网络深度或宽度来提升算法性能,通过合理利用卷积与注意力机制,设计多通道特征提取块,在降低参数量的同时,保证了模型的重建效果。
此外,多尺度的上采样重构模块加强了生成图像的纹理细节,使其更接近于真实图像。
实验表明,本文所提模型能实现与最先进的超分辨率网络相当的性能。
参考文献:
[1] HUANG Y, SHAO L, FRANGI A F. Simultaneous super-resolution and cross-modality synthesis of 3D medical images using weakly-supervised
joint convolutional sparse coding[C]// Proceedings of the IEEE Conference
on Computer Vision and Pattern Recognition, 2017: 6070-6079.
[2] RASTI P, UIBOUPIN T, ESCARLEAR S, et al. Convolutional neural net‐work super resolution for face recognition in surveillance monitoring[C]// Proceedings of the International Conference on Articulated Motion and De‐
formable Objects, 2016: 175-184.
[3] BAI Y, ZHANG Y, DING M, et al. Sod-MTGAN: small object detection via multi-task generative adversarial network[C]// Proceedings of the Eu‐
ropean Conference on Computer Vision, 2018: 206-221.
[4] HARRIS J L. Diffraction and resolving power[J]. Journal of the Optical Society of America, 1964, 54(7): 931-936.
[5] TSAI R. Multiframe image restoration and registration[J]. Advance Com‐puter Visual and Image Processing, 1984, 1: 317-339.
[6] PANAGIOTOPOULOU A, ANASTASSOPOULOS V. Super-resolution im‐age reconstruction employing Kriging interpolation technique[C]// Pro‐
ceedings of the International Workshop on Systems, Signals and Image Pro‐
cessing and 6th EURASIP Conference focused on Speech and Image Pro‐
cessing, Multimedia Communications and Services, 2007: 144-147.[7] FREEMAN W T,JONES T R,PASZTOR E C.Example-based super-resolution[J]. IEEE Computer Graphics and Applications, 2002, 22(2):56-65.
[8] CHANG H, YEUNG D Y, XIONG Y. Super-resolution through neighbor embedding[C]// Washington: 2004 IEEE Computer Society Conference on
Computer Vision and Pattern Recognition, 2004.
[9] YANG J,WRIGHT J,HUANG T S,et al.Image super-resolution via sparse representation[J]. IEEE Transactions on Image Processing, 2010,19(11):
2861-2873.
Fig. 8 Comparison of reconstruction effect at scale 4 from Set14
图8 Set14重建尺度为4
的效果比较
Fig. 9 Comparison of reconstruction effect at scale 4 from B100
图9 B100重建尺度为4
的效果比较
Fig. 10 Comparison of reconstruction effect at scale 4 from Urban100
图10 Urban100重建尺度为4的效果比较
Table 3 Ablation experiment
表3 消融实验
方案
1
2
3
4
参数量/K
303
329
368
351
PSNR/dB
32.01
32.07
32.11
32.12
Table 2 Model complexity comparison
表2 模型复杂度比较
算法
VDSR[12]
CARN[29]
CBPN-S[28]
LESRCNN[31]
Ours
参数量/K
665
1 592
592
552
351
计算量/G
612.6
90.9
63.1
70.6
25.7
·
·173
2023 年软件导刊
[10] DONG C,LOY C C,HE K,et al.Image super-resolution using deep convolutional networks[J].IEEE Transactions on Pattern Analysis and
Machine Intelligence, 2015, 38(2): 295-307.
[11] DONG C, LOY C C, TANG X. Accelerating the super-resolution convo‐lutional neural network[C]// Proceedings of the European Conference on
Computer Vision, 2016: 391-407.
[12] KIM J, LEE J K, LEE K M. Accurate image super-resolution using very deep convolutional networks[C]// Las Vegas: 2016 IEEE Conference on
Computer Vision and Pattern Recognition, 2016.
[13] KIM J, LEE J K, LEE K M. Deeply-recursive convolutional network for image super-resolution[C]// Las Vegas: 2016 IEEE Conference on Com‐
puter Vision and Pattern Recognition, 2016.
[14] HE K, ZHANG X, REN S, et al. Deep residual learning for image recog‐nition[C]// Las Vegas: 2016 IEEE Conference on Computer Vision and
Pattern Recognition, 2016.
[15] HUANG G,LIU Z,VAN DER MAATEN L,et al.Densely connected convolutional networks[C]// Hawaii: 2017 IEEE Conference on Comput‐
er Vision and Pattern Recognition, 2017.
[16] TONG T, LI G, LIU X, et al. Image super-resolution using dense skip connections[C]// Hawaii:2017 IEEE Conference on Computer Vision
and Pattern Recognition, 2017.
[17] HU J,SHEN L,SUN G.Squeeze-and-excitation networks[C]// Salt Lake City: 2018 IEEE Conference on Computer Vision and Pattern Rec‐
ognition, 2018.
[18] ZHANG Y, LI K, LI K, et al. Image super-resolution using very deep residual channel attention networks[C]// Proceedings of the European
Conference on Computer Vision, 2018: 286-301.
[19] WOO S, PARK J, LEE J Y, et al. CBAM: Convolutional block attention module[C]// Proceedings of the European conference on Computer Vi‐
sion, 2018: 3-19.
[20] ZHAO H, KONG X, HE J, et al. Efficient image super-resolution using pixel attention[C]// Proceedings of the European Conference on Comput‐
er Vision, 2020: 56-72.
[21] ZHANG W, LIU Y, DONG C, et al. RANKSRGAN: generative adver‐sarial networks with ranker for image super-resolution[C]// Seoul: 2019
the IEEE/CVF International Conference on Computer Vision, 2019.[22] LAI W S, HUANG J B, AHUJA N, et al. Fast and accurate image su‐per-resolution with deep Laplacian pyramid networks[J]. IEEE Transac‐
tions on Pattern Analysis and Machine Intelligence,2018,41(11):
2599-2613.
[23] HUI Z, WANG X, GAO X. Fast and accurate single image super-resolu‐tion via information distillation network[C]// Proceedings of the IEEE
Conference on Computer Vision and Pattern Recognition,2018:
723-731.
[24] BEVILACQUA M, ROUMY A, GUILLEMOT C, et al. Low-complexity single-image super-resolution based on nonnegative neighbor embedding
[C]// Surrey: Electronic Proceedings of the British Machine Vision Con‐
ference , 2012.
[25] YANG J,WRIGHT J,HUANG T S,et al.Image super-resolution via sparse representation[J].IEEE Transactions on Image Processing,
2010, 19(11): 2861-2873.
[26] MARTIN D, FOWLKES C, TAl D, et al. A database of human segment‐ed natural images and its application to evaluating segmentation algo‐
rithms and measuring ecological statistics[C]// Proceedings of the 8th
IEEE International Conference on Computer Vision, 2001: 416-423.[27] HUANG J B, SINGH A, AHUJA N. Single image super-resolution from transformed self-exemplars[C]// Boston: 2015 IEEE Conference on Com‐
puter Vision and Pattern Recognition, 2015.
[28] ZHU F, ZHAO Q. Efficient single image super-resolution via hybrid re‐sidual feature learning with compact back-projection network[C]//
Seoul:2019 IEEE/CVF International Conference on Computer Vision
Workshops, 2019.
[29] AHN N, KANG B, SOHN K A. Fast, accurate, and lightweight super-resolution with cascading residual network[C]// Proceedings of the Euro‐
pean Conference on Computer Vision, 2018: 252-268.
[30] HUI Z,GAO X,YANG Y,et al.Lightweight image super-resolution with information multi-distillation network[C]// Proceedings of the 27th
ACM International Conference on Multimedia, 2019: 2024-2032.[31] TIAN C, ZHUGE R, WU Z, et al. Lightweight image super-resolution with enhanced CNN[J].Knowledge-Based Systems,2020,205:
106235.
(责任编辑:刘嘉文)
··174。