单帧图像超分辨率重建的深度神经网络综述

2019年第3期 信息通信2019

(总第 195 期）INFORMATION&COMMUNICATIONS(Sum.N o 195)单帧图像超分辨率重建的深度神经网络综述

康士伟,孙水发，陈晓军，魏晓燕

(三峡大学水电工程智能视觉监测湖北省重点实验室，湖北宜昌443002)

摘要：随着硬件计算能力的显著提升，深度神经网络广泛应用于计算机视觉和图像处理的各个领域，获得了突出成果，受 这种方法启发，单顿图像超分辨率重建(Super-resolution Reconstruction，SR)也引入深度学习思想，并且重建效果远远超越 传统算法，成为研究的热点并迅速成为主流技术。将对深度神经网络的单帧图像超分辨率重建技术分为两类(基于传统深度神经网络的单帧图像超分辨率重建和基于生成对抗网络的单帧图像超分辨率重建和）进行阐述，以此为基础，对单 帧图像超分辨率技术的发展趋势进行展望。

关键词：单帧图像;超分辨率重建;计算机视觉；图像处理；生成对抗网络

中图分类号:TP391 文献标识码:A文章编号:1673-1131(2019)03-0024-04

A Review on Single Image Super-resolution Reconstruction Based on Deep Neural Network

Kang Shiwei,Sun Shuifa,Chen xiaojun,Wei Xiaoyan

(China Three Gorges University Hubei Key Laboratory of Intelligent Vision Based Monitoring

for Hydroelectric Engineering,Yichang443002, China)

Abstract:With the significant improvement of hardware computing power,deep neural networks are widely used in various fi­elds of computer vision and image processing,and have achieved outstanding results.Inspired by this,the field of single image Super-resolution Reconstruction(SR)is also introduced deep learning ideas,and performance beyond traditional algorithms,be­come a research hotspot and become mainstream technology.In this paper,the existing image super-resolution reconstruction techniques based on deep neural networks are divided into two categories(traditional deep neural single image super-resolution reconstruction and generation adversarial networks for single image super-resolution reconstruction)for description,Based on this,we will look into the development of image super-resolution technology.

K ey words:single image;super-resolution reconstruction;computer vision;image processing;generation adversarial network

〇引言

在获得图像时会受到天气、成像设备像素较低，和背景运 动变化等影响，因此在实际成像时会存在许多不确定因素，获得 的图像质量比较差、娜率比较低，导致达不到要求后续图像处 理、分析的要求。图像超分辨率重建w(Super-Resolution Resto­ration，SR)是用低分辨率 (Low Resolution,LR) 图像或视频序 列重建出对应的高分辨率(High Resolution,HR)图像的过程, 以获得较高分辨率的图片用于卫星遥感图像、医学图像、视频 监控、无人驾驶等计算机视觉和图像处理领域。图像超分辨 率重建可分为单帧图像超分辨率重建和视频超分辨率重建，本文着重阐述单幀图像超分辨率重建(Single Image Sper-res-olution Rconstruction,SISR)

单帧图像超辨率重建是一个病态反问题，因为低分辨率 图像对应多个高分辨率结果。传统算法如插值、重建和浅层 学习算法在图像重建过程中往往会出现高频细节丢失、边缘 模糊等问题，为了解决这个问题,在其他领域表现突出的深度 神经网络被Dong®等人引入单帧图像超分辨率重建中，这种 方法能很好地映射出低分辨率图像和高分辨率图像的关系，并且在放大倍数较大时都具有较好的重建效果，成为当前的 研究热点。

本文将把基于深度神经网络的单帧图像超分辨率重建分为两类进行阐述,S卩:基于传统深度神经网络的单帧图像超分 辨比率重建和基于生成对抗网络的单帧图像超分辨率重建。基于传统深度神经网络的图像超分辨率重建追求峰值信噪比 (Peak signal-to-noise Ratio,PSNR)和结构性相似性(Structural Similarity Index,SSIM)的提升，而基于生成对抗网络的图像超分辨率追求重建出的图像具有更好的高频特征细节，使其更 加符合人眼主观视觉效果，更具真实感。对单帧图像超分辨 率重建网络进行梳理、分析及总结后,我们将展望其发展。

1基于传统深度神经网络的单帧图像超分辨比率重建

深度神经网络是一种多层端到端人工神经网络，基于深度 神经网络的单帧图像超分辨率重建算法有以下优势：①可直

接输入多维数据进行网络训练;②具有局部权值共享的优点，可以降低训练参数；③具有强力的特征学习能力以及建模能力。所以可以更好地重建出高分辨率图像。基于传统深度神 经网络的单帧图像超分辨率重建可以分为以下几类：深度卷 积神经网络、深度递归神经网络,下面将分类详细阐述其网络 架构和原理，并用峰值信噪比和结构相似性作为评价标准对其性能进行分析。

1.1基于深度卷积神经网络的单帧图像超分辨率重建

SRCNN121(Super-Resolution Convolutional Neural Network)由D o n g等人首次提出用于解决超分辨率重建问题。该网络 含有三个卷积层:图像块提取和表示层、非线性映射层和重构 层，如图1所示。

n n块礅构

图1SR C N N网络结构

此网络先对低分辨率图像进行双三次插值放大为目标大 小，然后用卷积神经网络进行非线性映射，最后重建出高分辨

24