基于改进卷积神经网络的单幅图像物体重建方法
改进传统卷积神经网络的图像超分辨率重建方法
改进传统卷积神经网络的图像超分辨率重建方法传统卷积神经网络的图像超分辨率重建方法一直以来都是计算机视觉领域的研究热点之一。
随着深度学习的兴起，卷积神经网络被广泛应用于图像超分辨率重建任务中，取得了显著的进展。
然而，传统的卷积神经网络在图像超分辨率重建中还存在一些不足之处，如模糊、失真等问题。
为了改进传统卷积神经网络的图像超分辨率重建方法，研究者们提出了一些创新性的方法。
一种改进传统卷积神经网络的图像超分辨率重建方法是引入了残差学习。
传统的卷积神经网络通常通过多个卷积层进行特征提取，然后通过上采样或反卷积层进行图像重建。
这种方法容易丢失一些高频细节信息，导致重建的图像模糊。
而残差学习通过在网络中引入跳跃式的连接，使网络能够直接学习图像的残差信息。
这样可以有效地保留原始图像的细节信息，在图像重建时能够更好地恢复细节。
另一种改进方法是引入注意力机制。
注意力机制模仿人类视觉系统的注意力机制，通过学习图像的重要区域来提高超分辨率重建的性能。
传统的卷积神经网络并不会显式地关注图像的不同部分，而注意力机制可以使网络更加关注重要的局部区域，并有针对性地进行特征提取和图像重建。
这种方法可以有效地提高网络对图像细节的重建能力。
另外，还有一种改进方法是引入生成对抗网络（GAN）。
GAN是一种生成模型，由一个生成器和一个判别器组成。
生成器负责生成合成图像，判别器负责判断生成的图像是真实的还是合成的。
传统的卷积神经网络只关注重建图像的内容，而生成对抗网络通过判别器的反馈，可以使网络生成更真实、更清晰的图像。
这种方法可以有效地提高图像超分辨率重建的质量，并减少产生模糊等问题。
除了上述提到的方法，还有一些其他的改进方法。
例如，使用残差网络和金字塔结构的组合方法。
这个方法通过将不同分辨率的图像输入网络中，结合低分辨率图像的全局信息和高分辨率图像的细节，能够更好地重建高分辨率图像。
另外，一些研究者也探索了新的损失函数和训练策略，以进一步改进超分辨率重建的性能。
基于深度学习的单幅图像超分辨率重建
基于深度学习的单幅图像超分辨率重建随着科技的不断发展，人们对图像清晰度的要求也越来越高。
然而，由于图像分辨率的限制，我们往往无法获得我们想要的高清图像。
这时，就需要超分辨率技术来提高图像的清晰度。
传统的超分辨率方法基本上都是基于插值算法的，这种方法的缺点是无法从本质上提升图像的质量，因为它只是放大了低分辨率图像，使其看起来更清晰。
而基于深度学习的超分辨率方法通过学习高分辨率和低分辨率图像之间的映射关系，可以从本质上提高图像的质量。
在深度学习中，卷积神经网络是一种常用的方法，利用其可以学习到图像中的特征，从而达到超分辨率的目的。
直接使用卷积神经网络来处理大分辨率的图像数据是不切实际的，因为高分辨率的图像数据包含了大量的信息，网络的训练会非常缓慢。
因此，在超分辨率中使用的卷积神经网络通常都是一些轻量级的网络结构，如VDSR、SRCNN、ESPCN等。
VDSR是一种被广泛运用于超分辨率的深度神经网络，可以有效地提高图像的质量。
该网络采用残差学习策略，学习低分辨率图像和高分辨率图像之间的恒等映射函数，从而从本质上提高图像的质量。
SRCNN是一种深度神经网络，采用三个卷积层来提取图像的特征，并将其作为输入的特征信息。
该网络的输入为低分辨率图像，输出为高分辨率图像，采用均方差作为损失函数训练网络。
ESPCN是一种超分辨率神经网络模型，可以针对不同的图像分辨率进行处理，并且实现了实时的超分辨率处理。
ESPCN采用了一个密集的Upscale模块，将低分辨率图像恢复到特定分辨率，然后采用shortcut连接和波长域扩张技术来保留图像的高频信号，从而提高图像的清晰度。
总体来说，基于深度学习的超分辨率方法有其独特的优势和不足。
它们可以通过学习到图像的特征来提高图像的质量，但是需要耗费大量的时间和计算资源来训练网络，并且往往需要学习特定的模型来处理特定的数据集。
未来，我们期望基于深度学习的超分辨率方法可以更加通用和高效，为我们提供更优质的图像处理体验。
单幅图像的CNN超分辨率重建方法研究
单幅图像的CNN超分辨率重建方法研究摘要：超分辨率技术是图像处理中的一个热门技术，其目的是提高图像的分辨率以获得更高的清晰度和更多的细节信息。
虽然传统的插值方法可以实现图像的分辨率增强，但在保持细节信息方面表现不佳。
近年来，基于深度学习的超分辨率技术获得了广泛关注，特别是使用卷积神经网络（Convolutional Neural Network，CNN）的超分辨率重建方法。
本文针对单幅图像的超分辨率重建问题，提出了一种基于CNN的超分辨率重建方法。
该方法采用了深度卷积神经网络（Deep ConvolutionalNeural Network，DCNN）来学习低分辨率图像与高分辨率图像之间的映射。
通过对实验结果的分析和比较，证明了该方法在处理图像超分辨率重建问题中的有效性和优越性。
关键词：超分辨率重建、卷积神经网络、深度学习、图像处理、低分辨率图像、高分辨率图像第一章绪论超分辨率技术是一种通用的图像技术，其主要目的是将低分辨率（Low-Resolution, LR）图像转换为高分辨率（High-Resolution, HR）图像。
在很多应用场景中，如数字视频、媒体传输、卫星图像等领域，高分辨率图像的质量和数量不断提高。
但是，由于诸如图像噪声、镜头品质和数字压缩等因素的存在，很多情况下，我们只能得到低分辨率图像。
因此，超分辨率技术成为了一项非常有前途的技术，可以用于提高图像质量和提供更多的图像细节信息。
过去，基于传统插值方法的超分辨率技术已经在某些领域得到了广泛的应用。
这些技术可以根据LR图像中的像素值来生成HR图像的像素值。
然而，这种方法在保持图像细节信息方面效果不佳。
近年来，深度学习的出现，为超分辨率技术的发展带来了新的机遇。
在计算机视觉领域，卷积神经网络（CNN）被广泛应用于图像分类、对象检测和语义分割等领域。
在超分辨率领域，CNN也常常被作为一种有效的方法被使用，通过学习LR图像和HR图像之间的映射关系，得到更高质量的HR图像。
使用卷积神经网络进行图像修复任务的技巧和方法
使用卷积神经网络进行图像修复任务的技巧和方法近年来，随着深度学习技术的飞速发展，卷积神经网络（Convolutional Neural Networks，CNN）在图像处理领域中的应用越来越广泛。
其中，使用CNN进行图像修复任务已经成为一种热门的研究方向。
本文将介绍一些使用CNN进行图像修复任务的技巧和方法，帮助读者更好地理解和应用这一技术。
首先，为了能够进行图像修复任务，我们需要一个包含有缺损图像和相应修复图像的训练数据集。
这个数据集是训练CNN模型的基础，对于模型的性能和效果有着至关重要的影响。
通常，我们可以通过从互联网上收集大量的图像对来构建这个数据集。
然后，我们需要对这些图像对进行预处理，包括裁剪、缩放和灰度化等操作，以便于模型的训练和测试。
接下来，我们需要选择一个适合图像修复任务的CNN模型。
目前，常用的图像修复模型有UNet、DeepFill和GatedConv等。
这些模型在结构和参数设置上各有特点，可以根据具体的任务需求选择合适的模型。
同时，我们还可以根据需要对这些模型进行改进和优化，以提高修复效果和性能。
在训练CNN模型之前，我们需要确定一个合适的损失函数来衡量修复图像与真实图像之间的差异。
常用的损失函数有均方误差（Mean Square Error，MSE）、结构相似性指数（Structural Similarity Index，SSIM）和感知损失（Perceptual Loss）等。
这些损失函数可以在一定程度上反映修复图像的质量和真实性。
在训练CNN模型时，我们可以使用一些数据增强技术来增加数据的多样性和丰富性，从而提高模型的泛化能力。
常用的数据增强技术包括旋转、翻转和加噪等操作。
此外，我们还可以使用迁移学习的方法，将预训练好的模型参数应用到图像修复任务中，以加快模型的训练速度和提高修复效果。
当CNN模型训练完成后，我们可以将其应用到实际的图像修复任务中。
在进行图像修复时，我们需要将待修复的图像输入到CNN模型中，然后通过模型的输出得到修复后的图像。
卷积神经网络中的图像修复方法解析
卷积神经网络中的图像修复方法解析卷积神经网络（Convolutional Neural Network，CNN）是一种在图像处理领域中广泛应用的深度学习模型。
在图像修复方面，CNN具有很高的效果和准确性。
本文将探讨卷积神经网络在图像修复中的方法和技术。
首先，我们来了解一下图像修复的概念。
图像修复是指通过算法和技术对受损或缺失的图像进行恢复和修复的过程。
在实际应用中，图像可能因为各种原因而受损，比如噪声、模糊、遮挡等。
这些问题会导致图像的质量下降，影响图像的可视化效果和信息的传递。
在传统的图像修复方法中，通常会使用一些数学模型和算法，比如插值、滤波和边缘检测等。
这些方法虽然在一定程度上可以修复图像，但是在复杂的场景下效果有限。
而卷积神经网络作为一种基于数据驱动的方法，可以通过学习大量的图像数据，自动提取特征并进行图像修复。
卷积神经网络的图像修复方法主要包括以下几个步骤：数据预处理、网络结构设计、训练和测试。
首先是数据预处理。
在图像修复中，通常需要对输入图像进行预处理，比如去噪、去模糊等。
这样可以减少网络的计算复杂度，并提高修复效果。
常用的预处理方法包括高斯滤波、均值滤波和中值滤波等。
接下来是网络结构设计。
在图像修复中，卷积神经网络通常采用编码-解码（Encoder-Decoder）结构。
编码器部分负责提取输入图像的特征，而解码器部分则负责将特征映射回原始图像。
为了进一步提高修复效果，可以在网络中引入一些注意力机制（Attention Mechanism）和残差连接（Residual Connection）等技术，以增强网络的感知能力和修复能力。
然后是训练过程。
在训练中，我们需要准备一组带有噪声或缺失的图像作为输入，以及对应的原始图像作为标签。
通过最小化网络输出与标签之间的差异，可以使网络学习到图像修复的能力。
为了提高网络的泛化能力，可以采用一些数据增强技术，比如随机裁剪、旋转和翻转等。
最后是测试过程。
基于多层连接卷积神经网络的单帧图像超分辨重建
Vol. 36 No. 5May 2019第36卷第5期2019年5月计算机应用与软件Computer Applications and Software基于多层连接卷积神经网络的单帧图像超分辨重建贺瑜飞I 高宏伟V1 （榆林学院数学与统计学院 陕西榆林719000）"榆林学院现代设计与先进制造技术研究中心陕西榆林719000）摘要 现有光电观瞄装备采取的电子变倍功能大都是采用线性插值进行放大重建，存在细节不明显，边缘 模糊的现象。
针对目前超分辨重建算法存在的问题，提出一个多连接卷积网络。
该网络构建出多连接网络结构,通过一个较长的跳跃式策略进行恒等映射，实现低层次特征和髙级特征的级联，能够同时表征各种复杂的重构场 景。
采用双参数损失函数来优化训练深度网络，提高网路模型的泛化能力。
仿真实验结果表明，该方法能够生成具有丰富细节而且清晰的高分辨红外图像，同时也在客观定量评价上都有很大提高。
关键词 超分辨重建红外图像深度学习特征级联损失函数恒等映射中图分类号TP37文献标识码ADOI ：10.3969/j. issn. 1000-386x. 2019. 05.038SUPER-RESOLUTION RECONSTRUCTION USING MULTILAYER CONNECTEDCONVOLUTIONAL NEURAL NETWORK FOR SINGLE-FRAME IMAGEHe Yufei 1 Gao Hongwei 1 21 (School of Mathematics and Statistics , Yulin University , Yulin 719000、Shaanxi , China )' (Research Center for Contemporary Design and Advanced Manufacturing Technology , Yulin University , Yulin 719000、Shaanxi , China )Abstract Most of the electronic magnification functions adopted by existing photoelectric sight equipment aremagnified and reconstructed by linear interpolation , and the details are not obvious and the edges are blurred. In thispaper , we proposed a multi-connection convolutional network to solve the problems of the super-resolution reconstruction(SR) algorithm. The network constructed a multi-connection network structure , where a long skip strategy was used to obtain the identity mapping. It could concatenate the low-level features and high-level features , and simultaneouslyrepresented various complex reconstruction scenes. A two parameter loss function was applied to optimize and train the deep network and improve the generalization ability of the network model. The simulation results show that the proposedSR algorithm can generate high resolution infrared images with rich details and clearness , and the objective quantitative evaluation is also greatly improved.Keywords Super-resolution reconstruction Infrared Identity mapping0引言红外图像是由红外探测器将入射的红外辐射信号 转变成电信号而形成的图像，不受环境光线的影响，具有全天候，全天时的能力，在预警、监控等军事领域有 着广泛的应用。
基于卷积神经网络的图像修复算法研究
基于卷积神经网络的图像修复算法研究图像修复是指在图像质量差、图像缺失或噪声干扰情况下，通过图像处理技术进行图像恢复的过程。
目前，图像修复算法的研究越来越受到关注，其中基于卷积神经网络的图像修复算法备受关注。
1. 前言随着人工智能技术的迅速发展，卷积神经网络已经被广泛应用于计算机视觉领域。
在计算机视觉中，图像修复是一个热门的研究方向。
鉴于此，本文将着重讨论基于卷积神经网络的图像修复算法。
2. 基本原理卷积神经网络是一种在计算机视觉领域非常流行的深度学习算法。
其原理是通过一系列的卷积、下采样、全连接等操作，将输入的图像转化为一定的特征向量，然后通过反向传播学习得到最优的网络权重，从而实现图像的分类、检测、分割等任务。
在图像修复算法中，卷积神经网络主要用于从输入图像中学习出缺失部分的特征，并采用学习到的特征进行图像恢复。
3. 基于卷积神经网络的图像修复算法基于卷积神经网络的图像修复算法主要分为两类：基于生成式对抗网络（GAN）的算法和基于编码-解码网络的算法。
3.1 基于GAN的算法GAN是一种非常流行的生成式模型，其主要思想是通过两个神经网络进行博弈，一个生成器和一个判别器。
生成器的任务是将随机噪声转化成接近于真实数据的假样本，判别器的任务是将随机噪声转化成真实数据与假样本的鉴别能力。
在基于GAN的图像修复算法中，图像处理过程被视为生成器的任务，判别器的任务是评估生成的修复图像与原始图像的相似度。
通过不断反复的训练，生成器能够生成高质量的修复图像。
此外，为了防止生成器产生模糊的修复图像，有些GAN-based的算法还增加了一个辅助网络，称为“辅助重建网络”，用于限制生成器产生的修复图像的模糊程度。
3.2 基于编码-解码网络的算法基于编码-解码网络的图像修复算法通常包括两个部分：编码网络和解码网络。
编码网络是由一系列卷积层和下采样层组成，其主要任务是将输入的图像进行编码，提取其特征信息。
解码网络是由一系列升采样层和卷积层组成，其主要任务是将编码得到的特征信息通过自适应反卷积得到修复图像。
基于多层卷积神经网络学习的单帧图像超分辨率重建方法
基于多层卷积神经网络学习的单帧图像超分辨率重建方法刘娜;李翠华
【期刊名称】《中国科技论文》
【年(卷),期】2015(010)002
【摘要】构建了一个应用于超分辨率重建的PMJ模型
(perception,memory,judgment-super resolution,PMJ-SR),在感知阶段对图像进行初步的特征提取;在记忆阶段使用深度卷积神经网络学习得到超分辨率重建的过完备字典;在决策阶段,将过完备字典作为超分辨率重建的依据,对单帧图像进行超分辨率重建.实验结果表明,该模型对单帧图像具有良好的重建能力,能够较好地重建低分辨率图像.
【总页数】6页(P201-206)
【作者】刘娜;李翠华
【作者单位】厦门大学信息科学与技术学院计算机科学系,福建厦门361005;厦门大学信息科学与技术学院计算机科学系,福建厦门361005
【正文语种】中文
【中图分类】TP391.4
【相关文献】
1.基于反向投影的单帧图像超分辨率重建方法 [J], 王乐
2.基于多层卷积神经网络学习的单帧图像超分辨率重建方法 [J], 刘娜;李翠华;
3.基于非负矩阵分解的单帧人脸图像超分辨率重建方法 [J], 李翊凡; 郭常忠
4.基于反向投影的单帧图像超分辨率重建方法 [J], 王乐
5.基于双字典正则化的单帧图像超分辨率重建方法 [J], 崔琛;张凯兵
因版权原因，仅展示原文概要，查看原文内容请购买。
基于卷积神经网络的图像复原（一改）
基于卷积神经网络的图像复原（一改）基于卷积神经网络的图像复原技术摘要数字图像的处理就是将图像的信号转换成为数字格式，并用计算机进行加工和处理的过程。
图像复原是数字图像处理领域一个重要的研究方向，它是指去除或减轻在数字图像过程中发生的图像质量下降(退化)，这些退化包括由光学系统、运动等造成的图像模糊，以及源自电路和光度学因素的噪声。
图像复原的目标是对退化的图像进行处理，使它趋向于复原成没有退化的理想图像，图像数字化包括量化和取样。
图像复原的基本思路：预先建立图像退化的数学模型，然后对退化图像进行拟合。
图像的复原模型可以用连续数学和离散数学处理，预处理项的实现可在空间域卷积，或在频域相乘。
经典的图像复原方法有逆滤波法、卡尔曼滤波法。
奇异值分解伪逆法、最大熵复原法等等，这些要么面临着高维方程的计算问题，要么要求恢复过程必须满足广义平稳过程假设，这些大大降低了图像复原广泛的应用。
而神经网络以其强大的自学习、强鲁棒性、自适应性以及并行处理方面的优势被广泛运用到各个领域。
本文从卷积神经网络的基本概念和算法出发，深入研究卷积神经网络理论，旨在传统的神经网络结构基础上改进其固定结构，并基于此理论算法进一步开展图像复原的深入研究。
(1)首先，简单介绍人工神经网络与卷积神经网络国内外研究现状以及其基本概念和基本原理，阐述其基本结构和网络参数，指出目前卷积神经网络的优缺点。
(2)为了验证卷积神经网络对图像复原的优越性，本文将列举一些传统图像复原前后图片以突出卷积神经网络的优越，此外设计了适应本系统的卷积核和激励函数。
并通过实验证明了卷积神经网络比传统模式识别方法更高效的识别性能。
(3)针对传统卷积神经网络缺乏对于具体问题的网络配置设计理论，网络设计常常按具体问题根据经验来设计，然而其结构均由人工实现设定的，其神经元数目、连接数均是固定的而不能进行任何调节的问题。
本文提出了一个动态生长的卷积神经网络结构，使其自动找到适合于应用需求的合理结构。
一种基于卷积神经网络的超分辨率图像重建方法[发明专利]
![一种基于卷积神经网络的超分辨率图像重建方法[发明专利]](https://img.taocdn.com/s3/m/af0bfc7332687e21af45b307e87101f69e31fb29.png)
(19)中华人民共和国国家知识产权局(12)发明专利申请(10)申请公布号 (43)申请公布日 (21)申请号 202110337413.9(22)申请日 2021.03.30(71)申请人 哈尔滨理工大学地址 150080 黑龙江省哈尔滨市南岗区学府路52号(72)发明人 李鹏飞 李丽丽 (74)专利代理机构 黑龙江立超同创知识产权代理有限责任公司 23217代理人 杨立超(51)Int.Cl.G06T 3/40(2006.01)G06K 9/46(2006.01)G06K 9/62(2006.01)G06N 3/04(2006.01)G06N 3/08(2006.01)(54)发明名称一种基于卷积神经网络的超分辨率图像重建方法(57)摘要一种基于卷积神经网络的超分辨率图像重建方法，属于图像处理技术领域，用以解决现有的超分辨率卷积神经网络的运行速度慢、得到的图像质量不理想、图像分辨率较低、训练网络梯度易消失等问题。
本发明的技术要点包括：对现有超分辨率卷积神经网络模型进行改进，包括：使缩放图像发生在模型后段进行后上采样操作；后上采样为基于学习的上采样‑亚像素方法；加深了网络层数，并在网络中加入了残差网络；并进一步将经过上述改进的超分辨率卷积神经网络模型作为生成对抗网络中的生成网络，并和对抗网络相整合，进一步提高图像重建效率。
本发明可广泛应用于超分辨率图像重建研究领域。
权利要求书2页 说明书11页 附图5页CN 112837224 A 2021.05.25C N 112837224A1.一种基于卷积神经网络的超分辨率图像重建方法，其特征在于，包括以下步骤：步骤一、获取训练图像数据集和测试图像数据集；其中，所述图像为低分辨率图像；步骤二、设定训练参数和内容损失函数，构建改进的超分辨率卷积神经网络模型；步骤三、使用所述训练图像数据集作为所述改进的超分辨率卷积神经网络模型的输入，调整所述训练参数直至所述内容损失函数最小化，获得训练好的超分辨率卷积神经网络模型；步骤四、将所述测试图像数据集输入训练好的超分辨率卷积神经网络模型，获得高分辨率图像。
基于卷积神经网络的深度图像重建算法研究
基于卷积神经网络的深度图像重建算法研究深度图像重建是计算机视觉领域中一个重要的问题，其主要目标是基于给定的输入图像，重建出一个具有深度信息的三维模型。
深度图像重建一直是研究者们的关注点，目前已经有很多方法被提出来，其中基于卷积神经网络的深度图像重建算法具有很好的效果。
一、深度学习在计算机视觉中的应用深度学习作为机器学习的重要分支，在计算机视觉领域中得到了广泛应用。
深度学习通过模拟人类大脑的神经网络结构，实现了对于复杂数据的高效处理和理解。
卷积神经网络是深度学习中的一种重要架构，它特别适合处理图像数据。
在计算机视觉中，深度学习被用于图像分类、目标检测、图像分割、语义分割等任务。
这些任务都需要对于图像进行高维特征提取和分析，在传统的图像处理方法中，特征提取需要人工设计特征，这一过程往往十分耗时且效果有限。
深度学习通过自动学习特征的方式，大大提高了图像处理任务的效率和准确率。
二、深度图像重建算法的基本理论深度图像重建算法的基本思想是从输入图像中，推测出隐含在其中的深度信息。
具体来说，就是需要基于已有的二维图像，预测出每个像素点所对应的深度值，这样就可以生成一个带有深度信息的三维模型。
深度信息的获取对于很多应用是必要的，比如虚拟现实、增强现实等。
深度图像重建算法的关键在于如何准确地推测出每个像素点的深度值。
这需要设计一个有效的模型，能够将输入的图像转化为预测的深度图像。
在这方面，基于卷积神经网络的方法得到了广泛的应用。
三、基于卷积神经网络的深度图像重建算法基于卷积神经网络的深度图像重建算法可以简要概括为下面几步：- 输入图像预处理。
首先需要对于输入的图像进行预处理，包括图像缩放、归一化等操作。
- 特征提取。
在卷积神经网络中，包含多个卷积层和池化层，这些层能够提取图像的特征，捕捉到图像中的模式。
- 特征融合。
将特征图像进行融合，得到一个全局的特征图像，这里的特征图像是指在卷积神经网络中提取出的特征。
这一步操作可以理解为对于图像的特征进行总结和概括。
基于改进的卷积神经网络的深度图像重建技术研究
基于改进的卷积神经网络的深度图像重建技术研究近年来，深度学习技术在计算机视觉领域得到了广泛的应用，并在图像重建领域展现出了良好的表现。
深度图像重建技术可以通过输入2D图像，通过神经网络进行计算和训练，以获取一个相对精确的3D图像。
其中基于改进的卷积神经网络的深度图像重建技术备受关注，下文将对其原理、优缺点、应用等进行分析和研究。
一、原理卷积神经网络（Convolutional Neural Network，CNN）是一种前馈神经网络，主要应用于图像识别、自然语言处理等领域。
在深度图像重建技术中，基于CNN的深度学习技术可以将2D图像转化为3D图像，在保持准确性的同时，大大降低了重建的复杂度。
基于改进的卷积神经网络的深度图像重建技术使用的是ResNet （Residual Network）模型或U-Net（Fully Convolutional Networks）模型，这两种模型都在CNN的原有结构上进行了改进，具有更强的表达能力和更高的精度。
ResNet模型主要通过引入残差连接（skip connection）来解决梯度消失问题，从而达到更好的网络性能；U-Net模型则在卷积神经网络的结构基础上，添加了上采样（Upsampling）模块和下采样（Downsampling）模块，使得网络可以将低分辨率图像转换为高分辨率图像，从而达到更好的重建效果。
二、优缺点1. 优点（1）相比于传统的3D重建技术，基于改进的卷积神经网络的深度图像重建技术无需获取大量的3D数据，只需要输入少量的2D图像即可实现3D重建，大大降低了重建的复杂度。
（2）基于改进的卷积神经网络的深度图像重建技术具有更高的准确性和更好的表达能力，可以在细节方面获得更好的效果。
（3）基于改进的卷积神经网络的深度图像重建技术还拥有更高的自适应性，可以对不同的物体和不同的环境进行自适应拟合，同时可以对医学影像和遥感影像等多种类型的图像进行重建。
基于三通道卷积神经网络的单幅图像超分辨率重建方法[发明专利]
![基于三通道卷积神经网络的单幅图像超分辨率重建方法[发明专利]](https://img.taocdn.com/s3/m/84aa77be3c1ec5da51e2708d.png)
专利名称：基于三通道卷积神经网络的单幅图像超分辨率重建方法
专利类型：发明专利
发明人：陈剑涛,黄德天
申请号：CN202010523197.2
申请日：20200610
公开号：CN111640067A
公开日：
20200908
专利内容由知识产权出版社提供
摘要：本发明提供了图像处理领域的一种基于三通道卷积神经网络的单幅图像超分辨率重建方法，包括如下步骤：步骤S10、获取图像的数据集，并基于所述数据集创建复数张高分辨率图像以及高分辨率图像所对应的低分辨率图像；步骤S20、创建三通道卷积神经网络模型，并利用所述三通道卷积神经网络模型对各高分辨率图像和低分辨率图像进行训练，并生成低分辨率图像与高分辨率图像的映射关系；步骤S30、利用均方误差损失函数对所述映射关系进行优化；步骤S40、基于优化后的所述映射关系，将待重建的低分辨率图像输入所述三通道卷积神经网络模型，输出重建后的高分辨率图像。
本发明的优点在于：实现不增加网络深度和模型参数的前提下，极大的提升了重建图像的质量。
申请人：华侨大学
地址：362000 福建省泉州市城华北路269号华侨大学
国籍：CN
代理机构：泉州市文华专利代理有限公司
代理人：陈雪莹
更多信息请下载全文后查看。
基于卷积神经网的单幅图像超分辨率重建算法
第29卷 第9期 计算机辅助设计与图形学学报Vol.29 No.9 2017年9月Journal of Computer-Aided Design & Computer GraphicsSep. 2017收稿日期: 2016-09-06; 修回日期: 2017-02-15. 基金项目: 教育部博士点基金(20130005110017). 刘晨羽(1987—), 女, 博士研究生, 主要研究方向为超分辨率重建; 蒋云飞(1993—), 男, 硕士研究生, 主要研究方向为深度学习; 李学明(1969—), 男, 博士, 教授, 博士生导师, 主要研究方向为信号处理、多媒体技术、图形图像处理.基于卷积神经网的单幅图像超分辨率重建算法刘晨羽, 蒋云飞, 李学明(北京邮电大学信息与通信工程学院 北京 100876) (elysion@)摘 要: 为重建边缘清晰平滑的高分辨率图像, 提出一种基于卷积神经网的单幅图像超分辨率重建算法. 该算法使用固定大小的小卷积核, 有效地提取梯度信息; 设计深度为6层的卷积神经网, 重建出边缘更清晰的图像, 在一定程度上抑制了边缘的振铃效应; 使用更大的样本库进行训练, 避免发生过拟合. 实验结果表明, 虽然文中算法在Dong 的卷积神经网超分辨率重建算法所提供的小训练库上优势不明显; 但在ImageNet 这类大训练库上, 该算法重建的高分辨率图像在主观视觉感受和客观图像质量评价(如峰值信噪比)上都有更好的表现.关键词: 单幅图像超分辨率重建; 卷积神经网; 深度学习 中图法分类号: TP391.41Single Image Super-resolution Reconstruction Using Convolutional Neural NetworksLiu Chenyu, Jiang Yunfei, and Li Xueming(School of Information and Communication Engineering, Beijing University of Posts and Telecommunications , Beijing 100876)Abstract: To reconstruct high resolution image with smooth edges, a single image super-resolution algorithm on convolutional neural networks is proposed in this paper. Very small receptive fields were adapted through-out the whole net, extracting gradient information effectively. By presenting a model with 6 weight layers, we obtained high resolution images with smoother edges and suppressed ringings to a certain extent. Also a larger training set was used in proposed algorithm to avoid over-fitting. While proposed algorithm has little im-provement on training set given by Dong’s SRCNN algorithm, it achieves a better performance both in subjec-tive and objective quality evaluation on a relatively larger training set extracted from ImageNet.Key words: single image super-resolution reconstruction; convolutional neural networks; deep learning 图像超分辨率(super-resolution, SR)重建算法使用低分辨率(low resolution, LR)图像恢复出相应的高分辨率(high resolution, HR)图像, 旨在增加LR 图像中的高频成分, 是计算机视觉领域中的经典热门问题. 该算法能够突破硬件设备的限制, 获得更高清晰度的图像, 是经济可行的提高图像分辨率的途径, 在卫星遥感、医学图像诊疗、视频监控、模式识别等领域, 为进一步图像分析提供更加清晰的图像源.SR 重建算法大致可分为插值法、基于重构的方法和基于学习的方法3类. 插值法根据图像先验信息和统计模型进行插值计算, 如NEDI (new edge-directed interpolation)方法[1]使用LR/HR 图像块局部协方差之间的几何对偶性进行像素内插;1644 计算机辅助设计与图形学学报第29卷基于重构的方法从同一场景下的多帧LR图像中提取高频信息, 融合生成HR图像; 基于学习的方法通过LR-HR样本库训练获得LR图像块/特征与HR 图像块/特征的映射关系, 预测输入LR图像的HR 重建结果.由于单幅图像的SR重建算法的输入只有一幅LR图像, 通常使用基于学习的方法进行HR重建. 算法使用的样本库既可以来自LR图像自身不同尺度的相似结构[2-5], 也可以来自外部LR- HR样本库[6-12], 其中, 前者通常适用于具有重复结构的图像, 如人工建筑.近年来, 随着硬件计算能力的提高, 深度学习广泛应用于计算机视觉领域, 取得了突出成果, 受此启发, SR领域开始引入深度学习思想. 相比于传统的浅层学习只能人工提取特征进行相对简单的函数拟合, 深度学习可以自动学习得到层次化的特征表示, 实现更加复杂的非线性函数模型逼近[13]. 目前, 基于深度学习的SR重建算法性能超越很多经典算法, 成为研究的热点.基于深度学习的SR重建算法大致可以分为2类: 一类是将深度神经网(deep neural networks, DNN)与传统学习算法相结合[4-5,10,14], 重建过程中每一步独立优化, 这类算法能够利用图像先验信息, 但是重建计算复杂度高; 另一类使用DNN直接重建整个HR图像[11-12], 实现重建过程统一优化, 这类算法中, 使用训练好的网络进行HR图像重建是一个前馈过程, 因此能够快速重建高质量HR图像, 但是对于设计复杂、深度较深的网络, 如何使训练网络收敛是一个难题.Dong等[11]提出SRCNN(super-resolution con-volutional neural network)算法, 其设计了3层的卷积神经网络(convolutional neural networks, CNN)学习LR图像块到HR图像块的非线性映射关系, 由LR图像直接预测HR图像. SRCNN的优势是训练过程中可以使用GPU加速运算, 网络结构比较简单, 易于收敛, 计算复杂度较低, 在保持高质量的情况下能够快速重建HR图像. 但是由于其网络比较浅, 不能有效地提取重建所需的图像特征; 同时, 虽然较大的核可以降低计算量, 但每次卷积时会丢失大量信息. 本文算法使用较小的卷积核, 将大卷积核拆分成多个小卷积核, 加深网络深度, 能够更好地提取图像边缘信息; 由于节点数量增加了, 为避免过拟合, 该算法使用更大的样本库对深度网络进行训练. 实验结果表明, 相比SRCNN算法, 本文算法对边缘区域有更好的重建效果.1 相关工作1.1单幅图像SR重建算法单幅图像的SR重建算法通常采用基于学习的方法, Yang等[15]将不同框架大致分为预测模型的算法、基于边缘的算法、图像统计模型算法和基于图像块的学习算法4类, 其中以基于图像块的学习算法效果最为突出, 涌现出大量经典算法框架.Freeman等[6]提出基于实例学习的算法, 通过置信传播的马尔可夫随机场来预测LR图像块到HR图像块的重建过程, 该算法需要大量训练样本且对噪声非常敏感. Chang等[7]根据流形学习提出了局部线性嵌入的SR算法, 假设LR/HR图像块空间存在相似流形向量, LR图像块可表示为邻域LR 样本的线性加权融合, 将LR样本的权重传递给HR样本, 融合生成HR图像块. 这类算法使用较小的训练集, 具有很好地鲁棒性, 但是由于算法邻域数量固定, 可能出现局部过拟合或欠拟合, 使得生成图像块边缘模糊. Yang等[8]将稀疏表示应用在SR重建中, 认为自然图像具有稀疏性, 通过对HR 图像块字典和LR图像块字典进行联合训练保证它们稀疏系数的一致性, 重建时计算LR图像块的稀疏表示, 使用LR图像块的稀疏系数来重构HR图像; 该算法能够自适应地选取邻域, 避免过拟合或欠拟合, 但是训练库进行稀疏编码的过程本身耗时巨大. Timofte等[9]通过预先计算嵌入矩阵, 在不影响算法性能的同时大大提高了算法的效率.随着深度学习应用于SR领域, 研究人员将DNN应用于基于图像块的学习方法中. Wang等[4]对卷积自编码网络使用外部LR-HR样本库进行训练; 然后提取输入LR图像的非局部多尺度自相似图像块, 进一步微调网络, 使之能够针对输入的LR图像进行重建. Cui等[5]提出了DNC(deep net-work cascade)算法, 每个单元先使用多尺度非局部自相似性对LR图像进行初步重建; 然后使用CLA (collaborative local auto-encoder)去除上一步引入的图像扭曲, 多个单元串联实现SR重建. 徐冉等[10]提出双通道CNN的SR重建算法, 将深度学习思想应用于传统的基于样本学习的方法, 使用CNN计算LR图像块和HR图像块的相似度, 辅助字典学习. Wang等[14]提出SCN(sparse coding based network)算法将神经网络思想融合到基于稀疏表示的SR重建第9期刘晨羽, 等: 基于卷积神经网的单幅图像超分辨率重建算法 1645算法中, 使用LISTA(learned iterative shrinkage and thresholding algorithm)网络计算稀疏系数, 通过多个SCN 单元的串联进行多尺度SR 重建. 以上算法利用了图像非局部自相似性、图像稀疏性等先验知识参与HR 图像重建, 效果好但重建复杂度相对较高. Dong 等[11]提出的SRCNN 算法设计了2个隐层和一个输出层的卷积神经网络学习LR 图像块到HR 图像块的非线性映射关系, 由LR 图像直接预测HR 图像, 并指出基于稀疏表示的SR 重建算法也可以理解成一个3层的神经网络. SRCNN 能够快速高质量地对整幅图像进行重建, 网络结构简单容易收敛. Kim 等[12]提出的DRCN (deeply- recursive convolutional network)通过设计深度递归卷积网络, 解决了递归卷积网络收敛困难的问题, 在不增加参数的前提下加深网络深度, 学习LR 图像到HR 图像的映射模型.1.2 SRCNN假设一幅LR 图像, 使用Bicubic 的方法对它进行内插, 得到尺度上与所求HR 图像相同的图像Y , 算法目的是使用Y 恢复图像()F Y , 使得()F Y 最大限度地接近高分辨率原图像X . SRCNN 算法设计了一个3层卷积网络, 类比基于稀疏表示的SR 重建过程, 3层网络分别对应实现图像块提取和表征、非线性映射和高分辨率图像重建这3个功能. 该算法的网络结构如图1所示.图1 SRCNN 网络结构第1层网络进行图像块的提取和表征, 可表示为()111()=max 0,*+F Y W Y B(1)其中, 1W 和1B 表示滤波器和偏差, *表示卷积运算.1W 包含1n 个11c f f ⨯⨯的滤波器, c 为图像包含的通道数量,1f 为滤波器空域大小, 即1W 对图像进行了n 1次卷积, 所使用卷积核为11c f f ⨯⨯, 该层输出n 1个特征映射. 1B 是一个n 1维的向量, 它的每个元素对应一个滤波器. 激活函数使用ReLU, 即()max 0,x .第1层网络提取了图像块的1n 维特征; 第2层网络将1n 维特征向量映射为n 2维特征向量, 是特征到特征的映射. 第2层网络可表示为()2212()=max 0,()*+F Y W F Y B(2)其中, 2W 包含2n 个122n f f ⨯⨯的滤波器, 2B 是2n 维的向量.传统方法通常预先定义融合方式, 例如, 重叠的部位取均值; 而SRCNN 算法通过学习的方法进行图像块拼合, 通过第3层网络进行完整HR 图像的重建. 第3层网络可表示为 323()=()*+F Y W F Y B(3)其中, 3W 包含c 个233n f f ⨯⨯的滤波器, 3B 是c 维的向量.根据式(1)~(3), 若要求端到端的函数()F Y , 则需要学习获得卷积神经网的参数123={,,,W W W Θ123,,}B B B . 如果存在由大量HR 图像{}i X 和其对应的LR 图像{}i Y 组成的训练集, Θ就可以通过最小化(,)i F Y Θ和原始HR 图像i X 间的插值求得. SRCNN 使用均方误差(mean squared error, MSE)作为损失函数()211();ni ii L n ==-∑F Y X ΘΘ,其中n 是训练样本的数量. SRCNN 使用标准的反向传播随机梯度下降法最小化损失函数.需要注意的是, SRCNN 设计的网络没有池化层. 池化层常用于图像分类的神经网络中, 通过对卷积后的结果进行下采样, 减少部分参数, 获得旋转、平移、伸缩等不变性. SR 算法的目标是增加图像的细节信息, 与池化层减少细节信息的目标相悖, 因此本文算法与SRCNN 算法都不使用池化层.相比传统学习算法, SRCNN 算法能够自动学习到层次化的特征表示, 提取更加有利于重建的图像特征. 实验结果表明, SRCNN 相比浅层学习具有一定优越性, 在客观评价中超越很多经典算法, 获得了边缘清晰细节丰富的重建图像, 具有良好的视觉主观感受; 但是部分图像边缘可以观察到有明显的振铃效应.Dong 等[11]也进行了增加层数和更改卷积核大小的实验, 并且从实验结果得出并非越深越好的结论. SRCNN 算法第1层卷积使用了9×9这一相对较大的卷积核; 而Simonyan 等[16]提出了不同的思路, 认为从第1层卷积开始就避免使用大卷积核, 而是使用等价的小卷积核堆叠增加网络深度的方法, 能够有效地增加判决函数的决断力, 减少权重参数的个数. 受此启发, 本文参考SRCNN 的网络1646计算机辅助设计与图形学学报 第29卷结构, 针对图像边缘重建这一问题, 使用3×3小卷积核, 在一定程度上抑制了振铃效应, 同时加深网络层数, 获得更加清晰的边缘.2 本文算法Simonyan 等[16]指出, 使用较小的核以及更深的网络可以更好地提取图像中的特征. 卷积时一个较大的核等价于几个较小的核连续卷积, 例如, 2个33⨯的核依次卷积可以等同于5⨯5的核卷积一次. 将训练图像通过卷积核大小为5⨯5的一个卷积层, 改为依次通过卷积核为3⨯3的2个卷积层, 这一过程从卷积计算的角度上讲是等价的, 但是由于多引入了一个非线性层, 可以提取更复杂有效的图像特征; 对于卷积计算, 假设c 代表图像通道数, 233=18c c ⨯⨯⨯比55=25c c ⨯⨯计算量减少了.在SR 重建过程中, 为获取清晰的边缘, 图像的梯度信息比亮度信息更加重要. 本文算法将网络增加到6层节点数量扩大1倍, 使用固定的3⨯3的核, 它是表征图像特征的最小的核, 能够有效地提取梯度信息. 卷积过程中使用零填充最大程度上保留原图像信息, 避免卷积后图像信息丢失, 使卷积过程输入和输出相等, 重建包括边缘在内的整个HR 图像.考虑到更大更深的网络在使用小数据量训练的时候会发生过拟合, 本文使用更大的训练集来训练网络. 在后面实验部分将证明, 通过使用大数据量训练, 能够充分发挥6层卷积神经网的优势, 有效提升算法性能.本文设计的卷积神经网络结构如图2所示.图2 本文算法的网络结构本文算法中, 第1层网络如式(1)所示. 其中, 1W 包含1n 个3⨯3的滤波器, 可以理解为1W 对图像进行了1n 次卷积, 所使用卷积核为3⨯3, 该层输出1n 个特征映射; 1B 是一个1n 维的向量, 1=128n . 激活函数使用ReLU.第2~5层网络结构与第1层相似,()()()()()()22125545=max 0,=max 0,⎧*+⎪⎨⎪*+⎩F Y W F Y B F Y W F Y B . 其中, 2W 包含2n 个滤波器, 2=64n , 比起第1层节点数减半; 同理第3~5层滤波器个数依次为3=32n , 45=16,=8,n n 滤波器大小皆为固定的3⨯3. 激活函数使用ReLU.第6层网络为HR 重建网络, 与SRCNN 最后一层网络相同()()656=*+F Y W F Y B .为求取网络参数{1234561=,,,,,,,W W W W W W B Θ}23456,,,,B B B B B , 本文算法延续使用了与SRCNN算法相同的MSE 作为损失函数, 使用标准的反向传播随机梯度下降法最小化损失函数.3 实验及结果分析本文算法训练使用的平台为3.5 GHz Intel i5 CPU, 32 GB 内存, 6 GB 显存的GTX980 Ti 显卡一块, 训练数据放在SSD 缓存以提高速度.考虑到6层网络参数较多, 算法应使用更大的训练集. 实验从ImageNet 中随机抽取约5万幅图像(长宽最大不超过512像素)组成训练集. 生成方式与SRCNN 一致, 每幅原始图像作为HR 图像X , 对它进行参数为s 的下取样; 再使用Bicubic 方法放大s 倍得到图像Y , 其中=2,3,4s . Y 和X 裁剪为3232⨯的图像块, 成对送入网络中进行训练. 为了方便对照, 本文仅训练了灰度图像, 使用峰值信噪比(peak signal to noise ratio, PSNR)和图像结构相似性(structural similarity, SSIM)作为衡量生成的HR 图像质量的数值标准.表1所示为SRCNN 与本文算法重建的HR 图像的PSNR, SSIM 对比, 其中, 放大倍数=2,3s 的SRCNN 与本文算法进行1 000万次迭代训练, 放大倍数=4s 进行了500万次迭代, 测试图像从ImageNet 随机抽取获得. 可以看出, 本文算法在大多数情况下优于SRCNN.第9期刘晨羽, 等: 基于卷积神经网的单幅图像超分辨率重建算法 1647表1重建HR图像的PSNR和SSIM结果Bicubic SRCNN 本文算法图像名称放大倍数PSNR/dB SSIM PSNR/dB SSIM PSNR/dB SSIM2 23.28 0.90 25.45 0.94 26.15 0.95 00008242.JPEG3 20.67 0.86 20.88 0.86 21.00 0.874 20.30 0.83 20.44 0.84 20.51 0.852 26.77 0.85 29.80 0.91 30.38 0.91 00008253.JPEG3 23.79 0.78 24.26 0.79 24.41 0.804 22.70 0.72 23.20 0.75 23.33 0.772 35.53 0.90 37.26 0.92 37.52 0.93 00008334.JPEG3 33.74 0.87 34.39 0.87 34.49 0.874 32.56 0.84 33.60 0.85 33.75 0.862 22.40 0.88 25.06 0.93 25.58 0.94 00008371.JPEG3 19.43 0.81 19.85 0.83 20.23 0.854 18.38 0.74 18.85 0.77 19.08 0.782 28.33 0.91 31.43 0.95 31.93 0.95 00008443.JPEG3 25.65 0.87 26.73 0.88 26.99 0.894 24.78 0.84 25.85 0.86 26.15 0.872 30.34 0.95 35.13 0.97 36.70 0.98 00008484.JPEG3 26.54 0.91 25.79 0.90 25.55 0.904 26.84 0.88 27.22 0.89 26.31 0.882 31.88 0.87 34.24 0.90 34.69 0.90 00008529.JPEG3 28.90 0.80 29.62 0.81 29.96 0.824 28.46 0.78 29.10 0.79 29.35 0.802 28.96 0.93 34.82 0.96 35.95 0.96 00008563.JPEG3 27.80 0.89 29.48 0.90 29.91 0.914 25.49 0.85 26.44 0.87 27.08 0.882 35.22 0.95 38.36 0.97 37.98 0.97 00008599.JPEG3 31.86 0.92 32.56 0.92 32.64 0.924 28.61 0.86 29.97 0.87 29.97 0.882 39.60 0.92 40.78 0.94 40.74 0.94 00008603.JPEG3 38.35 0.91 38.46 0.91 38.51 0.914 37.65 0.89 37.85 0.90 37.89 0.902 30.06 0.93 34.46 0.96 35.14 0.96 00008688.JPEG3 21.74 0.87 22.28 0.88 22.10 0.894 21.50 0.83 21.54 0.84 21.81 0.852 25.78 0.90 29.23 0.95 29.62 0.95 00008777.JPEG3 22.84 0.83 24.00 0.86 24.28 0.874 21.41 0.75 22.67 0.80 22.97 0.822 27.71 0.83 30.69 0.89 31.29 0.89 00008864.JPEG3 24.94 0.76 25.96 0.78 26.50 0.794 24.31 0.71 25.32 0.75 25.84 0.762 28.94 0.91 30.91 0.94 31.75 0.95 00008897.JPEG3 26.16 0.87 26.72 0.88 26.85 0.884 25.33 0.82 25.51 0.84 25.51 0.842 31.46 0.89 33.16 0.92 33.16 0.92 00008951.JPEG3 28.50 0.81 28.85 0.82 28.86 0.824 27.48 0.76 27.79 0.77 27.80 0.772 35.89 0.97 39.62 0.98 40.35 0.98 00008978.JPEG3 32.95 0.95 34.25 0.96 34.69 0.964 31.85 0.94 33.04 0.95 33.33 0.952 24.45 0.77 26.43 0.84 26.72 0.85 00009022.JPEG3 21.89 0.69 22.36 0.71 22.53 0.724 21.47 0.64 21.94 0.67 22.16 0.681648 计算机辅助设计与图形学学报第29卷在主观视觉角度, 本文算法能够取得更加清晰的边缘, 同时对振铃效应有一定的抑制作用. 图3所示为s=2的重建结果对比图. 从0008242.JPEG的重建结果中可以看出, 本文算法生成的HR图像字母边缘更加清晰平滑, 而SRCNN算法生成的HR图像中字母周围有明显的振铃效应. 00008688.JPEG 和0008978.JPEG的重建结果显示, SRCNN重建的HR图像亦有振铃效应, 而本文算法在一定程度上抑制了振铃效应.图3 s=2的重建结果对比图图4, 5分别是s=3和s=4的重建结果对比图. 可以看出, 在放大倍率较高的情况下, 本文算法对振铃效应有一定的抑制作用, 重建图像的边缘更加平滑. 需要指出的是, 00008242.JPEG中包含笔画较细的字母, 经下取样再使用Bicubic放大, 细节大图4 s=3的重建结果对比图图5 s=4的重建结果对比图量丢失, 笔画不全; 而SRCNN和本文算法都是以Bicubic放大后的图像作为输入, 因此生成的HR图像中部分细节难以恢复.图6所示为图像00008599.JPEG的重建结果对比图. 其中本文算法使得图像中的烟雾纹理过度锐化, 造成了PSNR数值下降, 如何有效区分边缘和纹理并将它们分别重建, 是下一步算法应当考虑的问题. 而图7所示为SRCNN和本文算法都失效的特例, 图像00008484.JPEG中动物毛发和背景的树丛包含大量不规则纹理, 如何对这类特征重建是SR重建的一个难题.图6 s=2重建结果对比图图7 s=3重建结果对比图为了研究图像训练库对算法性能的影响, SRCNN和本文算法使用SRCNN提供的91幅图像的训练库, 进行放大倍数为2的100万次迭代训练.表2所示为SRCNN和本文算法在图像库Set14上的重建结果. 可以看出, 本文算法在大多数情况下第9期刘晨羽, 等: 基于卷积神经网的单幅图像超分辨率重建算法 1649表现略微优于SRCNN, 但性能的提升不明显, 主要是因为本文算法节点数为SRCNN的2倍, 训练库数据量不足导致过拟合. 而表1使用较大的库训练, 本文算法能够有效地发挥作用, 重建结果比SRCNN有比较明显的提高.表2Set14重建HR图像的PSNR和SSIM结果Bicubic SRCNN 本文算法PSNR/dB SSIM PSNR/dB SSIM PSNR/dB SSIM Baboon 23.01 0.64 24.02 0.74 24.10 0.75 Barbara 25.88 0.81 26.75 0.86 26.65 0.86 bridge 25.95 0.76 27.48 0.84 27.48 0.84 coastguard 27.27 0.73 28.84 0.82 28.78 0.82 Comic 23.14 0.80 25.84 0.89 26.01 0.90 Face 32.80 0.82 34.13 0.86 34.16 0.87 Flowers 27.61 0.86 30.85 0.92 30.91 0.92 Foreman 31.73 0.93 34.53 0.96 35.03 0.96 Lenna 32.100.8834.82 0.91 34.81 0.91 Man 27.16 0.80 29.16 0.87 29.29 0.87 Monarch 29.78 0.94 34.99 0.97 35.12 0.97 Pepper 32.72 0.88 35.37 0.90 35.45 0.90 ppt3 24.62 0.93 29.16 0.97 29.43 0.98 Zebra 27.880.8732.18 0.93 31.62 0.93 4 结语本文提出一种基于卷积神经网的SR重建算法, 参考SRCNN的网络结构, 使用大小统一的小卷积核, 将网络深度增加到6层, 节点数量扩大1倍, 能够更有效地针对边缘进行SR重建. 本文算法重建的HR图像比SRCNN具有更加清晰的边缘, 同时在一定程度上抑制了振铃效应. 由于本文算法使用了更大的图像训练库, 能够有效地避免函数过拟合. 需要指出的是, 虽然本文算法对大部分图像有较好的重建效果, 但是对于边缘不明显、具有大片不规则纹理的图像, 该算法的优势不明显. 如何对边缘和纹理进行分类重建, 生成边缘清晰纹理丰富的图像, 是今后工作的重点.参考文献(References):[1] Li X, Orchard M T. New edge-directed interpolation[J]. IEEETransactions on Image Processing, 2001, 10(10): 1521-1527[2] Freedman G, Fattal R. Image and video upscaling from localself-examples[J]. ACM Transactions on Graphics, 2011, 30(2): Article No.12[3] Huang J B, Singh A, Ahuja N. Single image super-resolutionfrom transformed self-exemplars[C] //Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Los Alamitos: IEEE Computer Society Press, 2015: 5197-5206 [4] Wang Z Y, Yang Y Z, Wang Z W, et al. Self-tuned deep superresolution[C] //Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops. Los Alamitos: IEEE Computer Society Press, 2015: 1-8[5] Cui Z, Chang H, Shan S G, et al. Deep network cascade forimage super-resolution[M] //Lecture Notes in Computer Science.Heidelberg: Springer, 2014, 8693: 49-64[6] Freeman W T, Pasztor E C, Carmichael O T. Learning low-levelvision[J]. International Journal of Computer Vision, 2000, 40(1): 25-47[7] Chang H, Xiong Y M, Yeung D Y. Super-resolution throughneighbor embedding[C] //Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition.Los Alamitos: IEEE Computer Society Press, 2004: 275-282 [8] Yang J H, Wright J, Huang T S, et al. Image super-resolutionvia sparse representation[J]. IEEE Transactions on Image Proce- ssing, 2010, 19(11): 2861-2873[9] Timofte R, De V, van Gool L. Anchored neighborhood regres-sion for fast example-based super-resolution[C] //Proceedings of the IEEE International Conference on Computer Vision. Los Alamitos: IEEE Computer Society Press, 2013: 1920-1927 [10] Xu Ran, Zhang Junge, Huang Kaiqi. Image super-resolutionusing two-channel convolutional neural networks[J]. Journal of Image and Graphics, 2016, 21(5): 556-564(in Chinese)(徐冉, 张俊格, 黄凯奇. 利用双通道卷积神经网络的图像超分辨率算法[J]. 中国图象图形学报, 2016, 21(5): 556-564) [11] Dong C, Loy C C, He K M, et al. Image super-resolution usingdeep convolutional networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(2): 295-307 [12] Kim J, Lee J K, Lee K M. Deeply-recursive convolutional net-work for image super-resolution[OL]. [2016-09-06]. https://arxiv.org/abs/1511.04491[13] Yin Baocai, Wang Wentong, Wang Lichun. Review of deeplearning[J]. Journal of Beijing University of Technology, 2015, 41(1): 48-59(in Chinese)(尹宝才, 王文通, 王立春. 深度学习研究综述[J]. 北京工业大学学报, 2015, 41(1): 48-59)[14] Wang Z W, Liu D, Yang J C, et al. Deep networks for imagesuper-resolution with sparse prior[C] //Proceedings of the IEEE International Conference on Computer Vision. Los Alamitos: IEEE Computer Society Press, 2015: 370-378[15] Yang C Y, Ma C, Yang M H. Single-image super-resolution: abenchmark[M] //Lecture Notes in Computer Science. Heidel-berg: Springer, 2014, 8692: 372-386[16] Simonyan K, Zisserman A. Very deep convolutional networksfor large-scale image recognition[OL]. [2016-09-06]. https://arxiv.org/abs/1409.1556。
基于卷积神经网络的图像增强与重建技术研究
基于卷积神经网络的图像增强与重建技术研究近年来，随着计算机视觉技术的不断发展，图像处理和重建的技术也在不断提升。
其中，基于卷积神经网络的图像增强与重建技术，成为近年来研究的热点。
这种技术可以在不损失原始图像信息的前提下，将图像的质量和清晰度提高到一个新的高度。
一、卷积神经网络简介卷积神经网络是一种从图像中提取特征的深度学习算法。
它的结构模仿了人类大脑对视觉信息处理的机制，通过多层神经网络进行图像分类、识别、分割等任务。
卷积神经网络中主要包含的层次有卷积层、池化层和全连接层。
其中，卷积层是整个网络的重要组成部分，具有提取图像特征的功能。
而池化层可以减小卷积层的输出特征图的大小，进一步减少网络参数，提高训练速度。
全连接层则根据前面的特征信息进行分类和输出。
二、基于卷积神经网络的图像处理流程基于卷积神经网络的图像处理流程包括图片输入、特征提取、卷积操作、ReLU函数、池化操作、全连接层计算和结果输出。
在这个流程中，最重要的是特征提取和卷积操作。
特征提取可以从原始图像中提取出与任务相关的特征信息，卷积操作则可以通过将特征图和卷积核进行卷积操作得到新的特征图。
通过将多个卷积层结合在一起，就可以形成深度卷积神经网络，进而可以进行逐层训练和优化，提高网络的准确性和泛化性能。
三、基于卷积神经网络的图像增强与重建技术基于卷积神经网络的图像增强与重建技术可以通过一定的图片处理流程，将短时曝光、高噪声等原始图片进行修复和提升，让图片更加清晰明亮，更具有可读性和美观性。
例如，在卫星图像处理中，通过对原始图像进行去噪声和图像增强，可以提高图像细节的清晰度，更好地识别天然灾害、地质构造等地理标志。
在医学图像处理中，通过对乳腺X光透视图进行卷积网络训练，再加上医学专家的指导下进行图像处理，可以帮助医生更准确地判定乳腺癌的诊断。
在工业品质检测中，可以通过对产品缺陷图像进行卷积神经网络训练，检测到产品表面的瑕疵，提高产品质量的准确性、可靠性和稳定性。
基于卷积神经网络的图像改进处理
基于卷积神经网络的图像改进处理作者：逄博来源：《科学大众·教师版》2020年第12期摘要：卷积神经网络一直是一个非常强大的计算机视觉工具。
卷积网络对图像分类、图像分割和目标检测等领域都有非常大的帮助。
本文通过对卷积神经网络和计算机视觉领域四篇前沿论文的分析，指出该领域所面临的挑战，以及如何通过引入新方法或通过将现有方法的融合来应对这些挑战。
通过比较，找出了这些论文各自的独特的特点以及它们之间的共性。
通过对这些前沿論文的分析，在一定程度上对卷积网络的本质进行了探讨，并提出了改进方法，在今后进行网络设计时进一步对DNN配置进行改。
关键词：卷积; 卷积神经网络; 计算机视觉; 语义分割中图分类号：TN911.73 文献标识码：A 文章编号：1006-3315（2020）12-198-0031.前言自AlexNet发明以来，卷积神经网络（convolution neural network， CNN）就已经开始在计算机视觉领域广泛应用。
虽然从今天的视角来看，AlexNet还相对粗糙，但正是AlexNet打开了卷积分层的大门。
它激发了研究人员对卷积分层的巨大兴趣。
我们可以看到，传统的卷积不断发展，演化出了堆栈卷积（stacked convolution）、起始卷积（inception convolution）、扩张卷积（dilated convolution）、深部可分离卷积（depthwise separable convolution）、变形卷积（deformable convolution）等。
本文选择“用于语义分割的全卷积网络”、“用于语义图像分割的空洞卷积再思考”、“YOLO9000：更好、更快、更强大”和“MobileNetV2：倒残差和线性瓶颈”四篇有关卷积网络的前沿论文进行分析比较，探讨文中对有关卷积概念和思想的阐释，并就有关技术提出自己的看法。
2.四种卷积方法简介计算机视觉是机器学习和人工智能领域最热门的话题之一，本文所选的四篇文章是计算机视觉的最新成果，代表了四种不同的卷积方法。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
收稿日期：２０１９－０２－２６。国家自然科学基金项目（６１６０５０５４）；湖北省自然科学基金项目（２０１４ＣＦＢ６５９）；华中师范大学中央高 校基本科研业务费项目（ＣＣＮＵ１９ＱＤ００７，ＣＣＮＵ１９ＴＤ００７）。张玉麒，硕士生，主研领域：深度学习，三维重建。陈加，讲师。叶立志， 工程师。田元，讲师。夏丹，讲师。陈亚松，硕士生。
ＳＩＮＧＬＥＩＭＡＧＥＯＢＪＥＣＴＲＥＣＯＮＳＴＲＵＣＴＩＯＮ ＭＥＴＨＯＤ ＢＡＳＥＤ ＯＮ ＩＭＰＲＯＶＥＤ ＣＯＮＶＯＬＵＴＩＯＮＡＬＮＥＵＲＡＬＮＥＴＷＯＲＫ
ＺｈａｎｇＹｕｑｉ ＣｈｅｎＪｉａ ＹｅＬｉｚｈｉ ＴｉａｎＹｕａｎ ＸｉａＤａｎ ＣｈｅｎＹａｓｏｎｇ
（ＣｏｌｌｅｇｅｏｆＥｄｕｃａｔｉｏｎａｌＩｎｆｏｒｍａｔｉｏｎＴｅｃｈｎｏｌｏｇｙ，ＣｅｎｔｒａｌＣｈｉｎａＮｏｒｍａｌＵｎｉｖｅｒｓｉｔｙ，Ｗｕｈａｎ４３００７建方法的不同可以分为基于模型
的重建方法和基于几何外形恢复的重建方法。基于模 型重建的方法通过匹配输入图像和模型，找到模型的 最佳参数来进行重建。基于 ＣＡＤ模型的方法［１１－１２］， 能够大致地展现物体的近似外形，在找到一组对应点 后，可以很好地确定相应实例的视点，但是其获得的模 型和实 际 的 模 型 仍 然 有 很 大 偏 差。形 变 模 型 （Ｍｏｒ ｐｈａｂｌｅｍｏｄｅｌ）常用来重建人脸部分［１３－１４］，其主要为一 些可以变形的线性组合模型，通常由一些三维扫描的 设备获取。Ｃａｓｈｍａｎ等［１５］找到了降低三维 数 据 获 取
第 ６期
张玉麒等：基于改进卷积神经网络的单幅图像物体重建方法
１９１
门槛的方式，通过三维模型和辅助的二维信息学习到 相应的形变模型来重建物体。Ｖｉｃｅｎｔｅ等 先 ［１６］ 在图像 数据集中匹配一张和输入图像相同类型相似视角的图 像，结合了可视外壳的方法，但是其无法应用于真实拍 摄的图像。Ｋａｒ等 在 ［１７］ Ｖｉｃｅｎｔｅ等的工作基础上，通过 物体的二维注释来学习相应的形变模型，不但可以重 建真实拍摄的图像，在重建效果上也有了一定的提升。 基于模型的方法因为存在设计好的模型，对固定类别 的物体能够取得相对较好的重建效果，但是无法具有 较好的泛化性。基于几何外形恢复的方法主要包括从 阴影中恢复外形（Ｓｈａｐｅｆｒｏｍ ｓｈａｄｉｎｇ）［１８－１９］和从纹理中 恢复外形（Ｓｈａｐｅｆｒｏｍ ｔｅｘｔｕｒｅ）［２０－２１］，基于几何外形恢复 的方法能重建较多种类的物体，但其往往对灰度和光照 等要求较高，对真实场景的物体图片的重建效果欠佳。
Ｋｅｙｗｏｒｄｓ Ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ ３Ｄｒｅｃｏｎｓｔｒｕｃｔｉｏｎ Ｓｉｎｇｌｅｉｍａｇｅ Ｃｏｍｐｕｔｅｒｖｉｓｉｏｎ
０ 引 言
从二维图像中获得三维信息并恢复三维模型是计 算机视觉研究的主要方向之一。基于图像的三维重建 在诸如商品展示、文物三维修复、智慧城市建设、医疗 器官重建等领域也具有重要的应用价值［１－５］。基于图 像的三维重建问题按照重建图像的数量可以分为基于 多幅图像的三维重建方法［６－９］和基于单幅图像的重建 方法，按照重建的内容可以分为对物体的重建和对场 景的重建 ［１０］。本 文 主 要 针 对 基 于 单 幅 图 像 的 物 体 重
第 ３６卷第 ６期 ２０１９年 ６月
计算机应用与软件 ＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓａｎｄＳｏｆｔｗａｒｅ
Ｖｏｌ３６ Ｎｏ．６ Ｊｕｎ．２０１９
基于改进卷积神经网络的单幅图像物体重建方法
张玉麒 陈 加 叶立志 田 元 夏 丹 陈亚松
（华中师范大学教育信息技术学院 湖北 武汉 ４３００７９）
Ａｂｓｔｒａｃｔ Ｔｏｉｍｐｒｏｖｅｔｈｅｐｅｒｆｏｒｍａｎｃｅｏｆ３Ｄ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ，ｍｅｔｈｏｄｓｂａｓｅｄｏｎｄｅｅｐｌｅａｒｎｉｎｇｈａｖｅｂｅｅｎｔｈｅｍａｉｎ ｔｏｐｉｃｏｆｔｈｅｒｅｓｅａｒｃｈ．Ａｉｍｉｎｇａｔｔｈｅｐｒｏｂｌｅｍｓｏｆｐｏｏｒｆｅａｔｕｒｅｅｘｔｒａｃｔｉｏｎｅｆｆｅｃｔ，ｌａｃｋｏｆｒｅｃｏｎｓｔｒｕｃｔｉｏｎｄｅｔａｉｌｓａｎｄｈｕｇｅ ｃｏｍｐｕｔａｔｉｏｎａｌｌｏａｄ， ｗｅ ｐｒｏｐｏｓｅｄ ａ３Ｄ ｏｂｊｅｃｔｓｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｍｅｔｈｏｄ ｆｒｏｍ ａ ｓｉｎｇｌｅ ｉｍａｇｅ ｂａｓｅｄ ｏｎ ｉｍｐｒｏｖｅｄ ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ．Ｔｈｅｆｅａｔｕｒｅｅｘｔｒａｃｔｉｏｎｃａｐａｂｉｌｉｔｙｏｆｔｈｅｎｅｔｗｏｒｋｗａｓｉｍｐｒｏｖｅｄｂｙａｄｄｉｎｇｍｏｄｕｌｅｓｔｈａｔ ｃｏｍｂｉｎｅｒｅｓｉｄｕａｌｃｏｎｎｅｃｔｉｏｎｓａｎｄＩｎｃｅｐｔｉｏｎ．Ｗｅｕｓｅｄｍｕｌｔｉｆｅａｔｕｒｅｓｅｘｔｒａｃｔｅｄｂｙｍｕｌｔｉｎｅｔｗｏｒｋｓｔｒｕｃｔｕｒｅ，ａｎｄｉｎｐｕｔｉｔ ｉｎｔｏ３ＤＬＳＴＭ ｍｏｄｕｌｅｉｎｔｕｒｎｔｏｅｎｈａｎｃｅｔｈｅｒｅｃｏｎｓｔｒｕｃｔｉｏｎｅｆｆｅｃｔｏｆａｓｉｎｇｌｅｉｍａｇｅ．Ｔｈｅｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔ ｏｕｒｍｅｔｈｏｄｃａｎｎｏｔｏｎｌｙｐｅｒｆｏｒｍ ｂｅｔｔｅｒｉｎｒｅｃｏｎｓｔｒｕｃｔｉｏｎ，ｂｕｔａｌｓｏｓｐｅｎｄｌｅｓｓｔｉｍｅｉｎｔｒａｉｎｉｎｇ．