图像超分辨率重建总结汇报(SRCNN)

实验分析
单击此处添加文本具体内容，简明扼 要的阐述您的观点。
实验部分
3.1、对比卷积核大小（filter size）、卷积核数量（filter numbers） 对复原效果的影响的实验
结论：卷积核数量越多，即特征向量维数越高，实验效果越好， 但是会影响算法速度，故需要综合考虑；另外三层卷积层的卷积核大 小越大，实验效果也会略微更好，同样会影响算法速度。
模型与训练
分别对应三个处理流程： 1）提取图像特征：从低分辨率图像中提取多个patch图像块，每个块被卷积操作表示为多维
的向量（维数等于filter的数量），所有的特征向量组成特征矩阵（feature maps） 2）非线性映射：将n1维特征矩阵，通过卷积操作实现非线性映射，变成另一n2维特征矩阵。 3）重构图像：等于是个反卷积的过程，将n2的特征矩阵还原为超分辨图像 模型训练的优化参数是三层卷积层对应的卷积核（w）和bias（b），参数
P={W_1,W_2,W_3,b_1,b_2,b_3}。训练的目标损失是最小化超分辨率图像F(Y;P)与原高分辨率图 像X基于像素的均方误差MSE,定义如下：
其中n是训练样本数量，即每次训练的样本数量。接下来无非就是随机梯度下降法反向传播， 网络训练得到最终的参数P使损失L最小化，参数更新公式如下：
上述讨论表明，基于稀疏编码的SR方法可以看作是一种卷积神经网络(具有不同的非线性映射)。 但是在基于稀疏编码的SR方法中，并没有考虑到所有的操作。相反，在我们的卷积神经网络中，需 要优化的滤波器都涉及到低分辨率字典、高分辨率字典、非线性映射以及均值减法和均值平均。因 此，我们的方法优化了包含所有操作的端到端映射。
稀疏编码的SR方法
然后将上述n2个系数(稀疏编码后)投影到另一个系数上(高分辨率)字典生成高分辨率patch。然 后对重叠的高分辨率斑块进行平均。 如上所述，这等价于n2维特征图上的线性卷积。如果用于重建 的高分辨率patches尺寸为f3×f3，则线性滤波器的空间支持等效为f3×f3。请参见图3的右侧部分。
Contents
01、概述
单击此处添加文本具体内容，简明扼要的阐述您的观点。
02、模型及训练
单击此处添加文本具体内容，简明扼要的阐述您的观点。
03、实验分析
单击此处添加文本具体内容，简明扼要的阐述您的观点。
概述
单击此处添加文本具体内容，简明扼 要的阐述您的观点。
概述
• SRCNN是首个使用CNN结构（即基于深度学习）的端到端的超分辨率算法，这个 相当于什么呢？就像faster r-cnn在目标检测的地位一样，将整个算法流程用深度学 习的方法实现了，并且效果比传统多模块集成的方法好。SRCNN流程如下:首先， 输入预处理。对输入的低分辨率lr图像使用bicubic算法进行放大，放大为目标尺寸。 那么接下来算法的目标就是将输入的比较模糊的lr图像，经过卷积网络的处理，得 到超分辨率sr的图像，使它尽可能与原图的高分辨率hr图像相似。
3.我们证明了深度学习在经典的超分辨率计算机视觉问题中是有用的，可以 达到良好的质量和速度。
模型及训练
单击此处添加文本具体内容，简明扼 要的阐述您的观点。
模型与训练
SRCNN的结构较简单,整个卷积网络包括三个卷积层，甚至没有池化和全连接层：
1）对低分辨率的图进行卷积操作，生成n1维的feature maps 2）对n1维的feature map进行卷积操作生成n2维 feature maps 3）对n2维的feature maps进行卷积生成超分辨的图像
图像超分辨率重建-----SRCNN
Learning a Deep Convolutional Network for Image Super-Resolution
汇报人姓名 汇报日期
论文介绍
它是2016年由香港中文大学汤晓欧等人 将卷积神经网络应用于单张图像超分辨 率重建上。SRCNN的网络结构非常简单， SRCNN首先使用双三次(bicubic)插值将 低分辨率图像放大成目标尺寸，接着通 过三层卷积网络拟合非线性映射，最后 输出高分辨率图像结果。本文中，作者 将三层卷积的分成三个步骤 (1)图像块的提取和特征表示， (2)特征非线性映射 (3)最终的重建。
总的来说，这项工作的贡献主要体现在三个方面:
SRCNN
1.我们提出了一种用于图像超分辨率的卷积神经网络。该网络直接学习低分 辨率和高分辨率图像之间的端到端映射，除了优化之外，几乎没有什么预处理/后 处理。
2.我们建立了基于深度学习的SR方法与传统的基于稀疏编码的SR方法之间 的关系。这种关系为网络结构的设计提供了指导。
然后将稀疏编码求解器应用于投影的n1维系数。该求解器的输出为n2维系数，在稀疏编码的 情况下，通常为n2 = n1。这些n2维系数是高分辨率patches的表示。在这个意义上，稀疏编码求 解器表现为一个非线性映射操作。参见图3的中间部分。然而，稀疏编码求解器不是前馈的，即， 这是一个迭代算法。相反，我们的非线性算子是完全前馈的，可以有效地计算。我们的非线性算 子可以看作是一个像素级的全连通层。
实验部分
• 3.3、与最前沿的其他超分算法对比速度与性 能的实验数据集选择的是ImageNet上的 BSD200、Set14、Set5，对比对象是Bicubic、 SC、NE+LLE、KK、ANR、A+与SRCNN。 结果如下：
ቤተ መጻሕፍቲ ባይዱ疏编码的SR方法
证明基于稀疏编码的SR方法可以看作是卷积神经网络。
稀疏编码的SR方法
在基于稀疏编码的方法中，我们考虑从输入图像中提取一个f1×f1低分辨率的patch。这个 patches减去其平均值，然后投射到一个(低分辨率)字典上。如果这个字典大小是n1， 这相当于在 输入图像上应用n1维的线性滤波器(f1×f1)（减去平均值的操作也可以看成是线性操作）。
3.2、对比网络层数（layer numbers）对复原效果的影响的实验 结论：并非网络越深，效果越好，结果恰恰相反。作者也给出了
解释：因为SRCNN没有池化层和全连接层，导致网络对初始参数和学 习率非常敏感，结果即网络训练的时候非常难以收敛，即使收敛了也 可能停在了坏的局部最小值（bad local minimum）处，并且即使训练 了足够的时间，学习到的filter参数的分散度也不够好。