图像超分辨率重建总结汇报(SRCNN)
合集下载
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
然后将稀疏编码求解器应用于投影的n1维系数。该求解器的输出为n2维系数，在稀疏编码的 情况下，通常为n2 = n1。这些n2维系数是高分辨率patches的表示。在这个意义上，稀疏编码求 解器表现为一个非线性映射操作。参见图3的中间部分。然而，稀疏编码求解器不是前馈的，即， 这是一个迭代算法。相反，我们的非线性算子是完全前馈的，可以有效地计算。我们的非线性算 子可以看作是一个像素级的全连通层。
3.2、对比网络层数（layer numbers）对复原效果的影响的实验 结论：并非网络越深，效果越好，结果恰恰相反。作者也给出了
解释：因为SRCNN没有池化层和全连接层，导致网络对初始参数和学 习率非常敏感，结果即网络训练的时候非常难以收敛，即使收敛了也 可能停在了坏的局部最小值（bad local minimum）处，并且即使训练 了足够的时间，学习到的filter参数的分散度也不够好。
P={W_1,W_2,W_3,b_1,b_2,b_3}。训练的目标损失是最小化超分辨率图像F(Y;P)与原高分辨率图 像X基于像素的均方误差MSE,定义如下：
其中n是训练样本数量，即每次训练的样本数量。接下来无非就是随机梯度下降法反向传播， 网络训练得到最终的参数P使损失L最小化，参数更新公式如下：
Contents
01、概述
单击此处添加文本具体内容，简明扼要的阐述您的观点。
02、模型及训练
单击此处添加文本具体内容，简明扼要的阐述您的观点。
03、实验分析
单击此处添加文本具体内容，简明扼要的阐述您的观点。
概述
单击此处添加文本具体内容，简明扼 要的阐述您的观点。
概述
• SRCNN是首个使用CNN结构（即基于深度学习）的端到端的超分辨率算法，这个 相当于什么呢？就像faster r-cnn在目标检测的地位一样，将整个算法流程用深度学 习的方法实现了，并且效果比传统多模块集成的方法好。SRCNN流程如下:首先， 输入预处理。对输入的低分辨率lr图像使用bicubic算法进行放大，放大为目标尺寸。 那么接下来算法的目标就是将输入的比较模糊的lr图像，经过卷积网络的处理，得 到超分辨率sr的图像，使它尽可能与原图的高分辨率hr图像相似。
稀疏编码的SR方法
证明基于稀疏编码的SR方法可以看作是卷积神经网络。
稀疏编码的SR方法
在基于稀疏编码的方法中，我们考虑从输入图像中提取一个f1×f1低分辨率的patch。这个 patches减去其平均值，然后投射到一个(低分辨率)字典上。如果这个字典大小是n1， 这相当于在 输入图像上应用n1维的线性滤波器(f1×f1)（减去平均值的操作也可以看成是线性操作）。
实验分析
单击此处添加文本具体内容，简明扼 要的阐述您的观点。
实验部分
3.1、对比卷积核大小（filter size）、卷积核数量（filter numbers） 对复原效果的影响的实验
结论：卷积核数量越多，即特征向量维数越高，实验效果越好， 但是会影响算法速度，故需要综合考虑；另外三层卷积层的卷积核大 小越大，实验效果也会略微更好，同样会影响算法速度。
实验部分
• 3.3、与最前沿的其他超分算法对比速度与性 能的实验数据集选择的是ImageNet上的 BSD200、Set14、Set5，对比对象是Bicubic、 SC、NE+LLE、KK、ANR、A+与SRCNN。 结果如下：
3.我们证明了深度学习在经典的超分辨率计算机视觉问题中是有用的，可以 达到良好的质量和速度。
模型及训练
单击此处添加文本具体内容，简明扼 要的阐述您的观点。
Байду номын сангаас
模型与训练
SRCNN的结构较简单,整个卷积网络包括三个卷积层，甚至没有池化和全连接层：
1）对低分辨率的图进行卷积操作，生成n1维的feature maps 2）对n1维的feature map进行卷积操作生成n2维 feature maps 3）对n2维的feature maps进行卷积生成超分辨的图像
总的来说，这项工作的贡献主要体现在三个方面:
SRCNN
1.我们提出了一种用于图像超分辨率的卷积神经网络。该网络直接学习低分 辨率和高分辨率图像之间的端到端映射，除了优化之外，几乎没有什么预处理/后 处理。
2.我们建立了基于深度学习的SR方法与传统的基于稀疏编码的SR方法之间 的关系。这种关系为网络结构的设计提供了指导。
稀疏编码的SR方法
然后将上述n2个系数(稀疏编码后)投影到另一个系数上(高分辨率)字典生成高分辨率patch。然 后对重叠的高分辨率斑块进行平均。 如上所述，这等价于n2维特征图上的线性卷积。如果用于重建 的高分辨率patches尺寸为f3×f3，则线性滤波器的空间支持等效为f3×f3。请参见图3的右侧部分。
图像超分辨率重建-----SRCNN
Learning a Deep Convolutional Network for Image Super-Resolution
汇报人姓名 汇报日期
论文介绍
它是2016年由香港中文大学汤晓欧等人 将卷积神经网络应用于单张图像超分辨 率重建上。SRCNN的网络结构非常简单， SRCNN首先使用双三次(bicubic)插值将 低分辨率图像放大成目标尺寸，接着通 过三层卷积网络拟合非线性映射，最后 输出高分辨率图像结果。本文中，作者 将三层卷积的分成三个步骤 (1)图像块的提取和特征表示， (2)特征非线性映射 (3)最终的重建。
模型与训练
分别对应三个处理流程： 1）提取图像特征：从低分辨率图像中提取多个patch图像块，每个块被卷积操作表示为多维
的向量（维数等于filter的数量），所有的特征向量组成特征矩阵（feature maps） 2）非线性映射：将n1维特征矩阵，通过卷积操作实现非线性映射，变成另一n2维特征矩阵。 3）重构图像：等于是个反卷积的过程，将n2的特征矩阵还原为超分辨图像 模型训练的优化参数是三层卷积层对应的卷积核（w）和bias（b），参数
上述讨论表明，基于稀疏编码的SR方法可以看作是一种卷积神经网络(具有不同的非线性映射)。 但是在基于稀疏编码的SR方法中，并没有考虑到所有的操作。相反，在我们的卷积神经网络中，需 要优化的滤波器都涉及到低分辨率字典、高分辨率字典、非线性映射以及均值减法和均值平均。因 此，我们的方法优化了包含所有操作的端到端映射。
3.2、对比网络层数（layer numbers）对复原效果的影响的实验 结论：并非网络越深，效果越好，结果恰恰相反。作者也给出了
解释：因为SRCNN没有池化层和全连接层，导致网络对初始参数和学 习率非常敏感，结果即网络训练的时候非常难以收敛，即使收敛了也 可能停在了坏的局部最小值（bad local minimum）处，并且即使训练 了足够的时间，学习到的filter参数的分散度也不够好。
P={W_1,W_2,W_3,b_1,b_2,b_3}。训练的目标损失是最小化超分辨率图像F(Y;P)与原高分辨率图 像X基于像素的均方误差MSE,定义如下：
其中n是训练样本数量，即每次训练的样本数量。接下来无非就是随机梯度下降法反向传播， 网络训练得到最终的参数P使损失L最小化，参数更新公式如下：
Contents
01、概述
单击此处添加文本具体内容，简明扼要的阐述您的观点。
02、模型及训练
单击此处添加文本具体内容，简明扼要的阐述您的观点。
03、实验分析
单击此处添加文本具体内容，简明扼要的阐述您的观点。
概述
单击此处添加文本具体内容，简明扼 要的阐述您的观点。
概述
• SRCNN是首个使用CNN结构（即基于深度学习）的端到端的超分辨率算法，这个 相当于什么呢？就像faster r-cnn在目标检测的地位一样，将整个算法流程用深度学 习的方法实现了，并且效果比传统多模块集成的方法好。SRCNN流程如下:首先， 输入预处理。对输入的低分辨率lr图像使用bicubic算法进行放大，放大为目标尺寸。 那么接下来算法的目标就是将输入的比较模糊的lr图像，经过卷积网络的处理，得 到超分辨率sr的图像，使它尽可能与原图的高分辨率hr图像相似。
稀疏编码的SR方法
证明基于稀疏编码的SR方法可以看作是卷积神经网络。
稀疏编码的SR方法
在基于稀疏编码的方法中，我们考虑从输入图像中提取一个f1×f1低分辨率的patch。这个 patches减去其平均值，然后投射到一个(低分辨率)字典上。如果这个字典大小是n1， 这相当于在 输入图像上应用n1维的线性滤波器(f1×f1)（减去平均值的操作也可以看成是线性操作）。
实验分析
单击此处添加文本具体内容，简明扼 要的阐述您的观点。
实验部分
3.1、对比卷积核大小（filter size）、卷积核数量（filter numbers） 对复原效果的影响的实验
结论：卷积核数量越多，即特征向量维数越高，实验效果越好， 但是会影响算法速度，故需要综合考虑；另外三层卷积层的卷积核大 小越大，实验效果也会略微更好，同样会影响算法速度。
实验部分
• 3.3、与最前沿的其他超分算法对比速度与性 能的实验数据集选择的是ImageNet上的 BSD200、Set14、Set5，对比对象是Bicubic、 SC、NE+LLE、KK、ANR、A+与SRCNN。 结果如下：
3.我们证明了深度学习在经典的超分辨率计算机视觉问题中是有用的，可以 达到良好的质量和速度。
模型及训练
单击此处添加文本具体内容，简明扼 要的阐述您的观点。
Байду номын сангаас
模型与训练
SRCNN的结构较简单,整个卷积网络包括三个卷积层，甚至没有池化和全连接层：
1）对低分辨率的图进行卷积操作，生成n1维的feature maps 2）对n1维的feature map进行卷积操作生成n2维 feature maps 3）对n2维的feature maps进行卷积生成超分辨的图像
总的来说，这项工作的贡献主要体现在三个方面:
SRCNN
1.我们提出了一种用于图像超分辨率的卷积神经网络。该网络直接学习低分 辨率和高分辨率图像之间的端到端映射，除了优化之外，几乎没有什么预处理/后 处理。
2.我们建立了基于深度学习的SR方法与传统的基于稀疏编码的SR方法之间 的关系。这种关系为网络结构的设计提供了指导。
稀疏编码的SR方法
然后将上述n2个系数(稀疏编码后)投影到另一个系数上(高分辨率)字典生成高分辨率patch。然 后对重叠的高分辨率斑块进行平均。 如上所述，这等价于n2维特征图上的线性卷积。如果用于重建 的高分辨率patches尺寸为f3×f3，则线性滤波器的空间支持等效为f3×f3。请参见图3的右侧部分。
图像超分辨率重建-----SRCNN
Learning a Deep Convolutional Network for Image Super-Resolution
汇报人姓名 汇报日期
论文介绍
它是2016年由香港中文大学汤晓欧等人 将卷积神经网络应用于单张图像超分辨 率重建上。SRCNN的网络结构非常简单， SRCNN首先使用双三次(bicubic)插值将 低分辨率图像放大成目标尺寸，接着通 过三层卷积网络拟合非线性映射，最后 输出高分辨率图像结果。本文中，作者 将三层卷积的分成三个步骤 (1)图像块的提取和特征表示， (2)特征非线性映射 (3)最终的重建。
模型与训练
分别对应三个处理流程： 1）提取图像特征：从低分辨率图像中提取多个patch图像块，每个块被卷积操作表示为多维
的向量（维数等于filter的数量），所有的特征向量组成特征矩阵（feature maps） 2）非线性映射：将n1维特征矩阵，通过卷积操作实现非线性映射，变成另一n2维特征矩阵。 3）重构图像：等于是个反卷积的过程，将n2的特征矩阵还原为超分辨图像 模型训练的优化参数是三层卷积层对应的卷积核（w）和bias（b），参数
上述讨论表明，基于稀疏编码的SR方法可以看作是一种卷积神经网络(具有不同的非线性映射)。 但是在基于稀疏编码的SR方法中，并没有考虑到所有的操作。相反，在我们的卷积神经网络中，需 要优化的滤波器都涉及到低分辨率字典、高分辨率字典、非线性映射以及均值减法和均值平均。因 此，我们的方法优化了包含所有操作的端到端映射。