SRCNN
（SRCNN 深度学习用于SR问题第一篇论文）1 简介超分辨率（super resolution）的任务目标是将输入的低分辨率的图像转换为高分辨率的图像，与图像去噪、图像去模糊等一脉相承。超分辨率关注的是从小尺寸到大尺寸图像如何填充新的像素；图像去噪则是关注在图像尺寸不变的情况下，将被“噪声污染”的像素替换为正确的像素。
SRCNN是首个使用CNN结构（即基于深度学习）的端到端的超分辨率算法，这个相当于什么呢？就像faster R-CNN在目标检测的地位一样，将整个算法流程用深度学习的方法实现了，并且效果比传统多模块集成的方法好。
SRCNN流程如下:首先，输入预处理。对输入的低分辨率LR图像使用bicubic算法进行放大，放大为目标尺寸。那么接下来算法的目标就是将输入的比较模糊的LR图像，经过卷积网络的处理，得到超分辨率SR的图像，使它尽可能与原图的高分辨率HR图像相似。
2 网络模型
SRCNN的结构较简单,整个卷积网络包括三个卷积层，没有池化和全连接层。如图所示
对低分辨率的图进行卷积操作，生成n1维的feature maps。对n1维的feature map进行卷积操作生成n2维 feature maps。对n2维的feature maps进行卷积生成超分辨的图像。3 设计思路作者这个思路是从稀疏编码得来的，并把上述过程分别表述为：Patch extraction, Non-linear mapping, Reconstruction。
Patch extraction: 提取图像Patch，进行卷积提取特征，类似于稀疏编码中的将图像patch映射到低分辨率字典中。
Non-linear mapping: 将低分辨率的特征映射为高分辨率特征，类似于字典学习中的找到图像patch对应的高分辨字典
Reconstruction：根据高分辨率特征进行图像重建。类似于字典学习中的根据高分辨率字典进行图像重建。
4 处理流程
（1）提取图像特征：从低分辨率图像中提取多个patch图像块，每个块被卷积操作表示为多维的向量（维数等于filter的数量），所有的特征向量组成特征矩阵（feature maps）
（2）非线性映射：将n1维特征矩阵，通过卷积操作实现非线性映射，变成另一n2维特征矩阵。
（3）重构图像：等于是个反卷积的过程，将n2的特征矩阵还原为超分辨图像模型训练的优化参数是三层卷积层对应的卷积核（w）和bias（b），参数P={W_1,W_2,W_3,b_1,b_2,b_3}。训练的目标损失是最小化超分辨率图像F(Y;P)与原高分辨率图像X基于像素的均方误差MSE,定义如下：
其中n是训练样本数量，即每次训练的样本数量。接下来无非就是随机梯度下降法反向传播，网络训练得到最终的参数P使损失L最小化，参数更新公式如下也是根据优化方法来确定的，比如随机梯度下降法SGD和动量下降法优化等等。
SRCNN的3层卷积神经网络将上述传统方法的3个步骤全部和在一起优化参数，而不是分步骤进行，直接是端到端的映射。端到端的映射就是指，输入到输出直接一个管道作用，优化的参数都蕴含在了网络的权重和偏置还有网络结构中，然而稀疏编码是各自优化3个过程，求出最优解在继续。
5 和稀疏编码之间的关系在基于稀疏编码的方法中，输入图像中提取一个f1×f1低分辨率的块。这个块是减去其patch内的平均值得到的结果，然后投影到（低分辨率）字典。如果低分辨率字典的尺寸是n，这相当于在输入图像上应用n1个线性滤波器（f1×f1），因为SRCNN模型中，有n1个特征图。所以有n1个线性滤波器作为特征提取。
然后将稀疏编码解码器应用于通过低分辨率字典投影得出的n1系数。这n1个稀疏对应于SRCNN中的n1个LR特征图。通过非线性映射得到HR的块，在稀疏编码中就是解码器的输出是n2个系数，在稀疏编码的情况下通常是n2=n1。这些n2系数是高分辨率块的表示。
稀疏编码解码器（系数表示）表现为非线性映射算子（SRCNN）。稀疏编码解码器不是前馈的，它是一个迭代算法。
很多文献都提到了图像重叠块处理，为什么需要重叠块求平均呢？
答：相邻块的重叠区域中的像素应该是完全相同的。一致性约束在处理单个估计问题时提供了先验信息。重叠块可以最大限度的保留这个局部的图像信息，并且可以抑制噪声
如上所述，这相当于n2个feature map 映射上的线性卷积。如果用于重建的高分辨率块大小为f3×f3，则线性滤波器具有大小为f3×f3的等效空间支持。
上述类比也可以帮助我们设计超参数。例如，我们可以将最后一层的过滤器大小设置为小于第一层的过滤器大小，因此我们