一种基于卷积神经网络的图像超分辨率重建方法

1.本发明属于人工智能技术领域，具体地说，涉及一种基于卷积神经网络的图像超分辨率重建方法。


背景技术：

2.图像的分辨率数值是评判图像质量的一个重要指标，当获得图像的分辨率低于预期时，需要对图像进行重建，将图像的分辨率提升到目标大小，由此产生了图像超分辨率重建算法。这项技术在医疗、公共安全和影视等多个领域都有重要的应用价值。从其诞生开始，经历了大致三个阶段的发展，分别是基于插值的超分辨率重建、基于重建的超分辨率重建和基于学习的超分辨率重建。目前，有相当多的模型（如edsr、msrn、san等）已经证明，利用卷积神经网络能够很好地对低分辨率图像进行超分辨率重建，但现有的算法/方法重建后图像质量与目标之间还存在一定的差距，基于卷积神经网络的图像超分辨率重建方法有待于进一步改进。


技术实现要素：

3.针对上述现象，本发明提供一种基于卷积神经网络的图像超分辨率重建方法，以进一步提升重建图像的质量，使超分辨率重建技术更好地满足实际场景中的应用需要。
4.为了达到上述目的，本发明采用的解决方案是：一种基于卷积神经网络的图像超分辨率重建方法，包括以下步骤：a100、获取需要提升分辨率的初级图像，获取超分辨率重建卷积神经网络；所述超分辨率重建卷积神经网络已经预先完成训练，所述超分辨率重建卷积神经网络包括初步卷积层、深层特征映射单元和图像重构单元，所述深层特征映射单元包括多个顺次连接的整合式特征提制模块，上一个整合式特征提制模块的输出作为下一个整合式特征提制模块的输入，第一个整合式特征提制模块的输入端即为深层特征映射单元的输入端，最后一个整合式特征提制模块的输出端即为深层特征映射单元的输出端；a200、所述初步卷积层接收所述初级图像作为输入，经过卷积运算后输出包含浅层特征信息的初步特征图；a300、将所述初步特征图输入所述深层特征映射单元，使各个所述整合式特征提制模块依次接收其上游端输出的特征图作为输入、并对输入的特征图进行征提取操作，最后深层特征映射单元输出包含深层特征信息的精炼特征图；a400、将所述初步特征图与所述精炼特征图相加，得到综合特征图；a500、将所述综合特征图输入所述图像重构单元，所述图像重构单元对所述综合特征图进行超分辨率重建后，输出得到分辨率大于所述初级图像的重建后图像；所述整合式特征提制模块内部对特征图的特征提取过程表示为如下数学模型：
其中，表示输入所述整合式特征提制模块的特征图，函数代表前残差模块，函数代表后残差模块，函数表示前级空间调制模块（空间注意力机制），表示所述前级空间调制模块输出的空间调制图，表示空间调制图与特征图相乘，通过空间调制图为特征图空间上不同的位置分配不同大小的权重参数，函数表示后级通道调制模块（通道注意力机制），表示所述后级通道调制模块输出的通道调制图，表示通道调制图与特征图相乘，通过通道调制图为特征图不同的通道分配不同大小的权重参数，为所述整合式特征提制模块运算处理后输出的特征图。
5.进一步地，所述前残差模块和所述后残差模块内部对特征图的运算处理过程相同，所述前残差模块和所述后残差模块均表示为如下公式：其中，表示输入所述前残差模块或所述后残差模块的特征图，函数和函数均表示3*3卷积运算层（卷积核大小为3*3），函数和函数均代表relu函数, 表示所述前残差模块或所述后残差模块输出的特征图。
6.进一步地，所述整合式特征提制模块中设有近邻引入连接和近邻引出连接，上游整合式特征提制模块的近邻引出连接与其下游侧整合式特征提制模块的近邻引入连接相连；同一个整合式特征提制模块中前残差模块输出特征图与后残差模块输出特征图相加后得到的内融特征图通过其近邻引出连接输出；上游近邻引出连接输出的内融特征图通过所述近邻引入连接输入后，先与前残差模块输出的特征图相加，再输入所述前级空间调制模块。需要说明的是，第一个整合式特征提制模块中只有近邻引出连接，没有近邻引入连接；最后一个整合式特征提制模块中只有近邻引入连接，没有近邻引出连接。
7.进一步地，所述前级空间调制模块的数学模型为：其中，作为所述前级空间调制模块的输入，函数表示全通道最大池化运算层，函数表示全通道平均池化运算层，函数表示全通道中值池化运算层，函数表示拼接操作，函数示卷积核大小为1*1的卷积运算层，函数表示非线性激活函数sigmoid，表示所述前级空间调制模块输出的空间调制图。
8.进一步地，所述后级通道调制模块的数学模型为：
其中，作为所述后级通道调制模块的输入，函数表示全空间最大池化运算层，函数表示全空间平均池化运算层，函数表示全空间中值池化运算层，函数、函数、函数、函数、函数和函数均表示全连接运算层，函数、函数和函数均代表relu函数，函数、函数、函数均表示非线性激活函数sigmoid，表示所述后级通道调制模块输出的通道调制图。
9.进一步地，所述前级空间调制模块与所述后级通道调制模块之间设有特征整合单元，所述特征整合单元接收所述前级空间调制模块中的部分调制信息作为输入，所述特征整合单元输出特征图与所述后残差模块输出特征图相加后，再输入所述后级通道调制模块，所述特征整合单元内部运算过程用如下数学公式表示：其中，表示所述前级空间调制模块中全通道最大池化运算层的输出，表示所述前级空间调制模块中全通道平均池化运算层的输出，表示所述前级空间调制模块输出的空间调制图，、和共同作为所述特征整合单元的输入，函数表示拼接操作，函数表示卷积核大小为3*3的卷积运算层，函数表示激活函数logistic，表示所述特征整合单元输出的特征图。本发明的有益效果是：（1）对于图像超分辨率重建卷积神经网络而言，学习低分辨率图像中的纹理和线条特征信息的效果，直接决定了网络最终重建出的图像质量，本发明针对图像超分辨率重建的特点，在空间注意力机制（前级空间调制模块）和通道注意力机制（后级通道调制模块）中均设置了平均池化、最大池化和中值池化来感知图像中的重要信息，与其他用于图像分类识别的注意力机制相比，本发明的两个调制模块对纹理和线条信息具有更好的强化效果，有效提高了重建后的图像质量；（2）在传统的空间 通道注意力机制中，空间注意力单元和通道注意力单元都是分开设置的（如cbam），两个注意力单元之间缺乏信息交流，各个注意力模块都只能从自身的角度（空间方向或通道方向）观察特征图，对信息的调制效果具有一定局限，本发明通过设置特征整合单元，将前级空间调制模块中的部分调制信息输入后级通道调制模块中，使得后级通道调制模块同时具备空间方向和通道方向的视野，有利于提升后级通道调制模块对特征图调制的准确性；此外，前级空间调制模块中的特征信息层级更低，输入到后级通道调制模块后，还有利于后级通道调制模块对部分过度抽象的特征信息进行抑制（这些信息对
于图像分类识别有用，对于图像超分辨率重建无用），有利于减少特征图中的无用干扰信息，提高有效特征提取效果；（3）上游近邻引出连接输出的内融特征图通过近邻引入连接输入后，先与前残差模块输出的特征图相加，再输入前级空间调制模块，这样前级空间调制模块能够获得跨越多个层级的特征信息，极大地增加了前级空间调制模块的感受范围，有效避免局部重复的低频信息大量占据某一级特征图，降低高频信息大量丢失的概率，保证图像超分辨率重建后的质量，提高网络的鲁棒性。
附图说明
10.图1为本发明一实施例的图像超分辨率重建卷积神经网络整体架构图；图2为实施例1中整合式特征提制模块的内部结构示意图；图3为实施例1中前残差模块或后残差模块的内部结构示意图；图4为实施例1中前级空间调制模块、后级通道调制模块和特征整合单元的内部结构示意图；图5为实施例1中图像重构单元的内部结构示意图；图6为实施例1中整合式特征提制模块去掉近邻引入连接和近邻引出连接后的结构示意图；图7为实施例2中整合式特征提制模块去掉特征整合单元后的结构示意图；附图中：1-初级图像，2-重建后图像，3-初步卷积层，4-深层特征映射单元，5-整合式特征提制模块，51-前残差模块，52-后残差模块，53-前级空间调制模块，54-后级通道调制模块，55-近邻引入连接，56-近邻引出连接，6-图像重构单元，7-特征整合单元。
具体实施方式
11.以下结合附图对本发明作进一步描述：实施例1：利用python语言和深度学习框架，搭建图1所示的图像超分辨率重建卷积神经网络。其中，初步卷积层3为普通卷积运算层，其卷积核大小为3*3。深层特征映射单元4包括6个整合式特征提制模块5，整合式特征提制模块5的内部结构如图2所示，前残差模块51和后残差模块52的内部结构均如图3所示，前级空间调制模块53、后级通道调制模块54和特征整合单元7的内部结构如图4所示。图像重构单元6的功能是对特征图进行上采样并超分辨率重建，输出重建后图像2，图像重构单元6可以直接借用现有的图像超分辨率重建模型中的上采样模块实现（包括反卷积、pixelshuffle、dupsampling和meta-upscale等）。具体在本实施例中，图像重构单元6采用msrn模型（出自li等人发表的文章multi-scale residual network for image super-resolution）中的重建模块（reconstruction module）实现，其结构如图5所示。
12.为了使模型训练完成后测试结果具有很好的可信度，本实施例采用的训练集和测试集均为公共数据集，其中，训练集为div2k，测试集为bsd100和manga109。原始高分辨率图像经过双三次降采样后获得的低分辨率图像作为初级图像1。训练过程中的优化器和损失
函数分别为adam和l1函数，两者均在超分辨率重建任务中被广泛使用。学习率固定设置为0.0002，epoch数值设置为1500，训练过程中没有采用特殊的调参技巧。
13.初级图像1输入初步卷积层3后，初步卷积层3经过卷积运算，输出的初步特征图通道数量为48。前残差模块51和后残差模块52中均包含了两个3*3卷积运算层，这两个3*3卷积运算层输出的特征图通道数量均为48，这样内融特征图（ ）、精炼特征图和综合特征图尺寸完全相同。
14.对于前级空间调制模块53内部，全通道最大池化运算后得到的、和均为二维矩阵（通道数量为1）。、和拼接后经过1*1卷积，通道数量再次降为1。然后经过sigmoid函数激活，得到空间调制图，空间调制图的长宽尺寸与初步特征图的长宽尺寸相同。
15.对于特征整合单元7内部，先将、和空间调制图进行拼接操作，然后经过3*3卷积运算和logistic函数激活后，输出通道数量为48的特征图，该特征图与后残差模块52输出的特征图相加，完成特征整合后，再输入后级通道调制模块54。
16.对于后级通道调制模块54内部，全空间池化运算后，三个分支均得到长度为48的向量。后级通道调制模块54的三个分支中均包含顺次连接的两个全连接层，在每个分支中，前一个全连接层输入结点数为48，输出结点数为16，后一个全连接层输入结点数为16，输出结点数为48。最后、和相加，输出长度为48的通道调制图。
17.对于图像重构单元6，前一个3*3卷积输出特征图通道数量为（j为上采样倍数），pixelshuffle层输出特征图通道数量为48，特征图长宽尺寸增大为原来的j倍，最后一个3*3卷积层输出通道数量为3的重建后图像2。
18.测试结果并与现有的先进模型对比如下表所示：psnr和ssim的测量结果越大，表明重建得到的图像质量越好，比较上表的数据可以明显看出，实施例1中的图像超分辨率重建卷积神经网络重建得到的图像质量优于msrn模型和san模型。
19.实施例2：为了说明在整合式特征提制模块5中设置近邻引入连接55和近邻引出连接56对于提高图像重建效果的作用，实施例2中保留网络整体架构、前残差模块51、后残差模块52、前级空间调制模块53、后级通道调制模块54和图像重构单元6等部件与实施例1相同，仅仅去掉实施例1中的近邻引入连接55和近邻引出连接56。实施例2中整合式特征提制模块5结构如图6所示，采用相同的数据集和模型训练过程，测试结果如下表所示：
从结果可以看出，设置近邻引入连接55和近邻引出连接56后，网络输出图像的质量在psnr和ssim两个参数上均有一定的提高，说明了设置近邻引入连接55和近邻引出连接56的有效性。
20.实施例3：与实施例2类似，为了说明在整合式特征提制模块5中设置特征整合单元7的效果，仅仅将实施例2中的特征整合单元7去掉，实施例3网络的其他部分与实施例2完全相同，实施例3中整合式特征提制模块5的结构如图7所示。采用相同的数据集和训练过程，测试结果如下表所示：上面的测试结果很好地说明了设置特征整合单元7对于提升网络超分辨率重建图像质量的有效性。
21.以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。