基于空洞残差稠密卷积的图像超分辨率重建方法及系统

1.本发明涉及图像处理领域，更具体地，涉及一种基于空洞残差稠密卷积的图像超分辨率重建方法及系统。


背景技术：

2.图像分辨率是一组用于评估图像中蕴含的细节信息丰富程度的性能参数，包括时间分辨率、空间分辨率及色阶分辨率等，其体现了成像系统实际所能反映物体细节信息的能力。图像超分辨率重建技术指的是利用数字图像处理和计算机视觉等领域技术，借由特定的算法和处理流程，从给定的待重建图像中重建出高分辨率图像的过程。图像超分辨率重建技术旨在克服或补偿由于图像采集系统或采集环境本身的限制，导致的成像图像模糊、质量低下、感兴趣区域不显著等问题。
3.现有一种基于卷积神经网络的图像超分辨率重建方法，所述方法利用最近邻插值算法对图像进行上采样操作，然后使用单输入单输出的特征增强层对图像进行处理，再将经过处理后的图像输入卷积神经网络进行特征映射，完成图像超分辨率重建。然而利用传统的卷积神经网络对图像进行超分辨率重建时，会存在网络训练时间长、网络模型计算量大和图像特征没有得到充分利用的问题，导致图像重建质量差以及效率低。


技术实现要素：

4.本发明为解决现有技术存在的图像超分辨率重建质量差以及效率低的缺陷，提供一种基于空洞残差稠密卷积的图像超分辨率重建方法及系统。
5.第一个方面，本发明提出一种基于空洞残差稠密卷积的图像超分辨率重建方法，包括以下步骤：
6.s1：对待重建图像进行预处理；
7.s2：构建图像重建网络；所述图像重建网络包括依次连接的特征提取层、非线性映射层和图像重建层；所述非线性映射层包括空洞残差稠密模块，所述空洞残差稠密模块包括若干个依次稠密连接的空洞卷积层和标准卷积层；
8.s3：将预处理后的待重建图像输入所述图像重建网络，所述特征提取层提取待重建图像的特征信息，并将所述特征信息传输至所述非线性映射层；
9.s4：所述非线性映射层通过非线性函数模型将所述特征信息映射到图像重建层，所述图像重建层输出高维特征映射图；
10.s5：将待重建图像与所述高维特征映射图进行叠加处理，得到高分辨率图像。
11.作为优选方案，所述特征提取层包括标准卷积层conv1，所述非线性映射层还包括非线性映射卷积模块，所述空洞残差稠密模块包括依次稠密连接的空洞卷积层conv2、空洞卷积层conv3、空洞卷积层conv4和标准卷积层conv5，所述非线性映射卷积模块包括n个依次连接的标准卷积层convm，其中m＝6,7,...,n 5；所述图像重建层包括标准卷积层conv'；
12.所述标准卷积层conv1的输出端分别与所述空洞卷积层conv2、空洞卷积层conv3、
空洞卷积层conv4、标准卷积层conv5的输入端连接；
13.所述空洞卷积层conv2的输出端分别与所述空洞卷积层conv3、空洞卷积层conv4、标准卷积层conv5的输入端连接；
14.所述空洞卷积层conv3的输出端分别与所述空洞卷积层conv4和标准卷积层conv5的输入端连接；
15.所述空洞卷积层conv4的输出端与所述标准卷积层conv5的输入端连接；
16.所述标准卷积层conv5的输出端与所述非线性映射卷积模块的输入端连接；
17.所述非线性映射卷积模块的输出端与所述标准卷积层conv'的输入端连接。
18.作为优选方案，所述标准卷积层conv1、标准卷积层conv5和所述标准卷积层convm的输出端均连接有激活层，所述激活层为relu函数。
19.作为优选方案，将预处理后的待重建图像输入所述图像重建网络得到高分辨率图像的步骤包括：
20.在特征提取层中，将待重建图像y输入标准卷积层conv1，标准卷积层conv1输出特征映射图f1(y)，具体操作表达式如下所示：
21.f1(y)＝relu(w1*y b1)
22.其中，w1表示图像重建网络的权重，b1表示图像重建网络的偏置值，relu(
·
)为非线性激活函数；
23.在非线性映射层中，将所述特征映射图f1(y)输入空洞卷积层conv2，空洞卷积层conv2输出特征映射图f2(y)；将特征映射图f1(y)和特征映射图f2(y)输入空洞卷积层conv3，空洞卷积层conv3输出特征映射图f3(y)；将特征映射图f1(y)、特征映射图f2(y)和特征映射图f3(y)输入空洞卷积层conv4，空洞卷积层conv4输出特征映射图f4(y)；将特征映射图f1(y)、特征映射图f2(y)、特征映射图f3(y)和特征映射图f4(y)输入标准卷积层conv5，标准卷积层conv5输出特征映射图f5(y)，具体操作表达式如下所示：
24.fi(y)＝relu(wi*{f
i-1
(y),f
i-2
(y),.....f1(y)} bi)
25.其中，i表示空洞残差稠密模块中卷积层的序号，i的取值范围为2到5；
26.将特征映射图f1(y)与特征映射图f5(y)进行叠加处理，将叠加结果输入非线性映射卷积模块，非线性映射卷积模块输出特征映射图fm(y)，具体操作表达式如下所示：
27.fm(y)＝relu(wm*f
m-1
bm)
28.在图像重建层中，将特征映射图fm(y)输入所述标准卷积层conv'，标准卷积层conv'输出特征映射图f'(y)，将待重建图像y和所述特征映射图f'(y)进行叠加处理，得到高分辨率图像i
sr
，具体的操作表达式如下所示：
29.i
sr
＝f'(y) y。
30.作为优选方案，对待重建图像进行预处理的步骤包括：
31.将待重建图像进行双三次插值放大处理，使待重建图像的尺寸与目标高分辨率图像的尺寸相同；
32.将经过放大处理后的待重建图像进行色彩空间转换，得到亮度通道图像。
33.作为优选方案，所述待重建图像为低分辨率图像。
34.第二个方面，本发明提出一种基于空洞残差稠密卷积的图像超分辨率重建系统，应用于上述任一方案所述的基于空洞残差稠密卷积的图像超分辨率重建方法，包括：
35.预处理模块，用于对待重建图像进行预处理；
36.图像重建网络，包括依次连接的特征提取层、非线性映射层和图像重建层；所述非线性映射层包括空洞残差稠密模块，所述空洞残差稠密模块包括若干个依次稠密连接的空洞卷积层和标准卷积层；
37.预处理模块将预处理后的待重建图像输入图像重建网络，特征提取层提取待重建图像的特征信息并将所述特征信息传输至非线性映射层；非线性映射层通过非线性函数模型将所述特征信息映射到图像重建层，图像重建层输出高维特征映射图并将待重建图像与所述高维特征映射图进行叠加处理，得到高分辨率图像。
38.作为优选方案，所述预处理模块包括双三次插值放大单元，所述双三次插值放大单元用于将输入的待重建图像进行双三次插值放大处理，使待重建图像的尺寸与目标高分辨率图像的尺寸相同；将经过放大处理后的待重建图像进行色彩空间转换，得到亮度通道图像。
39.作为优选方案，所述特征提取层包括标准卷积层conv1，所述非线性映射层还包括非线性映射卷积模块，所述空洞残差稠密模块包括依次稠密连接的空洞卷积层conv2、空洞卷积层conv3、空洞卷积层conv4和标准卷积层conv5，所述非线性映射卷积模块包括n个依次连接的标准卷积层convm，其中m＝6,7,...,n 5；所述图像重建层包括标准卷积层conv'；
40.所述标准卷积层conv1的输出端分别与所述空洞卷积层conv2、空洞卷积层conv3、空洞卷积层conv4、标准卷积层conv5的输入端连接；
41.所述空洞卷积层conv2的输出端分别与所述空洞卷积层conv3、空洞卷积层conv4、标准卷积层conv5的输入端连接；
42.所述空洞卷积层conv3的输出端分别与所述空洞卷积层conv4和标准卷积层conv5的输入端连接；
43.所述空洞卷积层conv4的输出端与所述标准卷积层conv5的输入端连接；
44.所述标准卷积层conv5的输出端与所述非线性映射卷积模块的输入端连接；
45.所述非线性映射卷积模块的输出端与所述标准卷积层convm的输入端连接。
46.作为优选方案，所述标准卷积层conv1、标准卷积层conv5和所述标准卷积层convm的输出端均连接有激活层，所述激活层为relu函数。
47.第三个方面，本发明提出一种计算机系统，包括存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行存储器中的计算机程序时实现如基于空洞残差稠密卷积的图像超分辨率重建方法中任一方案所述的步骤。
48.与现有技术相比，本发明技术方案的有益效果是：使用包括若干个依次稠密连接的空洞卷积层和标准卷积层的空洞残差稠密模块，对待重建图像的特征数据进行非线性映射，在相同网络参数的情况下，相比仅标准卷积层能够提取更多的图像的语境信息并且能够提高特征信息的重复利用率，增加前面卷积层提取的特征信息对最后图像重建的贡献率，充分利用图像的特征信息，降低网络的训练难度，实现图像重建的质量和效率的提高。
附图说明
49.图1为实施例1中空洞残差稠密模块的原理图。
50.图2为基于空洞残差稠密卷积的图像超分辨率重建方法的流程图。
51.图3为实施例2中图像重建网络的原理图。
52.图4为实施例2中图像重建网络中各卷积核参数设置示意图。
53.图5为基于空洞残差稠密卷积的图像超分辨率重建系统的架构图。
具体实施方式
54.附图仅用于示例性说明，不能理解为对本专利的限制；
55.下面结合附图和实施例对本发明的技术方案做进一步的说明。
56.实施例1
57.请参阅图1-图2，本实施例提出一种基于空洞残差稠密卷积的图像超分辨率重建方法，包括：
58.s1：对待重建图像进行预处理。
59.s2：构建图像重建网络；所述图像重建网络包括依次连接的特征提取层、非线性映射层和图像重建层；所述非线性映射层包括空洞残差稠密模块，所述空洞残差稠密模块包括若干个依次稠密连接的空洞卷积层和标准卷积层。
60.s3：将预处理后的待重建图像输入所述图像重建网络，所述特征提取层提取待重建图像的特征信息，并将所述特征信息传输至所述非线性映射层。
61.s4：所述非线性映射层通过非线性函数模型将所述特征信息映射到图像重建层，所述图像重建层输出高维特征映射图。
62.s5：将待重建图像与所述高维特征映射图进行叠加处理，得到高分辨率图像。
63.本实施例中，使用空洞残差稠密模块(dilated residual dense block，drd block)对待重建图像的特征数据进行非线性映射，所述空洞残差稠密模块为由空洞卷积层conv2、空洞卷积层conv3、空洞卷积层conv4和标准卷积层conv5依次稠密连接组成的残差结构，如图1所示，图1为本实施例中空洞残差稠密模块的原理图，所述空洞卷积层conv2的输出端分别与所述空洞卷积层conv3、空洞卷积层conv4、标准卷积层conv5的输入端连接；所述空洞卷积层conv3的输出端分别与所述空洞卷积层conv4和标准卷积层conv5的输入端连接；所述空洞卷积层conv4的输出端与所述标准卷积层conv5的输入端连接。
64.在具体实施过程中，特征提取层提取待重建图像的特征信息，并将所述特征信息输入到空洞残差稠密模块中进行非线性映射：首先将特征映射图f1(y)输入空洞卷积层conv2，空洞卷积层conv2输出特征映射图f2(y)；将特征映射图f1(y)和特征映射图f2(y)输入空洞卷积层conv3，空洞卷积层conv3输出特征映射图f3(y)；将特征映射图f1(y)、特征映射图f2(y)和特征映射图f3(y)输入空洞卷积层conv4，空洞卷积层conv4输出特征映射图f4(y)；将特征映射图f1(y)、特征映射图f2(y)、特征映射图f3(y)和特征映射图f4(y)输入标准卷积层conv5，标准卷积层conv5输出特征映射图f5(y)；将特征映射图f1(y)与特征映射图f(y)进行叠加处理，将叠加结果作为空洞残差稠密模块输出的数据，输入一个非线性映射卷积模块，非线性映射卷积模块输出最终的映射数据并传输至图像重建层，所述图像重建层输出高维特征映射图，将待重建图像与所述高维特征映射图进行叠加处理，得到高分辨率图像。
65.在相同网络参数的情况下，相比标准卷积层，空洞卷积层的感受野更大，提取更多的图像的语境信息；在空洞卷积层和标准卷积层之间使用稠密连接的残差结构，将同一个残差结构中前面卷积层提取的特征信息都作为下一层卷积层的输入，能够提高特征信息的
重复利用率，增加前面卷积层提取的特征信息对最后图像重建的贡献率，充分利用图像的特征信息，降低网络的训练难度。因此，使用稠密连接的空洞卷积层和标准卷积层组成的残差结构，对待重建图像的特征数据进行非线性映射，能够提高图像重建的质量和效率。
66.实施例2
67.参阅图3-图4，本实施例在实施例1提出的基于空洞残差稠密卷积的图像超分辨率重建方法的基础上作出改进。
68.本实施例中，对待重建图像进行预处理，包括以下步骤：
69.将待重建图像进行双三次插值放大处理，使待重建图像的尺寸与目标高分辨率图像的尺寸相同。将经过放大处理后的待重建图像进行色彩空间转换，得到亮度通道图像。
70.如图3和图4所示，图3为本实施例中图像重建网络的原理图，图4为本实施例中图像重建网络中各卷积核参数设置示意图。所述特征提取层包括标准卷积层conv1，所述非线性映射层还包括非线性映射卷积模块，所述空洞残差稠密模块包括依次稠密连接的空洞卷积层conv2、空洞卷积层conv3、空洞卷积层conv4和标准卷积层conv5，所述非线性映射卷积模块包括n个依次连接的标准卷积层convm，其中m＝6,7,...,n 5；所述图像重建层包括标准卷积层conv'。所述标准卷积层conv1的输出端分别与所述空洞卷积层conv2、空洞卷积层conv3、空洞卷积层conv4、标准卷积层conv5的输入端连接。所述空洞卷积层conv2的输出端分别与所述空洞卷积层conv3、空洞卷积层conv4、标准卷积层conv5的输入端连接。所述空洞卷积层conv3的输出端分别与所述空洞卷积层conv4和标准卷积层conv5的输入端连接。所述空洞卷积层conv4的输出端与所述标准卷积层conv5的输入端连接。所述标准卷积层conv5的输出端与所述非线性映射卷积模块的输入端连接。所述非线性映射卷积模块的输出端与所述标准卷积层conv'的输入端连接。
71.在特征提取层中，将待重建图像y输入标准卷积层conv1，标准卷积层conv1输出特征映射图f1(y)；标准卷积层conv1使用64个3
×
3卷积核来提取亮度通道图像的特征信息，使低维度的特征信息更加丰富。具体操作表达式如下所示：
72.f1(y)＝relu(w1*y b1)
73.其中，w1表示图像重建网络的权重，b1表示图像重建网络的偏置值。w1的大小设置为conv
×n×f×
f，conv表示输入的通道数，n表示卷积核的数量，即输出通道数，f
×
f表示卷积核的尺寸，relu(
·
)为非线性激活函数。
74.在非线性映射层中，空洞卷积层conv2、空洞卷积层conv3和空洞卷积层conv4的空洞率均为2，且每一层均使用32个3
×
3卷积核来提取图像深层次特征。将所述特征映射图f1(y)输入空洞卷积层conv2，空洞卷积层conv2输出特征映射图f2(y)；将特征映射图f1(y)和特征映射图f2(y)输入空洞卷积层conv3，空洞卷积层conv3输出特征映射图f3(y)；将特征映射图f1(y)、特征映射图f2(y)和特征映射图f3(y)输入空洞卷积层conv4，空洞卷积层conv4输出特征映射图f4(y)；将特征映射图f1(y)、特征映射图f2(y)、特征映射图f3(y)和特征映射图f4(y)输入标准卷积层conv5，标准卷积层conv5输出特征映射图f5(y)。标准卷积层conv2使用64个3
×
3卷积核。具体操作表达式如下所示：
75.fi(y)＝relu(wi*{f
i-1
(y),f
i-2
(y),.....f1(y)} bi)
76.其中，i表示drd block中卷积层的序号，i的取值范围为2到5。在drd block中，第i层的输出与前面i-1,i-2,.....1层都有关，因此可以提高卷积层之间的特征信息利用率。
77.本实施例中，所述非线性映射卷积模块包括18个标准卷积层，即conv6，conv7，...，conv23，所述18个标准卷积层中，每一层均使用64个3
×
3卷积核。将特征映射图f1(y)与特征映射图f5(y)进行叠加处理，将叠加结果输入非线性映射卷积模块，非线性映射卷积模块输出特征映射图f
23
(y)，具体操作表达式如下所示：
78.fm(y)＝relu(wm*f
m-1
bm)
79.其中，m表示非线性映射卷积模块中卷积层的序号，m取值范围为6到23。将f5(y)与f1(y)的叠加结果作为conv6的输入进行卷积操作并输出特征映射图f6(y)。conv6至conv
23
都是使用了64个3
×
3的卷积核进行特征映射，因此，以此类推得到非线性映射层的最后输出特征映射图f
23
(y)。
80.在图像重建层中，将特征映射图f
23
(y)输入所述标准卷积层conv'，所述标准卷积层conv'使用一个3
×
3卷积核对高维度的特征映射图f
23
(y)进行排列组合，得到包含重建图像高频信息的特征映射图f'(y)，将待待重建图像y和所述特征映射图f'(y)进行叠加处理，得到高分辨率图像i
sr
。具体操作表达式如下所示：
81.i
sr
＝f'(y) y。
82.本发明构建了24层卷积层的图像重建网络，提高了重建图像的质量，相比于传统的图像重建方法重建的图像在质量上有了显著提高，尤其在细节纹理和高频信息方面效果更为显著。本发明使用空洞卷积层来代替部分标准卷积层，在相同卷积核参数的情况下扩大了感受野；同时使用残差结构加强底层网络层和高层网络层之间的信息传递，降低了网络训练难度，缓解了梯度消失和梯度爆炸的问题；此外，在空洞卷积层和标准卷积层之间使用了稠密连接结构，提高了卷积层之间特征信息的利用率，使得前面卷积层提取的特征信息可以对最后的图像重建做出贡献。
83.实施例3
84.请参阅图5，本实施例提出一种基于空洞残差稠密卷积的图像超分辨率重建系统，包括预处理模块1和图像重建网络2。
85.所述预处理模块1包括双三次插值放大单元，在具体实施过程中，所述双三次插值放大单元将输入的待重建图像进行双三次插值放大处理，使待重建图像的尺寸与目标高分辨率图像的尺寸相同；将经过放大处理后的待重建图像进行色彩空间转换，得到亮度通道图像。将所述亮度通道图像输入图像重建网络2，所述图像重建模块包括依次连接的特征提取层21、非线性映射层22和图像重建层23。所述非线性映射层22包括空洞残差稠密模块，所述空洞残差稠密模块包括若干个依次稠密连接的空洞卷积层和标准卷积层，所述若干个依次稠密连接的空洞卷积层和标准卷积层组成残差结构。
86.本实施例中，所述特征提取层21包括标准卷积层conv1，所述非线性映射层22还包括非线性映射卷积模块，所述空洞残差稠密模块包括空洞卷积层conv2、空洞卷积层conv3、空洞卷积层conv4和标准卷积层conv5，所述非线性映射卷积模块包括n个依次连接的标准卷积层convm，其中m＝6,7,...,n 5；所述图像重建层23包括标准卷积层conv'。所述标准卷积层conv1的输出端分别与所述空洞卷积层conv2、空洞卷积层conv3、空洞卷积层conv4、标准卷积层conv5的输入端连接。所述空洞卷积层conv2的输出端分别与所述空洞卷积层conv3、空洞卷积层conv4、标准卷积层conv5的输入端连接。所述空洞卷积层conv3的输出端分别与所述空洞卷积层conv4和标准卷积层conv5的输入端连接。所述空洞卷积层conv4的输出端与
所述标准卷积层conv5的输入端连接。所述标准卷积层conv5的输出端与所述非线性映射卷积模块的输入端连接。所述非线性映射卷积模块的输出端与所述标准卷积层conv'的输入端连接。
87.在具体实施过程中，将亮度通道图像y输入标准卷积层conv1，标准卷积层conv1输出特征映射图f1(y)。
88.将所述特征映射图f1(y)输入空洞卷积层conv2，空洞卷积层conv2输出特征映射图f2(y)。将特征映射图f1(y)和特征映射图f2(y)输入空洞卷积层conv3，空洞卷积层conv3输出特征映射图f3(y)。将特征映射图f1(y)、特征映射图f2(y)和特征映射图f3(y)输入空洞卷积层conv4，空洞卷积层conv4输出特征映射图f4(y)。将特征映射图f1(y)、特征映射图f2(y)、特征映射图f3(y)和特征映射图f4(y)输入标准卷积层conv5，标准卷积层conv5输出特征映射图f5(y)。将特征映射图f1(y)与特征映射图f5(y)进行叠加处理，将叠加结果输入非线性映射卷积模块，非线性映射卷积模块输出特征映射图fm(y)。将特征映射图fm(y)输入所述标准卷积层conv'，标准卷积层conv'输出特征映射图f'(y)，将待重建图像和所述特征映射图f'(y)进行叠加处理，得到高分辨率图像i
sr
。
89.附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；
90.显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的传统技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。