基于多尺度残差特征融合的图像超分辨率重建方法与流程

1.本发明涉及一种图像处理方法，尤其涉及一种基于多尺度残差特征融合的图像超分辨率重建方法。


背景技术：

2.现有超分辨率网络均是在公共数据集上通过已知模糊核等固定退化方法来生成高-低分辨率图像对，这会使得超分辨率重建网络的泛用性不佳，无法应用在现实生活中，因此，基于真实图像的图像超分辨率重建成为了目前的研究热点。此外，基于真实图像的超分辨率重建算法均存在参数量巨大的缺点，虽然巨大的参数量可以保证算法的重建性能，但是不利于算法的部署与应用。
3.因此，为了解决上述技术问题，亟需提出一种新的技术手段。


技术实现要素：

4.有鉴于此，本发明的目的是提供一种基于多尺度残差特征融合的图像超分辨率重建方法，能够有效的对真实图像进行修复，确保本发明方法的泛用性，同时在保证本发明方法重建性能的前提下大幅度降低算法的参数来实现轻量化。
5.本发明提供的一种基于多尺度残差特征融合的图像超分辨率重建方法，包括以下步骤：
6.s1.获取不同分辨率的图像，并对图像进行预处理获得高-低分辨率图像对；
7.s2.构建基于深度可分离卷积的多尺度特征提取模块，对预处理后的高-低分辨率图像对进行特征提取，输出特征图；
8.s3.构建残差特征融合模块，对输出特征图进行残差特征融合处理；
9.s4.构建增强型注意力模块，对残差特征融合处理后的特征图进行处理；
10.s5.采用自适应上采样模块对步骤s4中输出的特征图进行上采样，生成超分辨率图像；
11.s6.构建基于charbonnier loss的损失函数模块并对超分辨率图像进行处理；
12.s7.构建基于多尺度残差特征融合的超分辨率图像重建模型，将步骤s6处理后的超分辨率图像输入至超分辨率重建模型中进行训练；
13.s8.将待处理图像输入至基于多尺度残差特征融合的超分辨率图像重建模型中进行处理，得到待处理图像的超分辨率重建后的图像信息。
14.进一步，步骤s2中，所述多尺度特征提取模块通过如下公式进行特征提取：
15.σ(x)＝max(0,x) min(ax,0)；
[0016][0017]
[0018][0019][0020]
f'＝[s
1,1
,s
1,3
,s
1,4
]；
[0021][0022][0023][0024]
其中：σ(x)表示线性整流函数,a为可学习的常数，w表示权重，b表示偏置参数，b的上标表示当前所在的层数，w的下标表示卷积核的大小，w的上标中第一参数表示当前权重所在层数，第二参数表示当前权重在所在层的卷积的位置；；表示卷积操作；[]表示级联操作,沿通道维度对特征图执行级联；s表示卷积层输出的特征图,其下标表示其来自于第几层的第几个卷积；
[0025]
提取过程为：输入特征图f
n-1
分别经过两个1
×
1卷积进行升降维以获得特征图s
1,1
和s
1,2
，然后s
1,2
执行一次3
×
3通道可分离卷积以获得感受野为3
×
3的特征图s
1,3
，再对s
1,3
执行一次3
×
3通道可分离卷积以获得感受野为5
×
5的特征图s
1,4
，之后级联s
1,1
、s
1,3
和s
1,4
获得多尺度特征图f'；对f'执行一次3
×
3通道可分离卷积获得感受野为3
×
3的特征图s
2,1
，再对s
2,1
执行一次3
×
3卷积以获得感受野为5
×
5的特征图s
2,2
,最后级联s
2,1
、s
2,2
后使用1
×
1卷积进行降维，使得输出特征图fn通道数与f
n-1
一致。
[0026]
进一步，步骤s3中，残差特征融合模块基于如下公式执行：
[0027]
f1＝msdsb1(m
n-1
)；
[0028]
m'＝f1 m
n-1
；
[0029]
f2＝msdsb2(m')；
[0030]
m'
←
f2 m'；
[0031]
f3＝msdsb3(m')；
[0032]
m'
←
f3 m'；
[0033]
f4＝msdsb4(m')；
[0034][0035]
mn＝mn' mn-1；
[0036]
其中：msdsb表示步骤s2中所构建的特征提取模块；m'表示残差特征融合模块中的中间特征，在模块的执行过程中会不断更新；f表示每一个特征提取模块的输出特征图，其下标表示该特征图来自于第几个特征提取模块；
[0037]
残差特征融合处理过程为：
[0038]
输入特征图m
n-1
首先经过第一个特征提取模块以获得其输出特征图f1；
[0039]
将特征图f1与输入特征图相加获得中间特征m'；
[0040]
依次使用第二、三个特征提取模块对中间特征m'执行特征提取操作获得特征图f2和f3，并使用残差连接将特征图与m'相加以更新中间特征m'；
[0041]
采用第四个特征提取模块对中间特征m'进行特征提取获得第四个特征图f4；
[0042]
将特征图f1至特征图f4沿通道维度级联，并通过1
×
1卷积进行融合并降低通道数获得残差特征图mn'；
[0043]
将输入特征图与残差特征图相加，获得输出特征图mn。
[0044]
进一步，步骤s4中，增强型注意力模块基于如下公式执行：
[0045]
mc'＝vec(gap(mn))；
[0046]
mc＝sigmoid(w2*σ(w1*mc' b1) b2)；
[0047]mn
←mn e mc；
[0048][0049][0050][0051]
其具体过程为：针对残差特征融合模块输出的特征图进行一次全局平均池化，然后将特征进行向量化处理以获得特征向量mc'；
[0052]
通过两个全连接层和一个激活函数自适应地建立通道间的相互关系，并使用sigmoid函数将特征向量压缩至0～1之间获得通道掩码mc；
[0053]
使用通道掩码mc对原特征通道mn进行加权处理并更新以获得经过通道维度校准的特征图mn；
[0054]
将经过通道注意力模块处理后的特征图mn进行1
×
1卷积降维至1通道获得ms'，然后依次执行两次11
×
11卷积以通过大感受野获取图像的空间关系，同时第二个11
×
11卷积使通道数降为1；
[0055]
通过sigmoid函数将特征图压缩至0～1之间生成空间维度的掩码ms，最后将掩码和特征图相乘获得经模块校准后的特征图
[0056]
进一步，步骤s6中，损失函数模块采用如下公式：
[0057]
其中，表示网络生成的图像；i为真实图像，i，j和k分别表示图像长、宽、色彩通道中对应的像素，ε为常量，置为0.01，h、w和c分别表示图像的长度、宽度和色彩通道。
[0058]
进一步，超分辨率重建模型为：
[0059]
fsr＝f(flr,θ)
[0060]
其中，f表示本文提出的超分辨率网络模型，θ表示本文超分辨率模型中的参数，最终的目的是为了更新参数θ，使得损失函数lc最小化，即：
[0061][0062]
本发明的有益效果：通过本发明，能够有效的对真实图像进行恢复，避免超分辨率任务中泛用性不佳的问题，而且通过深度可分离卷积和复用卷积的操作，使得算法的参数量大幅度下降，在保证重建性能的前提下具有轻量化特性。
附图说明
[0063]
下面结合附图和实施例对本发明作进一步描述：
[0064]
图1为本发明的流程图。
[0065]
图2为本发明的特征提取模块示意图。
[0066]
图3为本发明的残差特征融合结构示意图。
[0067]
图4为本发明的增强型注意力模块结构示意图。
[0068]
图5为本发明的超分辨率网络结构示意图。
具体实施方式
[0069]
以下结合说明书附图对本发明做出进一步详细说明：
[0070]
本发明提供的一种基于多尺度残差特征融合的图像超分辨率重建方法，包括以下步骤：
[0071]
s1.获取不同分辨率的图像，并对图像进行预处理获得高-低分辨率图像对；其中，通过现有的图像采集设备以获得不同分辨率的图像；
[0072]
s2.构建基于深度可分离卷积的多尺度特征提取模块，对预处理后的高-低分辨率图像对进行特征提取，输出特征图；
[0073]
s3.构建残差特征融合模块，对输出特征图进行残差特征融合处理；
[0074]
s4.构建增强型注意力模块，对残差特征融合处理后的特征图进行处理；
[0075]
s5.采用自适应上采样模块对步骤s4中输出的特征图进行上采样，生成超分辨率图像；
[0076]
s6.构建基于charbonnier loss的损失函数模块并对超分辨率图像进行处理；
[0077]
s7.构建基于多尺度残差特征融合的超分辨率图像重建模型，将步骤s6处理后的超分辨率图像输入至超分辨率重建模型中进行训练；
[0078]
s8.将待处理图像输入至基于多尺度残差特征融合的超分辨率图像重建模型中进行处理，得到待处理图像的超分辨率重建后的图像信息，通过上述方法，够有效的对真实图像进行恢复，避免超分辨率任务中泛用性不佳的问题，而且通过深度可分离卷积和复用卷积的操作，使得算法的参数量大幅度下降，在保证重建性能的前提下具有轻量化特性。
[0079]
本实施例中，步骤s2中，所述多尺度特征提取模块通过如下公式进行特征提取：
[0080]
σ(x)＝max(0,x) min(ax,0)；
[0081][0082][0083][0084][0085]
f'＝[s
1,1
,s
1,3
,s
1,4
]；
[0086]
[0087][0088][0089]
其中：σ(x)表示线性整流函数,a为可学习的常数，w表示权重，b表示偏置参数，b的上标表示当前所在的层数，w的下标表示卷积核的大小，w的上标中第一参数表示当前权重所在层数，第二参数表示当前权重在所在层的卷积的位置；；表示卷积操作；[]表示级联操作,沿通道维度对特征图执行级联；s表示卷积层输出的特征图,其下标表示其来自于第几层的第几个卷积；
[0090]
提取过程为：输入特征图f
n-1
分别经过两个1
×
1卷积进行升降维以获得特征图s
1,1
和s
1,2
，然后s
1,2
执行一次3
×
3通道可分离卷积以获得感受野为3
×
3的特征图s
1,3
，再对s
1,3
执行一次3
×
3通道可分离卷积以获得感受野为5
×
5的特征图s
1,4
，之后级联s
1,1
、s
1,3
和s
1,4
获得多尺度特征图f'；对f'执行一次3
×
3通道可分离卷积获得感受野为3
×
3的特征图s
2,1
，再对s
2,1
执行一次3
×
3卷积以获得感受野为5
×
5的特征图s
2,2
,最后级联s
2,1
、s
2,2
后使用1
×
1卷积进行降维，使得输出特征图fn通道数与f
n-1
一致，通过上述方法，能够有效地使整个算法过程轻量化，占用资源少，且能够确保最终结果的准确性。
[0091]
本实施例中，步骤s3中，残差特征融合模块基于如下公式执行：
[0092]
f1＝msdsb1(m
n-1
)；
[0093]
m'＝f1 m
n-1
；
[0094]
f2＝msdsb2(m')；
[0095]
m'
←
f2 m'；
[0096]
f3＝msdsb3(m')；
[0097]
m'
←
f3 m'；
[0098]
f4＝msdsb4(m')；
[0099][0100]
mn＝mn' mn-1；
[0101]
其中：msdsb表示步骤s2中所构建的特征提取模块；m'表示残差特征融合模块中的中间特征，在模块的执行过程中会不断更新；f表示每一个特征提取模块的输出特征图，其下标表示该特征图来自于第几个特征提取模块；
[0102]
残差特征融合处理过程为：
[0103]
输入特征图m
n-1
首先经过第一个特征提取模块以获得其输出特征图f1；
[0104]
将特征图f1与输入特征图相加获得中间特征m'；
[0105]
依次使用第二、三个特征提取模块对中间特征m'执行特征提取操作获得特征图f2和f3，并使用残差连接将特征图与m'相加以更新中间特征m'；
[0106]
采用第四个特征提取模块对中间特征m'进行特征提取获得第四个特征图f4；
[0107]
将特征图f1至特征图f4沿通道维度级联，并通过1
×
1卷积进行融合并降低通道数获得残差特征图mn'；
[0108]
将输入特征图与残差特征图相加，获得输出特征图mn；通过上述方法，能够有效确保最终结果的准确性。
[0109]
本实施例中，步骤s4中，增强型注意力模块基于如下公式执行：
[0110]
mc'＝vec(gap(mn))；
[0111]
mc＝sigmoid(w2*σ(w1*mc' b1) b2)；
[0112]mn
←mn e mc；
[0113][0114][0115][0116]
其具体过程为：针对残差特征融合模块输出的特征图进行一次全局平均池化，然后将特征进行向量化处理以获得特征向量mc'；
[0117]
通过两个全连接层和一个激活函数自适应地建立通道间的相互关系，并使用sigmoid函数将特征向量压缩至0～1之间获得通道掩码mc；
[0118]
使用通道掩码mc对原特征通道mn进行加权处理并更新以获得经过通道维度校准的特征图mn；
[0119]
将经过通道注意力模块处理后的特征图mn进行1
′
1卷积降维至1通道获得ms'，然后依次执行两次11
×
11卷积以通过大感受野获取图像的空间关系，同时第二个11
×
11卷积使通道数降为1；
[0120]
通过sigmoid函数将特征图压缩至0～1之间生成空间维度的掩码ms，最后将掩码和特征图相乘获得经模块校准后的特征图
[0121]
进一步，步骤s6中，损失函数模块采用如下公式：
[0122]
其中，表示网络生成的图像，即为最终的输出超分辨率图像；i为真实图像，即原图像，i，j和k分别表示图像长、宽、色彩通道中对应的像素，ε为常量，置为0.01，h、w和c分别表示图像的长度、宽度和色彩通道。
[0123]
本实施例中，超分辨率重建模型为：
[0124]fsr
＝f(f
lr
,θ)
[0125]
其中，f表示本文提出的超分辨率网络模型，θ表示本文超分辨率模型中的参数，最终的目的是为了更新参数θ，使得损失函数lc最小化，即：
[0126]
此时，输出最终的超分辨率图像f
sr
。
[0127]
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。