基于特征分离的红外图像超分辨率重建方法及装置

1.本发明属于图像处理技术领域，具体涉及一种基于特征分离的红外图像超分辨率重建方法及装置。


背景技术：

2.红外成像不受光照等因素的影响，可以实现全天时工作，故被广泛应用于安防监控等领域。但是，材料和制作工艺的限制导致红外图像存在细节损失、图像质量不高等问题。
3.目前，深度学习算法依靠其强大的信息挖掘能力成为超分领域的研究热点。相关技术中，基于深度学习的超分辨率重建方法根据其任务分支可分为单分支网络与多分支网络，单分支网络并不对特征尺度进行区分，而是直接对原图特征进行深度叠加以提高特征的表现；然而，深度学习网络如经典的超分辨率重建网络vdsr趋于学习简单特征的特性，导致其对细节的学习能力受到限制；多分支网络通过对不同特征图分支提取信息进行融合来提高重建图像的细节表现，但往往分支网络仍使用全局特征，进而限制特征提取能力的进一步提升。


技术实现要素：

4.为了解决现有技术中存在的上述问题，本发明提供了一种基于特征分离的红外图像超分辨率重建方法及装置。本发明要解决的技术问题通过以下技术方案实现：
5.第一方面，本发明提供一种基于特征分离的红外图像超分辨率重建方法，包括：
6.获取待处理图像；
7.对所述待处理图像进行上采样，得到第一图像；
8.将所述第一图像输入预先训练好的特征分离网络，得到所述第一图像的低分低频特征和低分高频特征；
9.根据所述低分低频特征，确定所述第一图像的结构图像，并根据所述低分高频特征，获得所述第一图像的纹理信息及噪声图像；
10.根据所述结构图像和所述纹理信息，超分辨率重建得到第二图像。
11.在本发明的一个实施例中，所述根据所述低分低频特征，确定所述第一图像的结构图像，并根据所述低分高频特征，获得所述第一图像的纹理信息及噪声图像的步骤，包括：
12.将所述低分低频特征输入预先训练好的多尺度注意力模块，得到所述第一图像的结构图像；
13.将所述低分高频特征输入预先训练好的多尺度跳跃连接模块，获得所述第一图像的纹理信息和噪声图像。
14.在本发明的一个实施例中，所述将所述低分低频特征输入预先训练好的多尺度注意力模块，得到所述第一图像的结构图像的步骤，包括：
15.将所述低分低频特征输入预先训练好的多尺度注意力模块，以使所述多尺度注意力模块对所述低分低频特征进行多次下采样后，获得多尺度特征，并根据所述多尺度特征、第一预设dssa模块、第二预设dssa模块和第三预设dssa模块，生成所述第一图像的结构图像。
16.在本发明的一个实施例中，所述特征分离网络采用如下步骤训练得到：
17.获得训练样本；所述训练样本包括多个第一样本图像、以及与所述第一样本图像对应的第二样本图像，所述第二样本图像的分辨率大于所述第一样本图像的分辨率；
18.对所述第一样本图像进行上采样，上采样后的第一样本图像的分辨率与所述第二样本图像的分辨率相同；
19.将上采样后的第一样本图像输入至第一待训练特征分离网络，获得上采样后的第一样本图像的第一低频特征和第一高频特征，并将所述第二样本图像输入至第二待训练特征分离网络，获得第二样本图像的第二低频特征和第二高频特征；其中，所述第一待训练特征分离网络与所述第二待训练特征分离网络的结构相同、且共享网络参数；
20.根据所述第一低频特征、所述第一高频特征、所述第二低频特征、所述第二高频特征和预设损失函数，确定当前第一待训练特征分离网络和当前第二待训练特征分离网络的损失值，并将损失值反向传播至第一待训练特征分离网络和第二待训练特征分离网络，直至二者收敛。
21.在本发明的一个实施例中，所述预设损失函数包括：高低频分离重建损失函数和低频相似度损失函数。
22.在本发明的一个实施例中，所述预设损失函数为：
23.l＝l
recon
λ
low
l
low
24.式中，l
low
＝||lr
d-hrd||1，λ
low
表示用于调节低频分离一致性的预设系数，λ
ij
表示预设的重建损失权重系数，id表示第一高频特征或第二高频特征，js表示第一低频特征或第二低频特征，j表示第一样本图像或第二样本图像，lr表示第一样本图像，hr表示第二样本图像。
25.在本发明的一个实施例中，所述根据所述结构图像和所述细节信息，超分辨率重建得到第二图像的步骤，包括：
26.对所述结构图像和所述细节信息进行concat连接，并将concat连接结果输入至预先训练好的卷积网络，得到超分辨率重建后的第二图像。
27.第二方面，本发明提供一种基于特征分离的红外图像超分辨率重建装置，包括：
28.获取模块，用于获取待处理图像；
29.上采样模块，用于对所述待处理图像进行上采样，得到第一图像；
30.特征分离模块，用于将所述第一图像输入预先训练好的特征分离网络，得到所述第一图像的低分低频特征和低分高频特征；
31.确定模块，用于根据所述低分低频特征，确定所述第一图像的结构图像，并根据所述低分高频特征，获得所述第一图像的纹理信息及噪声图像；
32.重建模块，用于根据所述结构图像和所述纹理信息，超分辨率重建得到第二图像。与现有技术相比，本发明的有益效果在于：
33.本发明提供一种基于特征分离的红外图像超分辨率重建方法及装置，由于特征分离网络在训练过程中通过共享参数的第一待训练特征分离网络和第二待训练特征分离网络学习低分辨率的第一样本图像与高分辨率的第二样本图像的相同部分，从而使训练好的特征分离网络能够实现低分辨率图像与高分辨率图像的高低频分离，进而使高频特征能被更好地学习、并针对分离特征图图像的特点采用不同的网络进行处理，充分利用输入的多尺度特征，进一步引导图像的细节恢复，提高图像的信息量。
34.以下将结合附图及实施例对本发明做进一步详细说明。
附图说明
35.图1是本发明实施例提供的基于特征分离的红外图像超分辨率重建方法的一种流程图；
36.图2是本发明实施例提供的多尺度注意力模块的一种结构示意图；
37.图3是本发明实施例提供的dssa模块的一种结构示意图；
38.图4是本发明实施例提供的多尺度跳跃连接模块的一种结构示意图；
39.图5是本发明实施例提供的多尺度连接模块的一种结构示意图；
40.图6是本发明实施例提供的基于特征分离的红外图像超分辨率重建装置的一种结构示意图。
具体实施方式
41.下面结合具体实施例对本发明做进一步详细的描述，但本发明的实施方式不限于此。
42.图1是本发明实施例提供的基于特征分离的红外图像超分辨率重建方法的一种流程图。如图1所示，本发明实施例提供一种基于特征分离的红外图像超分辨率重建方法，包括：
43.s1、获取待处理图像；
44.s2、对待处理图像进行上采样，得到第一图像；
45.s3、将第一图像输入预先训练好的特征分离网络，得到第一图像的低分低频特征和低分高频特征；
46.s4、根据低分低频特征，确定第一图像的结构图像，并根据低分高频特征，获得第一图像的纹理信息及噪声图像；
47.s5、根据结构图像和纹理信息，超分辨率重建得到第二图像。
48.本实施例中，待处理图像为低分辨率红外图像，可以使用亚像素方法对其进行上采样操作，亚像素上采样能够充分利用待处理图像的原有信息，避免在上采样过程中引入冗余信息。接着，将上采样得到的第一图像输入至预先训练好的特征分离网络，可选地，特征分离网络由五层卷积层组成，第一层卷积层的卷积核大小为3*3，用于对第一图像的特征进行提取，第二层和第三层卷积层在3*3卷积的基础上使用relu激活函数，第四层卷积层的卷积核大小亦为3*3，用于分辨第一图像的低分低频特征和低分高频特征，第五层为sigmoid激活层，用于将低分低频特征和低分高频特征限制在[0,1]之间。
[0049]
在上述步骤s4中，利用低分低频特征得到第一图像的结构图像后，由于低分低频
特征中包含第一图像大多数的信息表示，如第一图像全部的结构轮廓信息及大多数的隐含文理信息，故进一步对低分低频特征进行细节恢复处理，保留细节信息。最后，根据特征信息和细节信息进行超分辨率重建，得到第二图像。
[0050]
可选地，上述步骤s4中，根据低分低频特征，确定第一图像的结构图像，并根据低分高频特征，获得第一图像的纹理信息及噪声图像的步骤，包括：
[0051]
s401、将低分低频特征输入预先训练好的多尺度注意力模块，得到第一图像的结构图像；
[0052]
s402、将低分高频特征输入预先训练好的多尺度跳跃连接模块，获得第一图像的纹理信息和噪声图像。
[0053]
具体而言，本实施例中利用预先训练好的多尺度注意力模块从低分低频特征中获得结构图像，并利用多尺度跳跃连接模块从低分高频特征中获第一图像的纹理信息和噪声图像。
[0054]
可选地，步骤s401中，将低分低频特征输入预先训练好的多尺度注意力模块，得到第一图像的结构图像的步骤，包括：
[0055]
将低分低频特征输入预先训练好的多尺度注意力模块，以使多尺度注意力模块对低分低频特征进行多次下采样后，获得多尺度特征，并根据多尺度特征、第一预设dssa模块、第二预设dssa模块和第三预设dssa模块，生成第一图像的结构图像。
[0056]
图2是本发明实施例提供的多尺度注意力模块的一种结构示意图。如图2所示，将低分低频特征输入预先训练好的多尺度注意力模块后，多尺度注意力模块对低分低频特征进行三次2倍的下采样，获得多尺度特征，即图2所示的一级特征、二级特征和三级特征，进一步地，将各级特征与低分低频特征输入不同尺度自注意dssa模块进行处理，并从最低级的输出开始依次向与高一级特征进行融合，从而形成最终的结构图像。
[0057]
图3是本发明实施例提供的dssa模块的一种结构示意图。具体地，请参见图3，由于输入特征的尺度不同，而非局部注意力机制只能处理相同尺度的输入特征，因此dssa模块中不再使用基于像素匹配的全局配对方式，而是采用块匹配的方式，将低尺度特征压缩为更低尺度的描述符，并将此描述符作为权重与低分低频特征进行计算，具体过程如下：
[0058]
首先，分别对低分低频特征提取三次图像特征，分别用于重建与转换，分别对应w1与w2；然后，对在低尺度提取到的块特征w2，进行线性拼接作为核函数权重与输入高尺度特征进行卷积匹配，并应用softmax函数得到自相似性特征图tmp；对在低尺度提取到的另一块特征w1进行线性拼接作为转置卷积核权重，与自相似性特征图tmp进行反卷积得到输出特征。
[0059]
应当理解，多尺度注意力模块克服了非局部注意力机制只在单一尺度进行局部相似性计算的缺点，将图像的局部相似性计算扩展到多尺度维度，进而可以更好地挖掘不同尺度的信息，dssa模块克服了相关技术中非局部注意力的逐像素匹配的局限性，使用逐块匹配，允许网络更多地关注相关区域，同时抑制不相关的区域，在此过程中将区域特征压缩为低维度的描述符降低了噪声的表达。
[0060]
图4是本发明实施例提供的多尺度跳跃连接模块的一种结构示意图。上述步骤s402中，将低分高频特征输入预先训练好的多尺度跳跃连接模块，该模块以u-net作为基本网络骨架，将现有u-net中的跳跃连接用多尺度连接模块代替。图5是本发明实施例提供的
多尺度连接模块的一种结构示意图。如图5所示，多尺度连接模块提取并结合了输入的多尺度特征，其中多尺度特征分支包括四个：1
×
1卷积、膨胀率为6的3
×
3膨胀卷积、膨胀率为12的3
×
3膨胀卷积以及倍率为2的池化，多尺度连接模块提取u-net编码过程中的不同尺度特征连接到同一尺度下的u-net解码过程中，用以引导输出特征的形成，该结构与传统的直接跳跃5连接u-net相比，不仅在u-net的编码-解码过程中去除了冗余信息(噪声等)，同时可以更好地保留输入特征的细节及结构信息。
[0061]
可选地，特征分离网络采用如下步骤训练得到：
[0062]
获得训练样本；训练样本包括多个第一样本图像、以及与第一样本图像对应的第二样本图像，第二样本图像的分辨率大于第一样本图像的分辨率；
[0063]
对第一样本图像进行上采样，上采样后的第一样本图像的分辨率与第二样本图像的分辨率相同；
[0064]
将上采样后的第一样本图像输入至第一待训练特征分离网络，获得上采样后的第一样本图像的第一低频特征和第一高频特征；
[0065]
将第二样本图像输入至第二待训练特征分离网络，获得第二样本图像的第二低频特征和第二高频特征；第一待训练特征分离网络与第二待训练特征分离网络的结构相同、且共享网络参数；
[0066]
根据第一低频特征、第一高频特征、第二低频特征、第二高频特征和预设损失函数，确定当前第一待训练特征分离网络和当前第二待训练特征分离网络的损失值，并将损失值反向传播至第一待训练特征分离网络和第二待训练特征分离网络，直至二者收敛。
[0067]
本实施例中，训练样本包括大量第一样本图像、以及与第一样本图像对应的第二样本图像，其中，第一样本图像和第二样本图像均为红外图像，第二样本图像的分辨率大于第一样本图像的分辨率且分辨率比值为整数。将上采样后的第一样本图像和第二样本图像同时分别输入至第一待训练特征分离网络和第二待训练特征分离网络，第一待训练特征分离网络与第二待训练特征分离网络的结构相同、且共享网络参数，基于高分图像与低分图像存在信息重合的理论，第一待训练特征分离网络及第二待训练特征分离网络学习分离两幅图像中相同的低频部分与不同的高频部分，分离结果为第一低频特征lrs、第一高频特征lrd、第二低频特征hrs、第二高频特征hrd，其中，第一低频特征lrs与第二低频特征hrs为两幅图像中的重合部分，而第一高频特征lrd中主要包含少量高频细节信息及各类噪声信息。
[0068]
为了更好地实现特征分离表示，本实施例中预设损失函数包括两部分：高低频分离重建损失函数l
recon
和低频相似度损失函数l
low
。
[0069]
具体地，预设损失函数l＝l
recon
λ
low
l
low
，其中，λ
low
用于调节低频分离一致性的系数。
[0070]
式中，高低频分离重建损失函数l
recon
可表示为：
[0071][0072]
低频相似度损失函数l
low
可表示为：
[0073]
l
low
＝||lr
d-hrd||1[0074]
λ
ij
表示预设的重建损失权重系数，id表示第一高频特征或第二高频特征，js表示第一低频特征或第二低频特征，j表示第一样本图像或第二样本图像，lr表示第一样本图
像，hr表示第二样本图像。
[0075]
可选地，步骤s5中，根据结构图像和细节信息，超分辨率重建得到第二图像的步骤，包括：
[0076]
对结构图像和细节信息进行concat连接，并将concat连接结果输入至预先训练好的卷积网络，得到超分辨率重建后的第二图像。
[0077]
具体而言，本步骤中首先对步骤s4得到的结构图像和低分高频特征进行concat连接，再使用简单的卷积网络恢复得到重建后的高分辨率的第二图像。
[0078]
图6是本发明实施例提供的基于特征分离的红外图像超分辨率重建装置的一种结构示意图。如图6所示，本发明实施例提供一种基于特征分离的红外图像超分辨率重建装置，包括：
[0079]
获取模块610，用于获取待处理图像；
[0080]
上采样模块620，用于对所述待处理图像进行上采样，得到第一图像；
[0081]
特征分离模块630，用于将所述第一图像输入预先训练好的特征分离网络，得到所述待处理图像的低分低频特征和低分高频特征；
[0082]
确定模块640，用于根据所述低分低频特征，确定所述第一图像的结构图像，并根据所述低分高频特征，获得所述第一图像的的纹理信息及噪声图像；
[0083]
重建模块650，用于根据所述结构图像和所述纹理信息，超分辨率重建得到第二图像。
[0084]
通过上述实施例可知，本发明的有益效果在于：
[0085]
本发明提供一种基于特征分离的红外图像超分辨率重建方法及装置，由于特征分离网络在训练过程中通过共享参数的第一待训练特征分离网络和第二待训练特征分离网络学习低分辨率的第一样本图像与高分辨率的第二样本图像的相同部分，从而使训练好的特征分离网络能够实现低分辨率图像与高分辨率图像的高低频分离，进而使高频特征能被更好地学习、并针对分离特征图图像的特点采用不同的网络进行处理，充分利用输入的多尺度特征，进一步引导图像的细节恢复，提高图像的信息量。
[0086]
在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
[0087]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行接合和组合。
[0088]
尽管在此结合各实施例对本技术进行了描述，然而，在实施所要求保护的本技术过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求
中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。
[0089]
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。