基于自编码器构建的无监督遥感图像超分辨率重构方法

1.本发明涉及计算机视觉技术领域，特别涉及一种基于自编码器构建的无监督遥感图像超分辨率重构方法。


背景技术：

2.高分辨率遥感图像在环境监测、军事侦察、城乡规划等方面有着重要应用。然而，高分辨率遥感图像的获取成本极高且成像分辨率受限于成像系统精度。超分辨率重构技术是通过软件算法在不提升现有硬件设备的条件下，有效地提升图像分辨率，因此，研究遥感图像超分辨率重构具有重要意义。
3.深度学习在计算机视觉领域取得了关键性突破。图像超分辨率重构技术也随之发展。基于深度学习的图像超分辨率重构算法通常采用高低分辨率的图像对训练深度神经网络。然而，大量的高分辨率遥感图像在实际情况中难以获取，且成本极高。其次，目前单一的双三次下采样难以模拟真实遥感图像中的复杂降质过程(包含噪声、模糊等)。基于以上问题。本发明构建一种以自编码器为基础结构的遥感图像超分辨率重构方法。


技术实现要素：

4.本发明的目的是为了克服已有技术的缺陷，提出一种基于自编码器构建的无监督遥感图像超分辨率重构方法，能够在不使用高分辨率遥感图像标签的情况下无监督地提升低分辨率遥感图像的空间分辨率，且在一定程度上能够拟合真实图像的复杂降质过程，在实际应用中，对真实遥感图像的重构质量进行提升。
5.为实现上述目的，本发明采用以下具体技术方案：
6.本发明提供的基于自编码器构建的无监督遥感图像超分辨率重构方法，包括如下步骤：
7.s1、选取低分辨率图像构建遥感图像数据集；
8.s2、构建自编码器；其中，自编码器包括编码器和解码器；
9.s3、将遥感图像数据集中的低分辨率图像i
lr
输入到编码器，获得与待重构图像同尺寸相同的编码表示latent；
10.s4、将编码表示latent输入到解码器，获得重构图像i
sr
；
11.s5、将重构图像i
sr
输入到已训练好的降质神经网络中，输出降质后的图像i
sr
'；
12.s6、计算降质后的图像i
sr
'与重构图像i
sr
的损失，根据该损失更新编码器与解码器的网络参数。
13.优选地，在步骤s1中，采用ucm和nwpu作为训练数据集，合成为包含复杂降质过程的合成数据集。
14.优选地，编码器由卷积层、激活层、批归一化层和通道注意层构成的通道注意机制模块。
15.优选地，编码器的损失函数losse为：
16.losse＝l2(i
sr
′
,i
lr
) ω1×
l2(latent,i
bic
) ω2×
geocross(latent)；
17.其中，l2表示2范数损失，i
bic
表示低分辨率图像经过双三次插值的图像，geocross表示球面几何距离损失，ω1和ω2分别表示常数系数；
18.优选地，编码表示使用正则化策略：
19.latent_in
t
＝0.05*latent_out
t-1
latent_out
t
；
20.其中，latent_in
t
表示当前epoch输入到解码器的编码表示，latent_out
t-1
表示上一个epoch编码器输出的编码表示，latent_out
t
表示当前epoch编码器输出的编码表示；
21.优选地，解码器包括对称的上采样模块和下采样模块，上采样模块与下采样模块均由卷积层、leakyrelu激活函数、批归一化层、激活层构成。
22.优选地，解码器的损失函数lossd为：
23.lossd＝l2(i
sr
',i
lr
)。
24.优选地，对编码器和解码器进行交替训练，使用不同的损失函数，逐步完成图像重构的过程。
25.优选地，复杂降质过程包括双三次下采样、高斯模糊以及加性高斯白噪声。
26.与现有技术相比，本发明能够在不使用高分辨率遥感图像标签的情况下无监督地提升低分辨率遥感图像的空间分辨率，且在一定程度上能够拟合真实图像的复杂降质过程，在实际应用中，对真实遥感图像的重构质量进行提升。
附图说明
27.图1是根据本发明实施例提供的基于自编码器构建的无监督遥感图像超分辨率重构方法的整体流程示意图；
28.图2是根据本发明实施例提供的基于自编码器构建的无监督遥感图像超分辨率重构方法的逻辑流程示意图；
29.图3是根据本发明实施例提供的编码器的网络结构示意图；
30.图4是根据本发明实施例提供的解码器的网络结构示意图；
31.图5a和图5b是根据本发明实施例提供的对于测试集
×
2倍数部分图像的视觉结果示意图；
32.图6a和图6b是根据本发明实施例提供的对于测试集
×
4倍数部分图像的视觉结果示意图；
33.图7a和图7b是根据本发明实施例提供的对于测试集
×
8倍数部分图像的视觉结果示意图；
34.图8a和图8b是根据本发明实施例提供的对于真实遥感图像(吉林一号卫星图像)重构4倍的视觉结果示意图；
35.图9a和图9b是根据本发明实施例提供的对于真实遥感图像(吉林一号卫星图像)重构8倍的视觉结果示意图。
具体实施方式
36.在下文中，将参考附图描述本发明的实施例。在下面的描述中，相同的模块使用相同的附图标记表示。在相同的附图标记的情况下，它们的名称和功能也相同。因此，将不重
复其详细描述。
37.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，而不构成对本发明的限制。
38.图1和图2分别示出了本发明实施例提供的基于自编码器构建的无监督遥感图像超分辨率重构方法的整体流程和逻辑流程。
39.如图1和图2所示，本发明实施例提供的基于自编码器构建的无监督遥感图像超分辨率重构方法包括如下步骤：
40.s1、选取低分辨率图像构建遥感图像数据集。
41.本发明需要搭建pytorch的开发环境，具体使用nvidia geforce rtx 2080ti显卡进行图像重构。实验的软件平台采用cuda 11.1、cudnn 8以及pytorch1.9.0环境。
42.本发明采用ucm和nwpu作为训练数据集，合成为包含复杂降质过程的合成数据集。复杂降质过程包括双三次下采样、高斯模糊以及加性高斯白噪声等步骤。
43.s2、构建自编码器；其中，自编码器包括编码器和解码器。
44.图3示出了根据本发明实施例提供的编码器的网络结构。
45.如图3所示，编码器是由通道注意机制模块构成的神经网络，通道注意机制模块由一系列包含卷积层、激活层、bn层构成。
46.编码器的输入为低分辨率图像，编码器的输出为大小与待重构图像同尺寸的编码表示。
47.编码器需要加强对于编码表示的约束，因此其损失函数losse如下：
48.losse＝l2(i
sr
′
,i
lr
) ω1×
l2(latent,i
bic
) ω2×
geocross(latent)；
49.其中，l2表示2范数损失，i
bic
表示低分辨率图像经过双三次插值的图像，geocross表示球面几何距离损失，ω1和ω2分别表示常数系数，用于平衡这几项损失，ω1和ω2在程序中分别取0.5和0.2。
50.此外，针对8倍放大，本发明对编码器输出的编码表示使用了正则化策略，如下所示：
51.latent_in
t
＝0.05*latent_out
t-1
latent_out
t
；
52.其中，latent_in
t
表示当前epoch输入到所述解码器的编码表示，latent_out
t-1
表示上一个epoch所述编码器输出的编码表示，latent_out
t
表示当前epoch所述编码器输出的编码表示。
53.图4示出了根据本发明实施例提供的解码器的网络结构。
54.如图4所示，解码器是由卷积层、leakyrelu激活函数、批归一化层、激活层构成的包含上采样和下采样的对称结构，且堆成的模块之间有跳跃连接。解码器的输入为编码器输出的编码表示，解码器的输出为重构图像。
55.解码器的损失函数lossd如下：
56.lossd＝l2(i
sr
',i
lr
)。
57.s3、将遥感图像数据集中的低分辨率图像输入到编码器，获得与待重构图像同尺寸相同的编码表示latent。
58.s4、将编码器输出的编码表示latent输入到解码器，获得重构图像i
sr
。
59.解码器对输入的编码表示进行特征映射，获得重构图像i
sr
。
60.s5、将重构图像i
sr
输入到已训练好的降质神经网络中，输出降质后的图像i
sr
'。
61.s6、计算降质后的图像i
sr
'与重构图像i
sr
的损失，根据该损失更新编码器与解码器的网络参数。
62.本发明采用adam优化器优化损失函数，编码器的学习率设置为10-4
，解码器的学习率设置为2
×
10-4
。
63.通常自编码器的编码器和解码器不会进行交替训练，本发明为了约束编码表示，对编码器和解码器进行交替训练，使用不同的损失函数，逐步完成图像重构的过程。
64.由于本发明不使用高分辨率图像作为训练标签，因此将解码器输出的重构图像输入到一个已经训练好的降质神经网络中，计算降质后的图像i
sr
'与重构图像i
sr
的损失，从而更新自编码器的网络参数，即编码器与解码器的网络参数。
65.本发明采用编码器和解码器构成自编码器结构，通过约束编码器输出的编码器表示，更好地重构遥感图像，且整个过程只使用低分辨率遥感图像作为训练标签，从而实现无监督的遥感图像超分辨率重构，解决高分辨率遥感图像数据源难以获取及成本极高的问题，并且采用多降质方式训练，在实际应用中具有重要的研究意义。
66.图5a和图5b示出了根据本发明实施例提供的对于测试集
×
2倍数部分图像的视觉结果。
67.如图5a和图5b所示，降质过程为e1＝e2＝1.5，θ＝45
°
的非均匀高斯模糊核，无噪声添加。其中图5a为原始高分辨率图像，图5b为经本发明重构的图像，可以看出本发明能够克服模糊效应，去除噪声，接近高分辨率图像。
68.图6a和图6b示出了根据本发明实施例提供的对于测试集
×
4倍数部分图像的视觉结果。
69.如图6a和图6b所示，降质过程为e1＝e2＝1.5，θ＝0的均匀高斯模糊核，噪声水平为7.65(3％)。其中图6a为原始高分辨率图像，图6b为经本发明重构的图像，可以看出经本发明重构的图像能去掉噪声和模糊，且细节更加接近高分辨率图像。
70.图7a和图7b示出了根据本发明实施例提供的对于测试集
×
8倍数部分图像的视觉结果。
71.如图7a和图7b所示，降质过程为e1＝e2＝2.5，θ＝0的均匀高斯模糊核，无噪声添加。其中图7a为原始高分辨率图像，图7b为经本发明重构的图像，可以看出经本发明重构的图像能获得明显边缘。
72.图8a和图8b示出了根据本发明实施例提供的对于真实遥感图像(吉林一号卫星图像)重构4倍的视觉结果。
73.如图8a和图8b所示，图8a为低分辨率图像，图8b为重构图像，可以看出经本发明重构的图像能够获得较为清晰的细节，可以直接应用于真实图像的重构，且效果良好。
74.图9a和图9b示出了根据本发明实施例提供的对于真实遥感图像(吉林一号卫星图像)重构8倍的视觉结果。
75.如图9a和图9b所示，图9a为低分辨率图像，图b为重构图像，可以看出经本发明重构的图像能够获得较为清晰的小船，重构效果良好。
76.本发明在测试集上采用不同降质过程测试，在
×
2、
×
4和
×
8倍数均获得了理想的
重构效果，且采用吉林一号卫星图片进行实际应用测试的重构效果良好，证明了本发明的综合性优势。
77.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
78.尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
79.以上本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所作出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。