一种辐射解耦下的遥感影像缺失信息重建方法及装置

1.本发明涉及遥感技术领域，尤其涉及一种辐射解耦下的遥感影像缺失信息重建方法及装置。


背景技术：

2.光学遥感影像具有大宽幅、高分辨率等优势，是对地观测的重要手段。然而，光学卫星属于被动式遥感，其成像波段在0.38
‑‑
0.76um范围内，卫星传感器往往因大气环境(雾霾，云等)以及实际工作条件的干扰，影像上存在由于云和云阴影遮挡和传感器故障等造成的信息缺失问题。对于云遮挡造成的信息缺失问题，据统计全球陆地范围每年有35％的面积被云层覆盖，而由传感器故障造成影像信息缺失问题，最典型的是landsat-7影像，据统计自2003年以来landsat-7每景影像出现了22％的扫描空隙，严重影响了影像的使用。故对光学遥感影像中信息缺失位置进行信息重建，对于提高遥感影像的数据利用率具有重要的意义和实际的价值。
3.近年来，得益于深度学习强大的非线性表达能力和强大的泛化能力，深度学习方法逐渐在光学遥感影像超分辨率重建和遥感影像缺失信息重建等领域进行应用，然后现有的方法存在重建效果不佳的技术问题。


技术实现要素：

4.本发明提供了一种辐射解耦下的遥感影像缺失信息重建方法，用以解决或者至少部分解决现有技术中存在的重建效果不佳的技术问题。
5.为了解决上述技术问题，本发明第一方面提供了一种辐射解耦下的遥感影像缺失信息重建方法，包括：
6.s1：获取待重建影像和参考影像，从待重建影像中提取出缺失掩膜；
7.s2：根据待重建影像、参考影像以及提取的缺失掩膜得到合成影像，并根据合成影像和缺失掩膜构建数据集，划分出训练数据集；
8.s3：构建遥感影像缺失信息解耦重建网络decrecnet，decrecnet包括本征内容辐射校正模块、辐射引导模块、成像条件辐射校正模块以及结果输出模块，本征内容辐射校正模块用于根据输入数据和语义特征引导图得到重建后输出影像的本征内容分量，辐射引导模块包括成像辐射引导器和语义引导器，成像辐射引导器用于根据输入数据得到成像辐射引导特征图，语义引导器用于根据输入数据得到语义特征引导图，成像条件辐射校正模块用于根据输入数据、成像辐射引导特征图以及语义引导特征图得到重建后输出影像的成像条件分量，结果输出模块用于基于辐射解耦模型，对重建后输出影像的本征内容分量、成像条件分量进行计算得到重建后的影像，其中输入数据包括合成影像和缺失掩膜；
9.s4：利用训练数据集对构建的遥感影像缺失信息解耦重建网络进行训练，得到训练好的遥感影像缺失信息解耦重建网络；
10.s5：利用训练好的遥感影像缺失信息解耦重建网络对待重建影像进行重建。
11.在一种实施方式中，步骤s1中从待重建影像中提取出缺失掩膜，包括：
12.对于云和云阴影造成的信息缺失问题，利用柏林噪声(perlin noise)法模拟云和云阴影，获取云缺失掩膜；
13.对于传感器故障造成的信息缺失问题，通过对真实缺失条带进行提取获取条带缺失掩膜；
14.将获取的云缺失掩膜和条带缺失掩膜作为缺失掩膜m，其中像素值为1的区域代表缺失区域，像素值为0的区域表示非缺失区域。
15.在一种实施方式中，步骤s2中根据待重建影像、参考影像以及提取的缺失掩膜得到合成影像，包括：
16.根据待重建影像和缺失掩膜获取背景影像i
src
·
(1-m)，其中，i
src
为待重建影像，m为缺失掩膜；
17.根据参考影像和缺失掩膜获取前景影像i
t
·
m，其中，i
t
为参考影像；
18.根据获取的背景影像和前景影像获取合成影像i
src_t
，i
src_t
＝i
src
·
(1-m) i
t
·
m。
19.在一种实施方式中，步骤s3的网络的辐射引导模块中，成像引导器通过掩膜操作分别截取特征图中前景和背景区域，计算对应区域的均值和方差，进而利用转换技术将辐射条件从背景转移到前景，消除前背景之间的辐射差异，得到成像辐射引导特征图；语义引导器对成像引导器得到的成像辐射引导特征图继续进行编码，通过语义约束辐射一致性惩罚对前背景中同种地物进行约束，得到语义引导特征图。
20.在一种实施方式中，步骤s3的网络的本征内容辐射校正模块将输入数据和语义特征引导图作为输入，对前背景中同等地物进行语义约束，得到重建后输出影像的本征内容分量。
21.在一种实施方式中，步骤s3的网络的成像辐射校正模块，将输入数据、成像辐射引导特征图以及语义引导特征图作为输入对前背景中辐射差异进行校正，得到重建后输出影像的成像条件分量，包括增益和偏移。
22.在一种实施方式中，所述方法还包括，在步骤s4的训练过程中采用的总体损失函数为：
[0023][0024]
其中，l为总体损失函数，l
content
为本征内容辐射一致性惩罚函数，为成像辐射惩罚函数，l
ab
为成像条件辐射平滑损失函数，为辐射一致性惩罚函数，l
rec
为影像缺失信息重建损失函数，λ1、λ2、λ3、λ4、λ5是对应的加权因子，用于平衡不同损耗的贡献，各损失函数的计算公式如下：
[0025][0026]csrc
为缺失影像的本征内容分量，c
out
为重建后输出影像的本征内容分量，为重建后输出影像本征内容分量的梯度，为缺失影像的梯度；表示神经网络计算过程中的编码器或者解码器；
[0027][0028]aout
、b
out
为重建后输出影像的条件分量，i
src
为待重建影像，即缺失影像，e为单位
矩阵；
[0029][0030]
为重建后输出影像条件分量的梯度，
[0031][0032]
s为相似性函数，
srcdown
为下采样后得到的特征图，f为成像引导辐射引导器输入的特征图，ω(f)为通过成像引导辐射引导器中的成像条件转移模块处理后得到的特征图；
[0033][0034]iout
为重建后输出的影像，分别表示重建后输出的影像和待重建影像的梯度。
[0035]
基于同样的发明构思，本发明第二方面提供了一种辐射解耦下的遥感影像缺失信息重建装置，包括：
[0036]
影像获取模块，用于获取待重建影像和参考影像，从待重建影像中提取出缺失掩膜；
[0037]
数据集构建模块，用于根据待重建影像、参考影像以及提取的缺失掩膜得到合成影像，并根据合成影像和缺失掩膜构建数据集，划分出训练数据集；
[0038]
网络构建模块，用于构建遥感影像缺失信息解耦重建网络decrecnet，decrecnet包括本征内容辐射校正模块、辐射引导模块、成像条件辐射校正模块以及结果输出模块，本征内容辐射校正模块用于根据输入数据和语义特征图得到重建后输出影像的本征内容分量，辐射引导模块包括成像辐射引导器和语义引导器，成像辐射引导器用于根据输入数据得到成像辐射引导特征图，语义引导器用于根据输入数据得到语义特征引导图，成像条件辐射校正模块用于根据输入数据、成像辐射特征图以及语义引导特征图得到重建后输出影像的成像条件分量，结果输出模块用于基于辐射解耦模型，对重建后输出影像的本征内容分量、成像条件分量进行计算得到重建后的影像，其中输入数据包括合成影像和缺失掩膜；
[0039]
网络训练模块，用于利用训练数据集对构建的遥感影像缺失信息解耦重建网络进行训练，得到训练好的遥感影像缺失信息解耦重建网络；
[0040]
影像重建模块，用于利用训练好的遥感影像缺失信息解耦重建网络对待重建影像进行重建。
[0041]
基于同样的发明构思，本发明第三方面提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被执行时实现第一方面所述的方法。
[0042]
基于同样的发明构思，本发明第四方面提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述的方法。
[0043]
相对于现有技术，本发明的优点和有益的技术效果如下：
[0044]
(1)本发明提出了一种新颖的遥感影像缺失信息重建方法。构建了遥感影像缺失信息解耦重建网络，分别从遥感成像对象和成像过程的角度出发，将遥感影像辐射信息建模为本征内容辐射和成像条件辐射，通过各自进行针对性辐射调整，实现了多时相影像修复，改善了影像重建的效果。
[0045]
(2)针对合成影像前背景(前景和背景)中同种地物的辐射差异以及成像条件造成
的差异，设计了辐射引导模块，包含成像辐射引导器和语义引导器。对于成像条件造成的辐射差异，成像引导器自动化地学习外部辐射条件，进而将背景的外部辐射条件转移到前景。而语义引导器从合成图像中学习前景和背景之间同种地物的语义辐射一致性关系，自适应地指导影像局部信息重建。
附图说明
[0046]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0047]
图1是本发明实施例中构建的decrecnet模型的整体结构图；
[0048]
图2是本发明实施例中基于decrecnet缺失信息重建步骤流程图；
[0049]
图3是本发明实施例中成像条件辐射引导器的示意图；
[0050]
图4是是本发明实施例中在landsat-8、gaofen-1和landsat-7数据上的重建结果；
[0051]
图5为本发明实施例提供的计算机可读存储介质的结构示意图；
[0052]
图6为本发明实施例提供的计算机设备的结构示意图。
具体实施方式
[0053]
本发明借助于深度学习的优势，将待重建影像视为背景，多时相影像(参考影像)视为前景，并将造成前景和背景影像间辐射差异的原因概括为两部分：(1)本征内容辐射差异。本征内容辐射代表地物本身的反射信息，蕴含地物类型、空间分布等信息。受物候条件差异影响，同种地物在不同时相的遥感影像中可能表现出辐射差异，这会造成前背景影像本征内容差异；(2)成像条件辐射差异。成像条件辐射差异包含传感器、太阳高度角、大气状况等因素造成的影像辐射偏差。
[0054]
本发明从遥感影像成像机理出发，提供了一个新颖的遥感影像缺失信息解耦重建网络decrecnet(decoupling reconstruction network)，对于本征内容差异，利用本征内容辐射一致性惩罚对前背景影像进行局部辐射校正，保护内容信息，消除接边处地物辐射差异。对于成像条件辐射差异，我们基于辐射连续性假设，利用成像辐射惩罚和成像条件平滑性损失进行成像条件调整。对于前背景中成像条件和同种地物的辐射差异，利用辐射引导模块对前背景影像进行针对性整体辐射调整。
[0055]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0056]
实施例一
[0057]
本发明实施例提供了一种辐射解耦下的遥感影像缺失信息重建方法，包括：
[0058]
s1：获取待重建影像和参考影像，从待重建影像中提取出缺失掩膜；
[0059]
s2：根据待重建影像、参考影像以及提取的缺失掩膜得到合成影像，并根据合成影像和缺失掩膜构建数据集，划分出训练数据集；
[0060]
s3：构建遥感影像缺失信息解耦重建网络decrecnet，decrecnet包括本征内容辐射校正模块、辐射引导模块、成像条件辐射校正模块以及结果输出模块，本征内容辐射校正模块用于根据输入数据和语义特征引导图得到重建后输出影像的本征内容分量，辐射引导模块包括成像辐射引导器和语义引导器，成像辐射引导器用于根据输入数据得到成像辐射引导特征图，语义引导器用于根据输入数据得到语义特征引导图，成像条件辐射校正模块用于根据输入数据和成像辐射特征图以及语义特征引导图得到重建后输出影像的成像条件分量，结果输出模块用于基于辐射解耦模型，对重建后输出影像的本征内容分量、成像条件分量进行计算得到重建后的影像，其中输入数据包括合成影像和缺失掩膜；
[0061]
s4：利用训练数据集对构建的遥感影像缺失信息解耦重建网络进行训练，得到训练好的遥感影像缺失信息解耦重建网络；
[0062]
s5：利用训练好的遥感影像缺失信息解耦重建网络对待重建影像进行重建。
[0063]
总体来说，本发明公开了一种辐射解耦下的遥感影像缺失信息重建方法，能够有效重建遥感影像中因云及云阴影遮挡和传感器故障造成的信息缺失。本发明通过下述技术方案实现：首先，将遥感影像记录的辐射信息通过自编码网络解耦为与地表知识相关的本征内容辐射分量c和与成像环境相关的成像条件辐射分量a和b，然后根据辐射校正模型构建辐射解耦模型，并设计了遥感影像缺失信息解耦重建网络decrecnet(decoupling reconstruction network)，该网络利用本征内容辐射一致性惩罚保护影像的内容信息，成像辐射惩罚和成像条件平滑性损失协调影像成像环境，辐射引导模块中的成像辐射引导和语义引导对前景影像和背景影像分别进行针对性的辐射调整。最后，基于构建的一对一成对缺失信息重建数据集，实现缺失信息重建。
[0064]
本发明的主要构思如下：
[0065]
首先，构建辐射解耦模型，遥感影像在成像过程中，受到传感器、太阳高度角、光照、大气状况等成像条件影响，影像测量值与目标地物的真实反射值存在差异。根据辐射校正模型y＝a
·
x b(其中，a和b为与成像条件相关的增益和偏移，x和y分别表示辐射校正前后的影像)，辐射解耦模块在训练过程中迫使编码器将遥感影像i
src
解耦为本征内容相关的分量c，和与成像条件相关的分量a和b，对于合成影像i
src_t
，则可得到i
src_t
＝a
src_t
·csrc_t
b
src_t
。
[0066]
在数据集构建阶段，使用perlin noise算法模拟云和云阴影造成的信息缺失获取云缺失掩膜，由于传感器故障具有一定的规律性，通过对真实缺失信息进行提取获取条带缺失，在本发明中，将云缺失掩膜和条带缺失掩膜统一表示为m，m中像素值为1的区域为待重建区域(前景)，像素值为0的区域为非重建区域(背景)，对于成对的待重建影像和多时相参考影像，根据时间尽可能接近原则分别获取landsat-8 30m、gaofen-1 2m和landsat-7 30m成对数据。
[0067]
在训练阶段，我们的目标是获取前景和背景影像和谐的重建影像，对于本征内容校正模块，本征内容辐射校正模块的目标是实现待重建影像i
src
和参考影像i
t
在隐空间中地物本征特征属性尽可能接近，故可得到本征内容辐射校正模块的假设：c
src
≈c
src_t
，而我们的目标是实现输出影像的本征内容与真实影像的本征内容尽可能接近，则本征内容模块的假设可进一步概括c
src
≈c
src_t
≈c
out
，在网络中利用梯度近似表示本征内容辐射一致性惩罚函数，实现对影像纹理特征的量化约束及保护，即罚函数，实现对影像纹理特征的量化约束及保护，即为梯度；对
于成像条件辐射校正模块，我们希望i
out
和i
src
的成像辐射是一致的，如果假定影像本征内容是空的，可以用单位矩阵e表示，此时成像条件辐射可以直接代表影像，我们通过添加成像辐射损失强迫成像条件a
out
、b
out
与i
src
一致；对于前背景影像中成像条件和同种地物的辐射差异，利用辐射引导模块中的成像辐射引导器和语义引导器分别对合成影像前背景进行辐射引导调整。
[0068]
在测试阶段，基于训练好的decrecnet模型，输入待重建影像i
src
、多时相参考影像i
t
和掩膜m，输出重建后的影像i
out
。
[0069]
请参见图1和图2，其中图1是本发明实施例中构建的decrecnet模型的整体结构图；图2是本发明实施例中基于decrecnet缺失信息重建步骤流程图。
[0070]
在一种实施方式中，步骤s1中从待重建影像中提取出缺失掩膜，包括：
[0071]
对于云和云阴影造成的信息缺失问题，利用柏林噪声法模拟云和云阴影，获取云缺失掩膜；
[0072]
对于传感器故障造成的信息缺失问题，通过对真实缺失条带进行提取获取条带缺失掩膜；
[0073]
将获取的云缺失掩膜和条带缺失掩膜作为缺失掩膜m，其中像素值为1的区域代表缺失区域，像素值为0的区域表示非缺失区域。
[0074]
具体来说，柏林噪声法为perlin noise算法。
[0075]
在一种实施方式中，步骤s2中根据待重建影像、参考影像以及提取的缺失掩膜得到合成影像，包括：
[0076]
根据待重建影像和缺失掩膜获取背景影像i
src
·
(1-m)，其中，i
src
为待重建影像，m为缺失掩膜；
[0077]
根据参考影像和缺失掩膜获取前景影像i
t
·
m，其中，i
t
为参考影像；
[0078]
根据获取的背景影像和前景影像获取合成影像i
src_t
，i
src_t
＝i
src
·
(1-m) i
t
·
m。
[0079]
具体来说，以whu cloud dataset数据集为参考，并增加辽宁、山东、河南等地区的影像数据(根据时间尽可能接近原则)构建landsat-8 30m、gaofen-1 2ms和landsat-7 30m待重建影像和多时相参考影像成对数据集。
[0080]
为了方便后续的训练，将待重建影像i
src
，多时相影像参考影像i
t
，缺失掩膜m分别裁剪为256
×
256大小，获取i
src
、i
t
和m一一对应的训练数据集。然后基于此，得到合成影像，将m和i
src_t
作为模型输入。
[0081]
图4是本发明实施例中在landsat-8、gaofen-1和landsat-7数据上的重建结果。为了更清楚地展示本发明提供的方法的效果，图1、图3和图4的原图见实审参考资料。
[0082]
在一种实施方式中，步骤s3的网络的辐射引导模块中，成像引导器通过掩膜操作分别截取特征图中前景和背景区域，计算对应区域的均值和方差，进而利用转换技术将辐射条件从背景转移到前景，消除前背景之间的辐射差异，得到成像辐射引导特征图；语义引导器对成像引导器得到的成像辐射引导特征图继续进行编码，通过语义约束辐射一致性惩罚对前背景中同种地物进行约束，得到语义引导特征图。
[0083]
请参见图3，是本发明实施例中成像条件辐射引导器的示意图。
[0084]
具体来说，对于前背景中成像条件辐射差异，通过辐射引导模块中的成像辐射引导器对采样后的mask分别截取特征图中前景和背景区域，计算前景特征图和背景特征图的
均值和方差σ
core
、μ
core
和σ
back
、μ
back
，core表示前景，back表示背景，进而利用transferer技术(成像条件转移)将辐射条件从背景转移到前景(见附图3中(b)，并将得到的神经网络特征图(成像辐射引导特征图)输入到成像条件辐射校正模块，消除前背景之间的辐射差异。
[0085]
在一种实施方式中，步骤s3的网络的本征内容辐射校正模块将输入数据和语义特征引导图作为输入，对前背景中同等地物进行语义约束，得到重建后输出影像的本征内容分量。
[0086]
对于本征内容校正模块，编码器部分由3层卷积层(convolution、instance norm and leakyrelu，卷积核大小为7
×
7、4
×
4、4
×
4)和4层残差层(卷积核大小为3
×
3)组成，中间层部分由2层卷积层(convolution、instance norm and leakyrelu，卷积核大小为3
×
3)组成，解码器部分由两层上采用层和3层卷积层(convolution、instance norm and leakyrelu，卷积核大小为5
×
5、5
×
5和7
×
7)组成，具体见附图3中(a)部分。该模块以m和i
src_t
作为输入，基于假设：c
src
≈c
src_t
≈c
out
构建本征内容辐射一致性惩罚函数(l
content
)，实现对影像文理特征的量化约束及保护，得到c
out
。
[0087]
在一种实施方式中，步骤s3的网络的成像辐射校正模块，将输入数据、成像辐射引导特征图以及语义引导特征图作为输入对前背景中辐射差异进行校正，得到重建后输出影像的成像条件分量，包括增益和偏移。
[0088]
对于成像条件辐射校正模块，编码器部分由3层卷积层(convolution、instance norm and leakyrelu，卷积核大小为7
×
7、4
×
4、4
×
4)和4层残差层(卷积核大小为3
×
3)组成，中间层部分由2层卷积层(convolution、instance norm and leakyrelu，卷积核大小为3
×
3)组成，解码器部分由两层上采用层和3层卷积层(convolution、instance norm and leakyrelu，卷积核大小为5
×
5、5
×
5和7
×
7)组成，具体见附图3中(c)。该模块通过添加成像辐射惩罚强迫成像条件a
out
、b
out
与i
src
一致，成像辐射惩罚函数，另外，通过添加成像引导器模块特征至成像辐射校正模块。
[0089]
而遥感影像在成像过程中成像辐射条件往往具有辐射连续性的特点，故成像条件辐射具有平滑函数的特性，进一步利用影像梯度对a和b进行平滑性约束，则有辐射具有平滑函数的特性，进一步利用影像梯度对a和b进行平滑性约束，则有通过构建成像条件辐射平滑损失来迫使i
out
的成像辐射平滑，
[0090]
影像缺失信息重建的过程中，为保证前背景影像纹理一致性、光谱一致性以及整体一致性，在目标函数中添加了重建损失。
[0091]
在一种实施方式中，所述方法还包括，在步骤s4的训练过程中采用的总体损失函数为：
[0092][0093]
其中，l为总体损失函数，l
content
为本征内容辐射一致性惩罚函数，为成像辐射惩罚函数，l
ab
为成像条件辐射平滑损失函数，为辐射一致性惩罚函数，l
rec
为影像缺失信息重建损失函数，λ1、λ2、λ3、λ4、λ5是对应的加权因子，用于平衡不同损耗的贡献，各损失函数的计算公式如下：
[0094][0095]csrc
为缺失影像的本征内容分量，c
out
为重建后输出影像的本征内容分量，为
重建后输出影像本征内容分量的梯度，为缺失影像的梯度；表示神经网络计算过程中的编码器或者解码器；
[0096][0097]aout
、b
out
为重建后输出影像的条件分量，i
src
为待重建影像，即缺失影像，e为单位矩阵；
[0098][0099]
为重建后输出影像条件分量的梯度，
[0100][0101]
s为相似性函数，
srcdown
为下采样后得到的特征图，f为成像引导辐射引导器输入的特征图，ω(f)为通过成像引导辐射引导器中的成像条件转移模块处理后得到的特征图；
[0102][0103]iout
为重建后输出的影像，分别表示重建后输出的影像和待重建影像的梯度。
[0104]
具体来说，在辐射解耦阶段，根据辐射校正模型，辐射解耦模块在训练过程中迫使编码器将遥感影像i
src
解耦为本征内容相关的分量c和与成像条件相关的分量a和b，对于合成影像i
src_t
，则可得到i
src_t
＝a
src_t
·csrc_t
b
src_t
；
[0105]
在构建数据集阶段，通过perlin noise算法和对真实条带影像提取获取云和云阴影缺失掩膜和条带缺失掩膜m，其中1代表待重建区域，0代表非重建区域。对于成对的待重建影像i
src
和多时相参考影像i
t
，根据时间尽可能接近原则分别获取landsat-8 30m、gaofen-1 2m和landsat-7 30m数据；
[0106]
在网络训练阶段，模型以合成影像i
src_t
和缺失掩膜m作为输入，通过本征内容辐射校正模块和成像条件辐射校正模块分别获取本征内容校正结果
out
和成像条件辐射校正结果a
out
和b
out
，期间辐射引导模块中成像引导器通过mask分别截取特征图中前景和背景区域，计算对应区域的均值和方差，进而利用transferer技术将辐射条件从背景转移到前景，消除前背景之间的辐射差异；辐射引导模块中语义引导器对成像引导器特征图继续进行编码，通过语义约束辐射一致性惩罚对前背景中同种地物进行约束；最终根据辐射解耦模型i
out
＝a
out
·cout
b
out
获取重建结果；
[0107]
在测试阶段，基于训练好的decrecnet模型，输入待重建影像i
src
、参考影像i
t
和掩膜m，输出重建后的影像i
out
。
[0108]
关于各个损失函数，l
content
是在本征内容辐射校正模块，构建本征内容辐射一致性惩罚函数，用于实现对影像纹理特征的量化约束及保护；是在成像条件辐射校正模块，通过添加成像辐射惩罚强迫成像条件a
out
、b
out
、与i
src
一致，构建的成像辐射惩罚函数；l
ab
是通过构建成像条件辐射平滑损失来迫使i
out
的成像辐射平滑函数，是对于同种地物的辐射差异，基于结构相似性函数ssim构建的辐射一致性惩罚函数，l
rec
是影像缺失信息重建的过程中，为保证前背景影像纹理一致性、光谱一致性以及整体一致性的重建损失函数。
[0109]
训练过程中，通过目标函数(总体损失函数)不断反向传播，使得重建影像与缺失
影像在隐空间中尽可能接近，得到最终训练好的重建模型φ。
[0110]
具体应用或者测试过程中，将待重建的缺失光学影像数据i
src
、多时相参考影像数据i
t
和对应的缺失掩膜m输入训练后的denrecnet网络中模型中，最终得到对应区域的重建结果i
out
。
[0111]
实施例二
[0112]
基于同样的发明构思，本实施例提供了一种辐射解耦下的遥感影像缺失信息重建装置，包括：
[0113]
影像获取模块，用于获取待重建影像和参考影像，从待重建影像中提取出缺失掩膜；
[0114]
数据集构建模块，用于根据待重建影像、参考影像以及提取的缺失掩膜得到合成影像，并根据合成影像和缺失掩膜构建数据集，划分出训练数据集；
[0115]
网络构建模块，用于构建遥感影像缺失信息解耦重建网络decrecnet，decrecnet包括本征内容辐射校正模块、辐射引导模块、成像条件辐射校正模块以及结果输出模块，本征内容辐射校正模块用于根据输入数据和语义特征引导图得到重建后输出影像的本征内容分量，辐射引导模块包括成像辐射引导器和语义引导器，成像辐射引导器用于根据输入数据得到成像辐射引导特征图，语义引导器用于根据输入数据得到语义特征引导图，成像条件辐射校正模块用于根据输入数据、成像辐射特征引导图以及语义特征引导图得到重建后输出影像的成像条件分量，结果输出模块用于基于辐射解耦模型，对重建后输出影像的本征内容分量、成像条件分量进行计算得到重建后的影像，其中输入数据包括合成影像和缺失掩膜；
[0116]
网络训练模块，用于利用训练数据集对构建的遥感影像缺失信息解耦重建网络进行训练，得到训练好的遥感影像缺失信息解耦重建网络；
[0117]
影像重建模块，用于利用训练好的遥感影像缺失信息解耦重建网络对待重建影像进行重建。
[0118]
由于本发明实施例二所介绍的装置为实施本发明实施例一中辐射解耦下的遥感影像缺失信息重建方法所采用的装置，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该装置的具体结构及变形，故而在此不再赘述。凡是本发明实施例一中方法所采用的装置都属于本发明所欲保护的范围。
[0119]
实施例三
[0120]
基于同一发明构思，请参见图5，本发明还提供了一种计算机可读存储介质300，其上存储有计算机程序311，该程序被执行时实现如实施例一中所述的方法。
[0121]
由于本发明实施例三所介绍的计算机可读存储介质为实施本发明实施例一中辐射解耦下的遥感影像缺失信息重建方法所采用的计算机可读存储介质，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该计算机可读存储介质的具体结构及变形，故而在此不再赘述。凡是本发明实施例一的方法所采用的计算机可读存储介质都属于本发明所欲保护的范围。
[0122]
实施例四
[0123]
基于同一发明构思，本技术还提供了一种计算机设备，如图6所示，包括存储器401、处理器402及存储在存储器上并可在处理器上运行的计算机程序403，处理器执行上述
程序时实现实施例一中的方法。
[0124]
由于本发明实施例四所介绍的计算机设备为实施本发明实施例一中辐射解耦下的遥感影像缺失信息重建方法所采用的计算机设备，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该计算机设备的具体结构及变形，故而在此不再赘述。凡是本发明实施例一中方法所采用的计算机设备都属于本发明所欲保护的范围。
[0125]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0126]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0127]
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
[0128]
显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。