一种基于生成对抗模型的卫星遥感多光谱图像谱域映射方法与流程

1.本发明涉及遥感图像仿真技术领域，特别涉及一种基于生成对抗模型的卫星遥感多光谱图像谱域映射方法。


背景技术：

2.在天基遥感探测技术迅速发展的背景下，亟待获取大量的多谱段、多维度的全球遥感实测与仿真数据。基于实测数据的应用，往往面临样本限定在有限的探测波段、探测区域以及分辨率中，而通过物理建模仿真合成遥感图像，则需要预备完备的物理初场，同时成像中缺乏海洋、云层等随机对象的多样性。
3.在卫星遥感成像仿真与预测过程中，时变要素的多样性和复杂性制约了精度与真实性。在传统基于物理过程可靠性的遥感图像仿真流程中，需要实现从传感器、大气型到地表背景辐射传输模型的全链路构建，即便如此，依然难以重现不同谱段、不同区域、不同随机事件的精细特征。因此在光谱图像仿真时，需要引入深度学习技术，实现光谱图像到光谱图像的端到端高置信度快速仿真方法。本发明的一种基于生成对抗模型的卫星遥感多光谱图像谱域映射方法具有重要意义。


技术实现要素：

4.本发明的目的是提供一种基于生成对抗模型的卫星遥感多光谱图像谱域映射方法，通过结合全球地球大气环境数据、地物分类数据与光谱成像数据，搭建用于光谱图像映射和特征迁移的方法框架，为更大程度利用现有在轨卫星遥感数据信息，评估卫星载荷未来新波段成像效能，提供一条可行的技术途径。
5.为实现上述目的，本发明提出了一种基于生成对抗模型的卫星遥感多光谱图像谱域映射方法，包括以下步骤：
6.s1、采集多组匹配的多光谱遥感图像、地物分类图以及数值特征产品图并进行预处理；
7.s2、根据预处理后的多光谱遥感图像、地物分类图以及数值特征产品图，确定生成对抗模型的输入矩阵x，并确定生成对抗模型的输出矩阵y的尺寸；
8.s3、将每组匹配的图像数据分别进行处理后，依次输入至所述生成对抗模型中对该生成对抗模型进行训练；
9.s4、输入新的匹配的图像数据，利用训练好的生成对抗模型完成卫星遥感多光谱图像的谱域迁移。
10.其中，所述的步骤s2进一步的包含以下步骤：
11.s21、对其中一组经过预处理的多光谱遥感图像、地物分类图以及数值特征产品图进行处理，形成源光谱矩阵s
in
、目标光谱矩阵s
out
、分类特征矩阵c1和数值特征矩阵c2；
12.s22、形成生成对抗模型的输入矩阵x，并确定生成对抗模型的输出矩阵y的尺寸。
13.其中，所述的步骤s21进一步的包含以下步骤：
14.s211、将经过预处理的地物分类图通过独热编码的方式形成nc×w×
h的分类特征矩阵c1，其中nc为分类特征维数，w为图像列数，h为图像行数；
15.s212、将经过预处理的数值特征产品图中的全部数值特征产品分别归一化，使其值域范围映射到0至1，形成nf×w×
h的数值特征矩阵c2，其中nf为数值特征产品类型数；
16.s213、将经过预处理的多光谱遥感图像中的各波段光谱数据分别归一化，使其值域范围映射到0至1，分别合并源波段的光谱数据和目标波段的光谱数据，形成n
si
×w×
h的源光谱矩阵s
in
和n
sout
×w×
h的目标光谱矩阵s
out
，其中n
si
为源光谱的维数，n
sout
为目标光谱的维数。
17.其中，所述步骤s22具体为：合并分类特征矩阵c1、数值特征矩阵c2和源光谱矩阵s
in
，形成尺寸为n
×w×
h的生成对抗模型的输入矩阵x，并定义生成对抗模型的输出矩阵y的尺寸与目标光谱矩阵s
out
的尺寸相同，为n
sout
×w×
h，其中n＝nc nf n
si
，n为输入数据特征维度。
18.其中，所述生成对抗模型由一个多尺度生成器g和一个对应的多尺度鉴别器d组成；所述多尺度生成器g包括n个子生成器gi，所述多尺度鉴别器d包括由n个对应的子鉴别器di，其中i为由1至n的整数。
19.其中，所述的步骤s3进一步的包含以下步骤：
20.s31、所述生成对抗模型包括一个多尺度生成器g和一个对应的多尺度鉴别器d，使用多尺度生成器g对所述输入矩阵x进行处理，生成各尺度的输出矩阵yi；
21.s32、通过对应的多尺度鉴别器d计算各尺度的输出矩阵yi与目标光谱矩阵s
out
间的损失大小ls；
22.s33、将s1所述的多组匹配的多光谱遥感图像、地物分类图以及数值特征产品图处理后，依次输入生成对抗模型中进行训练，训练过程中不断降低所述损失大小ls，直至模型收敛。
23.其中，所述的步骤s4进一步的包含以下步骤：
24.s41、采用与训练期间多光谱遥感图像数据的源波段一致的新的卫星遥感多光谱图像数据，并采用与该新的卫星遥感多光谱图像相匹配的地物分类图和数值特征产品图，再使用与步骤s1和步骤s2相同的步骤和参数，对该组新数据进行处理，形成生成对抗模型的输入矩阵x
′
；
25.s42、将所述输入矩阵x
′
输入训练好的多尺度生成器中，仿真并生成尺寸为n
sout
×w×
h的输出光谱矩阵y
′
，再对该输出光谱矩阵y
′
进行逆归一化操作，得到目标波段的光谱数据，从而完成卫星遥感多光谱图像的谱域迁移。
26.其中，每组匹配的图像数据为相同时间、相同区域的多光谱遥感图像、地物分类图以及数值特征产品图。
27.其中，对所述多组匹配的多光谱遥感图像、地物分类图以及数值特征产品图进行预处理，具体为：使每组匹配数据内的各图像的相同坐标像元指向的地表位置一致。
28.其中，所述损失大小ls为损失函数的计算结果，所述损失函数包括对抗损失函数l、循环一致性损失函数lf和特征匹配损失函数。
29.与现有技术相比，本发明的有益效果在于：
30.(1)现有技术通常采用先反演地物类型再仿真光谱图像的方法，而本发明以经过
压缩与提取的特征数据矩阵和光谱矩阵为匹配数据集来训练生成对抗模型，实现了地物类型、云层等要素光谱响应的隐式建模，避免了构建庞大的地物光谱响应库，以及复杂的辐射传输仿真过程，通过深度学习的方法实现图像像素到像素的直接谱段迁移；
31.(2)现有生成对抗模型技术通常基于图像到图像的匹配数据，而本发明加入了地物分类图、特征数据等辅助特征维度，并保证输入特征数据与光谱数据为同一时刻和区域，从而增强遥感光谱仿真光谱映射确定性。
附图说明
32.图1为本发明一种基于生成对抗模型的卫星遥感多光谱图像谱域映射方法的仿真流程图；
33.图2为本发明实施例的一种地物分类图；
34.图3为本发明实施例的某区域的多光谱遥感图像；
35.图4为本发明实施例的目标波段的真实图像；
36.图5为本发明实施例中的目标波段的输出仿真图像。
具体实施方式
37.以下将结合本发明实施例中的图1～图5，对本发明实施例中的技术方案、构造特征、所达成目的及功效予以详细说明。
38.需要说明的是，附图采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施方式的目的，并非用以限定本发明实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。
39.需要说明的是，在本发明中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括明确列出的要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
40.一种基于生成对抗模型的卫星遥感多光谱图像谱域映射方法，如图1所示，包括以下步骤：
41.s1、采集多组匹配的多光谱遥感图像、地物分类图以及数值特征产品图并进行预处理；
42.采集多组匹配的相同时间、相同区域的多光谱遥感图像、地物分类图以及数值特征产品图进行预处理，使每组匹配的图像数据内的各图像的相同坐标像元指向的地表位置一致。
43.所述数值特征产品包含云层数据、温度数据、地形数据、风场数据等仿真光学辐射传输过程所需要的特征信息，在具体实施中，可采用全部特征数据或个别组合作为数值特征产品图。
44.s2、确定生成对抗模型的输入矩阵x，并确定生成对抗模型的输出矩阵y的尺寸；
45.s21、对经过预处理的其中一组的多光谱遥感图像、地物分类图以及数值特征产品图分别进行处理，形成源光谱矩阵s
in
、目标光谱矩阵s
out
、分类特征矩阵c1和数值特征矩阵c2；
46.s211、将经过预处理的地物分类图通过独热编码的方式形成nc×w×
h的分类特征矩阵c1，其中nc为分类特征维数，w为图像列数，h为图像行数；
47.s212、将经过预处理的数值特征产品图中的全部数值特征产品分别归一化，使其值域范围映射到0至1，形成nf×w×
h的数值特征矩阵c2，其中nf为数值特征产品类型数，w为图像列数，h为图像行数。
48.本实施例中，采用云层覆盖率作为数值特征产品图，则nf为1。
49.s213、将经过预处理的多光谱遥感图像中的各波段光谱数据分别归一化，使其值域范围映射到0至1，分别合并源波段的光谱数据和目标波段的光谱数据，形成n
si
×w×
h的源光谱矩阵s
in
和n
sout
×w×
h的目标光谱矩阵s
out
，其中n
si
为源光谱的维数，n
sout
为目标光谱的维数。
50.如图2所示为本实施例采用的某区域的地物分类图，图中颜色灰度为类型标签，共包含25种地表类型，再经过预处理后进行独热编码，可输出得到25维特征的分类特征矩阵，即nc为25；如图3所示为本实施例采用的某区域的多光谱遥感图像。
51.s22、形成生成对抗模型的输入矩阵x，并确定生成对抗模型的输出矩阵y的尺寸；
52.合并分类特征矩阵c1、数值特征矩阵c2和源光谱矩阵s
in
，形成尺寸为n
×w×
h的生成对抗模型的输入矩阵x，其中n＝nc nf n
si
，n为输入数据特征维度，w为图像列数，h为图像行数；定义所述生成对抗模型的输出矩阵y的尺寸与目标光谱矩阵s
out
的尺寸相同，为n
sout
×w×
h。
53.s3、对所述生成对抗模型进行训练；
54.s31、使用多尺度生成器g对所述输入矩阵x进行处理，生成各尺度的输出矩阵yi；
55.生成对抗模型由一个多尺度生成器g和一个对应的多尺度鉴别器d组成；所述多尺度生成器g由n个子生成器组成，每个子生成器为对称结构，由下采样网络、多个残差网络和上采样网络依次连接组成。
56.第一级子生成器为g0，所述输入矩阵x由g0的上采样网络输入，由多个残差网络处理后，由g0的下采样网络输出尺寸为n
sout
×w×
h的矩阵y0；该矩阵y0为第二级子生成器g1的输入矩阵，该g1的输出矩阵为y1；依次类推，子生成器gi的输入矩阵为xi，输出矩阵为yi，且该输出矩阵yi是g
i 1
子生成器的输入矩阵；其中每级子生成器的输出矩阵yi的尺寸均为n
sout
×w×
h。
57.所述多尺度鉴别器d与所述多尺度生成器g对应，由n个子鉴别器di组成，且该子鉴别器di与多尺度生成器g中的子生成器gi对应。
58.s32、通过对应的多尺度鉴别器d计算各尺度的输出矩阵yi与目标光谱矩阵s
out
间的损失大小ls；
59.各尺度的输出矩阵yi与目标光谱矩阵s
out
间的损失大小ls依据损失函数计算，为损失函数的计算结果的无量纲值；所述损失函数包括对抗损失函数l、循环一致性损失函数lf和特征匹配损失函数，本实施例中的损失函数为对抗损失函数l、循环一致性损失函数lf和特征匹配损失函数的加权相加。
60.本实施例中所述多尺度生成器g和多尺度鉴别器d采用两个尺度，即n＝2，分别为大尺度模型和小尺度模型，其中大尺度模型可获取更广的模型感知视野，小尺度模型可增强图像细节；2级生成器中的残差网络由6个残差网络堆叠组成。
61.因此在本实施例中，所述多尺度生成器的输入与输出矩阵具体如下：所述输入矩阵x由g0的上采样网络输入，由6个残差网络处理后，由g0的下采样网络输出矩阵y0；该矩阵y0作为下一级的输入矩阵x1输入g1，该g1的输出矩阵为y1；该矩阵y1作为下一级的输入矩阵x2输入g2，该g2的输出矩阵为y2。
62.而所述对抗损失函数l的计算式为而所述对抗损失函数l的计算式为其中n为多尺度生成器g的尺度数，本实施例中n＝2；循环一致性损失函数lf的计算式为lf＝||g(g(x))-x||1，其中g(g(x))为本实施中多尺度生成器g的最终输出矩阵；特征匹配损失函数利用vgg(超分辨率测试序列)预训练模型计算真实图像与训练图像的特征匹配损失。
63.s33、将s1中得到的每组匹配的图像数据分别输入生成对抗模型中进行训练，直至所述生成对抗模型收敛；
64.重复上述s2至s32的过程，将多组匹配的多光谱遥感图像、地物分类图以及数值特征产品图分别输入生成对抗模型中，并利用自适应矩估计adam算法对生成对抗模型的多尺度生成器g进行训练，在训练过程不断降低所述损失大小ls，直至该损失大小ls不再降低，从而达到模型收敛，得到训练好的生成对抗模型。
65.s4、利用训练好的生成对抗模型完成卫星遥感多光谱图像的谱域迁移；
66.s41、采用与训练期间的多光谱遥感图像数据的源波段一致的新的卫星遥感多光谱图像数据，并采用与该新的卫星遥感多光谱图像匹配的地物分类图和数值特征产品图，再使用与步骤s1和步骤s2相同的步骤和参数形成生成对抗模型的输入矩阵x
′
；
67.s42、利用s3中训练好的生成对抗模型中的多尺度生成器仿真并生成尺寸为n
sout
×w×
h的输出光谱矩阵y
′
，再对该输出光谱矩阵y
′
进行逆归一化操作，得到目标波段的光谱数据，从而完成卫星遥感多光谱图像的谱域迁移。
68.如图4所示为本实施例的目标波段的真实图像；图5为本实施例的使用本发明方法的目标波段的输出仿真图像。
69.尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。