基于迁移学习的多源异构遥感样本库构建方法及装置与流程

1.本发明属于遥感影像信息提取领域，涉及一种基于迁移学习的多源异构遥感样本库构建方法及装置。


背景技术：

2.全球城市遥感信息提取为全球城市可持续发展的研究奠定了基础，面临着海量的遥感数据和全球各种复杂场景，深度学习方法以其学习能力强、泛化能力强等优势在进行全球城市遥感信息提取任务中脱颖而出。遥感大数据为开展基于深度学习的全球城市遥感信息提取提供了可能。然而，单一的遥感数据源无法描述全球城市土地覆盖、土地利用的多样性和差异性，而多源异构遥感样本的构建过于复杂，因此目前尚无全球覆盖的城市遥感样本库。如何综合利用多源异构遥感影像的优势，构建一个全球城市典型要素多源异构大规模遥感样本库，是制约深度学习模型在全球尺度城市遥感信息智能提取的瓶颈。此外，现有的样本库标记系统都是人工来进行的，耗时耗力，已不能满足日增月益的遥感数据。
3.针对此问题，本发明提供一种基于迁移学习的多源异构遥感样本库构建方法及装置，利用多源异构遥感影像，通过制定不同时间分辨率、不同空间分辨率、不同光谱分辨率、不同成像角度(简称“时
‑
空
‑
谱
‑
角”)的遥感数据一致性预处理技术方案，建立基于空间域转换的多源异构遥感样本半自动迁移标注方法及系统，该半自动样本迁移标注方法利用已标注的高分光学样本为参考，对同一场景下的异构影像(如lidar数据、红外影像等)进行标注。


技术实现要素：

4.针对现有遥感样本库标注技术存在的不足，本发明的目的是提供一种新的样本迁移标注方法，实现一种基于迁移学习的多源异构遥感样本库构建方法及装置。
5.本发明技术方案提供一种基于迁移学习的多源异构遥感样本库构建方法，包括以下步骤，
6.步骤a，对城市多源异构遥感数据进行一致性预处理，所述多源异构遥感数据是指来自不同传感器的不同时间分辨率、不同空间分辨率、不同光谱分辨率以及不同角度成像的遥感数据；
7.步骤b，构建基于空间域转换的标签迁移学习网络，所述标签迁移学习网络中，以高分光学影像x、高分光学样本l和同一场景下其他异构遥感影像y作为网络的输入，通过将高分光学影像x和同一场景下其他异构遥感影像y分别转换到低维特征空间z
x
和z
y
，并使得z
x
和z
y
有一定交集；通过z
x
和l之间的转换关系，建立x和l的联系，最终使得网络输出同一场景下其他异构遥感影像y的标签o；
8.步骤c，优化网络模型，包括在网络训练过程中，通过反向求导法则来最小化损失函数，直到损失函数值不再下降为止；
9.步骤d，样本有效性验证，包括通过步骤b构建的标签迁移网络模型，对多源异构遥
感影像进行标记，对样本是否满足要求进行有效性验证，对标记错误的影像重新进行标签学习，直到满足要求为止。
10.而且，步骤a中，多源异构遥感数据一致性预处理包括影像的大气校正、正射校正、几何配准，其中大气校正是为了消除由大气影响所造成的辐射误差，反演地物真实的表面反射率的过程；正射校正是利用数字高程模型数据对影像同时进行倾斜改正和投影差改正，将影像重采样成正射影像，将多角度成像的遥感数据进行角度归一化；几何配准是对同一场景下的多源异构遥感影像，经几何变换使同名像点在位置上和方位上完全叠合。
11.而且，基于空间域转换的标签迁移学习网络的实现方式如下，
12.设置一个编码器e，编码器将输入的高分光学影像x和其他异构影像y分别编码到对应的低维特征空间z
x
和z
y
，在低维空间中二者特征是完全对齐的；设置一个生成器g，将低维空间中的特征恢复到源域中的特征；此外，引入一个映射网络l将输入的高分光学影像x映射到l。
13.而且，网络的目标函数由三部分组成，损失函数定义如下，
14.loss＝e
y,x
(z
y
|y) αg
y,x
(y
y
→
y
|z
y
) βl(y)
15.其中，α和β为常系数，x,y分别为x和y的源域空间；损失函数中的第一部分e
y,x
(z
y
|y)为编码器的损失函数，第二部分g
y,x
(y
y
→
y
|z
y
)为生成器的损失函数，第三部分l(y)为映射网络的损失函数。
16.网络训练过程中，通过反向求导法则来最小化损失函数，直到损失函数值不再下降为止。
17.而且，用于构建全球城市典型要素多源异构遥感样本库。
18.另一方面，提供一种基于迁移学习的多源异构遥感样本库构建装置，用于实现如上所述的一种基于迁移学习的多源异构遥感样本库构建方法。
19.而且，包括以下模块，
20.第一模块，用于对城市多源异构遥感数据进行一致性预处理，所述多源异构遥感数据是指来自不同传感器的不同时间分辨率、不同空间分辨率、不同光谱分辨率以及不同角度成像的遥感数据；
21.第二模块，用于构建基于空间域转换的标签迁移学习网络，所述标签迁移学习网络中，以高分光学影像x、高分光学样本l和同一场景下其他异构遥感影像y作为网络的输入，通过将高分光学影像x和同一场景下其他异构遥感影像y分别转换到低维特征空间z
x
和z
y
，并使得z
x
和z
y
有一定交集；通过z
x
和l之间的转换关系，建立x和l的联系，最终使得网络输出同一场景下其他异构遥感影像y的标签o；
22.第三模块，用于优化网络模型，包括在网络训练过程中，通过反向求导法则来最小化损失函数，直到损失函数值不再下降为止；
23.第四模块，用于样本有效性验证，包括通过第二模块构建的标签迁移网络模型，对多源异构遥感影像进行标记，对样本是否满足要求进行有效性验证，对标记错误的影像重新进行标签学习，直到满足要求为止。
24.或者，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上所述的一种基于迁移学习的多源异构遥感样本库构建方法。
25.或者，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程
序执行时，实现如上所述的一种基于迁移学习的多源异构遥感样本库构建方法。
26.本发明克服了现有多源异构遥感样本标记困难这一问题，通过标签迁移学习实现半自动化的多源异构遥感样本库构建。
附图说明
27.图1为本发明实施例基于迁移学习的多源异构遥感样本库构建方法流程图；
28.图2为本发明实施例基于空间域转换的标签迁移学习网络示意图。
具体实施方式
29.下面结合附图和实施例对本发明技术方案做进一步说明。
30.本发明的实施例是基于迁移学习的多源异构遥感样本库构建方法，具体流程参照图1，包括具体步骤如下：
31.步骤a，城市“时
‑
空
‑
谱
‑
角”多源异构遥感数据一致性预处理
32.多源异构遥感数据是指来自不同传感器的不同时间分辨率、不同空间分辨率、不同光谱分辨率以及不同角度成像的遥感数据，由于“时
‑
空
‑
谱
‑
角”的差异性的存在，使得多源异构遥感数据的特征空间表现出差异性。多源异构遥感数据一致性预处理包括影像的大气校正、正射校正、几何配准。其中大气校正是为了消除由大气影响所造成的辐射误差，反演地物真实的表面反射率的过程；正射校正是利用数字高程模型(dem)数据对影像同时进行倾斜改正和投影差改正，将影像重采样成正射影像，可以将多角度成像的遥感数据进行角度归一化；几何配准是对同一场景下的多源异构遥感影像，经几何变换使同名像点在位置上和方位上完全叠合。
33.步骤b，构建基于空间域转换的标签迁移学习网络
34.高分辨率光学影像具有全球覆盖、目视解译效果好的优势，利用已标注好的高分光学影像作为参考，对其他多源异构遥感影像进行标注是半自动化标签迁移学习的主要思想，网络示意图如图2。以高分光学影像x、高分光学样本l和同一场景下其他异构遥感影像y作为网络的输入，通过将高分光学影像x和同一场景下其他异构遥感影像y分别转换到低维特征空间z
x
和z
y
，并使得z
x
和z
y
有一定交集。通过z
x
和l之间的转换关系，建立x和l的联系，最终使得网络输出同一场景下其他异构遥感影像y的标签o。
35.为达到以上目的，具体实施时可以设置一个编码器e，编码器可以将输入的高分光学影像x和其他异构影像y分别编码到对应的低维特征空间z
x
和z
y
，在低维空间中二者特征是完全对齐的；设置一个生成器g，可以将低维空间中的特征恢复到源域中的特征；此外，引入一个映射网络l将输入的高分光学影像x映射到l。
36.步骤c，优化网络模型
37.网络的目标函数由三部分组成，损失函数定义如下：
38.loss＝e
y,x
(z
y
|y) αg
y,x
(y
y
→
y
|z
y
) βl(y)
39.其中α和β为常系数，x,y分别为x和y的源域空间。损失函数中的第一部分e
y,x
(z
y
|y)为编码器的损失函数，第二部分g
y,x
(y
y
→
y
|z
y
)为生成器的损失函数，第三部分l(y)为映射网络的损失函数。网络训练过程中，通过反向求导法则来最小化损失函数，直到损失函数值不再下降为止。
40.步骤d，样本有效性验证
41.通过步骤b构建的标签迁移网络模型，对多源异构遥感影像进行标记，为验证样本的有效性，对样本是否满足要求进行有效性验证，对标记错误的影像重新进行标签学习，直到满足要求为止。
42.相比于现有方法，本发明的优势和积极效果：现有样本标注系统无法实现半自动化样本标记，且无法对多源异构遥感影像进行标记。本发明的优势在于用标签迁移学习来实现对多源异构遥感影像的半自动化样本标记。
43.在一些可能的实施例中，提供一种基于迁移学习的多源异构遥感样本库构建装置，包括以下模块，
44.第一模块，用于对城市多源异构遥感数据进行一致性预处理，所述多源异构遥感数据是指来自不同传感器的不同时间分辨率、不同空间分辨率、不同光谱分辨率以及不同角度成像的遥感数据；
45.第二模块，用于构建基于空间域转换的标签迁移学习网络，所述标签迁移学习网络中，以高分光学影像x、高分光学样本l和同一场景下其他异构遥感影像y作为网络的输入，通过将高分光学影像x和同一场景下其他异构遥感影像y分别转换到低维特征空间z
x
和z
y
，并使得z
x
和z
y
有一定交集；通过z
x
和l之间的转换关系，建立x和l的联系，最终使得网络输出同一场景下其他异构遥感影像y的标签o；
46.第三模块，用于优化网络模型，包括在网络训练过程中，通过反向求导法则来最小化损失函数，直到损失函数值不再下降为止；
47.第四模块，用于样本有效性验证，包括通过第二模块构建的标签迁移网络模型，对多源异构遥感影像进行标记，对样本是否满足要求进行有效性验证，对标记错误的影像重新进行标签学习，直到满足要求为止。
48.在一些可能的实施例中，提供一种基于迁移学习的多源异构遥感样本库构建装置，包括处理器和存储器，存储器用于存储程序指令，处理器用于调用存储器中的存储指令执行如上所述的一种基于迁移学习的多源异构遥感样本库构建方法。
49.在一些可能的实施例中，提供一种基于迁移学习的多源异构遥感样本库构建装置，包括可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序执行时，实现如上所述的一种基于迁移学习的多源异构遥感样本库构建方法。
50.本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。