一种多源异构遥感影像变化检测方法、系统及介质

本发明属于多源异构遥感影像变化检测领域，具体涉及一种多源异构遥感影像变化检测方法、系统及介质。

背景技术：

1、相比单一模态的变化检测方法，多源异构遥感影像（即多模态遥感影像）能够不受时间与天气条件限制的实现连续观测，通过融合光谱信息、纹理特征以及时间序列特征，多维刻画地表变化。然而，由于不同模态遥感影像在成像机理上存在本质差异，导致其表征特征具有明显不一致性，因此难以通过简单的逐像素或直接对比方式完成变化检测。同时，多模态数据本身获取难度较高，可用样本数量有限，加之人工标注成本昂贵，使得高质量标注数据更加匮乏。

2、无监督多模态变化检测的目标是在不同成像机制差异显著的情况下，通过构建统一的多模态图像表示空间，有效识别地表变化。近年来的研究通常引入图结构来刻画多模态图像中的上下文关系，并通过图之间的相似性或结构差异来度量变化，这类方法通常基于一个假设，即在未发生变化的区域中，多模态图像的内容结构应保持一致。现有技术通过对图结构特征进行迭代比较来识别变化区域，从而进一步提升跨模态变化检测的性能；这种方法分别构建不同模态影像的图结构，使其在特征空间中存在域差。随着图神经网络的发展，基于深度学习的图变化检测方法通常采用图卷积网络gcn或图自编码器，对由图像块或超像素构建的图进行建模，从而学习跨模态的结构一致性表征；例如，现有技术通过结构关系图卷积自编码器来获取多源异构遥感影像之间的代表性特征，但其图结构通常基于预定义规则构建，且在训练过程中保持不变；再如，现有技术还有将尺度目标级特征与gcn相结合，通过多尺度图建模与信息传播实现变化检测；另外，现有技术还基于变化对齐的图结构学习方法来优化图结构的学习进程，这种方法成功地提高了多源异构遥感影像变化检测的性能。然而，现有方法整体上仍遵循一种静态建模范式，即将跨模态对齐或图结构建模与变化检测过程进行解耦处理，难以实现统一的端到端优化。

3、尽管上述方法在多模态变化检测任务中取得了一定进展，但由于静态结构建模与分阶段优化策略，仍难以缓解多模态图结构间的分布差异问题。

技术实现思路

1、基于现有技术中存在的上述缺点和不足，本发明的目的之一是至少解决现有技术中存在的上述问题之一或多个，换言之，本发明的目的之一是提供满足前述需求之一或多个的一种本发明的目的在于提出一种多源异构遥感影像变化检测方法、系统及介质。

2、为了达到上述发明目的，本发明采用以下技术方案：

3、一种多源异构遥感影像变化检测方法，包括以下步骤：

4、s1、对变化前与变化后的多源异构遥感影像进行归一化，并对归一化后的多源异构遥感影像进行超像素分割，得到超像素块；

5、s2、将超像素块逐个输入预先构建的演化图网络中提取潜在演化图表征，基于不同模态的潜在演化图表征以及进行统计分布交换后分别输入对应的模态特定解码器，以对超像素块进行重构，并利用重构前后的超像素块的内容一致性训练演化图网络，得到训练收敛后的演化图网络；

6、s3、基于训练收敛后的演化图网络对变化前与变化后的多源异构遥感影像进行变化检测，并利用大津法获取二值变化检测结果。

7、作为优选方案，所述多源异构遥感影像包括第一模态的光学影像和第二模态的合成孔径雷达sar影像。

8、作为优选方案，所述步骤s2中，潜在演化图表征的提取包括以下步骤：

9、s21、将超像素块输入嵌入投影层进行投影，得到映射特征；

10、s22、基于映射特征，通过三个可学习的线性映射提取超像素块中像素点之间的关系特征：

11、；

12、其中，表示第个基于卷积实现的可学习映射算子，表示经过第个可学习映射算子降维后的关系特征，为1、2或3；

13、超像素块中的像素点与像素点之间的关联强度通过其特征内积进行度量，定义为：

14、；

15、其中，为像素点i经过第3个可学习映射算子降维后的关系特征，为像素点j经过第2个可学习映射算子降维后的关系特征；

16、对关联强度进行归一化处理，得到关系矩阵：

17、；

18、其中，n为超像素块中像素点的个数；

19、s23、基于关系矩阵对像素点信息进行加权聚合，得到像素点i的图结构特征：

20、；

21、其中，为像素点j经过第1个可学习映射算子降维后的关系特征；

22、s24、对所有像素点聚合后的图结构特征进行线性变换，得到增强的图表示：

23、；

24、其中，为可学习参数；

25、s25、对增强的图表示进行非线性变换并与跨时相特征表示相加，得到潜在演化图表征：

26、；

27、其中，为非线性变换后的图表示，为激活函数；

28、为映射特征输入基础特征提取器提取的跨时相特征表示。

29、作为优选方案，所述步骤s2中，对超像素块进行重构的过程包括以下步骤：

30、s26、将潜在演化图表征与对应的非线性变换后的图表示输入基于transformer的模态特定解码器中进行超像素块重构，得到：

31、；

32、其中，与分别为重构后的第一模态与第二模态的超像素块，与分别为对应于第一模态与第二模态的解码器，与分别为对应于第一模态与第二模态的非线性变换后的图表示，与分别为对应于第一模态与第二模态的潜在演化图表征；

33、s27、基于内容一致性构建模态内重构约束：

34、；

35、其中，与分别为对应于第一模态与第二模态的超像素块。

36、作为优选方案，所述步骤s2中，对超像素块进行重构的过程还包括以下步骤：

37、s28、将不同模态的潜在演化图表征对应的非线性变换后的图表示的统计分布进行交换：

38、；

39、其中，与分别为对应于第一模态与第二模态的统计分布交换后的图结构特征，表示基于分布条件的特征变换操作，和分别为非线性变换后的图表示和的统计分布信息；其中，统计分布信息包括均值和方差；

40、将统计分布交换后的图结构特征与对应的潜在演化图表征输入模态特定解码器中进行超像素块重构：

41、；

42、s28、基于内容一致性构建跨模态重构约束：

43、。

44、作为优选方案，所述步骤s2中，基于模态内重构约束与跨模态重构约束构建优化目标函数：

45、；

46、利用优化目标函数训练演化图网络。

47、作为优选方案，所述步骤s1具体包括：

48、对光学影像采用最小-最大归一化法进行预处理；

49、对sar影像，先进行对数变换，然后采用最小-最大归一化法进行预处理；

50、对预处理之后的影像进行超像素分割。

51、作为优选方案，采用简单线性迭代聚类进行超像素分割。

52、本发明还提供一种多源异构遥感影像变化检测系统，采用如上任一项方案所述的多源异构遥感影像变化检测方法，所述多源异构遥感影像变化检测系统包括：

53、预处理模块，用于对变化前与变化后的多源异构遥感影像进行归一化，并对归一化后的多源异构遥感影像进行超像素分割；

54、网络训练模块，用于将多源异构遥感影像的超像素块逐个输入预先构建的演化图网络中提取潜在演化图表征，基于不同模态的潜在演化图表征以及进行统计分布交换后分别输入对应的模态特定解码器，以对超像素块进行重构，并利用重构前后的超像素块的内容一致性训练演化图网络，得到训练收敛后的演化图网络；

55、变化检测模块，用于基于训练收敛后的演化图网络对变化前与变化后的多源异构遥感影像进行变化检测，并利用大津法获取二值变化检测结果。

56、本发明还提供一种介质，所述介质中存储有指令，当指令在计算机上运行时，使得计算机执行如上任一项方案所述的多源异构遥感影像变化检测方法。

57、本发明与现有技术相比，有益效果是：

58、本发明对多源异构遥感影像进行超像素分割，将超像素块作为基本单元输入到演化图网络中提取潜在演化图表征，并对不同模态的图表示进行统计分布交换，使网络能够学习模态无关的结构表示，从而提升特征的一致性与鲁棒性；然后将统计分布交换后的图结构特征以及潜在演化图表征输入模态特定解码器进行超像素块重构，以保证重构结果与原始输入在内容上的一致性，对演化图网络进行训练；最后，在检测阶段利用训练好的演化图网络所提取的特征进行差异计算，实现多源异构遥感影像的变化检测，进一步提升检测精度。