一种基于多维协同感知网络的遥感影像定位方法及装置

本技术涉及遥感影像智能处理与空间定位，尤其涉及一种基于多维协同感知网络的遥感影像定位方法及装置。

背景技术：

1、遥感影像空间定位是国土调查、灾害应急、资源监测和智能导航等应用的重要基础。随着多平台、多星座遥感影像的持续积累，部分卫星影像受传感器差异、轨姿测量误差、成像几何偏差以及空间参考缺失等因素影响，可能存在初始定位不准或定位信息不可靠的问题，导致难以及时地将卫星影像转化为可用的空间信息。

2、对于此类影像，相关技术一般依赖人工目视比对、刺点、选取控制点或交互式配准等手段进行位置修正，过程耗时费力，且修正结果易受人工经验和地物可辨识程度影响，难以满足海量遥感数据快速处理与灾害应急等场景的自动化需求。

3、相关技术中的视觉定位方法多依赖特定空间约束、局部场景先验或固定视角设定。其中，地理分块检索方法的定位精度受网格粒度限制；地点识别方法依赖稠密数据库，广域覆盖能力不足；跨视角定位方法通常依赖道路、建筑等显著人造结构，在自然场景和同质化地貌区域中鲁棒性有限。同时，遥感影像还存在跨传感器辐射差异、跨时相外观变化以及大范围相似地貌混淆等问题，使得传统特征匹配和常规深度检索方法难以获得稳定可靠的定位结果。

4、因此，亟需一种能够在缺乏可靠空间先验的条件下，仅依赖影像视觉内容与参考底图库实现自动检索匹配的遥感影像定位方法，以提高多源、多时相、复杂地貌条件下的无控空间定位鲁棒性。

技术实现思路

1、本技术提供一种基于多维协同感知网络的遥感影像定位方法及装置，用以解决上述相关技术的缺陷，所述技术方案如下：

2、第一方面，本技术提供一种基于多维协同感知网络的遥感影像定位方法，包括：

3、获取待处理遥感影像，将所述待处理遥感影像划分为多个待处理影像块；

4、将每个待处理影像块输入训练好的多维协同感知网络，通过所述多维协同感知网络提取得到全局检索描述子；

5、对每个待处理影像块，分别计算对应的全局特征描述子与参考影像库中每个参考影像块的全局检索描述子的相似度；

6、按相似度降序排列每个参考影像块，提取排序靠前的预设数目个参考影像块为候选参考影像块；

7、基于所有候选参考影像块的位置信息得到对应的待处理影像块的定位结果，基于所有待处理影像块的定位结果得到所述待处理遥感影像的定位结果；

8、其中，待处理影像块与参考影像块的空间分辨率相同、尺寸相同，参考影像块的全局检索描述子基于训练好的多维协同感知网络预先处理得到，多维协同感知网络基于参考影像库训练得到。

9、在第一方面的一种可选方案中，所述参考影像库的构造过程包括：

10、获取目标研究区域的多源遥感影像数据，提取得到多张具有已知位置信息和时相信息的参考遥感影像；

11、在统一地理坐标系下对所有的参考遥感影像进行空间对齐和重采样处理，得到空间分辨率和地理坐标系均一致的参考遥感影像；

12、采用预设尺寸的重叠滑动窗口分别对每张参考遥感影像进行采样切分，提取得到多个参考影像块，并确定每个参考影像块对应的位置信息；

13、对提取得到的多个参考影像块进行质量筛选后，将保留的参考影像块的参考影像块集合作为参考影像库；

14、根据每个参考影像块的位置信息计算每两个参考影像块的空间交并比；

15、根据空间交并比确定每个参考影像块的样本类型，包括：

16、将空间交并比大于或等于预设交并比阈值的两个参考影像块作为正样本对，将空间交并比大于0且小于预设交并比阈值的两个参考影像块作为中性样本对，将空间交并比等于0的两个参考影像块作为负样本对；

17、得到标记了样本类型的参考影像库。

18、在第一方面的一种可选方案中，多维协同感知网络的训练过程包括：

19、以所述标记了样本类型的参考影像库为训练样本集，按照参考影像块的位置信息以及时相信息将所述参考影像库划分为多个批次；其中，每个批次包括多个相同地理位置下对应不同时相的参考影像块；

20、将每个批次的参考影像块输入多维协同感知网络，通过多维协同感知网络提取得到每个参考影像块的全局检索描述子；

21、基于构成正样本对的两个参考影像块的全局检索描述子计算对应的正样本对的余弦相似度；

22、基于构成负样本对的两个参考影像块的全局检索描述子计算对应的负样本对的余弦相似度；

23、基于所有正样本对的余弦相似度以及所有负样本对的余弦相似度构造多相似度损失；

24、基于所述多相似度损失进行反向传播，以更新多维协同感知网络的模型参数，直至多维协同感知网络收敛，得到训练好的多维协同感知网络。

25、在第一方面的一种可选方案中，所述多维协同感知网络包括预训练视觉骨干网络、递推式时序交互机制、长短程协同空间交互模块、频谱感知结构增强模块以及双轴协同重标定模块；

26、所述通过多维协同感知网络提取得到每个参考影像块的全局检索描述子，具体包括：

27、所述预训练视觉骨干网络通过依次串联的12个编码层处理输入的参考影像块，得到每个编码层输出的编码特征；

28、以第9编码层的编码特征为第一输入特征、第10编码层的编码特征作为第二输入特征，进行第一阶段的增强处理，输出第一阶段的增强特征；

29、所述增强处理的步骤包括：

30、将第一输入特征作为递推式时序交互机制的输入特征，得到递推式时序交互机制输出的时序增强特征；

31、将时序增强特征分别输入长短程协同空间交互模块和频谱感知结构增强模块，融合长短程协同空间交互模块和频谱感知结构增强模块的输出特征，得到长短程融合特征；

32、将长短程融合特征与第二输入特征融合后作为递推式时序交互机制的输入特征，得到递推式时序交互机制输出的新的时序增强特征，输出深层融合特征；

33、将深层融合特征输入双轴协同重标定模块，得到增强特征；

34、以第一阶段的增强特征与第11编码层的编码特征的融合特征为新的第一输入特征、第12编码层的编码特征为新的第二输入特征，进行第二阶段的增强处理，执行所述增强处理的步骤，输出第二阶段的增强特征；

35、所述第二阶段的增强特征经过全局池化层和线性层依次处理，得到参考影像块的全局检索描述子。

36、在第一方面的一种可选方案中，所述递推式时序交互机制的处理过程包括如下步骤：

37、基于所述第一输入特征提取得到多个相同地理位置下对应不同时相的时相特征节点；

38、对于第t个时相特征节点，提取第t个时相特征节点的时相特征以及第t-1个时相特征节点的时序增强特征，并构造得到查询向量；

39、基于第t-1个时相特征节点的历史记忆张量构造得到值向量和键向量；

40、基于查询向量、值向量和键向量进行注意力计算，得到对应时相特征节点的跨时相增强响应系数；

41、基于跨时相增强响应系数处理得到增强响应特征；

42、将第t个时相特征节点的增强响应特征以及时相特征输入前馈神经网络，得到第t个时相特征节点的时序增强特征；

43、基于第t个时相特征节点的时序增强特征和第t-1个时相特征节点的历史记忆张量更新得到第t个时相特征节点的历史记忆张量；

44、若t不为最后一个时相特征节点，则转至下一个时相特征节点的计算，直至最后一个时相特征节点；

45、若t为最后一个时相特征节点，则输出最后一个时相特征节点的历史记忆张量，得到递推式时序交互机制输出的时序增强特征；

46、其中，t=1时，将第1个时相特征节点的时相特征作为第0个时相特征节点的时序增强特征和历史记忆张量。

47、在第一方面的一种可选方案中，所述长短程协同空间交互模块的处理过程包括如下步骤：

48、将输入特征重构为二维空间特征图；

49、在短程支路中，通过短程重排算子处理所述二维空间特征图得到短程局部增强特征；在长程支路中，通过长程重排算子处理所述二维空间特征图得到长程局部增强特征；

50、将所述短程局部增强特征和所述长程局部增强特征融合后与所述二维空间特征图相加，输出空间增强特征；

51、所述频谱感知结构增强模块的处理过程包括如下步骤：

52、将所述时序增强特征重构为空间域特征；

53、将所述空间域特征映射至频率域，得到频谱特征；

54、拼接所述频谱特征的实部和虚部，对拼接结果进行调制，得到调制后的实值频谱特征；

55、将所述调制后的实值频谱特征拆分为调制后的频谱实部和调制后的频谱虚部，将调制后的频谱实部和调制后的频谱虚部重新组合为复数频谱特征；

56、将所述复数频谱特征映射回空间域，得到频谱增强特征。

57、在第一方面的一种可选方案中，所述双轴协同重标定模块的处理过程包括如下步骤：

58、沿高度轴对所述深层融合特征进行一维全局聚合得到高度聚合特征，沿宽度轴对所述深层融合特征进行一维全局聚合得到宽度聚合特征；

59、通过多尺度一维卷积、组归一化、激活函数依次处理所述高度聚合特征，得到高度方向的空间注意力掩码；通过多尺度一维卷积、组归一化、激活函数依次处理所述宽度聚合特征，得到宽度方向的空间注意力掩码；

60、基于所述高度方向的空间注意力掩码、所述宽度方向的空间注意力掩码以及所述深层融合特征进行逐元素乘法，得到调制后的深层融合特征；

61、通过自注意力机制处理所述调制后的深层融合特征得到聚合特征，基于所述聚合特征处理得到通道可靠性权重；

62、基于所述通道可靠性权重以及所述调制后的深层融合特征进行逐元素乘法，得到双轴协同重标定模块输出的增强特征。

63、第二方面，本技术还提供一种基于多维协同感知网络的遥感影像定位装置，包括：

64、数据输入模块，用于获取待处理遥感影像，并将所述待处理遥感影像划分为多个待处理影像块；

65、检索描述子提取模块，用于将每个待处理影像块输入训练好的多维协同感知网络，通过所述多维协同感知网络提取得到全局检索描述子；

66、计算模块，用于对每个待处理影像块分别计算对应的全局特征描述子与参考影像库中每个参考影像块的全局检索描述子的相似度；

67、所述计算模块还用于按相似度降序排列每个参考影像块，提取排序靠前的预设数目个参考影像块为候选参考影像块；

68、定位模块，基于所有候选参考影像块的位置信息得到对应的待处理影像块的定位结果，基于所有待处理影像块的定位结果得到所述待处理遥感影像的定位结果；

69、其中，待处理影像块与参考影像块的空间分辨率相同、尺寸相同，参考影像块的全局检索描述子基于训练好的多维协同感知网络预先处理得到，多维协同感知网络基于参考影像库训练得到。

70、第三方面，本技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本技术第一方面或第一方面的任意一种实现方式提供的方法。

71、第四方面，本技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本技术第一方面或第一方面的任意一种实现方式提供的方法。

72、本技术提供的技术方案带来的有益效果至少包括：

73、本技术提供的方法将影像划分为多个影像块，通过多维协同感知网络提取全局检索描述子，与参考影像库中预提取描述子进行相似度排序，选取候选块并依据位置信息完成定位；网络通过递推式时序交互建模跨时相稳定结构，通过长短程空间交互捕捉拓扑关系，通过频谱感知增强结构表征，通过双轴协同重标定自适应调整通道可靠性，结合中性样本屏蔽损失，可以提升跨源特征学习稳定性。该方法无需地理坐标、rpc参数或地面控制点，仅依赖影像视觉内容即可实现与参考底图库的自动检索匹配，可以有效克服跨时相外观变化、辐射差异及相似地貌混淆，显著提高无控条件下多源遥感影像的候选召回能力与定位鲁棒性。