一种多方向跨图像交互的无人机视图地理定位方法

摘要: 本发明涉及图像处理管理,尤其涉及一种多方向跨图像交互的无人机视图地理定位方法。背景技术:1、无人机视角与卫星视角之间的跨视图图像匹配是实现无人机自主地理定位的关...
一种多方向跨图像交互的无人机视图地理定位方法

本发明涉及图像处理管理,尤其涉及一种多方向跨图像交互的无人机视图地理定位方法。

背景技术:

1、无人机视角与卫星视角之间的跨视图图像匹配是实现无人机自主地理定位的关键技术之一。由于无人机航拍图像与卫星遥感图像在拍摄高度、视角、光照条件及场景尺度等方面存在显著差异,同一地理位置的图像在不同视角下呈现出迥异的外观特征,使得准确的跨视图匹配面临巨大挑战。

2、在特征提取方面,现有方法通常采用卷积神经网络或transformer架构作为骨干网络对输入图像进行全局特征编码。然而,无人机视角图像中往往包含大量车辆、行人等动态前景物体,这些动态干扰物在不同时刻拍摄的图像中位置和形态均不固定,而建筑物、道路等静态地标才是具有稳定地理标识作用的关键信息。现有特征提取网络缺乏对静态地标与动态干扰进行自适应区分和差异化响应的机制,导致提取的特征中混杂了大量不稳定的动态信息,削弱了特征的判别力和泛化能力。

3、在特征利用方面,多数现有方法仅依赖对整幅图像进行全局池化得到的单一全局特征向量进行相似度匹配。全局特征虽然能够概括场景的整体布局,但不可避免地丢失了局部区域的细粒度空间信息,而这些局部细节往往是区分外观相似但位置不同的地点的关键依据。部分方法尝试将特征图切分为规则的图像块或子区域以引入局部信息,但通常缺乏对多方向空间结构的系统性划分,也未能建立局部区域在不同图像间进行对齐和比较的有效机制,导致局部信息的利用效率不高,模型对相似场景的鲁棒性不足。

4、更为突出的是,现有跨图像地理定位方法在处理每一张查询图像时,通常独立地提取其特征并与候选卫星图像逐一比对,图像与图像之间的特征提取过程彼此孤立。当不同地理位置因具有相似的道路布局、建筑风格或植被分布而在图像上高度相似时,这种孤立处理的方式极易导致感知混淆,即将与查询图像相似但实际地理位置不同的卫星图像错误匹配为定位结果。现有技术缺乏在批次内多张图像之间进行信息交互和协同感知的机制,无法利用同一批次内其他图像的信息来增强当前图像的特征表达,也难以有效区分外观高度相似的负样本,从而限制了定位精度的进一步提升。

技术实现思路

1、本发明针对上述不足,提出了一种多方向跨图像交互的无人机视图地理定位方法,在复杂动态场景和相似地理环境下实现准确的跨视图地理定位。

2、本发明提供如下技术方案:一种多方向跨图像交互的无人机视图地理定位方法,包括:

3、获取图像批次,图像批次包括待定位的无人机视角图像以及多张带有地理位置标签的卫星视角图像;

4、利用特征提取网络对图像批次中的各图像进行处理,并在特征提取网络中引入通道交互机制,通道交互机制用于根据特征图沿通道维度的平均统计量和离散程度统计量,自适应地调整特征图的通道表达,以增强静态地标特征、抑制动态干扰,得到经优化的空间特征图;

5、对每张空间特征图,沿至少两个空间方向进行区域划分,生成具有位置标识的多个局部区域特征;

6、针对每一位置标识,将图像批次内所有图像在该位置标识下的局部区域特征,构建为一组区域特征序列;

7、将各组区域特征序列输入跨图像交互模块,跨图像交互模块被配置为:对区域特征序列中的局部区域特征进行干扰信息滤除,并基于注意力机制建模同一位置标识下不同图像的局部区域特征之间的关系,使得每张图像的局部区域特征融合图像批次内其他图像的对应位置信息,输出关联后的局部区域特征;

8、对每张图像,将其在所有位置标识下的关联后的局部区域特征进行聚合与归一化,得到该图像的最终特征表示;

9、基于无人机视角图像的最终特征表示与各卫星视角图像的最终特征表示之间的相似度,确定无人机的地理位置。

10、作为一种改进,通道交互机制具体为:

11、对输入特征分别执行平均池化操作和标准差池化操作,得到平均池化特征和标准差池化特征;

12、利用可学习的权重参数对平均池化特征和标准差池化特征进行加权融合,以实现通道表达的调整;

13、其中,标准差池化操作用于替代三重注意力机制中的最大池化操作,以与平均池化形成互补,增强静态地标特征、抑制动态干扰。

14、作为一种改进,特征提取网络为transformer编码器;

15、自适应通道交互适配器添加在transformer编码器的每个transformer块的激活层和上下投影层之间,以并行方式插入;

16、自适应通道交互适配器包含两个子分支,两个子分支分别从平均池化特征和标准差池化特征出发,交互地学习通道注意力权重,以强化对于静态地标的通道响应并抑制对于动态物体的通道响应;

17、两个子分支各自的输出被串联融合,形成该适配器的最终输出。

18、作为一种改进,自适应通道交互适配器对输入特征的处理流程为:

19、将输入特征分别经过平均池化和标准差池化,得到平均池化特征和标准差池化特征;

20、两个子分支分别以平均池化特征和标准差池化特征作为输入,各自学习通道注意力权重;

21、将两个子分支的输出进行串联,形成自适应通道交互适配器的最终输出。

22、作为一种改进,沿至少两个空间方向进行区域划分,具体包括:

23、沿空间特征图的高度方向和宽度方向,以非重叠的方式将空间特征图划分为多个网格区域;

24、其中,每个网格区域被赋予唯一的位置标识,使得不同图像的相同位置标识对应于相同的空间相对位置。

25、作为一种改进,得到该图像的最终特征表示,具体包括:

26、在对空间特征图进行区域划分的同时,通过广义平均池化对空间特征图进行全局聚合,生成全局特征;

27、将同一图像在所有位置标识下的关联后的局部区域特征进行串联,并与全局特征再次串联,对串联后的整体特征进行l2归一化,得到该图像的最终特征表示。

28、作为一种改进,跨图像交互模块包括级联的交互关注模块和交互感知模块;

29、交互关注模块用于对区域特征序列中的各局部区域特征执行干扰信息滤除,其处理步骤包括:

30、对输入的局部区域特征,沿通道维度分别进行全局平均池化和全局最大池化,得到两个压缩特征图;

31、对两个压缩特征图分别进行形态调制后融合,生成空间掩码;

32、将空间掩码与输入的局部区域特征相乘,得到加权区域特征;

33、交互感知模块用于基于自注意力机制,对加权区域特征进行同一位置标识下的跨图像关系建模,输出关联后的局部区域特征。

34、作为一种改进,为全局平均池化得到的压缩特征图和全局最大池化得到的压缩特征图,分别设置梯度缩放因子;

35、其中,对源自全局平均池化的压缩特征图设置的梯度缩放因子,大于对源自全局最大池化的压缩特征图设置的梯度缩放因子;

36、将和分别作用于对应的压缩特征图,以调整其在空间掩码生成中的贡献程度。

37、作为一种改进,交互感知模块包括至少一个transformer编码器层,用于对同一位置标识下的加权区域特征进行基于自注意力的上下文编码,使得每张图像的局部区域特征聚合来自图像批次内其他图像的对应位置信息。

38、作为一种改进,还包括对构成特征提取网络和跨图像交互模块的网络进行训练的步骤;

39、训练时,采用基于度量学习的损失函数对网络参数进行更新,损失函数在同一训练批次内,根据正样本对的自相似性和负样本对的相对相似性,对难分样本对施加更高的权重;

40、其中,损失函数为多相似度损失,通过超参数、、分别调节正样本对的相似度边界和负样本对的相似度边界,以实现对难分正样本和难分负样本的在线挖掘,多相似度损失计算为:

41、

42、其中,为批次大小,和分别为正样本对集合与负样本对集合,表示相似度,、、为超参数。

43、与现有技术相比,本发明的优点在于:

44、本发明提供了一种多方向跨图像交互的无人机视图地理定位方法,设计了一种同平台无人机视图定位模型。该方法通过自适应通道交互的特征提取、多方向特征分割以及跨图像交互感知三大核心机制的协同运作,实现了无人机视角与卫星视角图像的高精度地理定位。

45、在特征提取阶段,自适应通道交互的特征提取方法在冻结主干网络参数的条件下引入自适应通道交互适配器单元,利用平均池化与标准差池化的互补组合替代传统三重注意力机制中的最大池化操作,能够有效增强对建筑物、道路等静态地标的通道响应,同时抑制车辆、行人等动态前景物体的干扰,使网络在保持训练效率的同时突出静态地标、抑制动态物体,避免灾难性遗忘,使得提取的空间特征图在面临复杂动态场景时仍能保持对稳定地理标识的关注。在此基础上,多方向特征分割方法从水平和垂直方向对空间特征图进行非重叠网格化区域划分,并为每个网格区域赋予唯一的位置标识,使得不同图像中处于相同空间相对位置的局部区域能够被准确索引和对齐,生成局部细粒度特征分支,形成全局与局部特征互补增强的范式,进而获得丰富的具有辨别性的特征表示,为后续的细粒度跨图像信息交互提供了空间一致性的基础。

46、跨图像交互感知方法通过级联的交互关注模块和交互感知模块,在区域粒度上实现批次内图像间的信息流通与相互参照。交互关注模块对每个局部区域特征沿通道维度分别进行全局平均池化和全局最大池化,并对两种池化结果设置不对称的梯度缩放因子,使源自平均池化的压缩特征获得较大的梯度响应以保留平滑稳健的全局上下文,源自最大池化的压缩特征获得较小的梯度响应以弱化局部纹理中不利于分类提升的干扰采样点,二者经形态调制和融合后生成空间掩码,对原始区域特征进行加权,有效去除了通道冗余信息并提升了掩码的信息聚合能力。交互感知模块通过至少一个transformer编码器层对加权区域特征进行基于自注意力的上下文编码,将同一批次场景图像的特征进行关联,使每个图像表示都能从其他图像特征表示中获取有用信息,从而减弱相似负样本的影响,解决感知混淆问题。这一机制使得每张图像的局部区域特征不再是孤立地从自身视角提取,而是融合了同批次内其他图像在同一空间位置上的补充信息,极大地缓解了不同地点因外观高度相似而导致的感知混淆问题。

47、在特征聚合阶段,将同一图像在所有位置标识下的关联后局部区域特征进行串联,并与通过广义平均池化生成的全局特征再次串联后进行l2归一化,形成全局特征与多方向局部特征互补增强的最终特征表示。全局特征提供了对场景整体布局的宏观描述,多方向局部特征则捕捉了不同方位上的细粒度地理细节,二者的融合使最终特征表示兼具全局判别力和局部辨识力。训练过程中采用基于度量学习的多相似度损失函数,通过超参数分别调节正样本对和负样本对的相似度边界,结合在线硬挖掘策略对难分正样本和难分负样本施加更高的权重,使网络能够更有针对性地学习具有判别力的特征表达。上述各模块的协同运作,使得本发明在无需显式视角对齐操作的情况下,仍能有效克服无人机视角与卫星视角之间的外观差异、动态干扰和相似场景混淆等多重挑战,通过自适应通道交互特征提取模块突出静态地标、抑制动态干扰,通过多方向特征分割机制实现全局与局部特征互补,通过跨图像交互感知机制有效削弱相似负样本感知混淆的影响,显著提升了跨视图地理定位的准确性和鲁棒性。