多粒度对齐的空天地跨视图地理定位方法及系统

摘要: 本发明涉及地理定位,尤其涉及多粒度对齐的空天地跨视图地理定位方法及系统。背景技术:1、在跨视图地理定位任务中,无人机图像、地面全景图像与卫星图像因成像平台和拍摄...
多粒度对齐的空天地跨视图地理定位方法及系统

本发明涉及地理定位,尤其涉及多粒度对齐的空天地跨视图地理定位方法及系统。

背景技术:

1、在跨视图地理定位任务中,无人机图像、地面全景图像与卫星图像因成像平台和拍摄视角的显著差异,通常存在剧烈的几何透视形变、尺度变化以及空间位置偏移,使得相同地理位置的图像在特征空间中呈现明显的不一致性,严重制约了跨视图匹配的可靠性与定位精度。现有方法虽然尝试通过视角变换或特征度量学习来缓解跨域差异,但多数方案未能将地面全景图像主动投影至与卫星视图几何结构初步对齐的鸟瞰视角,导致透视畸变难以有效消除,后续对齐过程容易陷入局部次优;同时,广泛采用的特征提取网络往往侧重单一尺度或单一层次的特征表达,难以同时兼顾场景整体语义布局和地物局部几何细节,在复杂场景下特征的全局感知能力与局部判别能力无法兼得。在位置偏移处理上,现有技术常依赖精密的位置标定或硬性匹配策略,缺少利用粗粒度场景上下文和细粒度地物线索进行软匹配的机制,也未充分融入位置先验进行显式建模与校正,导致在缺少严格空间标注的实际条件下,中心偏移校正的鲁棒性不足,位置偏差引发的误匹配现象频发。此外,跨视图细粒度特征之间普遍缺乏逐元素的显式空间相似性约束,使得不同平台视图在同一地理位置所提取的特征难以保持空间一致性,视角不变性被削弱。而且,几何对齐、位置对齐与特征对齐等关键环节通常被孤立地设计或分阶段优化,缺乏统一的联合学习框架,导致全局特征的一致性与局部特征的判别性难以在训练中相互促进,最终限制了跨视图地理定位精度与鲁棒性的进一步提升。

技术实现思路

1、本发明针对上述不足,提出了多粒度对齐的空天地跨视图地理定位方法及系统,提升无人机或地面图像与卫星图像跨视图匹配的地理定位精度与鲁棒性。

2、本发明提供如下技术方案:多粒度对齐的空天地跨视图地理定位方法,包括以下步骤:

3、s1:几何视角对齐步骤,利用地面摄像机的成像模型,将地面全景图像投影到空中视角,得到与卫星视图几何结构初步对齐的鸟瞰视图图像;

4、s2:多粒度特征提取步骤,采用基于孪生网络的多分支结构,分别对无人机图像、卫星图像、地面全景图像和鸟瞰视图图像进行特征提取;

5、s3:位置偏移对齐步骤,利用位置信息对齐方法,将鸟瞰视图图像或地面全景图像与卫星视图的中心位置偏移进行显式建模与校正;位置信息对齐方法处理经过池化的粗粒度鸟瞰视图特征和地面特征,同时处理主干网络输出的未经池化的细粒度卫星特征,利用位置先验信息作为约束,通过计算粗粒度与细粒度特征每个像素的相似性生成相似性地图,基于该地图通过软匹配推导回归位置,并以距离度量函数作为监督;

6、s4:细粒度特征对齐步骤,采用多粒度特征对齐方法,在经位置偏移对齐后的跨视图特征空间中,建立不同平台视图特征序列元素间的细微关联;多粒度特征对齐方法通过向量采样、特征精炼器和对齐损失函数,计算无人机视图或鸟瞰视图与卫星视图之间每个粒度特征的相似度,在跨视图细粒度特征间建立显式约束,以提取空间一致的特征表示;

7、s5:联合优化与定位步骤,采用多视图对比学习方法,以预训练的深度神经网络为主干架构,联合优化跨视图对比损失、位置信息对齐损失和多粒度特征对齐损失,使几何视角对齐、位置偏移对齐和细粒度特征对齐在统一训练框架下相互促进,监督模型学习同时具有全局一致性和局部判别性的视角不变特征表示;利用训练好的网络,将待查询的无人机图像或地面全景图像与卫星图像数据库进行匹配,完成跨视图地理定位。

8、作为一种改进,s1中利用地面摄像机的成像模型将地面全景图像投影到空中视角,得到鸟瞰视图图像,具体包括:

9、s1.1:将全景图像在球面投影平面上完成360°视角捕获,采用等角投影方式展开;建立地面相机坐标系中的像素点与球面坐标之间的转换关系,以及球面坐标与归一化等角坐标之间的转换关系;

10、s1.2:在球面成像平面的南极处设置切平面作为鸟瞰成像平面,将鸟瞰成像平面上的像素位置转换为相机坐标系下的三维坐标,转换关系为:

11、

12、其中,为鸟瞰图像的目标尺寸,焦距由预设的映射视角参数确定,满足;

13、s1.3:根据相机坐标系坐标通过反三角函数映射求解球面坐标,再经归一化等角坐标转换,得到鸟瞰图像平面上像素在原始全景图像中的对应像素坐标,满足以下投影关系:

14、

15、其中,为原始地面全景图像的尺寸;通过投影关系将地面全景图像各像素映射至鸟瞰图像对应位置,完成从地面视角到空中视角的几何对齐。

16、作为一种改进,s2中的多分支特征提取结构具体为:

17、第一分支:将地面全景图像输入特征提取模块,输出第一特征图,经平均池化后得到第一全局特征;

18、第二分支:将鸟瞰视图图像输入特征提取模块,输出第二特征图,经平均池化后得到第二全局特征;

19、第三分支:将卫星视图图像输入特征提取模块,输出第三特征图,经平均池化后得到第三全局特征;

20、第四分支:将无人机图像输入特征提取模块,输出第四特征图,经平均池化后得到第四全局特征;

21、其中,四个分支共享特征提取模块的权重,且各特征图具有相同的通道维度。

22、作为一种改进,s3中位置信息对齐方法的损失函数表达式为:

23、

24、其中,距离度量函数采用欧几里得距离,表示欧几里得距离,为位置先验,为鸟瞰视图的预测位置,为地面视图的预测位置;

25、损失函数用于约束鸟瞰视图和地面视图的预测位置与位置先验之间的距离,通过最小化该损失实现中心位置偏移的校正。

26、作为一种改进,s4中的向量采样采用稀疏-密集采样的交错采样策略,具体包括:通过特征精炼器从细粒度特征中提取稀疏语义特征,同时通过特征拆分操作将细粒度特征划分为多个局部密集向量,稀疏语义特征与局部密集向量共同构成多粒度采样结果,用于结合语义信息和空间几何属性的互补优势;

27、特征精炼器采用多层感知机,用于将多粒度采样结果中的各特征向量投影至统一的特征空间,提取专门用于跨视图对齐的隐式语义表示。

28、作为一种改进,s4中的多粒度特征对齐损失函数的计算过程为:

29、

30、其中,表示余弦相似性函数,为无人机视图或鸟瞰视图经过特征精炼器后的第个特征向量,为卫星视图经过特征精炼器后的第个特征向量,为由向量采样确定的采样数量;

31、损失函数用于约束匹配的跨视图特征对之间具有较高的余弦相似度,通过最小化该损失使跨视图细粒度特征在特征空间中对齐。

32、作为一种改进,s5中的跨视图对比损失采用对称infonce损失函数,表示为:

33、

34、其中,表示查询图像特征,表示一组参考图像特征,为与查询图像唯一对应的正样本特征,为第个参考图像特征,为温度参数;

35、损失函数通过最大化查询特征与正样本特征之间的相似度、同时最小化与负样本特征之间的相似度,迫使模型学习区分不同地理位置的视角不变特征表示。

36、作为一种改进,s5中联合优化的总损失函数表示为:

37、

38、其中,为鸟瞰视图与卫星视图、地面全景视图与卫星视图、鸟瞰视图与地面全景视图、无人机视图与卫星视图之间多组对称infonce损失之和;为位置信息对齐损失;为多粒度特征对齐损失;总损失函数通过最小化跨视图对比损失以拉近匹配视图的特征距离,同时最小化位置信息对齐损失以校正中心偏移,并最小化多粒度特征对齐损失以增强细粒度特征的一致性,实现几何视角对齐、位置偏移对齐和细粒度特征对齐在统一训练框架下的相互促进。

39、作为一种改进,预训练的深度神经网络采用convnext系列网络作为主干架构,具体为convnext-b网络;

40、主干架构用于步骤s2中多分支特征提取结构的多个分支,共享convnext-b网络的权重,以提取不同视图图像的深度特征表示。

41、多粒度对齐的空天地跨视图地理定位系统,用于实现如上述任一项的多粒度对齐的空天地跨视图地理定位方法,系统包括:

42、几何视角对齐模块,配置为接收地面全景图像,利用地面摄像机的成像模型将地面全景图像投影至空中视角,生成与卫星视图几何结构初步对齐的鸟瞰视图图像;

43、多粒度特征提取模块,与几何视角对齐模块连接,配置为采用基于孪生网络的多分支结构,分别对无人机图像、卫星图像、地面全景图像和鸟瞰视图图像进行特征提取,输出用于捕获场景整体布局的全局特征以及用于保留地物几何细节的局部特征;全局特征包括地面全景图像的全局特征、鸟瞰视图图像的全局特征、卫星视图图像的全局特征和无人机图像的全局特征,局部特征包括对应的特征图、、、;

44、位置偏移对齐模块,与多粒度特征提取模块连接,配置为接收多粒度特征提取模块输出的全局特征和作为粗粒度特征、接收特征图作为细粒度卫星特征,利用位置信息对齐方法对中心位置偏移进行显式建模与校正;位置信息对齐方法对或进行池化处理后与未经池化的进行逐像素相似性计算,生成相似性地图,利用位置先验信息作为约束,基于相似性地图通过软匹配推导回归位置,并以距离度量函数作为监督,输出校正后的位置先验约束;

45、细粒度特征对齐模块,与位置偏移对齐模块及多粒度特征提取模块连接,配置为在经位置偏移对齐后的跨视图特征空间中,通过向量采样、特征精炼器和对齐损失函数建立不同平台视图特征序列元素间的细微关联,输出空间一致的特征表示;

46、联合优化与定位模块,与细粒度特征对齐模块连接,配置为采用多视图对比学习方法,联合优化跨视图对比损失、位置信息对齐损失和多粒度特征对齐损失,训练地理定位网络,并利用训练好的网络将待查询的无人机图像或地面全景图像与卫星图像数据库进行匹配,输出跨视图地理定位结果。

47、与现有技术相比,本发明的优点在于:

48、本发明提供的一种多粒度对齐的空天地(即无人机-卫星-地面)跨视图地理定位方法及系统,通过几何、位置、语义三个层次的渐进式对齐,显著提升了空天地跨视角地理定位的精度与鲁棒性。

49、首先,为了弥合地面视图与卫星视图之间的较大视差,本发明设计了鸟瞰图(bev)视图转换方法,该方法利用地面摄像机的成像模型将全景图像投影到空中视角。具体而言,基于球面等角投影和南极切平面映射,建立了从地面全景像素到鸟瞰图像像素的精确投影关系,使得转换后的鸟瞰视图图像与卫星视图在道路、建筑等关键地物的几何布局上实现初步对齐,从几何层面有效缩小了地面视角与空中视角之间的域差异,降低了后续特征提取和匹配的难度。在此基础上,采用基于孪生网络的多分支特征提取结构,四个分支共享特征提取模块的权重且各特征图具有相同的通道维度,保证了不同视图特征在同一语义空间中的可比性。其中,地面全景图像经特征提取后输出第一特征图并进一步通过平均池化得到第一全局特征,用于捕获场景整体布局和空间关系;鸟瞰视图图像经特征提取后输出第二特征图并进一步通过平均池化得到第二全局特征,用于表征鸟瞰视角下的全局空间结构;卫星视图图像经特征提取后输出第三特征图并进一步通过平均池化得到第三全局特征,用于提供参考视图的全局上下文信息;无人机图像经特征提取后输出第四特征图并进一步通过平均池化得到第四全局特征,用于保留关键地物的几何结构和细节信息。四分支结构通过共享权重实现了跨视图特征的高效提取,在保证特征一致性的同时兼顾了全局上下文感知与局部精细定位的需求。

50、其次,为了减弱地面图像或转化后的鸟瞰视图与卫星视图存在的中心位置偏移问题的影响,本发明提出了一种位置信息对齐方法pia。该方法利用地面街景和鸟瞰图之间的先验位置对应作为监督,以第一全局特征和第二全局特征作为粗粒度特征输入、以第三特征图作为细粒度卫星特征输入,通过对第二全局特征或第一全局特征进行池化处理后与未经池化的第三特征图进行逐像素相似性计算,生成相似性地图,并基于该相似性地图通过软匹配推导回归位置,以欧几里得距离损失作为监督,实现了对鸟瞰视图或地面视图与卫星视图之间中心位置偏移的显式建模与校正。该机制有效解决了实际应用中地面图像与卫星图像往往存在中心不对齐的问题,使得粗粒度图像检索的召回率显著提升,尤其针对存在较大位置偏移的图像对,能够将预测位置与位置先验之间的误差控制在像素级范围内。

51、随后,为解决不同视图中相同目标特征无法对齐的问题,本发明提出了一种新的多粒度特征对齐方法mfa。该方法通过计算特征序列各个元素之间细微的相互作用,来建立跨视图细粒度特征之间的显式约束。具体而言,采用稀疏-密集交错的向量采样策略,通过特征精炼器从细粒度特征中提取稀疏语义特征,并结合特征拆分操作将细粒度特征划分为多个局部密集向量,稀疏语义特征与局部密集向量共同构成多粒度采样结果,用于结合语义信息和空间几何属性的互补优势;再经多层感知机精炼器将多粒度采样结果中的各特征向量投影至统一的特征空间,计算无人机视图或鸟瞰视图与卫星视图之间每个粒度特征的余弦相似度并构建对齐损失函数。该过程在经位置偏移对齐后的跨视图特征空间中,通过关注有助于在语义层面上区分前景目标与背景并在空间结构上理解场景上下文的信息,在像素-全局多尺度上建立显式约束,强化了多粒度特征对齐,实现了跨平台的一致特征提取。

52、再次,本发明采用多视图对比学习方法,以convnext‑b等预训练深度神经网络为主干架构,联合优化跨视图对比损失、位置信息对齐损失和多粒度特征对齐损失。其中,对称infonce损失函数通过最大化查询特征与正样本特征之间的相似度、同时最小化与负样本特征之间的相似度,迫使模型学习区分不同地理位置的视角不变特征表示;总损失函数同时包含了鸟瞰视图与卫星视图、地面全景视图与卫星视图、鸟瞰视图与地面全景视图、无人机视图与卫星视图之间多组对称infonce损失,以及位置信息对齐损失和多粒度特征对齐损失。三种损失在统一训练框架下相互促进:几何视角对齐为位置偏移对齐提供了几何对齐良好的输入,位置偏移对齐校正后的位置信息使得多粒度特征对齐能够在更准确的空间范围内建立细粒度匹配,而多粒度特征对齐的精细约束反过来又指导了几何视角对齐和位置偏移对齐模块的学习,形成从几何到位置再到语义的渐进式闭环优化。最终,模型能够学习到同时具有全局一致性和局部判别性的视角不变特征表示,在无人机、卫星、地面三种跨视图图像的匹配检索中表现出优异的鲁棒性和精度。

53、与现有技术相比,本发明首次提出了面向空天地三源跨视角地理定位的完整解决方案,将几何视角对齐、位置偏移对齐、多粒度特征对齐与对比学习有机结合,克服了传统方法仅处理双源视角、忽略中心偏移或缺乏多粒度对齐机制的缺陷。实验结果表明,在多种公开数据集上,本发明的粗粒度图像检索召回率如r@1相比现有最佳方法有显著提升,同时能够精确预测中心偏移量,均值误差和中值误差均达到像素级精度。本发明方法在无人机导航、无人驾驶、增强现实、军事侦察、灾害评估等需要跨视角定位的场景中具有极高的应用价值和市场前景。通过端到端的联合训练,模型无需对卫星参考图像库进行昂贵的预变换或依赖额外的语义标签,部署时仅需将待查询的地面全景图像或无人机图像输入训练好的多粒度对齐的空天地跨视图地理定位系统网络,即可快速与卫星图像数据库完成匹配并输出地理定位结果,兼具高精度和高效率。