一种面向弱纹理场景的跨视角无人机地理定位方法

摘要: 本发明涉及遥感图像处理与计算机视觉交叉,具体涉及一种面向弱纹理场景的跨视角无人机地理定位方法。背景技术:1、跨视角地理定位是一种利用不同观测平台在视角和尺度存在...
一种面向弱纹理场景的跨视角无人机地理定位方法

本发明涉及遥感图像处理与计算机视觉交叉,具体涉及一种面向弱纹理场景的跨视角无人机地理定位方法。

背景技术:

1、跨视角地理定位是一种利用不同观测平台在视角和尺度存在差异的情况下获取的图像来推断目标区域地理位置的技术,能够在全球卫星导航系统受到干扰或信号缺失的情况下提供独立定位能力。由于无人机的普及,无人机图像与卫星图像的跨视角地理定位应用于多种领域,包括自主导航、智慧城市管理、灾害监测等。

2、当前基于深度学习方法大多需要依赖高频空间纹理解决跨视角形变问题。在实际应用中,沙漠、水域、冰雪或者大面积阴影这类弱纹理区域十分常见,这些区域的共同特点是局部对比度低、相邻像素的辐射值接近、区域之间的视觉差异很小,几乎没有清晰的角点、边缘和局部极值等空间特征。在这种场景下,提取出来的全局特征往往会高度相似,且容易造成特征混淆,导致定位失败。此外,无人机拍摄询图像,与大幅面卫星图之间存在很大的尺度差异。现有方法在进行检索时,大多采用密集重叠的滑动窗口策略来做穷举搜索,很难满足无人机在边缘端实时处理的要求。

3、因此,当前缺少一种针对弱纹理场景的跨视角无人机地理定位方法,以解决上述问题。

技术实现思路

1、为了克服上述问题,本发明提供了一种面向弱纹理场景的跨视角无人机地理定位方法。

2、为了实现上述方案,步骤如下:

3、分别对无人机查询图像和卫星图像提取空间域特征和频域特征;

4、对空间域和频域特征执行加权求和操作,分别得到无人机全局查询和卫星图的混合特征;

5、对无人机全局查询和卫星图的混合特征计算余弦相似度,生成目标感知关联分布图;

6、利用区域生成网络处理所述卫星图的混合特征,回归输出候选区域及其初始置信度,并基于所述目标感知关联分布图对所述初始置信度执行校准操作,以得到校准后的目标置信度;

7、根据校准后的目标置信度划分出多个目标局部子空间,计算无人机全局查询混合特征与各局部子空间之间的最大余弦相似度;

8、对微观对齐三元组损失、宏观尺度边界框回归损失和分类交叉熵损失进行加权,以构建总损失,通过总损失对网络进行训练,完成定位方法的构建。

9、进一步地,所述空间域特征的提取方式为:将图像输入一个去掉最后池化层的resnet-50中,提取空间特征。

10、进一步地,所述频域特征的提取方式包括:

11、对输入的图像执行二维快速傅里叶变换并零频居中,得到初始复数频谱;

12、引入可学习频率滤波器对初始复数频谱执行逐元素复数相乘操作,以获取滤波后的频谱表征,表示为:;

13、将输入一个由点卷积和非线性激活构成的轻量级注意力网络,生成频域通道对应的空间注意力权重图,表示为:;

14、将注意力权重图与进行加权聚焦,表示为:;

15、将的实部虚部分离后,沿通道维度拼接到一起:

16、,其中,表示取复数实部操作,表示取复数虚部操作;

17、对拼接后的特征依次经过多层自适应描述符网络和全局平均池化,以得到频域特征。

18、进一步地,所述混合特征的计算方式为:

19、将空间域特征向量与频域特征向量分别通过独立线性映射层统一至相同的特征子空间分别对应的得到和;

20、将和拼接后,输入至多层感知机及softmax激活层,输出动态归一化权重,表示为:;

21、经过加权求和以得到混合特征表征:,其中,和分别代表空间域特征与频域特征在混合表征中所占的权重。

22、进一步地,所述生成目标感知关联分布图的表达式如下:

23、

24、式中,为非线性特征投影函数;为特征图空间位置坐标;表示无人机全局查询混合特征;表示卫星图混合特征。

25、进一步地,所述得到校准后的目标置信度的步骤包括:

26、将卫星混合特征图输入一个由深度可分离卷积构成的轻量级主干网络进行降维处理,通过并行检测头直接回归出候选区域的空间坐标以及初始置信度,表达式如下:

27、

28、式中,和分别表示候选框中心相对于锚点的偏移量;和分别表示候选框的宽度和高度;表示候选框的初始置信度;

29、利用目标感知关联分布图作为门控信号对初始置信度进行逐像素动态重加权,得到校准后的目标置信度,表达式如下:

30、

31、式中,表示特征图上的空间位置坐标;表示在空间位置处校准后的目标置信度;表示在空间位置处候选框的初始置信度;表示在空间位置处的目标感知关联分布图的权重值。

32、进一步地,所述根据校准后的目标置信度划分出多个目标局部子空间,计算无人机全局查询混合特征与各局部子空间之间的最大余弦相似度的步骤具体如下:

33、根据校准后的目标置信度阈值筛选目标区域候选框;

34、将候选框输入由多层感知机构成的自适应裁剪参数预测器中,以获取最优裁剪比例系数;

35、根据最优裁剪比例系数在原始卫星图中裁剪处对应的局部区域,并归一化至统一尺寸;

36、提取局部区域中的空间域特征和频域特征;

37、中计算无人机查询特征与各局部子特征之间的最大余弦相似度,据此确定精细化的地理定位坐标。

38、进一步地,所述微观对齐三元组损失的表达式如下:

39、

40、式中,表示批量大小,表示其索引;表示欧氏距离;表示第个无人机查询特征;表示第个匹配正样本特征;表示第个匹配难负样本特征;表示预设边界阈值。

41、进一步地,所述宏观尺度边界框回归损失的表达式如下

42、

43、式中,和分别表示网络预测边界框和物理真实边界框;与分别代表预测框与真实框的二维空间物理中心坐标;为中心点距离惩罚系数。

44、进一步地,所述总损失的表达式如下:

45、

46、式中,表示置信度预测的二分类交叉熵损失,、、分别为第一、第二和第三多任务梯度平衡超参数。

47、本发明的有益效果:

48、(1)有效解决了弱纹理场景下特征表征不足的问题:

49、本发明通过创新性地引入2d-fft频域特征提取分支和可学习频率滤波器,能够深入挖掘沙漠、水体、森林等同质化背景下隐藏的全局周期性模式,弥补了传统空间域卷积在缺少局部极值和高频梯度时的表征空白。

50、(2)实现全场景鲁棒的动态自适应融合:所构建的空间与频域特征自适应融合策略,能够根据输入场景的上下文信息自动调整融合权重。在纹理丰富的区域保留关键的空间拓扑细节,在特征稀疏的区域则自动将重心转向频域周期特征,从而显著提升方法在全场景环境下的定位泛化能力;

51、(3)设计了高效精确的动态金字塔匹配机制:

52、提出利用查询特征动态引导宏观卫星底图来感知候选区域的轻量级rpn结构。配合自适应缩放机制,实现了大尺度变化下从宏观底图到局部精细匹配的高效检索,降低了计算开销,减少了弱纹理背景下的错误匹配率;

53、(4)优异的端到端联合收敛性能:构建了结合难例挖掘微观度量与中心点距离惩罚宏观回归的多任务联合损失体系。中心点距离惩罚强行对微小空间坐标偏移产生较强的梯度约束,解决同质化区域内边界框定位的收敛惰性问题。