一种联邦双分支描述子与几何验证的无人机图像定位方法

本发明涉及无人机视觉定位、跨视角图像检索与特征匹配，尤其涉及一种联邦双分支描述子与几何验证的无人机图像定位方法。

背景技术：

1、无人机在城市巡检、应急测绘、物流运输、公共安全和自主导航等应用中，需要持续获得稳定的空间位置信息。在卫星导航信号受遮挡、受干扰或不可用的环境下，可利用无人机下视或斜视图像与预先建立的卫星参考图像库进行跨视角匹配，从而推断无人机所在的地理位置。

2、现有跨视角无人机图像定位方案通常包括图像级检索和像素级几何定位两个阶段。图像级检索用于从大规模卫星参考图像库中筛选候选区域，像素级几何定位用于在候选参考图中确定无人机图像中心的投影位置。然而，卫星图像与无人机图像在拍摄高度、视场范围、成像方向、季节、光照和传感器类型等方面存在明显差异，容易造成跨视角描述子不稳定以及局部特征对应关系稀疏。

3、另一方面，卫星参考图像往往分散存储在不同地理区域、不同机构或不同边缘节点。将原始图像集中上传后统一训练会带来较高的数据传输和存储负担，也难以适应地理区域之间显著的非独立同分布特性。传统联邦平均方法主要依据地理客户端样本数量进行聚合，当不同地理区域的训练难度和局部损失差异较大时，容易产生地理客户端漂移或使高质量局部模型的贡献不足。

4、此外，若在线阶段对每一幅无人机查询图像与全部卫星参考图逐一进行高精度匹配，将产生较大的计算开销。单纯依据一次最近邻或查询—图库余弦相似度筛选候选图，又容易受到连续道路、重复屋顶和相邻地块外观相似的影响。对于局部匹配阶段，现有方案中的匹配点还可能大量集中在单个重复结构区域，导致估计的单应性矩阵退化；仅依据匹配数量或单一重投影误差进行候选选择，也难以充分利用无人机飞行序列的连续性。

5、同时，部分无人机—卫星数据集仅提供图像级配对关系，缺少真实像素级单应性、深度或密集对应标签，直接将未严格对齐的真实跨视角图像作为像素级监督样本容易引入错误标签。因此，亟需一种能够联合利用分布式卫星图像、参考图库结构、无人机飞行序列先验以及几何验证信息的无人机图像定位方案。

技术实现思路

1、本发明的主要目的在于提供一种联邦双分支描述子与几何验证的无人机图像定位方法，旨在解决现有技术中分布式卫星数据难以有效联合训练、全库高精度匹配开销较大、跨视角重复结构易造成误匹配以及局部匹配点空间分布不均导致几何定位不稳定的技术问题。

2、为实现上述目的，本发明提供一种联邦双分支描述子与几何验证的无人机图像定位方法，所述方法包括以下步骤：

3、在多个地理客户端上进行联邦训练，获得融合注意力分支与状态空间分支的全局跨视角描述子模型；

4、提取卫星参考图描述子，构建近邻图并形成一维相似性流形排序；

5、结合上一帧排序指针和飞行序列先验，生成当前无人机查询图像的候选参考图集合；

6、对候选参考图执行跨视角输入适配、多尺度相关性注入、双向粗匹配及亚像素细化；

7、执行空间均衡与单应性验证，计算几何-序列联合评分并输出投影位置及地理坐标。

8、进一步地，各地理客户端对同一卫星参考图像构造参考视图和无人机代理视图，其中：

9、参考视图，用于保留卫星图像的完整空间范围和方向结构，并施加旋转及颜色扰动；

10、无人机代理视图，通过随机视场裁剪、航向旋转、尺度变化、平移变化、透视变换、亮度变化、对比度变化、饱和度变化、灰度变化和高斯模糊中的一种或多种模拟无人机跨高度、跨航向、跨时相及跨视场成像；

11、所述参考视图与无人机代理视图构成同一地理位置的跨视角正样本对。

12、可选地，全局跨视角描述子模型包括transformer注意力分支和基于选择性状态空间模型的mamba分支。每一分支分别提取全局语义和局部结构统计，通过可学习池化门控生成分支表示；随后拼接两个分支特征、绝对差异和逐元素乘积，并通过差异感知融合门控及跨视角残差适配器获得归一化描述子。

13、可选地，地理客户端本地训练目标由对称对比损失、关系一致性损失、分支一致性损失及地理客户端漂移约束损失构成。服务器根据参与地理客户端平均损失形成逆损失分布，计算其与均匀聚合分布之间的hellinger距离，在地理客户端损失差异不明显时采用均匀聚合，在损失差异较大时自适应引入损失感知权重。

14、可选地，对卫星参考图库描述子构建k近邻图，并依据近邻图测地距离进行一维流形嵌入。由于一维流形存在方向符号不确定性，同时保存正向排序与反向排序。首幅无人机查询图像采用完整排序搜索，获得初始定位后，后续查询图像仅在上一帧排序指针的前后窗口内生成候选参考图。

15、可选地，跨视角匹配网络对灰度图像、局部对比度特征和边缘特征进行加权融合，并提取1/8、1/16及1/32尺度特征；在低分辨率高语义特征上利用带旋转位置编码的交叉注意力建立全局关联，再将相关性逐级注入高分辨率特征。

16、可选地，粗匹配采用双重softmax和双向最近邻约束，细匹配同时预测查询到参考以及参考到查询的亚像素偏移，并根据偏移不确定性形成细粒度可靠性；最终匹配置信度由粗匹配置信度和细粒度可靠性共同确定。

17、可选地，匹配网络使用真实跨视角图像级对比监督和合成单应性密集监督联合训练。真实图像对用于学习跨域语义关系；合成单应性样本用于生成准确的粗匹配矩阵、细粒度偏移及不确定性监督，从而避免将未严格对齐的真实跨视角图像错误地当作像素级对应样本。

18、可选地，在单应性估计前删除低置信度匹配点，并分别对无人机图像与卫星图像进行网格划分，限制每个网格单元中的最大匹配数量，检查匹配点空间覆盖率；利用ransac估计单应性矩阵，并根据内点率、重投影误差和投影区域面积过滤退化结果。

19、可选地，候选图像定位评分综合无人机图像中心投影与卫星参考图中心之间的归一化距离、ransac内点率、内点重投影误差、匹配点空间覆盖率以及候选排序位置相对于上一帧排序指针的偏移。

20、进一步地，所述全局跨视角描述子模型生成图像描述子的过程包括：

21、分别通过transformer注意力分支和基于选择性状态空间模型的mamba分支提取输入图像x的特征和：

22、对任一分支，t表示查询序列长度，m表示地理客户端数量，通过可学习池化门控融合全局特征和局部统计特征，得到分支表示：

23、

24、其中，表示sigmoid激活函数；

25、将分支表示投影并归一化得到和，拼接两个分支的原始特征、绝对差异和逐元素乘积，得到融合特征；

26、利用融合门控及跨视角残差适配器生成最终描述子d：

27、

28、其中，s为残差强度参数，表示归一化操作；在联邦训练中冻结两个特征提取分支的主干参数，仅训练并通信投影层、池化门控、融合门控和跨视角残差适配器的参数，为融合门控，为以融合特征为输入的融合门控多层感知机。

29、进一步地，任一地理客户端m的本地训练损失包括对称对比损失、关系一致性损失、分支一致性损失和地理客户端漂移约束损失；

30、其中，对称对比损失基于参考视图描述子与无人机代理视图描述子的双向交叉熵计算；关系一致性损失用于约束两种视图的批内相似度矩阵的非对角元素；分支一致性损失用于约束注意力分支与选择性状态空间分支在同一视图上的地理语义一致性；地理客户端漂移约束损失满足：

31、

32、其中，为第r轮服务器模型参数，为地理客户端参数，是第r轮服务器下发给当前地理客户端的初始模型参数。

33、进一步地，服务器依据地理客户端平均损失执行hellinger损失感知聚合，具体包括：

34、根据各参与地理客户端的本地训练损失构造损失感知分布，并构造均匀分布：

35、，

36、其中，为第r轮参与联邦训练并进行参数聚合的地理客户端数量，，r为总联邦轮次，表示第j个地理客户端的损失；计算所述均匀分布与损失感知分布之间的hellinger距离：

37、

38、当小于阈值δ时采用均匀聚合；当不小于阈值δ时，计算，并确定地理客户端聚合权重：

39、

40、根据所述地理客户端聚合权重更新服务器参数：

41、

42、是第r+1轮更新完成后的服务器模型参数，是集合里第m个地理客户端在本地训练后上传的本地模型参数，表示第r轮全局联邦训练中，被选中参与本轮参数聚合的全部地理客户端的集合。

43、进一步地，获得一维相似性排序并生成候选参考图集合，具体包括：

44、对n幅卫星参考图像提取归一化描述子，为全局描述子模型，表示第i幅卫星参考图，构成描述子矩阵；以描述子欧氏距离为边权构建k近邻图，计算近邻图中的测地距离，并通过isomap流形学习将各卫星参考图像嵌入一维坐标；

45、按照一维坐标获得排序，同时保存正向排序和反向排序，表示将第n幅卫星参考图像嵌入一维坐标，表示排序操作；

46、当上一幅无人机查询图像的排序指针为时，当前无人机查询图像的候选参考图集合为：

47、

48、其中，表示排序位置对应的卫星参考图索引，为第幅卫星参考图，和分别为后向窗口宽度和前向窗口宽度，候选数量k不大于。

49、进一步地，所述跨视角输入适配和多尺度相关性注入包括：

50、对灰度图像计算局部对比度特征和sobel边缘特征，按照下式生成适配图像：

51、

52、其中，、和为非负加权系数；

53、通过轻量级卷积神经网络分别提取空间分辨率为输入图像1/8、1/16和1/32的多尺度特征、和；在低分辨率高语义特征上使用带旋转位置编码的交叉注意力建立无人机查询图像与候选卫星参考图之间的全局关联，并通过相关性注入模块将高层相关性逐级传递至1/16和1/8尺度特征，其中，相关性注入模块将交叉注意力输出按同侧图像的空间位置重排为关联特征图，通过双线性插值上采样至1/16尺度并与该侧同尺度卷积特征沿通道维拼接；再将拼接结果上采样至1/8尺度并与该侧同尺度卷积特征沿通道维拼接，两次上采样均以待拼接特征的空间尺寸为目标，无人机查询图像与候选卫星参考图分别执行上述相关性注入模块内的操作。

54、进一步地，所述双向粗匹配、双向亚像素细化包括：

55、对无人机查询图像的粗粒度特征与候选卫星参考图的粗粒度特征执行l2归一化，并计算温度缩放后的相似度；通过分别沿查询维度和参考维度执行softmax得到双重归一化匹配置信度；

56、仅保留同时满足查询特征指向参考特征的最大置信度关系和参考特征指向查询特征的最大置信度关系的双向最近邻匹配，并从所述双向最近邻匹配中选取粗匹配点对；

57、对每一粗匹配点对在细粒度特征上分别预测查询到参考的亚像素偏移和参考到查询的亚像素偏移，同时预测横纵方向偏移不确定性和；

58、对选中的粗匹配点对，粗匹配置信度取该选中的粗匹配点对的双重归一化匹配置信度，即，根据确定细粒度可靠性，并将粗匹配置信度与细粒度可靠性相乘，得到最终匹配置信度。

59、进一步地，执行空间均衡与单应性验证，具体包括：

60、删除匹配置信度低于预设分位数阈值的对应点；分别将无人机查询图像与候选卫星参考图划分为g×g个网格单元，限制每一网格单元中保留的最大匹配数量；

61、按照下式计算匹配点空间覆盖率：

62、

63、其中，和分别为包含至少一个保留匹配点的无人机图像网格单元数量和卫星参考图网格单元数量；

64、采用ransac鲁棒估计单应性矩阵，统计内点数量、内点率和内点重投影误差，并根据投影区域面积与形状过滤退化单应性矩阵。

65、进一步地，所述几何-序列联合评分的计算包括：

66、利用单应性矩阵将无人机查询图像中心投影为候选卫星参考图中的投影点，并根据候选卫星参考图中心及图像宽高、计算归一化中心距离：

67、

68、根据归一化中心距离、ransac内点率、内点重投影误差和匹配点空间覆盖率计算几何评分：

69、

70、其中，、、为权重系数，为内点重投影误差归一化所用的尺度参数；

71、根据候选卫星参考图在一维相似性排序中的位置与上一幅无人机查询图像的排序指针计算最终定位评分：

72、

73、选取最小的候选卫星参考图作为目标参考图，并利用目标参考图的像素—地理坐标变换关系将投影点转换为经纬度或平面地理坐标，和分别为后向窗口宽度和前向窗口宽度，为序列位置偏移项的权重系数。

74、此外，本发明还提供一种联邦双分支描述子与几何验证的无人机图像定位装置，所述装置包括执行所述一种联邦双分支描述子与几何验证的无人机图像定位方法的模块。

75、此外，本发明还提供一种无人机图像定位设备，所述设备包括存储器、至少一个处理器以及存储于所述存储器并可由所述处理器执行的无人机图像定位程序，所述程序被执行时实现上述一种联邦双分支描述子与几何验证的无人机图像定位方法。

76、此外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有无人机图像定位程序，所述程序被处理器执行时实现上述一种联邦双分支描述子与几何验证的无人机图像定位方法。

77、本发明的有益效果是：

78、第一，本发明通过联邦方式联合多个地理客户端训练跨视角描述子，使原始卫星图像保留在本地，并可通过冻结双分支主干参数，仅训练轻量化投影层、门控层及适配器的参数，并在服务器与地理客户端之间仅传输这些可训练参数，以降低通信量；

79、第二，本发明利用注意力分支对全局空间关系的建模能力和选择性状态空间分支对长距离状态依赖的高效建模能力，并通过全局—局部混合池化和差异感知融合同时表征城市整体布局与道路、屋顶、路口和地块边界等局部结构；

80、第三，本发明使用卫星参考图像的一维相似性流形排序及无人机飞行序列的上一帧定位指针生成局部候选集合，可在完成初始全局定位后显著缩小后续高精度匹配范围；

81、第四，本发明通过双向一致粗匹配、双向亚像素细化、置信度融合、网格空间均衡和退化单应性过滤，能够抑制重复屋顶、连续道路等局部重复结构造成的多对一匹配和局部聚集；

82、第五，本发明将几何质量指标与序列位置先验联合评分，在缺少真实像素级跨视角标注的条件下，结合真实图像级监督与合成单应性密集监督完成匹配网络训练，从而提升无人机跨视角定位的适用性和稳定性。