一种基于几何感知的无人机视觉定位方法

本发明属于无人机视觉定位及图像检索，尤其涉及一种基于几何感知的无人机视觉定位方法。

背景技术：

1、近年来，随着低空经济的快速发展，无人机在物流配送、防灾减灾和治安巡逻等领域得到了广泛应用。无人机位置信息的获取和校正是其应用过程中的关键环节。传统无人机主要依赖全球导航卫星系统（gnss）进行定位，但在城市低空、密集森林或室内等复杂环境中，gnss信号极易受到遮挡、多路径效应及电磁干扰，导致定位精度下降甚至完全失效（即gnss拒止环境）。

2、视觉定位技术通过匹配无人机机载相机获取的视觉图像与预存的、带有高精度地理坐标的卫星地图，为gnss拒止环境下的无人机自主定位提供了有效途径。然而，现有的无人机视觉定位方法在实际应用中依然面临多重挑战：首先，无人机图像与卫星地图之间存在巨大的视角差异和几何畸变；其次，不同飞行航向及卫星地图的裁剪角度会导致跨视角图像间存在随机的相对旋转角度；此外，传统transformer交叉注意力机制缺乏对空间几何约束的感知，导致在应对上述剧烈的几何和姿态变化时，特征对齐困难、旋转鲁棒性较差。因此，开发一种能够适应任意飞行方向并具备强跨视角对齐能力的高精度无人机定位方法，是当前该领域亟待解决的技术难点。

技术实现思路

1、针对现有技术的不足，本发明提供一种基于几何感知的无人机视觉定位方法，旨在解决现有视觉定位方法在复杂飞行姿态及跨视角几何畸变下匹配精度低、旋转鲁棒性差的问题。

2、本发明提供一种基于几何感知的无人机视觉定位方法，包括以下步骤：

3、获取无人机采集的目标区域的视觉图像和多个待匹配的卫星地图图像，分别对视觉图像和卫星地图图像进行分块和特征投影，分别得到包括多个图像块的视觉图像块令牌序列和卫星地图图像块令牌序列；

4、构建基于几何感知的视觉定位模型，包括几何感知位置编码器、旋转等变交叉注意机制模块和匹配解算模块；基于几何感知位置编码器对视觉图像块令牌序列和卫星地图图像块令牌序列进行编码，得到视觉图像特征和卫星地图图像特征；基于旋转等变交叉注意机制对视觉图像特征和卫星地图图像特征进行双向跨视角特征融合，得到融合特征；基于匹配解算模块对融合特征进行处理，生成全局描述符，基于全局描述符对所有待匹配的卫星地图图像进行相似度检索和最小二乘法位置解算，得到无人机的绝对位置信息。

5、进一步的，所述几何感知位置编码器包括空间位置编码层、视角类型编码层和图像液态编码层；

6、空间位置编码层采用二维正弦余弦函数，对图像块的水平坐标和垂直坐标分别进行频率编码，得到空间位置编码；

7、视角类型编码层为图像块生成可学习的二值化视角类型编码，为视角类型索引，表示视觉图像，表示卫星地图图像；

8、图像液态编码层将图像块的姿态参数扩展为姿态特征向量，所述姿态参数包括俯仰角和方位角，将姿态特征向量经过多层mlp投影至预设维度，得到图像液态编码。

9、进一步的，基于几何感知位置编码器对视觉图像块令牌序列进行编码的具体方法为：

10、将视觉图像块令牌序列中每个图像块的空间位置编码、视角类型编码和图像液体编码叠加，得到视觉图像块令牌序列中每个图像块的位置编码；将视觉图像块令牌序列中所有图像块的位置编码拼接，得到视觉图像特征。

11、进一步的，基于几何感知位置编码器对卫星地图图像块令牌序列进行编码的具体方法为：

12、将卫星地图图像块令牌序列中每个图像块的空间位置编码和视角类型编码叠加，得到卫星地图图像块令牌序列中每个图像块的位置编码；将卫星地图图像块令牌序列中所有图像块的位置编码拼接，得到卫星地图图像特征。

13、进一步的，所述基于旋转等变交叉注意机制对视觉图像特征和卫星地图图像特征进行双向跨视角特征融合的具体方法为：

14、计算两个图像块之间的欧氏距离，生成距离矩阵；距离矩阵满足旋转不变性，如下公式所示：

15、；

16、其中，表示视觉图像中第个图像块与第个图像块之间的欧式距离，表示卫星地图图像中第个图像块与第个图像块之间的欧式距离，表示缩放系数；

17、对视觉图像特征进行线性变换，生成查询矩阵q；对卫星地图图像特征进行线性变换，生成键矩阵k和值矩阵v；

18、将查询矩阵q、键矩阵k和值矩阵v分别划分为个注意力头；在每个注意力头中，为离散距离值d学习一个维度为的嵌入向量，构成距离嵌入表；通过查询距离嵌入表，将距离矩阵映射为各注意力头的位置偏置张量；对位置偏置张量进行经纬度变换，得到位置偏置，基于位置偏置计算第个注意力头的注意力分数，如下公式所示：

19、；

20、其中，为第个注意力头的查询矩阵，为第个注意力头的键矩阵，为第个注意力头的位置偏置；

21、对注意力分数沿最后一维进行softmax 归一化，并施加dropout正则化，得到归一化后的注意力权重；利用归一化后的注意力权重对第个注意力头的值矩阵进行加权聚合，得到第个注意力头的输出；拼接所有注意力头的输出，并经过线性投影得到融合特征。

22、进一步的，所述对融合特征进行处理，生成全局描述符的具体方法为：对融合特征进行广义均值池化和l2归一化，生成全局描述符。

23、进一步的，所述基于全局描述符对所有待匹配的卫星地图图像进行相似度检索和最小二乘法位置解算的具体方法为：

24、计算全局描述符与所有待匹配的卫星地图图像的相似度，将相似度按降序排列，选取相似度最高的卫星地图图像作为与视觉图像匹配的卫星地图图像；

25、提取匹配成功的卫星地图图像对应的地理坐标，获取无人机当前飞行高度和相机内参，解算出无人机在全局坐标系下的绝对位置信息。

26、进一步的，所述基于几何感知的视觉定位模型的训练方法为：

27、对视觉图像和卫星地图图像实施数据增强，包括随机旋转、随机透视变换和随机颜色抖动；

28、基于infonce对比损失函数构建总损失函数对基于几何感知的视觉定位模型进行训练，采用adamw优化器进行参数更新，在预设的个轮次内，设置学习率从零线性增大至初始学习率；再按余弦函数平滑衰减至最小学习率；训练过程中，对所有可训练参数进行梯度剪裁。

29、采用上述技术方案所产生的有益效果在于：本发明提供的一种基于几何感知的无人机视觉定位方法，通过几何感知位置编码器与旋转等变交叉注意机制，将图像块的空间位置、视角来源、无人机飞行姿态以及图像块之间的相对几何关系等先验显式注入跨视角特征匹配过程，使视觉图像与卫星地图图像的特征对齐受空间几何约束的引导，从而在gnss拒止环境下实现不依赖航向先验的高精度绝对定位。本发明仅依靠无人机机载相机和预存的卫星地图，即可在gnss信号被遮挡、干扰或压制的城市低空、密集森林等拒止环境下获得无人机的绝对地理位置，无需增设额外的定位传感器，可单独使用，也可与现有导航系统组合使用，为物流配送、防灾减灾和治安巡逻等低空经济应用提供了自主、可靠的定位手段。