基于反向视角验证的无人机融合定位方法与流程

本发明涉及无人机导航定位，尤其涉及一种基于反向视角验证的无人机融合定位方法。

背景技术：

1、目前，消费级与工业级无人机已普遍搭载覆盖多个朝向的多向视觉传感器，并在卫星信号遮挡区域采用视觉惯性融合的定位方式；现有视觉惯性定位方案（如vins-fusion、orb-slam3）通常仅处理单相机输入，或多相机通道经离线标定后固定使用，利用固定视觉通道的特征匹配结果约束惯性推算位姿。

2、然而，在多向视觉传感器配置下，不同方向视觉通道面临的特征退化条件不同，如前向面对白墙、后向面对强光、侧向面对无纹理表面，且退化随飞行过程动态发生；上述方案依赖预设退化条件或人工切换通道，无法根据实际视觉质量在线决策，单一通道退化会使整个定位过程失效，其他方向的高质量视觉信息被浪费。

3、因此，现有技术存在无法对多向视觉通道的退化状态进行在线评估与自适应切换，导致特征退化场景下无人机高精度定位连续性不足的问题。

技术实现思路

1、本发明提供了一种基于反向视角验证的无人机融合定位方法及系统，以解决现有技术无法对多向视觉通道的退化状态进行在线评估与自适应切换，导致特征退化场景下无人机高精度定位连续性不足的问题。

2、为实现上述目的，本发明第一方面提供了一种基于反向视角验证的无人机融合定位方法，包括：

3、获取无人机搭载的多向视觉传感器同步采集的多方向环境图像序列，以及惯性测量单元同步采集的运动状态数据；

4、对所述多方向环境图像序列进行orb特征提取和跟踪，计算各方向视觉通道的退化质量评分；

5、根据所述退化质量评分与预设的退化阈值，选择最优备用视觉通道，并将定位主通道切换至所述最优备用视觉通道；

6、在视觉通道切换时，对切换前后的重叠观测区域，通过跨视角特征匹配建立切换前关键帧与切换后当前帧之间的特征关联，并对匹配结果进行几何约束验证，得到跨视角观测约束；

7、将所述运动状态数据、当前激活视觉通道的视觉重投影误差以及所述跨视角观测约束统一输入因子图优化器进行联合状态估计，输出无人机的融合定位结果。

8、优选地，所述获取无人机搭载的多向视觉传感器同步采集的多方向环境图像序列，以及惯性测量单元同步采集的运动状态数据，包括：

9、多向视觉传感器包括无人机机头方向的前向视觉传感器和朝向机尾方向的后向视觉传感器，同步采集各自朝向的环境图像，并按照采集时刻对所述环境图像进行排列，得到多方向环境图像序列；

10、根据所述多方向环境图像序列中各图像帧的曝光时刻，通过惯性测量单元采集角速度和线性加速度并进行滤波，按照时间戳顺序组成运动状态数据。

11、优选地，所述对所述多方向环境图像序列进行orb特征提取和跟踪，计算各方向视觉通道的退化质量评分，包括：

12、对各方向视觉通道的当前图像帧进行orb特征提取，并将提取的orb特征点与同一视觉通道的上一图像帧进行特征跟踪，得到各方向视觉通道的有效跟踪特征点；

13、统计所述有效跟踪特征点的数量与预设的参考特征数量的比值，得到跟踪数量评分；

14、计算所述有效跟踪特征点在当前图像帧与上一图像帧之间的平均视差和视差离散度，根据所述平均视差和所述视差离散度，得到视差分布评分；

15、对所述有效跟踪特征点进行几何一致性验证，根据通过验证的内点数量占所述有效跟踪特征点总数的比例，得到匹配质量评分；

16、对所述跟踪数量评分、所述视差分布评分和所述匹配质量评分进行加权求和，得到各方向视觉通道的退化质量评分。

17、优选地，所述根据所述退化质量评分与预设的退化阈值，选择最优备用视觉通道，并将定位主通道切换至所述最优备用视觉通道，包括：

18、当所述当前激活视觉通道的退化质量评分低于所述退化阈值时，从除所述当前激活视觉通道以外的各方向视觉通道中筛选退化质量评分高于所述退化阈值的候选通道；

19、当存在所述候选通道时，将退化质量评分最高的候选通道确定为最优备用视觉通道，并将所述定位主通道切换至所述最优备用视觉通道；

20、当不存在所述候选通道时，维持所述当前激活视觉通道作为定位主通道，并将所述融合定位结果的置信度标记为降级状态。

21、优选地，所述在视觉通道切换时，对切换前后的重叠观测区域，通过跨视角特征匹配建立切换前关键帧与切换后当前帧之间的特征关联，包括：

22、根据切换前视觉通道与切换后视觉通道在无人机机体上的安装位姿和视场角，确定两个视觉通道的视场重叠范围；

23、当所述切换前关键帧与所述切换后当前帧对同一空间区域存在共视，且共视区域位于所述视场重叠范围内时，判定切换前后存在重叠观测区域；

24、当所述切换前视觉通道为前向视觉传感器对应的视觉通道，且所述切换后视觉通道为后向视觉传感器对应的视觉通道时，在前向视觉传感器采集的切换前关键帧与后向视觉传感器采集的切换后当前帧之间，针对所述重叠观测区域执行跨视角特征匹配。

25、优选地，所述对匹配结果进行几何约束验证，得到跨视角观测约束，包括：

26、对所述重叠观测区域内的所述切换前关键帧和所述切换后当前帧分别提取orb特征描述子；

27、计算两组orb特征描述子之间的匹配距离，保留所述匹配距离小于预设的描述子距离阈值的候选匹配对；

28、对所述候选匹配对进行对极几何约束验证，剔除不满足对极几何约束的误匹配对，得到验证后的跨视角匹配对；

29、根据所述验证后的跨视角匹配对，计算切换前关键帧坐标系到切换后当前帧坐标系的相对位姿变换，并将所述相对位姿变换作为跨视角观测约束。

30、优选地，所述将所述运动状态数据、当前激活视觉通道的视觉重投影误差以及所述跨视角观测约束统一输入因子图优化器进行联合状态估计，输出无人机的融合定位结果，包括：

31、在所述当前激活视觉通道的相邻关键帧之间，对所述运动状态数据中的角速度和线性加速度进行预积分运算，得到相对旋转增量、相对平移增量和相对速度增量，并根据所述相对旋转增量、所述相对平移增量和所述相对速度增量构建imu预积分因子；

32、根据所述当前激活视觉通道中各特征点的像素坐标观测值，与根据待估计状态向量预测的各特征点的投影像素坐标，计算所述当前激活视觉通道的视觉重投影误差，并根据所述视觉重投影误差构建视觉重投影因子；

33、在视觉通道切换时，根据所述跨视角观测约束构建跨视角约束因子；

34、所述跨视角约束因子用于约束所述切换前关键帧与所述切换后当前帧之间的相对位姿一致性；

35、将所述imu预积分因子、所述视觉重投影因子和所述跨视角约束因子加入所述因子图优化器进行联合状态估计，输出融合定位结果。

36、优选地，所述的基于反向视角验证的无人机融合定位方法还包括：

37、在所述定位主通道切换至所述最优备用视觉通道之后，持续监测切换前的原激活视觉通道的退化质量评分；

38、当所述原激活视觉通道的退化质量评分回升至高于所述退化阈值，且与所述最优备用视觉通道的退化质量评分之间的差值大于预设的恢复滞回阈值时，将所述定位主通道切回所述原激活视觉通道；

39、对切回前后的重叠观测区域重新执行所述跨视角特征匹配，得到切回后的跨视角观测约束，并将所述切回后的跨视角观测约束输入所述因子图优化器参与联合状态估计。

40、本发明第二方面提供了一种基于反向视角验证的无人机融合定位系统，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的基于反向视角验证的无人机融合定位方法的步骤。

41、本发明第三方面提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的基于反向视角验证的无人机融合定位方法的步骤。

42、相比于现有技术，本发明具有如下有益效果：

43、（1）本发明对多方向环境图像序列的各方向视觉通道进行orb特征提取和跟踪，并由跟踪数量评分、视差分布评分和匹配质量评分加权求和得到退化质量评分，从特征数量、几何结构和匹配可靠性三个维度对各方向视觉通道的视觉质量进行客观量化，从而实现对多向视觉通道退化状态的在线评估，而无需依赖预设的退化条件或人工判断，解决了现有方案依赖预设退化条件或人工切换、无法在线决策的问题。

44、（2）本发明根据退化质量评分与退化阈值自适应地选择最优备用视觉通道并切换定位主通道，在当前激活视觉通道退化时将定位主通道切换至视觉质量更高的其他方向视觉通道，使单一通道的退化不再导致整个定位过程失效，充分利用了其他方向被浪费的高质量视觉信息；在不存在满足阈值的候选通道时维持当前通道并将结果置信度标记为降级状态，避免误切换。

45、（3）本发明在视觉通道切换时，对切换前后的重叠观测区域，通过跨视角特征匹配在切换前关键帧与切换后当前帧之间建立特征关联，并经对极几何约束验证后得到相对位姿变换形式的跨视角观测约束，从而以后向视角对切换前的前向观测进行反向视角验证，在切换时刻建立空间维度上的一致性约束；相较于仅在时间维度上校正累积漂移的回环检测，本发明解决了实时切换过程中切换前后位姿的空间一致性问题，抑制了通道切换处的位姿跳变。

46、（4）本发明将imu预积分因子、视觉重投影因子和跨视角约束因子统一加入因子图优化器进行联合状态估计，实现了惯性、视觉与跨视角约束的紧耦合融合，在特征退化与通道切换并存的复杂飞行过程中保持了无人机高精度定位的连续性与鲁棒性。