基于无序RGB图像集合的视觉导航方法与系统

本技术涉及视觉导航，尤其是基于无序 rgb 图像集合的视觉导航方法与系统。

背景技术：

1、视觉导航是移动机器人、具身智能体和服务机器人实现自主移动的重要能力。现有方案通常可分为四类：基于度量地图或深度/激光传感器的几何导航，基于视觉位置识别和拓扑地图的导航，基于时间有序视频或轨迹学习的视觉导航，以及端到端图像目标驱动控制。

2、第一类方案能够获得较精细的几何信息，但通常依赖传感器标定、连续采集轨迹、深度相机、激光雷达或视觉惯性里程计，在低成本部署、众包图像使用和跨场景迁移时受到限制。

3、第二类方案通过图节点表示地点图像、通过边表示地点之间的邻接关系，能够降低稠密几何重建成本。但若仅依赖全局描述子相似度建边，容易受到重复外观、视角变化、遮挡和光照变化影响；若仅依赖局部几何验证，又可能因阈值过严造成图结构断裂。

4、第三类方案通常默认图像由机器人沿轨迹连续采集，相邻帧天然近似空间相邻；但当输入图像来自人工拍摄、众包图片、建筑内部照片或公共图像库时，该时间顺序先验并不存在，序列式导航模型容易产生错误连接、振荡决策或局部反复。

5、第四类端到端视觉策略可直接从当前观测和目标图像输出动作，但通常缺少轻量级结构记忆，在交叉路口、环路、重复房间、长距离路径或偏航恢复场景中容易短视规划，且错误原因难以解释。

技术实现思路

1、有鉴于此，本技术实施例提供了基于无序 rgb 图像集合的视觉导航方法与系统，以准确、高效地实现视觉导航。

2、本技术实施例的一方面提供了基于无序 rgb 图像集合的视觉导航方法，所述方法包括以下步骤：

3、对无序 rgb 图像集合、目标图像以及实时 rgb 观测图像分别提取全局视觉描述子；

4、根据所述全局视觉描述子确定候选检索距离阈值；

5、基于所述候选检索距离阈值从所述无序 rgb 图像集合中筛选候选图像对，并对所述候选图像对执行局部几何验证，得到边权重；

6、根据设置有所述边权重的拓扑图执行全局结构化剪枝和强环路重插入，得到鲁棒拓扑图；

7、在所述鲁棒拓扑图上进行信念传播定位，得到后验信念；

8、基于后验信念在所述鲁棒拓扑图上确定当前位置节点，并执行信念感知目标规划，得到导航路径。

9、在一些实施例中，所述根据所述全局视觉描述子确定候选检索距离阈值，包括以下步骤：

10、选择基准锚点图像，并从候选检索结果中选择与所述基准锚点图像距离最大的有效邻居图像；

11、对所述基准锚点图像核所述有效邻居图像分别检索候选图像，并执行局部特征匹配和几何验证，得到内点数量及所述全局视觉描述子的描述子距离；

12、对内点数量聚类得到高置信簇和次高置信簇；

13、根据所述高置信簇和所述次高置信簇确定几何验证内点阈值；

14、根据所述高置信簇中候选图像对的所述描述子距离确定所述候选检索距离阈值。

15、在一些实施例中，所述对所述候选图像对执行局部几何验证，得到边权重，包括以下步骤：

16、对于任一所述候选图像对，若所述描述子距离小于或等于所述候选检索距离阈值则进行局部特征匹配和几何一致性验证；若所述内点数量大于所述内点阈值，则设置图边权重为所述内点数量，否则设置为无边或权重为0。

17、在一些实施例中，所述根据设置有所述边权重的拓扑图执行全局结构化剪枝和强环路重插入，得到鲁棒拓扑图，包括以下步骤：

18、对设置有所述边权重的初始加权拓扑图计算最大生成森林，使保留边在各连通分量内由强几何对应关系构成；

19、对所述初始加权拓扑图中边权进行聚类，选择最高若干置信簇确定强环路重插入阈值；

20、将未被最大生成森林保留但边权高于所述强环路重插入阈值的边重新插入所述初始加权拓扑图中，得到所述鲁棒拓扑图。

21、在一些实施例中，所述在所述鲁棒拓扑图上进行信念传播定位，得到后验信念，包括以下步骤：

22、将所述鲁棒拓扑图上的图节点作为候选位置，维护节点信念分布；

23、根据图邻接矩阵构造多跳可达矩阵，并行归一化得到转移矩阵；

24、由上一时刻信念和所述转移矩阵得到预测信念；

25、根据所述实时rgb观测图像与各节点图像的描述子距离计算观测似然，并基于上一时刻信念分布的归一化熵自适应确定预测权重和观测权重；

26、根据所述预测权重、所述观测权重和所述预测信念采用加权几何均值归一化得到所述后验信念。

27、在一些实施例中，所述基于后验信念在所述鲁棒拓扑图上确定当前位置节点，并执行信念感知目标规划，得到导航路径，包括以下步骤：

28、根据当前的所述后验信念确定起点节点，根据所述目标图像的所述全局视觉描述子与图节点的所述全局视觉描述子之间的相似度确定目标节点；

29、根据所述起点节点和所述目标节点确定候选路径；

30、对于候选路径，以路径上最小边权作为路径置信度，选择使所述路径置信度最大的最宽路径作为所述导航路径。

31、在一些实施例中，所述方法还包括以下步骤：

32、在视觉导航过程中持续更新节点信念，若最大后验信念的节点偏离当前路径，或最大后验信念的节点到当前目标节点的图距离超过预设阈值，则从当前最大后验信念的节点到目标节点重新搜索所述导航路径。

33、本技术实施例的另一方面还提供了基于无序 rgb 图像集合的视觉导航系统，所述系统包括：

34、描述子提取单元，用于对无序 rgb 图像集合、目标图像以及实时 rgb 观测图像分别提取全局视觉描述子；

35、阈值确定单元，用于根据所述全局视觉描述子确定候选检索距离阈值；

36、边权重确定单元，用于基于所述候选检索距离阈值从所述无序 rgb 图像集合中筛选候选图像对，并对所述候选图像对执行局部几何验证，得到边权重；

37、拓扑图构建单元，用于根据设置有所述边权重的拓扑图执行全局结构化剪枝和强环路重插入，得到鲁棒拓扑图；

38、信念确定单元，用于在所述鲁棒拓扑图上进行信念传播定位，得到后验信念；

39、路径导航单元，用于基于后验信念在所述鲁棒拓扑图上确定当前位置节点，并执行信念感知目标规划，得到导航路径。

40、本技术实施例的另一方面还提供了一种电子设备，包括处理器以及存储器；

41、所述存储器用于存储程序；

42、所述处理器执行所述程序实现上述任一项所述的方法。

43、本技术实施例的另一方面还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现上述任一项所述的方法。

44、本技术至少包括以下有益效果：

45、本技术可以对无序 rgb 图像集合、目标图像以及实时 rgb 观测图像分别提取全局视觉描述子；根据全局视觉描述子确定候选检索距离阈值；基于候选检索距离阈值从无序 rgb 图像集合中筛选候选图像对，并对候选图像对执行局部几何验证，得到边权重；根据设置有边权重的拓扑图执行全局结构化剪枝和强环路重插入，得到鲁棒拓扑图；在鲁棒拓扑图上进行信念传播定位，得到后验信念；基于后验信念在鲁棒拓扑图上确定当前位置节点，并执行信念感知目标规划，得到导航路径。本技术能够解决难以直接处理无序图片集合的问题，并可解决对深度、激光雷达、里程计或惯导等辅助传感器的强依赖，降低了部署成本和标定复杂度，能够准确、高效地实现视觉导航。