基于多模态语义拓扑记忆地图的机器人导航方法和装置与流程

摘要: 本发明涉及智能机器人领域,尤其涉及一种基于多模态语义拓扑记忆地图的机器人导航方法和装置。背景技术:1、传统机器人导航方法多依赖激光雷达或视觉传感器构建稠密点云或...
基于多模态语义拓扑记忆地图的机器人导航方法和装置与流程

本发明涉及智能机器人领域,尤其涉及一种基于多模态语义拓扑记忆地图的机器人导航方法和装置。

背景技术:

1、传统机器人导航方法多依赖激光雷达或视觉传感器构建稠密点云或密集特征点地图,存在存储占用大、动态环境适应性差,且易受动态物体干扰导致定位精度下降等局限。现有技术中虽提出了结合几何与语义信息的语义地图方法,但此类方法在实时场景下难以有效平衡语义提取精度与计算效率,且缺乏适应动态环境变化的鲁棒地图更新机制,从而制约了机器人在复杂场景下的导航效率与定位精度。

技术实现思路

1、有鉴于此,本发明实施例提供一种基于多模态语义拓扑记忆地图的机器人导航方法和装置,至少能够解决现有技术中存储占用大、动态环境适应性差以及语义理解能力不足的问题。

2、为实现上述目的,根据本发明实施例的一个方面,提供了一种基于多模态语义拓扑记忆地图的机器人导航方法,包括:

3、接收对机器人下发的自然语言指令,将所述自然语言指令编码为文本嵌入向量;

4、读取多模态语义拓扑记忆地图中各个节点的语义特征向量,确定所述文本嵌入向量和各个语义特征向量之间的语义相关性,将语义相关性最高的节点确定为目标节点;

5、确定机器人所处当前节点,基于所述多模态语义拓扑记忆地图中各个节点的局部二维占据栅格图,规划从所述当前节点到所述目标节点的全局导航路径,控制机器人基于所述全局导航路径执行导航操作。

6、为实现上述目的,根据本发明实施例的另一方面,提供了一种基于多模态语义拓扑记忆地图的机器人导航装置,包括:

7、编码模块,用于接收对机器人下发的自然语言指令,将所述自然语言指令编码为文本嵌入向量;

8、筛选模块,用于获取多模态语义拓扑记忆地图中各个节点的语义特征向量,确定所述文本嵌入向量和各个语义特征向量之间的语义相关性,将语义相关性最高的节点确定为目标节点;

9、规划模块,用于确定机器人所处当前节点,基于所述多模态语义拓扑记忆地图中各个节点的局部二维占据栅格图,规划从所述当前节点到所述目标节点的全局导航路径;

10、控制模块,用于控制机器人基于所述全局导航路径执行导航操作。

11、为实现上述目的,根据本发明实施例的再一方面,提供了一种基于多模态语义拓扑记忆地图的机器人导航电子设备。

12、本发明实施例的电子设备包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现上述任一所述的基于多模态语义拓扑记忆地图的机器人导航方法。

13、为实现上述目的,根据本发明实施例的再一方面,提供了一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现上述任一所述的基于多模态语义拓扑记忆地图的机器人导航方法。

14、为实现上述目的,根据本发明实施例的又一个方面,提供了一种计算程序产品。本发明实施例的一种计算程序产品,包括计算机程序,所述程序被处理器执行时实现本发明实施例提供的基于多模态语义拓扑记忆地图的机器人导航方法。

15、根据本发明所述提供的方案,上述发明中的一个实施例具有如下优点或有益效果:通过将自然语言指令编码为文本嵌入向量,计算其与节点语义特征向量之间的语义相关性以确定目标节点,从而基于图文跨模态相似度计算实现用户意图的精准目标锚定;结合多模态语义拓扑记忆地图中各个节点的局部二维占据栅格图进行路径规划,确保了全局导航路径的物理可通行性与避障安全性,从而实现了从自然语言指令到安全自主导航的高效闭环。且通过将多模态语义拓扑记忆地图替代传统稠密点云地图或密集特征点地图,能够显著降低导航系统的存储占用并提升环境表示效率。

16、上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

1.一种基于多模态语义拓扑记忆地图的机器人导航方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括构建所述多模态语义拓扑记忆地图的过程,包括:

3.根据权利要求2所述的方法,其特征在于,所述采集得到关键帧的环境数据,包括:

4.根据权利要求2或3所述的方法,其特征在于,所述基于所述深度信息构建局部二维占据栅格图,包括:

5.根据权利要求2所述的方法,其特征在于,在所述控制机器人基于所述全局导航路径执行导航操作的过程中,所述方法还包括:

6.根据权利要求1或5所述的方法,其特征在于,所述确定机器人所处当前节点,包括:

7.根据权利要求6所述的方法,其特征在于,在所述将对应的候选节点确定为机器人所处当前节点之后,所述方法还包括:

8.根据权利要求1所述的方法,其特征在于,所述将所述自然语言指令编码为文本嵌入向量,包括:

9.一种基于多模态语义拓扑记忆地图的机器人导航装置,其特征在于,包括:

10.一种电子设备,其特征在于,包括:

11.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-8中任一所述的方法。

12.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-8中任一项所述的方法。