基于图结构化空间记忆的具身导航方法、装置及电子设备与流程

本发明涉及机器人导航，尤其是涉及一种基于图结构化空间记忆的具身导航方法、装置及电子设备。

背景技术：

1、在具身人工智能导航领域，现有的目标定位方法通常依赖于对环境的记忆和检索。一类主流技术通过构建环境的结构化空间记忆（例如拓扑图或体素化地图）来存储观测信息。当需要导航至某一目标时，系统会在该记忆中检索与目标描述最相似的区域。例如，一些导航系统会构建环境拓扑图，并设计一个联合评分函数，该函数融合了记忆节点与目标的视觉相似度、节点周围的拓扑上下文信息以及节点与当前位置的路径距离，以此来筛选和确定最佳目标点。

2、然而，这类方法存在显著缺陷：其决策过程完全依赖于静态信息的匹配与评估。当环境中存在多个外观相似的物体时（例如，不同房间里的同款椅子），仅靠静态的视觉特征和拓扑关系进行匹配，极易产生误判。由于缺乏对时间序列或动力学层面的验证机制，系统无法判断从当前位置到达某个候选目标在物理上是否合理或可行，也无法通过模拟未来的状态来对候选目标进行更深层次的验证。因此，这种纯静态的匹配方式导致导航系统在复杂或模糊场景下的鲁棒性不足，定位准确率有待提高。

技术实现思路

1、本发明为了克服现有技术中的不足，提供了一种基于图结构化空间记忆的具身导航方法、装置及电子设备。

2、根据本发明的第一方面，提供了一种基于图结构化空间记忆的具身导航方法，包括：响应于目标导航指令，获取当前观测数据；当前观测数据包括当前环境图像和当前位姿信息；根据当前观测数据和目标导航指令，从预先构建的图结构化空间记忆中确定当前节点和至少一个候选目标节点；根据当前节点和目标导航指令，确定对应的观测隐特征和查询隐特征，并根据观测隐特征和查询隐特征确定与每一候选目标节点对应的检索评分；检索评分至少包括视觉评分、拓扑评分和路径评分；根据检索评分，从至少一个候选目标节点中确定最终目标节点，并输出最终目标节点的空间位置信息。

3、可选地，在根据检索评分，从至少一个候选目标节点中确定最终目标节点之前，还包括：响应于至少一个候选目标节点满足预设动力学校验触发条件，从图结构化空间记忆中获取与每一节点对应的历史隐特征；针对每一候选目标节点，确定对应的检索路径，并根据检索路径，生成对应的路径序列；路径序列包括检索路径中的节点序列、拓扑边序列、动作序列中的至少一种；将路径序列、观测隐特征和查询隐特征输入预先训练的隐空间动力学预测模型，以由隐空间动力学预测模型输出从当前节点行进至候选目标节点过程中的多个预测隐特征；分别将每一预测隐特征与对应的历史隐特征进行一致性比较，得到动力学一致性评分；将动力学一致性评分添加至检索评分。

4、可选地，分别将每一预测隐特征与对应的历史隐特征进行一致性比较，得到动力学一致性评分，包括：分别计算每一预测隐特征与对应路径节点的历史隐特征之间的特征差异；根据每一特征差异，确定候选目标节点对应的轨迹一致性误差；根据轨迹一致性误差，确定候选目标节点的动力学一致性评分。

5、可选地，根据轨迹一致性误差，确定候选目标节点的动力学一致性评分，包括：根据检索路径，确定从候选目标节点返回至当前节点的反向路径序列；将反向路径序列输入隐空间动力学预测模型，以由隐空间动力学预测模型输出返回至当前节点时的起点预测隐特征；根据起点预测隐特征与当前节点对应的观测隐特征之间的特征差异，得到往返闭环误差；根据轨迹一致性误差和往返闭环误差，确定候选目标节点的动力学一致性评分。

6、可选地，隐空间动力学预测模型通过如下方式预先训练：获取历史导航轨迹样本；历史导航轨迹样本包括历史环境图像、历史位姿序列、历史路径序列和历史目标导航指令；对历史环境图像进行视觉特征编码，得到历史观测隐特征，并根据历史位姿序列，将历史观测隐特征与图结构化空间记忆中的对应历史节点进行关联，得到历史节点隐特征序列；根据历史目标导航指令，确定历史查询隐特征；将历史节点隐特征序列、历史路径序列和历史查询隐特征输入初始隐空间动力学预测模型，以由初始隐空间动力学预测模型输出初始预测隐特征序列；根据初始预测隐特征序列与历史节点隐特征序列中对应的真实隐特征之间的特征差异，确定隐特征预测损失；根据隐特征预测损失，对初始隐空间动力学预测模型的模型参数进行迭代更新，得到隐空间动力学预测模型。

7、可选地，图结构化空间记忆通过如下方式预先构建：获取探索观测数据；探索观测数据包括探索环境图像、探索深度图像和探索位姿信息；对探索环境图像进行视觉特征编码，得到探索视觉特征，并从探索视觉特征中筛选确定显著视觉特征；对探索环境图像进行目标检测或者区域语义识别，得到物体类别语义信息和检测框位置信息；根据检测框位置信息对探索环境图像进行区域裁剪，并对裁剪得到的图像块进行编码，得到裁剪嵌入特征；根据探索深度图像和探索位姿信息，将检测框位置信息对应的图像区域或者显著视觉区域投影至世界坐标系，得到节点空间位置信息；融合显著视觉特征、物体类别语义信息、裁剪嵌入特征和节点空间位置信息，生成或者更新记忆节点；根据预设时间段内的连续运动轨迹，在记忆节点之间建立拓扑边，生成图结构化空间记忆。

8、可选地，述根据当前节点和目标导航指令，确定对应的观测隐特征和查询隐特征，并根据观测隐特征和查询隐特征确定与每一候选目标节点对应的检索评分，包括：针对每一候选目标节点，从图结构化空间记忆中确定对应的节点隐特征；根据节点隐特征与查询隐特征之间的视觉相似度，确定视觉评分；获取候选目标节点的邻居节点，并根据邻居节点的语义信息、节点隐特征和/或空间邻接关系，确定拓扑评分；根据当前节点至候选目标节点之间的拓扑跳数、边长度、边通行状态和/或动作代价，确定路径评分；根据视觉评分、拓扑评分和路径评分，确定候选目标节点对应的检索评分。

9、可选地，根据检索评分，从至少一个候选目标节点中确定最终目标节点，包括：针对与每一候选目标节点对应的检索评分进行归一化处理，并计算每一候选目标节点对应的综合评分；从满足预设条件阈值的候选目标节点中，选择综合评分最高的候选目标节点作为最终目标节点。

10、根据本发明的第二方面，提供了一种基于图结构化空间记忆的具身导航装置，包括：信息获取模块，用于响应于目标导航指令，获取当前观测数据；当前观测数据包括当前环境图像和当前位姿信息；节点定位模块，用于根据当前观测数据和目标导航指令，从预先构建的图结构化空间记忆中确定当前节点和至少一个候选目标节点；检索评分模块，用于根据当前节点和目标导航指令，确定对应的观测隐特征和查询隐特征，并根据观测隐特征和查询隐特征确定与每一候选目标节点对应的检索评分；检索评分至少包括视觉评分、拓扑评分和路径评分；结果输出模块，用于根据检索评分，从至少一个候选目标节点中确定最终目标节点，并输出最终目标节点的空间位置信息。

11、根据本发明的第三方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行第一方面及第一方面任一可选实施方式的方法。

12、采用上述技术方案，本发明通过一个隐空间动力学预测模型，预测从当前位置到达候选目标过程中的特征演化轨迹，并将其与环境中真实记录的历史特征进行比对，从而计算出动力学一致性评分。该评分能够量化候选目标在动力学层面的合理性。将此评分融入最终决策，能够有效过滤掉那些虽然静态视觉上相似，但从当前位置出发在物理上或时序上不合理、不可达的错误候选目标。因此，本发明显著降低了在面对多个外观相似的干扰物时的误判率，提升了导航目标定位的准确性和鲁棒性。此外，通过构建图结构化空间记忆，能够在检索时可以利用候选目标邻居节点的语义和空间上下文信息进行交叉验证，增强了对场景的综合理解能力。通过融合细粒度视觉特征、显式语义标签和实例级特征，节点表示相比单一特征具有更强的判别能力。最终的目标选择机制综合考虑了视觉相似度、拓扑上下文、动力学可信度以及路径代价，确保选出的目标不仅在视觉和语义上正确，而且其对应的导航路径也是具有较高效率、可达的，从而提升了整体导航任务的成功率和效率。