一种基于预测性认知地图的零样本目标物体导航方法及系统

本发明属于室内导航领域，具体涉及一种基于预测性认知地图的零样本目标物体导航方法及系统。

背景技术：

1、目标物体导航要求具身智能体在未见过的室内环境中定位一个给定类别的目标物体，是评价具身智能水平的核心任务之一。在零样本设定下（即智能体未针对特定环境或目标进行专门训练），基于前沿点（frontier，指已探索区域与未探索区域之间的边界）的探索策略被广泛采用：智能体在移动过程中增量式地构建环境地图，识别已探索区域与未探索区域之间的边界作为候选前沿点，并从中选择一个前沿点作为下一步探索的子目标。由于该选择直接决定智能体下一步向何处探索，因此前沿点评分对导航成功率与导航效率均至关重要。

2、现有前沿点评分方法主要包括三类：基于视觉证据的局部评分方法、基于语言常识的推理方法，以及对未观测区域进行预测的方法，分别从当前观测信息、语义常识关系和未知空间估计三个角度评估候选前沿点的探索价值。现有前沿点评分方法主要存在三方面不足：一是多数方法仅基于已观测的局部视觉、语义或结构信息进行评分，未直接推断前沿点之外可能通向的房间及其中物体，因而难以在多个候选路线中选择最可能接近目标的位置；二是现有预测类方法虽对未观测区域进行建模，但多停留在像素、势场、体素或合成视角等低层级表示，难以满足长距离导航所需的房间级决策；三是直接依赖大语言模型隐式维护认知地图又容易产生空间关系幻觉、轨迹循环和信念更新滞后等问题。因此，本领域亟需一种能够显式表示跨房间关系结构，并在房间级粒度上预测前沿点之外未观测空间的目标物体导航方法。

技术实现思路

1、本发明的目的在于提供一种基于预测性认知地图的零样本目标物体导航方法及系统，能够在未见环境中更有原则地选择最可能通向目标物体的前沿点，提高目标导航的成功率和效率。

2、为实现上述目的，本发明所采取的技术方案为：

3、第一方面，提供一种基于预测性认知地图的零样本目标物体导航方法，包括以下步骤：

4、初始化智能体状态、目标物体类别、2.5d度量地图、体素级实例语义地图和拓扑语义认知地图；

5、接收智能体在导航过程中的rgb图像、深度图和位姿信息，并更新2.5d度量地图；

6、根据当前2.5d度量地图提取可通行区域与未知区域之间的候选前沿点；

7、根据多帧rgb图像的物体检测结果更新体素级实例语义地图，并根据房间分割结果更新拓扑语义认知地图；

8、将拓扑语义认知地图序列化为文本，输入大语言模型，预测各候选前沿点对应的房间类型和目标相关性；

9、结合预测结果，对每个候选前沿点计算视觉观测得分、语言预测得分、房间-物体先验得分、信息增益奖励和距离代价项，并计算候选前沿点的综合评分；

10、选择综合评分最高且可达的候选前沿点作为局部导航子目标；

11、根据当前2.5d度量地图和选定的候选前沿点，调用路径规划器生成导航路径，并驱动智能体执行相应动作；

12、在智能体移动过程中持续检测目标物体候选实例，若检测到目标物体候选实例，则进入多视角目标验证流程；

13、若多视角目标验证通过，则执行停止动作并输出导航成功结果；否则继续导航，直至达到最大步数限制或不存在可达前沿点。

14、以下还提供了若干可选方式，但并不作为对上述总体方案的额外限定，仅仅是进一步的增补或优选，在没有技术或逻辑矛盾的前提下，各可选方式可单独针对上述总体方案进行组合，还可以是多个可选方式之间进行组合。

15、作为优选，所述2.5d度量地图，构建过程如下：将深度图的深度点云投影到自顶向下网格中，形成2.5d高度地图，根据2.5d高度地图将每个网格单元划分为未知区域、障碍物区域或可通行区域，得到2.5d度量地图；

16、所述体素级实例语义地图，构建过程如下：利用开放词表检测模型对rgb图像中的物体进行检测，获得物体类别、掩码区域和置信度，并结合深度图将掩码区域投影到三维体素空间，得到体素语义地图；在体素语义地图中累积多帧检测结果，每个体素存储类别投票、clip特征嵌入和支持帧编号；对体素进行聚类形成候选物体实例，若候选物体实例的类别投票数或支持帧数超过类别对应阈值，则确认为物体实例，形成体素级实例语义地图；

17、所述拓扑语义认知地图，构建过程如下：根据可通行区域的几何结构进行房间分割，并根据房间内已确认物体类别确定房间语义标签；将房间节点、物体节点和前沿点节点表示为带标签的图结构，并建立关系边包括：房间-房间邻接边、物体-房间包含边和前沿点-房间连接边，形成拓扑语义认知地图。

18、作为优选，所述将拓扑语义认知地图序列化为文本，输入大语言模型，预测各候选前沿点对应的房间类型和目标相关性，包括：

19、从拓扑语义认知地图中提取当前已观测房间类型、各房间包含的物体、房间之间的邻接关系以及每个候选前沿点所连接的已知房间；

20、将提取的拓扑语义信息序列化为文本快照，作为当前场景描述；

21、针对每个候选前沿点，生成包含前沿点编号、相对方向、距离、边界规模和邻近房间的前沿点描述；其中，距离为智能体当前位置至候选前沿点在可达栅格上的测地距离，边界规模为候选前沿点连通边界簇所包含的网格单元数量；

22、将目标物体类别、当前场景描述和候选前沿点的前沿点描述输入至大语言模型，得到大语言模型的预测结果，每个候选前沿点的预测结果至少包括：候选前沿点对应的房间类型、预测出现的物体集合、房间预测置信度以及目标相关性；

23、若大语言模型输出格式不符合预设约束或缺失必要字段，则将候选前沿点的预测房间类型设为未知，并将房间预测置信度和目标相关性设为默认中性值。

24、作为优选，所述视觉观测得分，计算如下：提取目标物体类别的文本嵌入，并与候选前沿点预设邻域内已确认物体或图像区域的clip特征嵌入之间分别计算相似度，将最大相似度作为视觉观测得分；

25、所述语言预测得分，计算如下：取大语言模型输出的房间预测置信度与目标相关性的乘积作为语言预测得分；

26、所述房间-物体先验得分，计算如下：将目标物体类别出现在大语言模型预测的候选前沿点对应的房间类型中的共现先验概率，作为房间-物体先验得分；若预测的房间类型为未知，则采用候选前沿点所连接的已观测房间类型计算房间-物体先验得分；

27、所述信息增益奖励，计算如下：取候选前沿点的信息增益，所述信息增益为前沿点后方与前沿点连通的未知网格单元数量，利用对数函数对信息增益进行平滑处理，得到信息增益奖励；

28、所述距离代价项，计算如下：根据2.5d度量地图计算智能体当前位置到候选前沿点的测地距离，采用线性衰减函数处理测地距离，得到距离代价项。

29、作为优选，所述计算候选前沿点的综合评分，包括：

30、对视觉观测得分、语言预测得分、房间-物体先验得分、信息增益奖励和距离代价项加权求和，得到综合评分；其中所述信息增益奖励和距离代价项的权重均置为1，所述视觉观测得分、语言预测得分和房间-物体先验得分的权重之和为1，且所述视觉观测得分的权重随智能体运动步数的增加而增大，所述语言预测得分和房间-物体先验得分的权重均随智能体运动步数的增加而减小。

31、作为优选，所述若检测到目标物体候选实例，则进入多视角目标验证流程，包括：

32、获取智能体移动过程中的rgb图像，利用开放词表检测模型对rgb图像中的物体进行检测；

33、当开放词表检测模型检测到与目标物体类别一致或相似度高于相似阈值的候选物体时，将候选物体标记为已确认或临时的候选目标；

34、当智能体与候选目标之间的距离不大于预设接近阈值，且候选目标满足视线可见条件时，触发多视角目标验证流程。

35、作为优选，所述多视角目标验证流程，包括：

36、智能体在可达区域中选择满足预设驻留距离、目标成像比例和视线可见条件的驻留位置，并采集多个方位差异达到预设角度的rgb视图；

37、在每个rgb视图中标注候选目标的边界框或掩码区域，并将多视角rgb图像、目标物体类别和标注信息输入视觉语言模型；

38、得到由视觉语言模型输出的候选目标类别、目标类别匹配置信度和可见性判断；

39、若候选目标类别与目标物体类别一致，并且满足目标类别匹配置信度大于通过阈值和可见性判断结果为完整可见两者中的任一者，则表示多视角目标验证通过；

40、或者，若候选目标类别与目标物体类别一致，并且目标类别匹配置信度位于存疑阈值范围，则表示多视角目标验证结果为不确定，则重新采集多视角rgb图像进行多视角目标验证；

41、否则，表示多视角目标验证失败。

42、第二方面，提供一种基于预测性认知地图的零样本目标物体导航系统，包括：

43、感知模块，用于初始化智能体状态和目标物体类别，并接收智能体在导航过程中的rgb图像、深度图和位姿信息；

44、分层认知地图构建模块，用于初始化2.5d度量地图、体素级实例语义地图和拓扑语义认知地图，并根据智能体在导航过程中的深度图更新2.5d度量地图，根据多帧rgb图像的物体检测结果更新体素级实例语义地图，并根据房间分割结果更新拓扑语义认知地图；

45、前沿点预测模块，用于根据当前2.5d度量地图提取可通行区域与未知区域之间的候选前沿点，将拓扑语义认知地图序列化为文本，输入大语言模型，预测各候选前沿点对应的房间类型和目标相关性；

46、多信号前沿点评分模块，用于结合预测结果，对每个候选前沿点计算视觉观测得分、语言预测得分、房间-物体先验得分、信息增益奖励和距离代价项，并计算候选前沿点的综合评分；选择综合评分最高且可达的候选前沿点作为局部导航子目标；

47、局部路径规划模块，用于根据当前2.5d度量地图和选定的候选前沿点，调用路径规划器生成导航路径，并驱动智能体执行相应动作；

48、多视角目标验证模块，用于在智能体移动过程中持续检测目标物体候选实例，若检测到目标物体候选实例，则进入多视角目标验证流程；若多视角目标验证通过，则执行停止动作并输出导航成功结果；否则继续导航，直至达到最大步数限制或不存在可达前沿点。

49、与现有仅基于已观测局部信息进行前沿点评分的方法相比，本发明将前沿点视为通向未观测房间的接口，能够直接预测前沿点之外可能是什么房间以及其中是否可能存在目标物体。与像素级、体素级或局部势场预测方法相比，本发明在房间级粒度上进行结构化预测，更符合长距离室内导航中的高层决策需求。与完全依赖大语言模型隐式维护空间地图的方法相比，本发明将空间记忆外显为可更新的拓扑语义认知地图，仅要求语言模型执行单步房间级预测，从而降低空间关系幻觉和轨迹循环风险。通过预测式认知地图、多信号前沿点评分和多视角目标验证的闭环结合，本发明能够提高零样本目标物体导航的可靠性、成功率和探索效率。