基于执行感知拓扑图的分层协同视觉语言导航方法及系统

本发明涉及机器人自主导航，具体涉及一种基于执行感知拓扑图的分层协同视觉语言导航方法及系统。

背景技术：

1、随着具身人工智能技术的快速发展，家庭服务、仓储物流、公共导览等实体应用场景对智能体在真实物理世界中自主执行复杂导航任务的需求日益迫切。视觉语言导航（vln）作为实现自然人机交互与自主决策的关键技术，要求智能体根据开放、非结构化的自然语言指令，在事先未知的三维环境中完成从起点到目标的移动。

2、在针对连续环境下的视觉语言导航任务中，普遍采用分层架构：高层规划器在在线构建的环境拓扑图上依据语言指令选择中间目标点，低层控制器负责将智能体实际移动到该目标点，如此交替执行直至规划器判定任务完成。围绕低层执行环节及其与高层规划的交互方式，现有技术可归为以下几条路线，但普遍存在以下不足：

3、（一）基于冻结启发式控制器的方法，该方法导航过程中由参数冻结的、仅依赖深度图的路点预测器生成稀疏候选路点，高层规划器对候选打分选出目标，低层采用固定启发式控制器（先旋转对准目标再直线前进，碰撞后按预设方向盲目试探脱困）。但是这种方法的缺陷包括：其一，该启发式控制器不感知障碍物真实分布，直线推进加盲目试探导致实际落点相对目标存在系统性偏差，在禁止贴障碍滑动或底盘半径较大的真实机器人设定下性能严重退化；其二，规划器在选点时既不知道各候选对控制器是否可达、需要多大代价，执行后的成败经验也不写回规划状态或训练信号，导致同一难达候选可能被反复选择；其三，候选集合固定且离散，可选目标被限定在冻结路点预测器的固定输出内，当正确方向上候选偏离理想目标时，规划器也只能在固定框架内选择，候选覆盖能力极弱。

4、（二）基于直接替换为学习式点导航控制器的方法，目前直观的改进是将启发式控制器替换为通用学习式点导航策略。然而这种方式会存在训练分布与任务的双重错配：其一，通用点导航策略面向长距离、目标必定可达、必须坚持到底的任务训练，而分层导航中的子任务为短距离、目标可能落在不可通行空间、超限需尽早交还控制权；其二，通用策略缺乏已到达或应放弃的显式判决，面对不可达目标会反复徘徊，浪费步数预算且使路径迂回，损害路径效率与指令保真度指标。

5、（三）基于生成阶段保证可达的方法，该方法在候选生成阶段规避不可达问题，例如基于截断符号距离场引导扩散模型直接生成无碰撞轨迹候选，从构造上保证候选落在自由空间。但该方法执行本质上是开环轨迹跟随，生成后不依据沿途观测闭环调整，偏差或未建模障碍物缺乏恢复机制；同时执行结果不回流，成败经验既不写入规划状态也不用于优化任何模块；整个执行环节不随导航任务成功率、路径效率等优化，规划与执行相互适配、共同进化的收益无法获得。

6、（四）基于通用分层强化学习中的双层协同技术，在通用强化学习领域，已有若干针对高层给子目标、低层去执行的双层协同训练方法，例如利用子目标可达性度量分别作为高层正则项与低层奖励项的方法，或通过失败经验重标注划定可达边界的方法。但此类方法仅在关节角、平面坐标等低维状态控制任务上验证，不包含视觉观测与自然语言指令，其奖励结构与导航评测指标差异巨大，无法直接迁移至视觉语言导航场景；此外，双层耦合仅存在于训练损失层面，推理阶段两层之间不存在任何信息通道，高层决策时对低层实时能力与历史表现完全丧失；并且低层不具备目标不值得到达情形下的显式放弃判决及低成本监督来源。

技术实现思路

1、针对上述现有技术的不足，本发明提供一种基于执行感知拓扑图的分层协同视觉语言导航方法及系统，将连续环境视觉语言导航中的分层架构升级为规划器与可学习执行器通过执行感知拓扑图双向闭环协同的体系；具体而言，在在线构建的拓扑图节点与边中注入前瞻代价特征和执行回报特征，从而让高层策略与价值估计显式条件于执行器的实时能力和历史表现；执行器以深度视频流和动作历史为输入，具备已到达或放弃双终止判决及代价预估能力，并由仿真特权信息提供零标注监督以匹配子任务契约；规划器采用离散候选选择加有界连续偏移的混合宏动作合成目标点，配合偏移头的三路监督，提高固定候选覆盖能力；整个训练按执行器适配、规划器强化微调、双层联合微调的三阶段递进，在可控非平稳性下实现规划与执行的渐进适配与联合优化，最终使两层从上下级命令关系转变为互相感知、共同进化的协作关系，系统性地提升导航成功率、路径效率与指令保真度。

2、为实现上述发明目的，实施例提供的一种基于执行感知拓扑图的分层协同视觉语言导航方法，包括以下步骤：

3、在线维护并动态更新存储有执行感知特征的拓扑图，所述执行感知特征至少包含前瞻代价特征与执行回报特征；

4、高层规划器依据自然语言指令和当前拓扑图的状态，生成融合后的图表征，基于图表征通过混合宏动作选择候选节点进而合成连续子目标点；其中，在选点前，高层规划器调用低层执行器的代价回归头对各候选节点进行前瞻代价预估，基于预估结果更新前瞻代价特征，使选点决策条件于低层执行器的当前执行能力；

5、低层执行器以视觉观测序列、动作历史和子目标点的相对位置为输入，逐步输出低层动作驱动智能体移动，并结合双终止判决网络输出的终止信号，完成一次从当前已访问节点到子目标点的子任务执行过程；

6、子任务结束后，计算执行回报并写回拓扑图以更新执行回报特征，使本次执行的成败经验成为后续选点决策可感知的状态信息；

7、重复上述过程，直至高层规划器输出全局停止信号，判定导航任务完成。

8、优选地，执行感知特征的构建方式包括：

9、前瞻代价特征由所述低层执行器的代价回归头在当前观测下，以各候选节点位置作为相对目标向量前向计算得到，包含预期剩余步数与预期绕行比，并在每次选点决策前对所有候选节点批量更新；其中，相对目标向量为表征子目标点相对于当前位置的极坐标向量，包含平面距离与方位角；

10、执行回报特征由每次子任务执行结束后的执行回报五元组构成，所述五元组包括到达标志、终距比、碰撞次数、实际耗步数和终止判决类型，执行回报绑定到本次子任务的已访问节点与目标候选节点之间的有向边上，并聚合并更新至所述目标候选节点的输入特征中。

11、进一步地，拓扑图的全局状态中还包含剩余低层步数预算占预算总量的比例特征，所述比例特征叠加至拓扑图中全部节点特征上，用以使高层规划器的价值估计感知资源约束。

12、优选地，高层规划器依据自然语言指令和当前拓扑图的状态，生成融合后的图表征，包括：

13、自然语言指令经高层规划器中的语言编码器编码为文本特征；

14、拓扑图中各节点经高层规划器中的图编码器编码为节点特征，编码过程中采用图感知自注意力机制，用于将由节点间拓扑最短路距离与相对方位构造的偏置项叠加至注意力打分上，使注意力感知图结构；

15、将所述文本特征与节点特征输入若干层跨模态注意力网络进行交互融合，得到融合后的图表征。

16、优选地，所述的基于图表征通过混合宏动作选择候选节点进而合成连续子目标点，包括：

17、高层规划器基于融合后的图表征并联有选点头和偏移头；

18、所述选点头对各候选节点及停止选项进行打分，经归一化得到离散选择分布，从中选出候选节点；所述偏移头针对候选节点回归一个二维水平面连续偏移量的分布参数，并从中采样作为连续偏移量；将所述候选节点的位置与所述连续偏移量相加，合成连续子目标点。

19、进一步地，混合宏动作的联合对数概率为离散选择分布的对数概率与连续偏移量分布的对数概率之和，以整体接入策略进行梯度优化。

20、优选地，低层执行器包括：

21、视觉编码模块，用于将输入的视觉观测序列编码为帧特征；

22、嵌入融合模块，用于将各步的低层动作映射为动作嵌入，将各步的碰撞标志映射为碰撞标志嵌入，并将碰撞标志嵌入叠加到对应帧特征上，与动作嵌入按时间顺序对齐排列，形成帧-动作交错的时序特征序列；

23、时序主干网络，用于将帧-动作交错的时序特征序列输入至因果transformer单元完成时序融合，融合特征再输入门控循环单元，与上一时刻的隐状态共同更新当前时刻的隐状态，形成长时记忆，得到当前隐状态，再与当前相对目标向量拼接，得到决策特征；

24、输出头模块，用于基于决策特征分别通过动作头输出在预设低层动作空间上的动作选择分布，终止头输出继续、已到达或放弃的判决结果，代价回归头输出预期剩余步数与预期绕行比，价值头输出低层状态价值估计，并通过碰撞预测头输出若执行前进动作时发生碰撞的预测概率。

25、优选地，双终止判决网络的训练包括：

26、以仿真训练环境提供的导航网格及基于所述导航网格的测地距离查询作为特权信息，将高层规划器合成的目标点吸附至导航网格上的最近可通行点，获得吸附后目标；

27、基于所述吸附后目标构造特权监督信号：当智能体当前位置到吸附后目标的欧氏距离小于到达判定半径时，已到达判决为正例；否则，当当前位置到吸附后目标的测地距离与欧氏距离之比大于预设阈值，或按测地距离折算的剩余所需步数超过剩余子任务预算时，放弃判决为正例；

28、以特权监督信号为标签，通过交叉熵损失训练所述双终止判决网络的终止头，同时通过均方误差损失训练所述低层执行器的代价回归头。

29、优选地，偏移头通过以下方式训练获得：

30、在模仿学习阶段，以本回合参考路径为基准，若导航终点落入被选候选节点的可偏移范围内，则以指向导航终点的偏移为教师；否则以被选候选节点在参考路径上的投影偏移为教师；将限幅后的教师偏移对应的目标点在可偏移范围内吸附至导航网格，再换算为教师偏移，并以均方误差监督偏移头输出的确定性偏移；

31、在强化微调阶段，将混合宏动作的联合对数概率整体纳入近端策略优化目标，结果奖励同时更新选点头与偏移头；同时，利用低层执行器的代价回归头对目标坐标的可微性，以最小化代价回归头输出为目标，将几何梯度经目标坐标直接回传至偏移头的确定性偏移，推动确定性偏移向执行代价更低的方向移动。

32、优选地，所述的分层协同视觉语言导航方法的训练采用分阶段协同训练范式，包含执行器适配阶段、规划器强化微调阶段和双层联合微调阶段；

33、所述执行器适配阶段，包括：利用冻结的高层规划器在仿真环境中收集子任务分布，针对每个子任务以基于导航网格的示教器生成逐步动作示教，并按特权监督信号构造方式生成终止判决监督信号；联合动作头和终止头的交叉熵损失、代价回归头的均方误差损失以及碰撞预测头的辅助损失，对低层执行器进行模仿学习；再在同一子任务分布上，以近端策略优化对低层执行器进行强化微调；

34、所述规划器强化微调阶段，通过基于适配的低层执行器对高层规划器进行闭环强化微调，包括：高层规划器通过混合宏动作给出子目标点，低层执行器返回执行回报和前瞻代价，并更新原有的执行回报和前瞻代价特征；执行结束时以导航任务综合指标作为结果奖励，以近端策略优化更新高层规划器，并以对预存参考策略的kl散度正则约束更新幅度；

35、所述双层联合微调阶段包括：规划器强化微调阶段结束后解冻低层执行器，低层执行器与高层规划器依次通过近端策略优化更新，使低层执行器相对于高层规划器近似准静态。

36、另一方面，实施例中还提供了一种基于执行感知拓扑图的分层协同视觉语言导航系统，用于实现所述的基于执行感知拓扑图的分层协同视觉语言导航方法，包括：

37、拓扑图构建模块，用于在线维护并动态更新存储有执行感知特征的拓扑图，所述执行感知特征至少包含前瞻代价特征与执行回报特征；

38、高层规划器，用于依据自然语言指令和当前拓扑图的状态，生成融合后的图表征，基于图表征通过混合宏动作选择候选节点进而合成连续子目标点；其中，在选点前，高层规划器调用低层执行器的代价回归头对各候选节点进行前瞻代价预估，基于预估结果更新前瞻代价特征，使选点决策条件于低层执行器的当前执行能力；

39、低层执行器，用于以视觉观测序列、动作历史和子目标点的相对位置为输入，逐步输出低层动作驱动智能体移动，并结合双终止判决网络输出的终止信号，完成一次从当前已访问节点到子目标点的子任务执行过程；

40、执行回报回写模块，用于在子任务结束后，计算执行回报并写回拓扑图以更新执行回报特征，使本次执行的成败经验成为后续选点决策可感知的状态信息；

41、决策控制模块，用于重复拓扑图构建模块、高层规划器、低层执行器和执行回报回写模块的过程，直至高层规划器输出全局停止信号，判定导航任务完成。

42、与现有技术相比，本发明具有的有益效果至少包括：

43、（1）本发明显式构建具有前瞻通道和回写通道的拓扑图，前瞻通道使规划器在尝试之前即可辨别高代价候选；回写通道使某候选从某方向屡试不达成为决策状态的一部分而不再被反复踩坑；预算特征使浪费由价值函数自动定价。相较现有冻结启发式控制器类方法中规划器对执行完全失明的情形，本发明使选点决策与价值估计随执行器真实能力自适应调整。

44、（2）本发明采用基于可学习策略网络的低层执行器，以深度视频流为输入，在每一步根据观测调整动作，将子目标执行误差从现有方法自报的0.28米系统性降低；碰撞预测头与强化微调中的碰撞惩罚共同使执行器内化避障行为，规避了固定控制器盲走和试探性脱困的碰撞模式；双终止判决网络在测地距离与欧氏距离之比超阈值或折算步数超预算时输出放弃，避免通用点导航策略在不可达目标上反复徘徊至超时的行为模式。

45、（3）规划器在选点前调用执行器代价回归头获得各候选的预期耗步数与绕行比，并将该信息写入候选节点特征，使选点决策直接条件于执行器的实际能力；执行结果以执行回报五元组（到达标志、终距比、碰撞次数、耗步数、终止判决类型）写回拓扑图，使同一难达候选不被反复选择；结合离散候选选择和有界连续偏移的混合宏动作使目标点可在限幅范围内连续调整，配合特权教师回归中指向终点或参考路径的偏移监督，突破了冻结路点预测器离散候选覆盖能力的硬性上限。

46、（4）整个方法的训练分三阶段递进：阶段一在规划器诱导的子任务分布上训练执行器，使执行器面对的目标距离与可达性分布与其部署时一致，避免通用点导航策略的分布错配；阶段二冻结执行器后仅更新规划器，使高层策略在闭环中学习依据执行感知特征（前瞻代价、执行回报、预算特征）选择目标的能力；阶段三解冻执行器并以先执行器后规划器的更新顺序及10倍以上学习率差，使执行器相对规划器近似准静态，抑制双层同时变化带来的非平稳性；整个训练流程中，终止判决与代价预估的监督信号来自仿真环境免费提供的导航网格测地距离，训练阶段自动化生成标签，部署阶段无需任何特权信息。

47、（5）工程实现与实体部署友好。执行器为轻量时序网络（约千万参数量级，单目深度输入，单步前向为毫秒级），与既有图式规划架构兼容（仅需扩展节点与边的输入特征、并联输出头）；部署阶段不需要特权信息与参考路径，除既有传感器（全景相机、深度相机与里程计）外无需新增硬件；转向粒度嵌入使同一执行器可服务不同动作粒度的平台。