基于动作历史拓扑图的连续环境视觉语言导航方法及系统

本发明涉及计算机视觉，具体涉及一种基于动作历史拓扑图的连续环境视觉语言导航方法及系统。

背景技术：

1、视觉语言导航要求智能体在真实物理环境中根据自然语言指令和单目视觉观测，自主决策运动路径并抵达目标位置，是具身智能领域的关键技术之一。

2、当前主流的连续环境视觉语言导航方法普遍存在以下不足：

3、（一）全局回溯效率低下，误差累积严重：现有方法通常采用自回归式决策，即智能体每一步依据当前观测预测下一步动作，需要多步迭代才能回到历史中的某个位置。这种多步回溯机制导致早期决策误差在后续步骤中被逐步放大，尤其在长轨迹导航中，定位漂移显著，难以完成精确的全局重定位。同时，前进与回溯在动作参数化上缺乏对称性，无法统一建模，限制了模型对历史路径的高效复用。

4、（二）单目视觉下空间几何表征缺失：现有方法大多依赖预训练视觉模型提取的二维语义特征，缺乏对相机内参、相对位姿和三维空间关系的显式建模。在缺乏深度传感器的情况下，模型难以从单目视频中有效抽取场景的三维结构，更无法在拓扑节点上实现可达性的准确判断。部分工作尝试将几何信息叠加于主干内部，但与预训练模型自有位置编码方式产生冲突，导致空间感知能力与语义理解能力相互制约。

5、（三）训练与推理机制不一致，决策难以并行化：现有方法大多采用基于循环网络或自回归变压器的逐步决策范式，训练时依赖教师强制，推理时则依赖自身历史预测，训练与推理机制存在不一致（即曝光偏差）。同时，由于每一步决策依赖上一步输出作为下一步输入，整条轨迹的训练无法在一次前向传播中完成，训练效率低下，且难以利用标准因果序列模型并行化训练的优势。

6、（四）动作空间设计难以兼顾多峰性与精度：现有动作解码方式存在两难困境：若将连续空间离散化为栅格动作，则候选动作数量随自由度呈指数级增长，难以覆盖长距离回溯目标；若直接回归连续位姿，则在多峰分布（如左转与右转均有可能）的场景下模型难以收敛。尤其当回溯目标位于远处时，在当前视角下直接回归其位姿缺乏充分的几何依据，导致定位精度严重下降。

7、（五）单目条件下节点空间表征受限：在仅有单目摄像头的设定下，智能体对环境中各节点的观测往往不完整（如侧方与后方视角缺失），导致节点表征缺乏全局空间信息。现有方法缺乏有效手段在单目条件下重建节点的完整空间结构，也缺少轻量化的可达性判断机制，难以支撑拓扑图上可靠的空间推理与路径规划。

8、综上所述，如何在仅有单目摄像头、存在高度变化的环境中，构建兼具空间记忆与动作空间属性的拓扑表征，实现全局回溯与前进的统一参数化、训练阶段的一次性并行化以及离散选择与连续定位的协同动作解码，是当前视觉语言导航领域亟需解决的技术难题。

技术实现思路

1、针对上述现有技术的不足，本发明提供一种基于动作历史拓扑图的连续环境视觉语言导航方法及系统，将智能体的动作历史直接构建为兼具空间记忆与动作空间双重属性的拓扑图，以历史节点作为候选动作的离散锚点，使全局回溯与前进在同一锚点和邻域连续偏移框架下完全对称，实现单步确定性回溯以规避多步误差累积；同时，将相机内参与相对位姿以投影矩阵形式注入后端自注意力，为动作决策提供显式几何锚定；通过将观测帧、节点、父指针与动作标记平铺为标准因果序列，实现整条轨迹的一次性并行训练；并以语义与深度双分支重建支撑单目空间表征与可达性判断，父指针编码拓扑连通性，离散锚点分类承载动作多峰性、连续偏移回归承载精确定位，最终在高度变化的单目环境中实现高效、可并行训练且几何可锚定的视觉语言导航。

2、为实现上述发明目的，实施例提供的一种基于动作历史拓扑图的连续环境视觉语言导航方法，包括以下步骤：

3、预训练的主干接收自然语言指令与单目视频流，输出时序视觉特征与语言特征，对时序视觉特征融合与帧内空间池化，生成压缩帧标记；

4、将智能体的动作历史构建为拓扑图，节点为智能体历史决策时刻的实现位置；将观测帧标记、节点、父指针标记与动作标记排列为因果序列，并采用因果掩码控制可见范围；

5、对由压缩帧标记、节点以及可学习空间查询标记组成的视觉标记进行自注意力计算，并注入由相机内参与相对位姿决定的投影矩阵几何关系；以语言特征作为键值对视觉标记执行交叉注意力计算；

6、基于当前动作标记的隐状态，将拓扑图中不晚于当前步的节点作为候选离散锚点，输出各锚点及停止动作的分类概率，并针对每个锚点回归其邻域内的连续四自由度偏移量；将锚点离散选择概率与连续偏移概率结合为联合分布，解码输出下一目标路点的完整位姿；

7、根据目标路点在拓扑图上生成子序列，通过低层控制器输出底层量化动作以供智能体执行。

8、优选地，所述的预训练的主干为预训练的大模型，所述大模型用于统一理解图像、视频与文本；

9、训练时，大模型的视觉编码器与视觉-语言投影层保持冻结，仅对解码器层做全量训练。从而在保留其通用视觉-语言能力的同时，使其适配导航任务。

10、优选地，所述的对时序视觉特征融合与帧内空间池化，生成压缩帧标记，包括：

11、提取所述主干中至少包括最底层在内的多个不同深度层级的视觉特征；

12、对各层视觉特征分别经过投影矩阵对齐维度后，采用可学习权重加权求和进行融合；

13、对融合后的每帧视觉特征按空间分块执行池化，压缩为多个图像块标记，并使每个池化后的图像块继承其覆盖区域中心像素的射线方向。

14、优选地，所述的将观测帧标记、节点、父指针标记与动作标记排列为因果序列，包括：

15、将用于表示真实观测帧的观测帧标记、用于表示所述节点的节点标记、用于预测节点间连通关系的父指针标记、以及用于解码下一步动作的动作标记，按时间顺序交错排列为因果序列。

16、优选地，采用因果掩码控制可见范围的逻辑，包括：

17、动作标记用于关注同决策块内的节点标记与父指针标记，且用于关注所有排列于动作标记之前的历史帧标记与历史节点标记；

18、动作标记不能关注排列于其之后的当前决策步对应的后果帧标记；父指针标记不能关注所述动作标记。

19、优选地，所述的注入由相机内参与相对位姿决定的投影矩阵几何关系，包括：

20、对每一个参与自注意力计算的视觉标记，根据所属观测的相机内参矩阵和位姿，构建世界到图像的齐次投影矩阵；

21、对于任意两个视觉标记，取二者的相对几何关系为，并将所述相对几何关系同时作用于自注意力计算中的查询、键和值上。

22、进一步的，在构造投影矩阵时，对平移分量执行归一化处理。

23、优选地，所述的以语言特征作为键值对视觉标记执行交叉注意力计算，包括：

24、交叉注意力计算以视觉标记作为查询，以所述的主干输出的语言特征作为键和值，使视觉标记通过注意力机制从语言特征中获取指令信息以补充语义；所述交叉注意力计算不注入相机几何关系；所述语言特征对应的语言标记仅作为交叉注意力计算的键和值，不参与自注意力计算。

25、优选地，所述的将离散锚点选择概率与连续偏移概率结合为联合分布，包括：

26、对于候选离散锚点，基于动作标记的隐状态以交叉注意力方式从所述候选离散锚点的图像块标记中读取上下文向量；

27、基于所述上下文向量通过锚点头计算锚点离散选择概率，并通过偏移头回归位置偏移量的高斯分布参数以及航向角偏移量的冯·米塞斯分布参数；其中，下一目标路点相对于候选离散锚点的概率为，式中，为位移偏移量，为航向角偏移量，为位置偏移均值，为位置偏移标准差，为高斯分布概率密度，为航向角偏移均值方向，为航向角偏移集中度，为冯·米塞斯分布概率密度。

28、优选地，所述的连续环境视觉语言导航方法还包括训练阶段的辅助监督，具体包括：

29、并行执行节点空间重建任务，包含对节点规范视角的语义特征预测与深度数值预测；

30、执行拓扑连接重建任务，通过父指针标记对节点间的连通关系进行预测；

31、执行指令防遗忘任务，使主干在视频条件下逐标记重建原始导航指令。

32、进一步优选地，所述的节点空间重建任务，包括：

33、语义特征预测分支，用于将节点标记中各规范视角的图像块隐状态映射，预测冻结的教师模型提取的教师特征，以预测特征与教师特征之间的欧氏距离作为语义特征预测损失，且对所述教师模型的梯度截断，所述语义特征预测损失计算公式如下：

34、，

35、式中，为语义特征预测分支，为冻结的教师模型，表示梯度截断，表示图像块标记总数，表示节点第个图像块标记的隐状态；其中所述教师模型为通过自蒸馏方式预训练得到的视觉模型；

36、深度预测分支，用于将节点标记中各规范视角的图像块隐状态直接预测深度数值，以仿真环境渲染的真实深度图作为监督目标，计算公式如下：

37、，

38、式中，为深度预测分支，为渲染得到的真值深度。

39、所述语义特征预测分支与深度预测分支并列共享同一套节点表征。

40、进一步优选地，所述的拓扑连接重建任务，包括：

41、获取节点特征，通过角色投影分别得到其作为子节点和父节点的向量；

42、采用双仿射机制结合线性项计算当前节点与更早节点之间的连接打分；

43、基于子节点和父节点的向量，在树形态下以真值轨迹上的上一节点为监督进行归一化损失计算：，式中，为节点的真值父节点，为连接打分；或在有环图形态下，对各连接边进行独立二分类判断。

44、进一步优选地，所述的连续环境视觉语言导航方法还包括训练阶段的优化策略，用于将整条导航轨迹对应的全部标记平铺为单条固定结构序列，采用所述因果掩码进行一次前向与一次反向传播的端到端并行训练；其中，优化策略采用的损失函数表示为：，各权重依据梯度量级对齐方式确定。

45、进一步的，主干在训练阶段采用两种输入次序：

46、动作训练次序，将语言指令排列于单目视频之前，其输出特征用于动作决策；

47、防遗忘次序，将单目视频排列于语言指令之前，以预测下一词的标准方式仅在主干内部进行训练，且不经过自注意力与交叉注意力计算，用于防止主干在导航微调过程中遗忘通用视觉语言能力。

48、进一步的，所述的低层控制器为神经网络结构；所述联合分布具有闭式对数似然形式，所述方法预留有挂接价值预测头的接口，用于接入分层强化学习。

49、另一方面，实施例中还提供了一种基于动作历史拓扑图的连续环境视觉语言导航系统，用于实现所述的基于动作历史拓扑图的连续环境视觉语言导航方法，包括：

50、多模态感知与编码模块，用于通过预训练的主干接收自然语言指令与单目视频流，输出时序视觉特征与语言特征；

51、主干后端接口模块，用于对所述主干输出的时序视觉特征进行融合，并对时序视觉特征融合与帧内空间池化，生成压缩帧标记；

52、拓扑序列构建与管理模块，用于将智能体的动作历史构建为拓扑图，节点为智能体历史决策时刻的实现位置；将观测帧标记、节点标记、父指针标记与动作标记排列为因果序列，并采用因果掩码控制可见范围；

53、后端空间推理模块，堆叠多个处理层，每一层用于对由压缩帧标记、节点以及可学习空间查询标记组成的视觉标记进行自注意力计算，并注入由相机内参与相对位姿决定的投影矩阵几何关系；并以所述语言特征作为键值对视觉标记进行交叉注意力计算；

54、动作解码模块，用于基于当前动作标记的隐状态，将拓扑图中不晚于当前步的节点作为候选离散锚点，输出各候选锚点及停止动作的分类概率，并针对每个锚点回归其邻域内的连续四自由度偏移量；将锚点离散选择概率与连续偏移概率结合为联合分布，解码输出下一目标路点的完整位姿；

55、低层控制模块，用于根据目标路点在拓扑图上生成子序列，通过低层控制器输出底层量化动作以供智能体执行。

56、与现有技术相比，本发明具有的有益效果至少包括：

57、（1）全局回溯与前进对称、可一步完成，长程导航更稳。由于拓扑图的节点即动作历史、又即动作空间，且前进与回溯在锚点和邻域偏移下完全对称，返回某个远处历史位置只需一次决策与图上的确定性执行。相较现有技术，本发明降低了长程回溯的误差累积，使空间记忆本身承担动作空间，全局回溯得以一步完成。

58、（2）本发明把含相机内参的相对几何在注意力层注入，使从某个锚位姿看出去会看到什么被直接编码进动作决策；该相对几何虽需由相机位姿输入构造，但不依赖世界坐标系原点，相较在输入端拼接绝对射线图具有更好的泛化性，并因联合建模相机内参与位姿外参而能处理不同视场角和不同安装高度的相机。

59、（3）整段一次性并行训练，且训练与部署机制一致、全程离线。因图即动作历史、决策为读出头，整条轨迹可平铺为一条标准因果序列，一次前向加一次反向即训练全部上层决策，无需逐步串行、也无需在训练循环内调用仿真器；配合“决策块内动作标记排最后、节点标记持久可见”，在纯标准因果掩码下即同时保证回溯有据、后果帧零泄漏、决策基于辅助信息，无需任何非标准掩码。

60、（4）面向单目的空间表征塑形与可达性建模，支撑上述拓扑图。本发明在节点表征上并列语义与深度双分支重建：语义分支以冻结教师模型避免表征坍塌，深度分支直接以物理深度为目标、天然承载可达性，从而在单目下重建当前节点未曾干净观测的侧、后视角并内化可达性判断；父指针显式编码节点连通性，为回溯到哪个节点可达/划算提供拓扑先验。

61、（5）非自回归带来更稳的多步决策。各决策标记为读出头、其输出不回喂序列，去除了逐词生成的误差累积；多步连贯性主要由已实现的真实状态标记经注意力承载，且读取隐状态比读取单一离散选择信息量更高，并配合周期性重采对齐训练与部署时的状态分布。

62、（6）以统一的序列模型免除多个外部附加模块，且面向单目部署。本发明以一个统一的序列模型，免除了现有分层导航范式中参数冻结的路点预测器、从候选集合中选择的动作空间、串行的规划循环以及固定启发式控制器等外部附加模块，并将低层控制器改为可训练网络、为分层强化学习预留了闭式对数似然接口；仅需单目摄像头即可工作，硬件成本较低；网络以标准的解码器层与标准算子为主，便于工程实现与扩展。