基于单次扫描和区域预测记忆的视觉语言导航方法、存储介质及移动机器人视觉语言导航系统与流程

本发明涉及视觉语言导航，尤其涉及一种基于单次扫描和区域预测记忆的视觉语言导航方法、存储介质及移动机器人视觉语言导航系统。

背景技术：

1、视觉语言导航是指移动机器人根据自然语言指令和第一视角视觉观测，在室内或室外环境中持续生成运动动作或短时运动轨迹，并最终到达指令所指目标位置的技术。近年来，视觉—语言—动作模型逐渐成为该任务的主要实现形式。该类模型通常将红绿蓝三通道彩色图像、自然语言指令以及历史观测和历史动作作为输入，通过视觉编码器、多模态语言模型和动作生成模块，直接输出前进、转向、停止等离散动作，或者输出一段连续轨迹。

2、经大规模多模态预训练以及导航轨迹训练后，视觉—语言—动作模型能够形成一定的场景理解、指令理解和动作生成能力。然而，源环境与实际部署环境之间常存在明显的分布差异，例如家具材质和外观不同、房间组合和连通方式不同、通道宽度不同，以及同一动作在不同局部空间产生的视觉变化不同。由于现有导航模型在部署后通常保持静态，其在未见环境中的成功率和路径效率容易下降。

3、对于家庭机器人，进入新住宅后先进行一次初始化探索具有现实可行性。例如，移动清洁机器人通常会在正式工作前进行环境扫描。该扫描能够形成按时间排列的第一视角图像序列以及对应位姿，但通常不对应某一语言导航任务，也不包含目标位置、专家动作标签或任务成败反馈，现有监督训练流程难以直接使用。因此，如何将这类低成本扫描数据转化为可重复使用的导航知识，是未知环境部署中的关键问题。

4、潜在空间世界模型是一类用于预测环境变化的模型。与直接生成下一帧像素图像相比，该模型先将当前观测编码为潜在表征，再根据动作条件预测下一时刻的潜在表征，能够以较低的计算量表达“执行某一动作后环境观测将如何变化”。如果将不同候选动作对应的未来视觉潜在表征提供给导航决策模型，导航决策模型就可在真正执行动作前获得动作后果的预测线索。

5、现有技术方案大致包括以下几类。

6、第一类方案：直接将在源环境训练完成的视觉语言导航模型部署到未知环境。该方案无需目标环境适配，但模型只能依赖源域知识，无法主动吸收目标环境的局部视觉转移规律，导致在与源环境存在差异的目标场景中导航成功率显著降低。

7、第二类方案：利用循环状态、历史视觉记忆、拓扑地图、栅格地图或三维地图保存已经访问的位置和观测。此类表示有助于长时上下文维护或路径规划，但通常保存的是观测内容和空间连接关系，并不直接形成能够针对候选动作预测未来视觉表征的参数化记忆。静态拓扑地图主要表达可达关系；若不能将局部环境知识转化为导航模型可消费的预测表征，就无法直接改进动作生成。

8、第三类方案：在部署阶段根据不确定性、环境反馈、辅助自监督目标或提示变量更新导航策略。该类方案可能需要任务执行反馈，或者直接改变导航模型参数，存在计算负担及通用能力被破坏的风险。直接微调整个导航决策模型不仅计算量大，而且在目标环境数据量有限、又缺少任务监督时容易发生训练不稳定和通用能力遗忘。

9、第四类方案：对世界模型或外部记忆进行测试时适配，并保持主策略不变。此类方案实现了策略与部分环境知识的解耦，但若用整段探索数据适配同一组全局参数，卧室、走廊、客厅等空间区域的局部转移会被混合，仍可能产生跨区域干扰；此外，已有方案通常未形成“空间区域—局部预测参数—当前位置检索组合”的完整技术链。采用单一全局世界模型吸收整段扫描时，会将不同房间或功能区域的视觉转移混合到同一组参数中；与当前位置无关的区域数据可能干扰当前动作预测。

技术实现思路

1、为解决现有技术中的上述问题中的至少一部分问题，本发明提供了一种基于单次扫描和区域预测记忆的视觉语言导航方法，包括如下步骤：

2、机器人进入目标环境后执行一次任务无关的初始化探索，采集按时间排列的有序视觉观测和对应估计位姿；

3、基于采集位置与有序视觉观测及估计位姿的局部连接关系建立稠密扫描图，计算稠密扫描图的每个稠密节点的视觉语义信息，将空间相接且视觉语义一致的稠密节点合并为空间连续区域；

4、根据时间上相邻的估计位姿之间的相对运动生成动作条件，并形成相邻视觉转移，选取起点和终点均位于同一空间连续区域的多个相邻视觉转移形成区域局部转移集合；

5、以公共基础参数为初始值，利用区域局部转移集合对每个空间连续区域分别执行自监督的动作条件预测器适配操作，得到区域动作条件预测器；

6、计算每个区域动作条件预测器相对于公共基础参数的参数更新量，并与区域空间描述关联存储，形成区域化预测记忆；

7、执行语言导航任务时，根据机器人当前位置从区域化预测记忆中检索至少一个相关的空间连续区域，并计算组合权重，利用组合权重将区域参数更新量与公共基础参数组合，得到当前位置对应的位置条件化区域动作条件预测器；以及

8、使用位置条件化区域动作条件预测器生成候选运动操作的未来视觉潜在表征，并融合到语言条件导航决策模型，输出离散导航动作或短连续轨迹，并控制机器人运动。

9、进一步地，还包括：

10、利用源环境导航转移数据训练动作条件潜在空间预测模型，所述动作条件潜在空间预测模型包括源域观测编码器、源域动作编码器和源域动作条件预测器；

11、利用动作条件潜在空间预测模型对候选运动操作生成未来视觉潜在表征；

12、冻结动作条件潜在空间预测模型，将未来视觉潜在表征注入语言条件导航决策模型，并利用语言条件导航决策模型的原生目标来训练语言条件导航决策模型。

13、进一步地，机器人在执行初始化探索获取的按时间排列的第一视角的视觉观测及其估计位姿序列，不要求附带语言指令、目标位置、专家动作标签或任务成功反馈，其中表示视觉观测，表示估计位姿。

14、进一步地，建立稠密扫描图，包括：每个稠密节点对应一个采样位置，并与视觉观测、估计位姿及时间索引关联；若两个采样位置在探索轨迹中连续可达，或者满足预设的空间邻接条件，则在相应稠密节点之间建立边；

15、计算稠密扫描图的每个稠密节点的视觉语义信息，将空间相接且视觉语义一致的稠密节点合并为空间连续区域，包括：

16、使用冻结的源域视觉语义编码器获取每个稠密节点的视觉语义信息，得到节点语义分布；

17、基于节点语义分布确定不同稠密节点的语义一致性，空间相接且语义一致的稠密节点合并为空间连续区域，得到稀疏区域图。

18、进一步地，相邻视觉转移包括i时刻的视觉观测、i+1时刻的视觉观测以及粗粒度动作条件，粗粒度动作条件为前进、后退、左转、右转中的至少一种；

19、相邻视觉转移的起点为i时刻的视觉观测，终点为i+1时刻的视觉观测。

20、进一步地，以公共基础参数为初始值，利用区域局部转移集合对每个空间连续区域分别执行自监督的动作条件预测器适配操作，得到区域动作条件预测器，包括：

21、固定源域观测编码器和源域动作编码器，并使用源域观测编码器基于视觉观测计算视觉潜在表征，使用源域动作编码器基于粗粒度动作条件计算动作嵌入，其中粗粒度动作条件为前进、后退、左转、右转中的至少一种；

22、每个空间连续区域对应的区域动作条件预测器均从同一公共基础参数初始化，并针对区域内部视觉转移最小化未来视觉潜在表征预测误差，得到区域动作条件预测器的参数：

23、，

24、表示未来视觉潜在表征预测误差更新得到的参数，即区域动作条件预测器的参数，表示区域局部转移集合，表示区域局部转移，表示未来视觉潜在表征预测网络，即动作条件预测器；

25、公共基础参数为源域动作条件预测器的参数。

26、进一步地，区域空间描述包括区域中心、成员节点索引、区域语义分布，其中成员节点索引为稀疏区域图的节点的位置；

27、执行语言导航任务时，根据机器人当前位置从区域化预测记忆中检索至少一个相关的空间连续区域，包括：选取区域中心距离机器人当前位置最近的区域化预测记忆的前k个节点，记为；

28、根据机器人当前位置与所选空间连续区域的区域空间描述之间的空间相关度计算组合权重，包括：对每个检索到的区域化预测记忆的节点v，，计算带数值稳定常数ε的归一化反距离权重：

29、

30、每个非负且，所有的之和为1；为机器人地面坐标，为区域中心，表示距离当前位置最近的前k个节点。

31、进一步地，使用位置条件化区域动作条件预测器生成候选运动操作的未来视觉潜在表征，包括：

32、源域观测编码器将当前视觉观测映射为视觉潜在表征；使用动作编码器将候选运动操作映射为动作嵌入；使用位置条件化区域动作条件预测器根据当前视觉潜在表征和动作嵌入预测未来视觉潜在表征；

33、未来视觉潜在表征融合到语言条件导航决策模型，输出离散导航动作或短连续轨迹，包括：语言条件导航决策模型综合语言指令、导航历史、当前视觉观测及候选运动操作的未来视觉潜在表征，输出下一离散导航动作或短连续轨迹。

34、进一步地，还包括：

35、机器人运动控制器执行导航动作或短连续轨迹后，取得新视觉观测和新估计位姿，重复执行以下步骤直至满足任务停止条件：

36、根据机器人当前位置从区域化预测记忆中检索至少一个相关的空间连续区域，并计算组合权重，利用组合权重将区域参数更新量与公共基础参数组合，得到当前位置对应的位置条件化区域动作条件预测器；以及

37、使用位置条件化区域动作条件预测器生成候选运动操作的未来视觉潜在表征，并融合到语言条件导航决策模型，输出离散导航动作或短连续轨迹，并控制机器人运动。

38、进一步地，所述语言条件导航决策模型为单主干自回归导航模型，包括视觉编码器、多模态语言模型主干和以自回归方式输出离散导航动作的单主干模型；视觉编码器输出的视觉标记作为查询，候选运动操作的未来视觉潜在表征经投影后作为键和值，经过预测信息融合模块融合，融合结果输入多模态语言模型主干；或

39、所述语言条件导航决策模型为规划—控制双系统导航模型，包括高层视觉语言规划器和低层轨迹生成策略，预测信息融合模块设置在高层视觉语言规划器和低层轨迹生成策略之间；

40、高层规划器输出的视觉—语言表示作为查询，未来视觉潜在表征作为键和值，经过预测信息融合模块融合，融合结果作为附加条件传递给低层连续轨迹策略，使其输出短连续轨迹。

41、本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序在被处理器执行时执行上述方法的计算机程序。

42、本发明还提供了一种移动机器人视觉语言导航系统，包括：

43、探索数据获取模块，其被配置为在目标环境的语言导航任务执行之前获取一次任务无关初始化探索产生的有序视觉观测和对应位姿信息；

44、动作条件确定模块，其被配置为根据相邻位姿之间的相对自运动确定对应的动作条件；

45、区域构建模块，其被配置为执行下列动作：根据初始化探索过程中的采样位置和探索轨迹的局部连接关系建立稠密扫描图，并将稠密扫描图中空间相接且语义一致的稠密节点合并为空间连续区域；

46、区域适配模块，其被配置为执行下列动作：构建为每个空间连续区域构建自监督适配数据，并以利用源域动作条件预测器参数为基础利用自监督适配数据对每个空间连续区域分别执行自监督的动作条件预测器适配操作，得到区域动作条件预测器；

47、预测记忆生成模块，其被配置为执行下列动作：计算每个区域动作条件预测器相对于源域动作条件预测器的参数更新量，并与区域空间描述关联存储，形成区域化预测记忆；

48、位置条件参数组合模块，其被配置为执行下列动作：根据机器人当前位置从区域化预测记忆中检索至少一个相关的空间连续区域，并根据机器人当前位置与所选空间连续区域的区域空间描述之间的空间相关度计算组合权重，利用组合权重将区域参数更新量与源域预测器参数组合，得到当前位置对应的位置条件化区域动作条件预测器；

49、候选运动预测模块，其被配置为生成候选运动操作的未来视觉潜在表征；

50、导航决策与控制模块，其被配置为将候选运动操作的未来视觉潜在表征提供给语言条件导航决策模型，生成并执行导航动作或导航轨迹。

51、本发明至少具有下列有益效果：

52、本发明在目标环境中执行一次任务无关初始化探索建立可复用的区域化预测记忆。初始化探索不需要语言指令、目标位置、专家动作标签、任务成功信号或人工语义标注，降低了目标环境数据准备成本。

53、本发明在动作条件预测器的目标环境适配期间冻结语言条件导航决策模型，仅适配外置动作条件预测器，可保留语言条件导航决策模型在源环境中形成的通用指令理解与动作生成能力，并减少对大型导航模型执行反向传播的计算和显存开销。

54、本发明依据空间连接性和语义一致性划分空间连续区域，并仅使用区域内部的相邻视觉转移训练区域动作条件预测器，能够减少不同房间或功能区之间不兼容转移规律造成的干扰。

55、本发明以相对于源域动作条件预测器的参数更新量保存局部知识，使各区域共享基础模型；相较为每个区域保存完整模型副本，能够减少重复参数存储，并便于按位置组合。

56、本发明在执行语言导航任务时，根据机器人当前位置检索至少一个相关区域，并计算区域对应的组合权重，将区域参数更新量与源域预测器参数组合，得到区域动作条件预测器，这样既可利用局部上下文，又能在区域边界附近实现平滑过渡；区域化预测记忆不会把机器人约束在预先扫描的路径上。

57、发明使用区域动作条件预测器生成各候选运动操作的未来视觉潜在表征，将这些未来视觉潜在表征融合到语言条件导航决策模型，输出导航动作。区域动作条件预测器生成各候选运动操作的未来视觉潜在表征，本发明潜在空间预测候选动作后果，不需要生成高分辨率未来图像；将未来视觉潜在表征通过轻量融合接口接入不同结构的导航模型，具有较低的额外推理负担和较好的架构兼容性。

58、同一份区域化预测记忆可用于目标环境中的多个后续导航指令，避免每个任务重新扫描和重新适配，提高部署效率。