一种基于视觉语言模型的分布式异构多机器人协同探索方法与流程

本发明涉及机器人自主探索，具体涉及一种基于视觉语言模型的分布式异构多机器人协同探索方法。

背景技术：

1、随着大语言模型和视觉语言模型的发展，机器人逐渐具备了根据自然语言指令理解任务语义、根据视觉图像理解环境状态并生成高层决策的能力。与传统规则式机器人系统相比，视觉语言模型能够将“寻找饮用水”“寻找幸存者”“查看房间内是否有可操作目标”等模糊指令与实际视觉场景进行关联，从而为机器人在复杂环境中的任务执行提供语义推理能力。

2、然而，在大尺度未知环境中，仅依靠单个机器人或集中式规划方式仍存在明显不足。第一，单机器人系统在长时程任务中探索效率低，任务完成时间长，并且难以同时覆盖多个潜在目标区域。第二，集中式多机器人系统通常需要维护完整全局地图并收集全部传感器数据，导致通信带宽、存储空间和计算资源消耗大；当网络不稳定或环境尺度增大时，集中式地图和集中式决策容易成为瓶颈。第三，现有视觉语言模型多机器人方法往往偏重导航或目标搜索，缺乏将远距离探索与本地物理操作统一起来的机制。例如，无人机可以快速观察高处和穿越狭窄区域，但不能完成开门、搬运等接触式操作；移动机械臂具备操作能力，但移动速度和视野范围受限。如果不能根据异构能力进行任务分配和协助请求，系统很容易出现“发现目标但无法处理”或“具备能力的机器人不知道目标位置”的问题。

3、此外，现有方法常依赖预先构建的全局地图或完整语义地图。完整语义地图虽然信息丰富，但在未知大尺度环境下需要持续存储大量点云、网格、图像和语义描述，既增加通信负担，也增加视觉语言模型输入长度和推理延迟。若直接将大量历史图像和点云输入视觉语言模型，还会提高误识别和幻觉决策的概率。由此可见，如何在有限通信和有限存储条件下，使异构机器人形成足够一致的态势认知，并利用视觉语言模型完成探索、导航和操作决策，是当前技术中尚未充分解决的问题。

技术实现思路

1、本发明旨在提供一种基于视觉语言模型的分布式异构多机器人协同探索方法，以解决现有技术中存在的以下问题：集中式全局地图通信和存储开销大；异构机器人能力差异未被充分用于任务分解与协作；视觉语言模型难以在大尺度未知环境中同时处理探索、导航和操作；多机器人在异步通信条件下容易出现态势认知不一致；发现任务目标的机器人无法完成目标操作时缺乏有效协助机制。

2、本发明的技术方案如下：一种基于视觉语言模型的分布式异构多机器人协同探索方法，每个机器人维护本地观测空间、内部记忆状态空间和高层语义动作空间；具体包括以下步骤：

3、s1：由每一机器人在本地获取当前时刻的本地观测，所述本地观测至少包括全景视觉图像、几何观测和机器人位姿；

4、s2：由每一机器人在本地维护内部记忆状态，所述内部记忆状态包括总体任务、经分解得到的子任务集合、历史交互信息、机器人群能力描述以及小地图；

5、s3：基于所述总体任务、所述子任务集合、所述机器人群能力描述和各机器人的初始本地观测，通过视觉语言模型或语言模型进行任务分解和能力匹配，并将经过反馈确认的子任务集合分发至各机器人；

6、s4：在每一机器人本地，将所述内部记忆状态和当前本地观测输入视觉语言模型，由所述视觉语言模型输出高层语义动作，所述高层语义动作至少包括决策模式、任务目标检测标志、任务完成标志、目标描述、目标全局位置、发送至底层规划器的目标点以及协助请求；

7、s5：当视觉语言模型判断存在任务相关目标或任务相关场景时，根据当前机器人本地观测计算所述目标区域的全局位置；当当前机器人具备执行对应操作的能力时，将该全局位置转换为任务导向目标点；当当前机器人不具备执行对应操作的能力时，生成包括目标描述和目标位置的协助请求，并异步发送给具有对应能力的其他机器人；

8、s6：当视觉语言模型未检测到任务相关目标或任务相关场景时，根据小地图、历史交互信息、几何探索候选点和语义探索候选点，由视觉语言模型选择下一探索目标点；

9、s7：由底层运动规划模块将所述任务导向目标点或下一探索目标点转换为连续可执行运动指令，并驱动对应机器人完成导航、探索或物理操作；

10、s8：每一机器人将其小地图增量、场景语言描述、探索状态、协助请求和任务进度通过通信单元异步广播给其他机器人，并融合其他机器人的异步更新，使各机器人在无需集中式完整全局地图的情况下形成近似一致的全局态势认知。

11、所述异构多机器人集合中至少包括两个具有导航能力的空中机器人和地面移动机器人，每一机器人均包括视觉感知单元、几何感知单元、计算单元、通信单元和运动执行单元。

12、所述本地观测定义为：

13、

14、其中，表示机器人编号，表示时刻，表示机器人在时刻采集的全景视觉图像，表示激光点云、深度图或局部占据栅格形式的几何观测，表示机器人位姿。

15、所述内部记忆状态定义为：

16、

17、其中，表示总体任务，表示子任务集合，表示机器人的历史任务与通信信息，表示机器人群能力描述，表示机器人维护的小地图。

18、所述内部记忆状态按照以下方式更新：

19、

20、其中，表示机器人的记忆更新函数，表示高层语义动作，表示机器人接收的来自其他机器人的异步通信信息。

21、所述高层语义动作定义为：

22、

23、其中，为决策模式，为任务相关目标或场景检测标志，为任务完成标志，为目标描述，为目标全局位置，为发送至底层规划器的目标点，为协助请求。

24、发送至底层规划模块的目标点满足：

25、

26、其中，为任务导向目标点，为下一探索目标点。

27、所述小地图为二维图像、二维栅格图或其组合，并包括已探索可通行区域、障碍物区域、房间分割及语义描述、未探索区域、机器人群位置、几何探索候选点、语义探索候选点以及下一探索目标点中的至少一种；所述小地图通过颜色块、符号块、文字标签或其组合进行编码，使视觉语言模型能够将其作为图像输入进行全局态势理解。

28、所述小地图的融合更新至少包括以下一个或多个关系：

29、

30、

31、

32、

33、

34、其中，表示已探索可通行区域，表示障碍物区域，表示房间区域，表示未探索区域，表示机器人群位置，表示机器人群下一探索目标点集合；上标表示局部观测，表示来自其他机器人的信息。

35、所述几何探索候选点由局部占据栅格、已探索可通行区域、障碍物边界、房间分割区域和未探索区域之间的边界关系计算得到，所述语义探索候选点由视觉语言模型从全景视觉图像中识别得到，所述语义探索候选点包括门、走廊入口、遮挡区域、潜在任务相关物体或能够通向未知区域的场景结构。

36、所述视觉语言模型在每一机器人本地执行运动决策，并满足：

37、

38、其中，表示视觉语言模型策略；底层运动规划模块将所述高层语义动作转换为连续运动指令：

39、

40、其中，表示连续运动指令，表示机器人的无学习底层动作专家。

41、在进行任务分解时，先由一个任务分解单元根据总体任务、各机器人能力描述和初始视觉观测生成候选子任务集合，再将所述候选子任务集合发送至各机器人进行反馈确认；当各机器人反馈结果满足一致性条件时，确定最终子任务集合；当反馈结果不满足一致性条件时，重新生成或修正候选子任务集合。

42、在协助请求处理中，发起协助的机器人将无法完成的目标位置作为语义探索候选点保留于小地图，并将协助请求广播给具有对应能力的机器人；接收协助请求的机器人将所述目标位置转换为自身的任务导向目标点，并通过全局小地图路径搜索和局部运动规划到达目标位置执行操作。

43、所述异步广播包括带有机器人编号、时间戳、坐标变换信息和更新类型的增量消息；接收方根据时间戳、空间距离阈值、语义类别一致性(观测的环境语义描述)和坐标变换一致性（集群全局位置）中的至少一种对收到的更新进行融合、去重和冲突消解。

44、所述异构多机器人中包括至少一个具有导航能力的空中机器人和至少一个具有导航能力的移动机器人。

45、本发明的有益效果有：

46、1）本发明通过轻量级小地图替代完整语义地图或完整点云地图，显著降低了存储和通信开销。小地图仅保留对决策有用的探索区域、障碍物、房间语义、机器人位置、几何探索候选点和语义探索候选点，使视觉语言模型可以在较短上下文内理解全局态势，从而降低推理延迟和幻觉风险。

47、2）本发明采用分布式异步更新机制，各机器人可在本地独立完成感知、记忆更新、视觉语言模型决策和底层运动规划。当通信存在延迟或丢包时，机器人仍可依据本地记忆继续执行任务；当收到其他机器人增量更新后，再进行融合和去重，因此系统具备较好的可扩展性和鲁棒性。

48、3）本发明将几何探索点和语义探索点统一投影至小地图。几何探索点反映可达且信息量高的未知边界，语义探索点反映门、走廊入口、遮挡区域或潜在任务目标等具有语义意义的区域。视觉语言模型可以综合几何可达性、任务语义和机器人群状态选择探索目标，从而提高未知环境中的探索效率。

49、4）本发明引入能力匹配和协助请求机制。发现目标的机器人并不必须独立完成操作，而是根据自身能力判断是否能够处理；若不能处理，则将目标位置、目标描述和操作需求发送给具备操作能力的机器人。由此可实现无人机负责快速搜索与目标定位、移动机械臂负责开门或操作物体等异构协作。

50、5）本发明将任务分解、视觉理解、探索点选择、协助请求和操作决策统一在视觉语言模型驱动的高层决策框架内，同时将连续运动交由成熟规划器执行，兼具语义推理能力和工程可执行性。

51、6）本发明的典型应用场景包括但不限于：家庭或办公环境中的物品查找和门体操作，医院、厂房、地下空间等复杂室内场景中的多机器人巡检和导航，灾后废墟或危险区域中的幸存者搜索与物资搜寻，以及通信受限条件下的异构机器人群自主协同。