一种基于在线场景图与受约束大模型的无人机导航方法

本发明涉及视觉语言导航，具体来说是一种基于在线场景图与受约束大模型的无人机导航方法。

背景技术：

1、近年来，随着人工智能、计算机视觉以及无人系统技术的快速发展，如何使智能体具备感知环境、理解自然语言指令、进行自主决策并完成复杂任务的能力，已成为具身智能领域的重要研究方向。自然语言能够以较为直观的方式描述目标对象、环境特征以及空间关系，因此，利用自然语言对无人机等智能体进行任务引导，有利于降低传统航点规划和人工遥控方式对操作人员专业能力的依赖，并提高无人系统执行复杂任务的自主性。

2、视觉语言导航作为具身智能的重要研究方向之一，旨在使智能体根据自然语言指令和视觉观测信息理解任务目标，并自主完成环境探索与路径决策。现有视觉语言导航方法通常通过视觉图像获取环境信息，并结合自然语言指令进行语义匹配和动作预测。目前，相关技术已在室内机器人导航以及部分空中机器人导航任务中得到研究和应用。然而，在缺乏先验地图的环境中，智能体无法直接利用预先构建的全局地图，需要依据实时获得的局部视觉、深度以及语义观测持续建立内部环境表征，从而完成后续导航决策。论文所针对的正是这种“无先验地图、依赖局部机载观测在线建立场景表征”的无人机导航场景。

3、无人机具有视野范围广、可在三维空间运动等特点，在巡检、搜索及环境监测等户外任务中具有广泛应用。然而，户外环境通常范围较大、结构复杂，且无人机观测具有局部性。在缺少先验地图的情况下，无人机需要根据飞行过程中获取的环境信息持续进行空间判断，仅依赖当前视觉观测难以满足长时程自然语言导航中的环境记忆和空间推理需求。

4、在环境表示方面，现有无人机导航方法通常采用度量地图、占据栅格地图、鸟瞰图或拓扑图等形式。其中，稠密地图能够提供较丰富的空间信息，但在大尺度环境中建图和维护成本较高，也不便于直接用于高层语义推理；拓扑图结构较为紧凑，但通常难以同时充分表达语义、几何及未知区域信息。因此，现有环境表征方式难以同时兼顾空间信息完整性和高层决策所需的紧凑性。

5、在导航决策方面，大语言模型和视觉语言模型能够根据自然语言指令进行语义理解和高层决策，但其生成结果主要受语义信息约束，难以天然满足无人机运动过程中的空间可达性、避障及安全要求。若直接利用模型生成导航目标或控制动作，容易出现目标不可达、动作与环境结构不匹配或任务提前终止等问题。

6、此外，在实际飞行过程中，局部障碍物、感知噪声及运动执行误差等因素可能导致无人机发生碰撞、停滞或导航失败。现有基于预定义技能、约束解码或运行时过滤的执行方式，在无先验地图和大尺度户外环境中的适用性仍受到限制，难以兼顾导航决策的可执行性以及执行过程中的动态调整需求。

7、因此，如何在无先验地图的户外环境中，根据无人机实时获取的多模态观测信息建立一种兼顾语义信息、几何信息、区域连通关系以及未知空间探索信息的环境表征，在降低高层决策状态复杂度的同时，为自然语言任务理解和空间可行性判断提供有效依据；以及如何约束语言模型生成的导航决策，使其满足无人机实际运动的可达性和安全性要求，并能够根据执行反馈进行持续导航和异常恢复，是自然语言引导无人机自主导航领域亟需解决的技术问题。

技术实现思路

1、本发明的目的在于提供一种面向无先验地图环境的室外无人机视觉语言导航方法，通过无人机飞行过程中获取的多模态观测信息在线构建兼具语义信息、空间拓扑关系和局部几何信息的环境表征，并基于自然语言导航指令进行受约束的高层导航决策，使生成的导航动作满足当前环境下的空间可达性和安全性要求，从而提高无人机在未知室外环境中的自主导航能力。

2、为了实现上述目的，本发明的技术方案如下：

3、一种基于在线场景图与受约束大模型的无人机导航方法，包括以下步骤：

4、s1、获取无人机当前时刻的图像数据、语义观测数据、深度观测数据及无人机状态数据，根据无人机位姿将语义观测数据和深度观测数据投影至鸟瞰图坐标空间，并与历史观测信息进行增量融合，构建包含语义信息、空间占据信息及预设飞行高度范围内通行约束信息的鸟瞰图环境表征；

5、s2、根据所述鸟瞰图环境表征对已观测可通行空间进行区域划分并提取探索前沿，以划分得到的区域作为节点，根据区域之间的空间邻接关系建立拓扑连接，并关联区域属性及探索前沿信息，构建区域级环境图；对于任务相关的不可通行语义对象，确定对象位置并建立对象与邻近可通行区域之间的关联关系；

6、s3、接收自然语言导航指令，将所述自然语言导航指令与区域级环境图中的区域语义信息、任务相关对象信息及空间关系进行匹配，确定候选目标区域或候选目标对象；结合无人机当前状态、区域拓扑关系、探索前沿及近期动作执行反馈构建结构化导航状态，并将所述结构化导航状态输入大语言模型，由所述大语言模型按照预设输出格式从有限符号动作集合中确定候选导航动作；

7、s4、根据所述鸟瞰图环境表征、区域级环境图及任务状态对候选导航动作进行可行性验证；当候选导航动作不满足空间可达性、水平避障、垂直净空、图结构一致性或任务状态约束时，对其进行修正或替换，并对修正或替换后的导航动作重新验证，得到经验证的符号导航动作；

8、s5、当所述经验证的符号导航动作为运动类符号导航动作时，将其转换为无人机可执行的局部航点，并进行航点跟踪和避障控制；当所述经验证的符号导航动作为当前位置保持动作时，控制无人机保持当前位置或预设悬停状态；在执行过程中监测无人机运动状态，在发生碰撞、停滞等异常时执行局部恢复，并将执行结果反馈至下一导航决策周期，持续更新环境表征和区域级环境图；仅在满足预设导航任务完成条件时执行任务完成动作。

9、进一步地，所述 s1 中，构建鸟瞰图环境表征的方法具体包括：

10、s11、在无人机飞行过程中获取当前时刻的图像数据、语义观测数据、深度观测数据以及无人机自身状态数据，所述无人机自身状态数据至少包括无人机的位置、航向及飞行高度；

11、s12、根据预设更新条件判断当前鸟瞰图环境表征是否需要更新，当满足预设更新条件时执行环境表征更新，否则保留上一时刻的鸟瞰图环境表征，并根据无人机当前状态更新无人机在环境表征中的位置；

12、s13、当执行环境表征更新时，根据无人机当前位姿将所述语义观测数据和深度观测数据投影至统一的鸟瞰图坐标空间，获得当前观测对应的语义栅格信息和空间占据信息；

13、s14、将当前观测对应的语义栅格信息与历史语义信息进行增量融合，获得各鸟瞰图栅格对应的语义类别及语义证据；

14、s15、根据所述深度观测数据确定观测射线经过的自由空间以及射线终点对应的占据空间，并与历史占据信息进行增量融合，获得各鸟瞰图栅格对应的自由、占据或未知状态；对于预设飞行高度范围内的障碍物，记录相应栅格的垂直净空或不可通行约束信息；

15、s16、根据融合后的语义信息和空间占据信息生成语义鸟瞰图和占据鸟瞰图，并将其作为后续区域划分、探索前沿提取、几何可行性判断及导航动作落地的空间环境依据。

16、进一步地，所述 s2 中，构建区域级环境图的方法具体包括：

17、s21、根据所述语义鸟瞰图和占据鸟瞰图确定当前已观测的可通行空间，并计算所述可通行空间中的有效语义信息覆盖程度；

18、s22、当所述有效语义信息覆盖程度满足预设条件时，根据不同语义类别对已观测可通行空间进行区域划分；当所述有效语义信息覆盖程度不满足预设条件时，根据空间占据信息对所述已观测可通行空间进行区域划分；

19、s23、对区域划分结果进行连通性分析，删除面积或观测支撑程度不满足预设条件的区域，并对剩余区域进行标记，形成区域标签图；

20、s24、根据所述区域标签图以及占据鸟瞰图，在已观测可通行空间与相邻未知空间之间提取探索前沿，并将各探索前沿与其所属区域进行关联；

21、s25、将各有效区域作为图节点，根据不同区域在鸟瞰图空间中的邻接关系建立区域之间的拓扑边，构建区域邻接图；

22、s26、根据各区域对应的语义类别、区域位置、区域范围及探索前沿信息构建节点属性，并确定无人机当前所在区域；对于任务相关的不可通行语义对象，记录对象语义类别、对象位置及与邻近可通行区域的关联关系，形成包含区域语义信息、对象信息、空间拓扑信息、探索前沿信息以及无人机当前状态的区域级环境图；

23、s27、对所述区域级环境图进行结构化表达，生成面向高层导航决策的符号环境状态，同时保留所述语义鸟瞰图和占据鸟瞰图，用于后续导航动作的几何验证和航点生成。

24、进一步地，所述 s3 中，确定候选导航动作的方法具体包括：

25、s31、接收自然语言导航指令，对所述自然语言导航指令进行语义解析，提取导航任务对应的目标语义信息，并在所述自然语言导航指令包含参照对象或空间关系时，进一步提取参照语义信息及相应空间关系信息；

26、s32、根据所述目标语义信息、参照语义信息及空间关系信息与区域级环境图中的区域属性和任务相关对象属性进行匹配，确定候选目标区域或候选目标对象；当目标为不可通行语义对象时，根据对象位置及其邻近可通行区域确定满足安全距离条件的目标落地信息；

27、s33、根据所述区域级环境图、无人机当前所在区域、候选目标区域、探索前沿、目标落地信息以及近期导航动作执行反馈，构建当前决策周期对应的结构化导航状态；

28、s34、根据所述结构化导航状态和自然语言导航指令，从预设的有限符号动作集合中确定候选导航动作。

29、进一步地，所述 s4 中，对候选导航动作进行可行性验证的方法具体包括：

30、s41、获取所述候选导航动作，并根据预设符号动作格式对所述候选导航动作进行解析，判断候选导航动作的动作类型、动作参数及目标标识是否符合预设动作规范；

31、s42、根据当前鸟瞰图环境表征、区域级环境图及任务状态，对所述候选导航动作进行水平空间可达性、垂直净空、安全性、图结构一致性及任务状态约束验证；

32、s43、当所述候选导航动作满足相应约束时，将其确定为经验证的符号导航动作；当不满足相应约束时，根据当前环境状态及任务状态对所述候选导航动作进行修正或替换。

33、进一步地，所述s5中，将经验证的符号导航动作进行执行并反馈的方法具体包括：

34、s51、根据所述经验证的符号导航动作、无人机当前位置及当前环境表征确定连续空间子目标，并生成对应的局部航点；

35、s52、控制无人机跟踪所述局部航点，并在执行过程中监测无人机实际位移、航点剩余距离及碰撞状态；

36、s53、当检测到无人机发生碰撞、停滞或导航进展不足时，执行局部恢复操作；

37、s54、根据导航动作执行结果和局部恢复结果更新执行反馈，并根据更新后的环境状态判断是否满足导航任务完成条件；所述导航任务完成条件至少包括目标语义或目标对象匹配、指令要求的空间关系满足、无人机与目标落地位置的距离满足预设阈值以及安全状态满足预设条件；当不满足时进入下一导航决策周期。

38、有益效果

39、1）本发明通过将无人机在线获取的语义观测信息和空间占据信息进行增量融合，并构建包含区域语义、空间拓扑关系及探索前沿信息的区域级环境图，在保留导航所需几何信息的同时，以紧凑的图结构表征无人机当前环境状态，降低了高层导航决策所需处理的环境状态复杂度，增强了无人机在无先验地图室外环境中的持续环境感知与空间推理能力；

40、2）本发明通过将自然语言导航指令与区域级环境图进行关联，并利用有限符号动作空间及环境侧可行性验证机制对候选导航动作进行约束，使自然语言语义推理与无人机实际空间状态相结合，减少了目标不可达、动作与环境结构不一致、局部运动不安全以及任务提前终止等问题，提高了自然语言导航决策的可执行性和安全性；

41、3）本发明通过将经验证的符号导航动作转换为局部航点，并结合动作执行状态监测、局部恢复及执行反馈机制形成闭环导航过程，使无人机能够根据碰撞、停滞及导航进展情况动态调整后续导航行为，增强了无人机对局部障碍和执行异常的适应能力，提高了无先验地图室外环境中长时程视觉语言导航的连续性和可靠性。