一种基于记忆增强的无人系统指令交互与任务规划方法

本发明涉及无人系统自主导航与任务规划，尤其涉及一种基于记忆增强的无人系统指令交互与任务规划方法。

背景技术：

1、视觉语言导航任务要求智能体在连续视觉观测基础上理解自然语言指令，并完成目标导向的路径规划与动作决策。随着具身智能从室内短程导航向开放场景中的长时自主执行拓展，无人机因具备三维空间运动能力与大范围环境覆盖能力，成为视觉语言导航的重要应用平台。相较于地面平台，无人机视觉语言导航面临更显著的运动空间扩展、视角动态变化、环境尺度增大以及地标视觉混淆等挑战，其任务执行过程通常跨越更长的时间范围和更多的子任务阶段，对历史信息的持续保持与任务相关检索提出了更高要求。

2、现有视觉语言导航方法主要依赖整体导航成功率、终点位置误差或轨迹质量等结果性指标进行模型评价。公开数据集与评测框架如openuav、openvln等为无人机视觉语言导航提供了基础平台与长航程任务场景，但其评测体系仍以最终导航目标是否达成为核心判定依据。该类指标虽能反映模型在完整轨迹上的整体表现，却难以区分失败来源究竟是视觉识别错误、路径规划偏差还是记忆保持与检索失效。在包含多阶段子目标、历史位置回访、延迟动作触发或累计状态维护的复杂任务中，模型可能出现识别到关键地标但未能持续保持、保持了信息但未在后续决策点正确调用、或在不同阶段混淆相似环境线索等多种记忆相关失败模式，而这些模式在最终成功率或终点误差上可能呈现相同的数值结果。

3、研究表明，长航程具身任务中的记忆能力涉及信息编码、保持、更新、检索与整合等多个可分离的认知过程，不同任务阶段对历史信息的依赖方式存在显著差异。部分无人机视觉语言导航工作已尝试通过结构化记忆、语义拓扑图或全局记忆库组织历史观测以支撑长程空间推理，但现有记忆机制研究仍主要围绕整体导航性能提升展开，缺少能够将记忆能力从整体导航能力中剥离并进行独立评测的分析框架。同时，现有方法在记忆检索阶段通常采用全局历史匹配或无差别历史特征融合，既难以与当前子任务的环境锚点形成显式对应，也容易将无关历史观测引入动作决策，导致预测偏差在后续飞行中持续累积。此外，复杂导航指令通常包含多个具有时序关系的子目标和环境约束，而现有方法多将完整指令作为整体语义输入，未充分利用指令内在的阶段化结构来引导历史信息的任务相关检索，限制了记忆检索的精确性和可解释性。

4、因此，亟需一种能够将记忆能力从整体导航能力中分离并进行独立评测与增强的方法，通过建立任务指令的阶段化结构、历史感知信息的显式存储与任务相关检索之间的对应关系，对长时任务执行过程中的顺序保持、计数累计、历史回访和延迟触发等记忆能力进行系统性诊断，并在动作决策阶段实现任务相关历史信息的可控融合，以提升无人机视觉语言导航系统在复杂长航程任务中的执行可靠性与可解释性。

技术实现思路

1、本发明的主要目的在于提供一种基于记忆增强的无人系统指令交互与任务规划方法。

2、为达上述目的，本发明第一方面实施例提出了一种基于记忆增强的无人系统指令交互与任务规划方法，包括：

3、获取任务指令，对所述任务指令进行拆分处理，生成按任务执行顺序排列的多个指令单元，每个指令单元包含与对应子任务阶段相关联的环境锚点信息；

4、在每个任务执行周期的起始时刻，清空历史感知记忆库，并在任务执行过程中，采集无人系统的当前时刻环境感知数据，提取环境感知数据的特征信息，并将特征信息写入所述历史感知记忆库，更新所述历史感知记忆库；

5、按照所述指令单元的排列顺序逐次推进当前指令单元，根据当前指令单元的进度状态在所述历史感知记忆库中确定候选检索范围；

6、将当前指令单元中的环境锚点信息与所述候选检索范围内的各历史感知特征进行匹配，选取匹配度满足预设条件的历史感知特征作为任务相关记忆信息；

7、将当前时刻的规划决策特征作为查询，将任务相关记忆信息作为键和值，通过注意力机制进行融合处理，得到记忆增强的决策特征，将记忆增强的决策特征输入动作预测模块，生成后续任务规划结果，完成当前子任务阶段的路径点生成。

8、可选的，获取任务指令，对所述任务指令进行拆分处理，生成按任务执行顺序排列的多个指令单元，包括：

9、获取所述任务指令的完整文本描述，调用大语言模型接口，按照预定义的指令单元模板对所述任务指令进行结构化切分，使每条完整指令被划分为多个与子任务阶段一一对应的指令单元；

10、为每个所述指令单元标注对应的子任务阶段序号，使各指令单元按照任务执行阶段形成有序序列，并建立相邻指令单元之间的前后继关系；

11、将拆分完成的所述指令单元序列以结构化文件格式保存，作为后续记忆检索的条件依据。

12、可选的，每个指令单元包含与对应子任务阶段相关联的环境锚点信息，其中：

13、所述环境锚点信息为所述指令单元对应子任务阶段中记忆点所关联的环境地标或物体的语义描述，语义描述与仿真场景中预先布置的地标或物体之间存在显式的绑定关系；

14、所述环境锚点信息用于将自然语言指令中的局部语义单元映射为可计算的向量表征，向量表征通过分词和编码处理得到，且与所述历史感知记忆库中存储的记忆特征向量具有相同的特征维度；

15、所述环境锚点信息作为检索所述历史感知记忆库的查询条件，用于筛选与当前子任务阶段相关的历史感知特征。

16、可选的，在每个任务执行周期的起始时刻，清空历史感知记忆库，包括：

17、清空所述历史感知记忆库中存储的全部历史感知特征向量，确保当前任务执行周期内的历史信息不跨周期复用；

18、清空已记录的各指令单元对应的检索结果索引，避免上一周期的检索记录对当前周期造成干扰；

19、重置当前指令单元的进度状态至初始状态，使当前周期的指令单元序列从首个指令单元开始逐次推进；

20、加载当前任务执行周期对应的指令单元序列，作为当前周期内记忆检索的条件依据。

21、可选的，采集无人系统的当前时刻环境感知数据，提取环境感知数据的特征信息，并将特征信息写入所述历史感知记忆库，更新所述历史感知记忆库，包括：

22、在任务执行过程中，按时间步逐步采集无人系统的当前时刻环境感知数据，将所述环境感知数据输入多模态编码器，提取当前时刻的帧级特征表示，其中帧级特征包含视觉感知信息；

23、对帧级特征表示在序列维度上进行池化压缩，得到固定维度的记忆特征向量，以降低存储开销并统一特征维度；

24、将记忆特征向量沿时间维度拼接入所述历史感知记忆库，使所述历史感知记忆库按时间顺序累积存储当前任务执行周期内各历史时刻的记忆特征向量；

25、当所述历史感知记忆库中的记忆特征向量数量超过预设容量阈值时，保留时间顺序靠后的最新记忆特征向量，删除时间顺序最早的记忆特征向量。

26、可选的，根据当前指令单元的进度状态在所述历史感知记忆库中确定候选检索范围，包括：

27、获取当前指令单元的进度状态，其中进度状态用于指示当前已检索完成的指令单元在所述指令单元序列中的位置序号；

28、以进度状态为时间约束，将所述历史感知记忆库中位于已检索帧索引之后的历史感知特征确定为候选检索范围，使当前指令单元的检索仅在尚未被检索过的历史帧中进行；

29、在当前指令单元对应的检索完成并成功获取任务相关记忆信息后，更新所述进度状态，使下一指令单元的检索在更新后的进度状态下执行。

30、可选的，将当前指令单元中的环境锚点信息与所述候选检索范围内的各历史感知特征进行匹配，选取匹配度满足预设条件的历史感知特征作为任务相关记忆信息，包括：

31、将当前指令单元中的环境锚点信息的文本经分词和编码后映射为查询张量，所述查询张量与所述历史感知记忆库中的记忆特征向量具有相同的特征维度；

32、依次计算查询张量与所述候选检索范围内各历史感知特征之间的余弦相似度，并将余弦相似度从值域映射到预设区间，得到各历史感知特征与所述环境锚点信息的匹配度；

33、选取所述候选检索范围内匹配度最高的历史感知特征作为候选记忆信息，同时将所述匹配度与预设阈值进行比较；

34、当所述匹配度超过所述预设阈值时，将对应的历史感知特征接受为任务相关记忆信息，并记录该历史感知特征在所述历史感知记忆库中的帧索引，当所述匹配度未超过所述预设阈值时，放弃当前检索结果并维持当前进度状态。

35、可选的，将当前时刻的规划决策特征作为查询，将任务相关记忆信息作为键和值，通过注意力机制进行融合处理，得到记忆增强的决策特征，将记忆增强的决策特征输入动作预测模块，生成后续任务规划结果，包括：

36、将当前时刻的规划决策特征线性映射为查询向量，将任务相关记忆信息线性映射为键向量和值向量；

37、通过多头交叉注意力机制，计算查询向量与键向量之间的注意力权重，将注意力权重作用于所述值向量，得到任务相关记忆信息加权聚合后的记忆增强表示；

38、通过门控机制计算融合权重，利用融合权重将记忆增强表示与当前时刻的规划决策特征进行加权求和，得到记忆增强的决策特征，其中融合权重由可学习的门控参数控制，用于自适应调节历史信息与当前信息在记忆增强的决策特征中的占比；

39、将记忆增强的决策特征输入动作预测模块，生成当前子任务阶段的连续路径点序列，完成当前子任务阶段的路径规划。

40、本发明实施例具有以下有益效果：

41、（1）通过构建包含长序列、计数、绕圈、位置-环境-动作和前瞻触发五类任务的记忆评测基准，将记忆能力从整体导航能力中剥离，实现了对顺序保持、累计计数、历史回访和延迟触发等记忆能力的独立评测与诊断，克服了传统结果性指标难以区分记忆相关失败来源的缺陷。

42、（2）利用指令拆分得到的环境字段作为检索锚点，使历史记忆检索与当前子任务阶段的环境目标形成显式对应，避免了全局无差别历史匹配引入的噪声干扰，提升了任务相关历史信息检索的精确性和可解释性。

43、（3）所设计的记忆评测指标从部分完成程度、累计状态误差、严格任务成功和历史回访能力四个维度刻画模型表现，能够将模型失败归因到顺序状态丢失、计数状态错误、历史位置回访失败或前瞻触发失败等具体记忆失效类型，为记忆增强方法的改进提供了可量化的分析依据。

44、（4）通过记忆库写入、任务相关检索、交叉注意力融合与门控调节的协同机制，实现了历史信息与当前决策特征的自适应融合，在保持基本导航能力的同时显著提升了长航程多阶段任务场景下的执行可靠性与动作决策准确性。