一种基于多模态感知的无人机协同任务规划方法与流程

本发明涉及无人机协同任务规划领域，尤其涉及一种基于多模态感知的无人机协同任务规划方法。

背景技术：

1、随着无人机在巡检、测绘、物流运输、应急救援及安防监测等场景中的广泛应用，多架无人机协同执行任务已成为提升作业效率和扩大任务覆盖范围的重要技术手段，现有无人机协同任务规划方法通常综合利用可见光图像、红外图像、激光雷达点云、飞行状态及位置信息，对无人机任务进行路径规划、任务分配及避碰控制，以实现多架无人机之间的协同作业。

2、然而，现有技术大多侧重于单架无人机状态感知或局部避碰分析，缺乏面向任务执行过程的任务影响域建模能力，难以准确表征不同任务在空间和时间上的相互影响关系，导致任务之间的潜在交叠关系难以及时识别；同时，对于任务动态变化引起的协同关系调整，多采用整体重新规划方式，计算开销较大，难以满足多无人机场景下协同任务规划的实时性和动态更新需求，从而影响协同任务规划结果的准确性及执行效率。

技术实现思路

1、本发明的一个目的在于提出一种基于多模态感知的无人机协同任务规划方法，本发明利用任务影响域感知perceiver io模型，实现无人机协同任务规划，具备规划准确、响应快速的优点。

2、根据本发明实施例的一种基于多模态感知的无人机协同任务规划方法，包括如下步骤：

3、采集无人机执行任务过程中的可见光图像、红外图像、激光雷达点云、飞行状态数据、位置信息及任务信息，预处理生成多模态感知数据集；

4、将多模态感知数据集输入任务影响域感知perceiver io模型，所述任务影响域感知perceiver io模型包括多模态感知编码层、任务查询构建层、影响边界扩展层、影响域交叠注意层及协同规划输出层，通过多模态感知编码层和任务查询构建层生成任务查询集合；

5、依据任务查询集合，利用影响边界扩展层构建各任务对应的任务影响域，生成任务影响域集合；

6、调用影响域交叠注意层，对任务影响域集合中的各任务影响域进行两两关联分析，确定各任务影响域之间的交叠关系，生成影响域交叠关系集合；

7、基于影响域交叠关系集合确定各任务之间的协同执行关系，并通过协同规划输出层生成协同任务规划结果；

8、根据实时更新的多模态感知数据，同步更新任务影响域集合、影响域交叠关系集合、协同执行关系及协同任务规划结果，输出无人机协同任务规划结果。

9、可选的，所述预处理具体包括时间同步、坐标统一、异常剔除和标准化处理。

10、可选的，所述任务查询集合的生成具体包括：

11、将多模态感知数据集输入任务影响域感知perceiver io模型，并将多模态感知数据集分别发送至多模态感知编码层进行编码处理；

12、多模态感知编码层分别对可见光图像、红外图像、激光雷达点云、飞行状态数据、位置信息及任务信息进行编码，生成编码特征，并按照统一特征维度进行映射处理，形成多模态编码特征集合；

13、将多模态编码特征集合输入任务查询构建层，遍历各任务的任务信息，提取与各任务对应的多模态编码特征，并按照任务标识进行对应关联，形成任务候选特征集合；

14、任务查询构建层以各任务对应的任务信息作为查询向量，对任务候选特征集合中的多模态编码特征执行交互查询处理，生成任务查询特征；

15、对各任务查询特征按照任务标识进行归集，并建立各任务查询特征与任务之间的映射关系，生成任务查询集合。

16、可选的，所述任务影响域集合的生成具体包括：

17、将任务查询集合输入影响边界扩展层，依次读取任务查询集合中的各任务查询，并提取各任务查询对应的位置信息、飞行状态数据及任务信息；

18、影响边界扩展层分别以各任务查询为中心，根据对应的位置信息、飞行状态数据及任务信息执行边界扩展计算，生成各任务查询对应的第一扩展结果，并将各第一扩展结果作为下一轮边界扩展计算的初始输入；

19、影响边界扩展层根据第一扩展结果继续执行边界扩展计算，并将本轮边界扩展计算得到的扩展结果与上一轮边界扩展计算得到的扩展结果进行对应更新，连续执行边界扩展计算，直至连续两轮边界扩展计算得到的扩展结果不再发生变化，生成各任务对应的任务影响域；

20、对各任务对应的任务影响域进行统一组织，并按照任务标识建立各任务影响域与任务之间的对应关系；

21、按照任务标识对各任务影响域进行归集处理，生成任务影响域集合。

22、可选的，所述影响域交叠关系集合的生成具体包括：

23、将任务影响域集合输入影响域交叠注意层，按照任务标识依次读取各任务影响域，并将各任务影响域分别与其余任务影响域进行两两组合处理，生成任务影响域组合；

24、影响域交叠注意层分别读取各任务影响域组合，对两个任务影响域包含的空间位置及对应时间进行同步对应处理，生成对应排列结果；

25、影响域交叠注意层依据对应排列结果执行交叠关联计算，确定两个任务影响域在各对应时间下共同覆盖的空间位置，并按照对应时间对共同覆盖的空间位置进行连续关联，生成各任务影响域组合对应的交叠部分；

26、根据各任务影响域组合对应的交叠部分，确定对应任务影响域之间的交叠关系，并建立各交叠关系与对应任务影响域组合之间的对应关系。

27、可选的，所述协同任务规划结果的生成具体包括：

28、将影响域交叠关系集合输入协同规划输出层，按照任务标识提取各交叠关系对应的任务、空间位置及对应时间，并将同一任务对应的各交叠关系按照对应时间进行排列；

29、对排列后的各交叠关系执行协同关联计算，根据共同覆盖空间位置及其对应时间，确定各任务之间的共同执行关系、错时执行关系或者空间避让关系，生成协同执行关系；

30、针对共同执行关系，按照任务信息确定对应任务的进入顺序、任务执行内容及退出顺序；

31、针对错时执行关系，调整对应任务的进入时间或者退出时间，使各任务对应时间相互错开；

32、针对空间避让关系，根据位置信息及飞行状态数据调整对应任务的飞行方向、飞行高度或者飞行路径；

33、将调整结果与对应任务标识及协同执行关系进行关联；

34、按照对应时间对各任务的协同执行关系及调整结果进行统一排列，并将未形成交叠关系的任务按照原任务信息进行保留，生成协同任务规划结果。

35、可选的，所述无人机协同任务规划结果的生成具体包括：

36、获取当前多模态感知数据，提取各任务对应的位置信息、飞行状态数据及任务信息，并与协同任务规划结果对应的任务信息进行比对，确定发生变化的任务；

37、根据发生变化的任务重新生成对应任务的任务影响域，并确定与更新后的任务影响域存在共同覆盖空间位置的受影响任务；

38、针对受影响任务重新确定影响域交叠关系集合，并根据更新后的影响域交叠关系集合重新确定对应的共同执行关系、错时执行关系或者空间避让关系；

39、根据重新确定的共同执行关系、错时执行关系或者空间避让关系，对受影响任务对应的进入时间、退出时间、飞行方向、飞行高度或者飞行路径进行调整，生成更新后的调整结果；

40、将更新后的调整结果与未受影响任务对应的原协同任务规划结果进行合并，并按照对应时间重新排列，生成更新后的无人机协同任务规划结果。

41、本发明的有益效果是：

42、本发明提出了一种基于多模态感知的无人机协同任务规划方法，通过融合可见光图像、红外图像、激光雷达点云、飞行状态数据、位置信息及任务信息，构建任务影响域感知perceiver io模型，对多源感知信息进行统一编码与融合分析，进一步生成任务影响域集合及影响域交叠关系集合，并据此确定共同执行关系、错时执行关系或空间避让关系，实现无人机协同任务规划，相比现有技术仅针对单架无人机状态或局部避碰进行分析，本发明能够从任务执行层面对不同无人机任务之间的空间影响及时间影响进行统一建模，提高多无人机协同任务规划的整体准确性。

43、同时，本发明通过构建任务影响域及影响域交叠关系，在任务执行过程中能够准确识别不同任务之间的潜在影响关系，并依据影响关系生成对应的协同执行关系，使协同任务规划结果更加符合实际飞行场景，当无人机飞行状态、任务信息或环境感知信息发生变化时，仅对发生变化任务对应的任务影响域、影响域交叠关系及协同任务规划结果进行更新，无需对全部任务重新规划，有效降低了动态调整过程中的计算开销，提高了协同任务规划的实时响应能力和动态更新效率，从而能够更好地适应复杂、多变的无人机协同作业场景，提高无人机协同任务执行效率及整体运行稳定性。