一种无人机集群调度方法、系统、设备及介质与流程

本技术涉及无人机控制，尤其涉及一种无人机集群调度方法、系统、设备及介质。

背景技术：

1、随着无人机技术的快速发展，无人机集群协同执行任务已成为应急救援、区域巡逻等复杂场景中的关键技术手段。相较于单机作业，无人机集群在任务覆盖范围与容错能力方面具有显著优势。然而，如何在动态环境下实现多机间的高效协同调度，已成为制约其规模化应用的核心难题。

2、针对无人机集群任务调度问题的实时特性，现有技术通常采用深度强化学习方法，其通过智能体与环境的持续交互自主学习优化调度策略，已被广泛应用于无人机集群任务调度领域。然而，深度强化学习方法在无人机集群在线任务调度中的可靠性仍存在显著不足：一方面，策略网络在训练初期需要大量随机探索才能获得有效策略，收敛速度慢、训练效率低；另一方面，无人机在执行任务过程中受到严格的物理约束（如飞行速度限制、能耗限制、避碰要求等），但现有深度强化学习方法在策略网络输出动作时缺乏实时安全校验机制，输出的动作可能违反物理约束，导致无人机坠毁、电量耗尽或任务失败。因此，现有深度强化学习方法在无人机集群在线任务调度中的可靠性较低，难以满足实际应用需求。

技术实现思路

1、本技术提供了一种无人机集群调度方法、系统、设备及介质，能够解决现有技术采用深度强化学习方法，在无人机集群在线任务调度中的可靠性较低的问题。

2、本技术一些实施例中提供了一种无人机集群调度方法，包括：

3、采集无人机集群中各无人机的历史状态数据，根据所述历史状态数据，通过具有全局搜索特性的第一量子优化模块和具有局部搜索特性的第二量子优化模块交替搜寻预构建的策略网络的最优参数，并通过所述最优参数初始化所述策略网络；

4、采集各所述无人机的实时状态数据，将所述实时状态数据输入所述策略网络，得到各所述无人机的预测作业动作；

5、通过预设的李雅普诺夫函数对每一所述预测作业动作分别进行可行性判定，若判定结果为不满足物理约束，则对所述预测作业动作进行修正，得到满足物理约束条件的作业调度指令集；

6、根据所述实时状态数据以及所述作业调度指令集，生成所述无人机集群的充电调度方案；

7、根据所述作业调度指令集与所述充电调度方案，对所述无人机集群进行协同调度。

8、相比现有技术，上述实施例具有以下有益效果：本技术通过量子优化模块对策略网络进行预训练，使策略网络在训练初期即具备有效的探索方向，避免从随机初始化开始的盲目探索；同时，通过李雅普诺夫函数对策略网络输出的每一个预测作业动作分别进行可行性判定，并对不满足约束的动作进行修正，确保最终输出的作业调度指令满足飞行速度、能耗、避碰等物理约束条件。在此基础上，根据实时状态数据和作业调度指令集生成充电调度方案，使充电调度与任务执行相互配合。上述手段从训练效率和执行安全性两个层面提升了深度强化学习方法在无人机集群在线任务调度中的可靠性。

9、进一步地，所述根据所述历史状态数据，通过具有全局搜索特性的第一量子优化模块和具有局部搜索特性的第二量子优化模块交替搜寻预构建的策略网络的最优参数，并通过所述最优参数初始化所述策略网络，包括：

10、将所述策略网络的待优化参数编码为多个个体，由所有所述个体构成当前种群；其中，每个所述个体对应一组参数编码；

11、根据所述历史状态数据，通过所述第一量子优化模块与所述第二量子优化模块交替迭代更新所述当前种群，直至满足预设的迭代终止条件，得到最终种群；其中，每轮交替中，通过所述第一量子优化模块对所述当前种群进行全局搜索，得到第一种群，将所述第一种群传递给所述第二量子优化模块，通过所述第二量子优化模块对所述第一种群执行局部搜索，得到第二种群，并将所述第二种群回传给所述第一量子优化模块，作为下一轮交替的所述当前种群；

12、将所述最终种群中的全局最优个体对应的参数编码映射为所述策略网络的初始参数，完成对所述策略网络的训练。

13、相比现有技术，上述实施例具有以下有益效果：通过将策略网络的待优化参数编码为种群个体，利用第一量子优化模块的全局搜索能力与第二量子优化模块的局部搜索能力交替迭代更新种群，使预训练过程在全局探索与局部精细化搜索之间取得平衡，最终将全局最优个体的参数编码映射为策略网络的初始参数。该预训练方式能够在不增加额外环境交互成本的前提下，为策略网络提供较优的初始参数，减少训练初期的随机探索开销。

14、进一步地，所述策略网络包括底层特征提取网络、动作输出分支和优先级输出分支；所述将所述实时状态数据输入所述策略网络，得到各所述无人机的预测作业动作，包括：

15、将各所述无人机的实时状态数据输入所述策略网络；

16、通过所述底层特征提取网络对所述实时状态数据进行特征提取，得到共享特征；

17、通过所述动作输出分支对所述共享特征进行线性映射与非线性激活处理，输出各所述无人机的预测作业动作；

18、通过所述优先级输出分支对所述共享特征进行线性映射与价值估计处理，输出各所述预测作业动作对应的任务优先级。

19、相比现有技术，上述实施例具有以下有益效果：策略网络通过共享的底层特征提取网络提取实时状态数据的共享特征，动作输出分支和优先级输出分支分别基于该共享特征同时输出预测作业动作和任务优先级。两个分支共享特征提取网络，使得预测作业动作生成与任务优先级推断保持一致性，同时避免了为优先级推断单独构建和维护独立计算模块所增加的系统复杂度。

20、进一步地，所述实时状态包括：所述无人机的剩余电量以及距充电桩的距离；所述根据所述实时状态数据以及所述作业调度指令集，生成所述无人机集群的充电调度方案，包括：

21、根据所述剩余电量和所述距离，计算各所述无人机的充电紧迫度指标；

22、确定所述作业调度指令集中各所述预测作业动作对应的任务分布位置；

23、根据任务分布位置、所述任务优先级和所述充电紧迫度指标，生成所述无人机集群的充电调度方案。

24、相比现有技术，上述实施例具有以下有益效果：在充电调度方案生成过程中，根据实时状态中的剩余电量和距充电桩的距离计算各无人机的充电紧迫度指标，并结合策略网络的优先级输出分支给出的任务优先级以及各预测作业动作对应的任务分布位置共同生成充电调度方案。该方式使充电调度的决策依据同时涵盖无人机的自身电量状态与待执行任务的重要程度，充电时机与路线的选择与当前作业调度任务相匹配。

25、进一步地，所述根据任务分布位置、所述任务优先级和所述充电紧迫度指标，生成所述无人机集群的充电调度方案，包括：

26、根据所述充电紧迫度指标以及所述任务优先级对所述无人机进行排序，生成充电顺序；

27、针对每一所述无人机，根据所述无人机的当前位置与目标充电桩位置之间的路径长度，评估路径长度代价；

28、针对每一所述无人机，根据所述任务分布位置以及对应所述预测作业动作的所述任务优先级，评估任务中断风险代价；

29、针对每一所述无人机，以所述路径长度代价与所述任务中断风险代价的加权和最小为目标，搜索确定所述无人机的返回路径；

30、根据所述充电顺序和各所述返回路径，生成所述无人机集群的充电调度方案。

31、相比现有技术，上述实施例具有以下有益效果：在路径规划算法中，代价函数同时包含路径长度代价和任务中断风险代价，任务中断风险代价根据路径点与各任务分布位置之间的距离以及对应预测作业动作的任务优先级评估获取。该代价函数设计使得路径规划在搜索较短路线的同时，能够识别并规避高优先级任务区域，减少因无人机离开作业区域前往充电而导致任务中断的风险。

32、进一步地，所述预测作业动作包括若干个动作分量，每一所述动作分量对应一约束条件；所述通过预设的李雅普诺夫函数对每一所述预测作业动作分别进行可行性判定，若判定结果为不满足物理约束，则对所述预测作业动作进行修正，包括：

33、将各所述预测作业动作的所述动作分量输入所述李雅普诺夫函数，以根据各所述动作分量与对应约束条件的偏差计算惩罚分量，并根据各所述惩罚分量加权求和得到各所述预测作业动作的稳定性评估值；

34、若所述稳定性评估值超出预设安全阈值，则识别对应所述预测作业动作中所述动作分量违反对应所述约束条件的越界动作分量；

35、根据所述约束条件，通过逐维投影方式对每一所述预测作业动作中的各所述越界动作分量进行修正。

36、相比现有技术，上述实施例具有以下有益效果：通过李雅普诺夫函数对各动作分量与对应约束条件的偏差进行惩罚分量计算并加权求和，得到稳定性评估值，当评估值超出阈值时，识别出具体的越界动作分量，并采用逐维投影方式将各越界动作分量直接修正至对应的约束边界。该方式能够快速定位导致不满足约束的具体动作维度，并按约束边界进行直接修正，无需引入额外的优化求解过程，计算开销小。

37、进一步地，所述对所述无人机集群进行协同调度后，包括：

38、获取所述作业调度指令集执行后各所述无人机的任务执行反馈数据；

39、根据所述任务执行反馈数据与预设优化目标的偏差，构建奖励函数；

40、采用预设的策略优化算法，根据所述奖励函数对所述策略网络进行梯度更新。

41、相比现有技术，上述实施例具有以下有益效果：在执行作业调度指令集后，获取各无人机的任务执行反馈数据，根据反馈数据与预设优化目标的偏差构建奖励函数，采用策略优化算法对策略网络进行梯度更新。该反馈机制使策略网络能够根据实际执行效果持续调整，实现在线学习与优化。

42、本技术另一实施例还提供了一种无人机集群调度系统，所述无人机集群调度系统用于实现如本技术无人机集群调度方法的步骤。

43、本技术另一实施例还提供了一种终端设备，包括：处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，处理器执行所述计算机程序时，实现如本技术无人机集群调度方法的步骤。

44、本技术另一实施例还提供了一种计算机可读存储介质项，包括：存储的计算机程序，在计算机程序运行时，控制计算机可读存储介质所在的设备执行如本技术无人机集群调度方法的步骤。