一种基于集群中心状态预测的无人机编队控制方法及系统和存储介质

本发明涉及无人机集群控制，具体而言，涉及一种基于集群中心状态预测的无人机编队控制方法及系统和存储介质。

背景技术：

1、随着无人机技术的飞速进步，无人机编队控制已经成为了研究的热点领域。无人机编队控制技术旨在实现多架无人机之间的协同飞行，以完成特定的任务或形成某种预定的飞行形态。这一技术在军事、农业、物流和许多其他领域都有着广泛的应用前景。

2、近几年来，众多研究者致力于探索不同的无人机编队控制算法。其中，有些研究专注于固定翼无人机的编队控制问题，考虑如何使这些无人机在飞行中保持固定的距离和角度。另外，一些研究则关注于在特定环境中，如受限空间内，如何优化无人机的编队飞行。为了增强编队的稳定性和安全性，还有研究涉及到了障碍物避让、自适应领导-跟随者模型、以及基于不同角色的分布式协调控制等。为了更好地应对未知的干扰和运动约束，一些先进的方法如基于变步长的mpc-apcmpio算法也被提出。这些方法不仅提高了无人机编队的控制精度，还增强了系统的鲁棒性。同时，有的研究也通过实际的飞行实验来验证所提算法的有效性。

3、此外，在无人机集群控制中，强化学习、图论方法、以及生物启发式算法等先进技术被广泛应用。这些方法使得无人机能够在无gps环境中进行编队控制，并在网络延迟和通信不稳定的情况下保持系统的稳定性。此外，针对不同的应用需求，研究者们提出了多种针对特定任务的优化策略，如能量节约、障碍物规避、以及动态任务分配等。

4、虽然目前已有大量的针对无人机集群编队控制问题的研究，然而，当通信距离有限且通信环境不稳定时，无人机只能获取间断的局部集群状态。而无人机集群的协同一致控制需要集群全局信息的支撑，在缺乏集群全局信息的情况下，无法实现无人机集群编队的稳定保持。

技术实现思路

1、本发明要解决的技术问题是：

2、现有方法在通信距离有限、非稳定通信环境下，无人机集群编队控制缺乏全局信息，难以实现无人机集群编队的控制一致性和稳定保持。

3、本发明为解决上述技术问题所采用的技术方案：

4、本发明提供了一种基于集群中心状态预测的无人机编队控制方法，包括如下步骤：

5、步骤s1、基于无人机集群控制策略的观测状态和无人机集群控制策略的控制指令，构建无人机集群控制策略网络，基于深度强化学习方法对无人机集群控制策略网络进行训练；

6、步骤s2、利用训练后的无人机集群控制策略网络在仿真环境中生成无人机集群中心状态端到端预测网络的训练数据集；

7、步骤s3、构建无人机集群中心状态端到端预测网络，基于所述训练数据集对所述无人机集群中心状态端到端预测网络进行训练；

8、步骤s4、在无人机上部署训练完成的无人机集群控制策略网络与无人机集群中心状态端到端预测网络，控制无人机集群在非稳通信环境下实现队形稳定保持。

9、本发明首先采用深度强化学习中的集中式训练分布式执行的学习架构训练无人机集群控制策略网络；接着基于训练完成的无人机集群控制策略网络在仿真环境中生成无人机集群中心状态预测网络的训练数据；然后建立无人机集群中心状态端到端预测网络，采用监督学习的方式训练网络参数；最后，将训练完成的无人机集群控制策略网络与无人机集群中心状态预测网络部署在无人机上，控制无人机集群按照预设的编队飞行。本发明方法建立了无人机集群行为预测网络与无人机集群分布式控制策略，在集群通信不稳定时，通过处理无人机观测到的局部时序信息预测无人机集群中心的状态，解决非稳定通信环境下无人机集群编队难保持的问题。

10、进一步地，步骤s1中所述无人机集群控制策略的观测状态为：在t时刻，无人机集群中的任意一个无人机的观测状态为其中，表示无人机集群的目标点相对当前无人机的位置信息；表示与当前无人机可以通信的临机无人机的状态，包含相对位置与相对速度信息；表示在当前无人机感知范围内的障碍物信息，包含当前无人机与障碍物的相对位置信息；表示预设的无人机集群队形中，当前无人机相对集群中心的期望位置；表示当前无人机相对无人机集群中心的状态，包含相对位置与相对速度信息；

11、无人机集群控制策略的控制指令为无人机控制指令与当前无人机实际状态之间的偏差a＝(δvh，δχ，δh)，其中，δvh为无人机的速度大小控制指令与当前无人机实际速度大小之间的偏差、δχ为无人机的航向角控制指令与当前无人机实际航向角之间的偏差、δh为无人机的高度控制指令与当前无人机实际高度之间的偏差。

12、进一步地，步骤s1中所述无人机集群控制策略网络包括3层处理单元，第一层与第二层均为128个非线性处理单元，激活函数为relu；第三层具有两路输出，第一路输出具有3个非线性处理单元，激活函数为tanh，输出值为无人机控制指令的均值第二路输出具有3个线性处理单元，激活函数为linear，输出值为无人机控制指令的对数标准差σlog。

13、进一步地，步骤s1还包括构建无人机集群编队控制的奖励函数：

14、rt＝rtg+rtf+rtcmd+rtcol

15、式中，rt表示无人机在t时刻接收到的奖励值，rtg表示与目标点相关的奖励值，rtf表示与队形保持相关的奖励值，rtcol表示与无人机安全避碰相关的奖励值，rtcmd表示与无人机指令平滑相关的奖励值；

16、其中，rtg由下式计算：

17、

18、式中，表示t时刻当前无人机与目标点之间的相对距离，表示t-1时刻当前无人机与目标点之间的相对距离，表示t时刻当前无人机与目标点之间的相对方位角，δhtg表示t时刻当前无人机与目标点之间的相对高度差，rg表示目标区域的半径；

19、rtf由下式计算：

20、

21、式中，表示t时刻当前无人机相对无人机集群中心的航向角偏差，表示t时刻当前无人机相对无人机集群中心的速度大小偏差，表示t时刻当前无人机相对预设队形期望位置的偏差；

22、rtcol由下式计算：

23、

24、式中，表示当前无人机相对集群内其他无人机的最小距离，表示当前无人机相对于障碍物的最小距离；

25、rtcmd由下式计算：

26、

27、式中，表示t时刻无人机的控制指令，χc(t-1)和hc(t-1)表示t-1时刻无人机的控制指令。

28、进一步地，步骤s1中所述基于深度强化学习方法对无人机集群控制策略网络进行训练，具体为：假设每个无人机可以获得无人机集群中心状态的真值，令无人机集群控制策略网络为πφ，φ为网络参数，无人机集群控制策略动作-值网络为qθ(st，at)，θ为网络参数，根据强化学习算法，无人机集群控制策略网络参数、无人机集群控制策略动作-值网络参数以及温度调节系数α通过最小化如下的目标函数进行更新：

29、

30、式中，表示存储无人机集群交互经验的数据经验池，表示目标动作-值网络，γ表示折扣因子，表示目标熵。

31、进一步地，步骤s2包括以下步骤：

32、步骤s2-1、随机初始化仿真环境，加载训练好的无人机集群控制策略网络参数φ；

33、步骤s2-2、无人机集群中的无人机i观测到的状态t-k+1到t时刻连续k帧的与当前无人机通信的最近的多个无人机的状态以及全局集群中心状态与当前局部集群中心状态的偏差

34、步骤s2-3、集群中的每个无人机按照无人机集群控制策略的输出执行机动动作，仿真状态按照设定的步长进行递推；

35、步骤s2-4、将数据对存入数据集θ；

36、步骤s2-5、重复执行步骤s2-1至步骤s2-4，至收集到满足数量要求的无人机集群中心状态端到端预测网络训练数据。

37、进一步地，步骤s3包括如下步骤：

38、步骤s3-1、构建无人机集群中心状态端到端预测网络，令无人机集群中心状态端到端预测网络的输入状态为输出状态为令无人机集群中心状态端到端预测网络为为网络参数；

39、步骤s3-2、从数据集θ中随机采样一个包含ksl条经验数据的批数据；

40、步骤s3-3、通过如下损失函数更新无人机集群中心状态端到端预测网络参数

41、

42、步骤s3-4、重复执行步骤s3-2到步骤s3-3，至无人机集群中心状态端到端预测网络训练收敛。

43、进一步地，步骤s3-1中所述无人机集群中心状态端到端预测网络基于长短期记忆网络，包括5层网络，第1层网络为lstm单元，用于处理时序观测信息，第2-4层网络为激活函数为relu的全连接层，最后一层网络为激活函数为tanh的全连接层。

44、本发明提供了一种基于集群中心状态预测的无人机编队控制系统，该系统具有与上述技术方案任一项所述方法的步骤对应的程序模块，运行时执行上述的基于集群中心状态预测的无人机编队控制方法中的步骤。

45、本发明还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序配置为由处理器调用时实现上述技术方案中任一项所述的基于集群中心状态预测的无人机编队控制方法中的步骤。

46、相较于现有技术，本发明的有益效果是：

47、本发明构建的针对非稳定通信环境的无人机集群中心状态端到端预测网络，通过处理无人机观测到的局部时序信息推理无人机集群中心的状态，在非稳定通信环境下使无人机之间信息交互稳定且解决了无人机集群编队控制缺乏无人机集群全局信息的问题；2)通过深度强化学习中的集中式训练分布式执行架构，训练的无人机集群编队控制策略网络与无人机集群中心状态端到端预测网络，可控制无人机集群在非稳定通信环境中实现稳定编队保持，提升无人机集群在恶劣通信情况下的编队保持效果，在集群控制一致性与队形保持能力方面具有明显的优势。

48、通过仿真实验，本发明方法在训练过程中可以赋予无人机获取无人机集群中心状态的能力使得无人机集群控制策略网络的训练快速稳定并收敛，无人机集群中心状态端到端预测网络在非稳定环境中可以准确预测出无人机集群中心的状态，结合无人机集群中心状态端到端预测网络的无人机集群控制策略网络在集群控制一致性与队形保持能力方面具有明显的优势。