飞行器集群编队保持与协同避障控制方法及设备

本技术涉及一种飞行器集群编队保持与协同避障控制方法及电子设备，属于飞行器集群控制。

背景技术：

1、多飞行器集群系统在巡逻侦察、灾害搜救、区域监视以及自主协同作战等领域具有广阔的应用前景，在飞行器集群执行任务过程中，通常需要同时满足以下要求：保持预定编队结构；避免飞行器之间发生碰撞；规避环境中的障碍物和禁飞区域以及保证整体任务目标顺利完成。

2、目前相关技术中，深度强化学习能够通过与环境交互自主学习控制策略，具有较好的环境适应能力。然而目前相关技术中的深度强化学习方法主要依靠奖励函数实现控制目标优化，当空域环境复杂且存在多约束耦合与环境不确定性时，往往因缺乏硬安全约束容易引发奖励篡改，且面临稀疏碰撞样本利用效率低下的局限，无法同时兼顾复杂含障空间内集群编队的构型稳定保持与实时避障安全。

技术实现思路

1、本技术公开了一种飞行器集群编队保持与协同避障控制方法及电子设备。

2、本技术实施方式中的飞行器集群编队保持与协同避障控制方法，包括如下步骤：

3、根据飞行器集群的原始状态观测信息，基于预设的安全软演员-评论家算法，构建飞行器集群控制模型；

4、基于所述飞行器集群控制模型，根据所述飞行器集群中任意飞行器的相对观测状态，确定针对所述飞行器集群中任意所述飞行器的控制指令，以控制所述飞行器集群执行编队保持或者执行协同避障。

5、在某些实施方式中，所述根据飞行器集群的原始状态观测信息，基于预设的安全软演员-评论家算法，构建飞行器集群控制模型，包括：

6、获取所述飞行器集群的原始状态观测信息，以确定所述飞行器集群中任意所述飞行器的状态观测向量，其中所述原始状态观测信息包括所述飞行器集群中任意所述飞行器的原始目标观测信息、原始邻居观测信息、原始障碍物观测信息以及原始自身飞行状态观测信息；

7、根据所述状态观测向量以及所述飞行器集群的属性参数，构建任务奖励函数以及受约束马尔可夫决策过程的安全代价信号；

8、根据所述飞行器集群的连续动作控制指令、所述状态观测向量、所述任务奖励函数以及所述安全代价信号，基于预设的安全软演员-评论家算法，构建所述飞行器集群控制模型，其中所述连续动作控制指令是预先根据所述飞行器集群中任意所述飞行器的运动学参数以及动力学参数构建的。

9、在某些实施方式中，所述根据所述状态观测向量以及所述飞行器集群的属性参数，构建任务奖励函数以及受约束马尔可夫决策过程的安全代价信号，包括：

10、根据所述原始目标观测信息、预设的第一归一化因子以及预设的第一权重系数，构建目标突击引导奖励函数，其中所述属性参数包括所述第一归一化因子以及所述第一权重系数；

11、根据所述原始目标观测信息、预设的第二归一化因子以及预设的第二权重系数，基于严格的李雅普诺夫稳定性理论构建编队协同保持奖励函数，其中所述属性参数包括所述第二归一化因子以及所述第二权重系数；

12、根据所述原始目标观测信息、预设的预警边界参数以及预设的奖励系数，构建稠密避障引导奖励函数，其中所述属性参数包括所述预警边界参数以及所述奖励系数；

13、根据所述目标突击引导奖励函数、所述编队协同保持奖励函数以及所述稠密避障引导奖励函数，构建所述任务奖励函数。

14、在某些实施方式中，所述根据所述原始目标观测信息、预设的第一归一化因子以及预设的第一权重系数，构建目标突击引导奖励函数，包括：

15、根据所述飞行器集群中任意飞行器距离目标的相对距离、预设的相对距离归一化因子以及预设的相对距离权重系数，构建位置进度奖励子函数，其中所述任意飞行器距离目标的相对距离根据所述原始目标观测信息确定，所述第一归一化因子包括所述相对距离归一化因子，所述第一权重系数包括所述相对距离权重系数；

16、根据所述飞行器集群中任意飞行器自身的速度在目标视线方向上的投影、预设的速度归一化因子、预设的速度权重系数，构建速度对齐奖励子函数，其中所述任意飞行器自身的速度在目标视线方向上的投影根据所述原始目标观测信息确定，所述第一归一化因子包括所述速度归一化因子，所述第一权重系数包括所述速度权重系数；

17、根据所述飞行器集群中任意飞行器与目标的位置关系，构建任务完成稀疏奖励子函数，其中所述位置关系根据所述原始目标观测信息确定，所述任务完成稀疏奖励子函数的取值为0或预设函数值，所述预设函数值大于所述位置进度奖励子函数以及所述速度对齐奖励子函数的最大函数值，所述预设函数值被配置为表示巨大的正向激励；

18、根据所述位置进度奖励子函数、所述速度对齐奖励子函数以及所述任务完成稀疏奖励子函数，构建所述目标突击引导奖励函数。

19、在某些实施方式中，所述编队协同保持奖励函数的公式为：

20、

21、其中为所述编队协同保持奖励函数，表示基于虚拟弹簧模型的位置误差势能，表示基于虚拟阻尼模型由于做负功而产生的能量耗散，表示所述飞行器集群的位置协同误差，表示所述飞行器集群的速度协同误差，为刚度权重系数，为阻尼权重系数，为位置归一化因子，为速度归一化因子；

22、所述位置协同误差以及所述速度协同误差根据所述原始目标观测信息确定，所述第二归一化因子包括所述位置归一化因子以及所述速度归一化因子，所述第二权重系数包括所述刚度权重系数以及所述阻尼权重系数。

23、在某些实施方式中，所述稠密避障引导奖励函数的公式为：

24、

25、其中为所述稠密避障引导奖励函数，为所述奖励系数，为所述飞行器集群距离障碍物中心的最小距离，为障碍物的等效危险半径，表示所述预警边界参数；

26、所述最小距离以及所述等效危险半径根据所述原始目标观测信息确定。

27、在某些实施方式中，所述根据所述状态观测向量以及所述飞行器集群的属性参数，构建任务奖励函数以及受约束马尔可夫决策过程的安全代价信号，还包括：

28、以所述飞行器集群距离障碍物中心的最小距离、障碍物的等效危险半径、以及预设的安全缓冲距离为条件，构建所述安全代价信号，其中所述安全代价信号的取值为0或1。

29、在某些实施方式中，所述根据所述飞行器集群的连续动作控制指令、所述状态观测向量、所述任务奖励函数以及所述安全代价信号，基于预设的安全软演员-评论家算法，构建所述飞行器集群控制模型，包括：

30、根据所述状态观测向量以及所述连续动作控制指令，基于所述安全软演员-评论家算法，构建策略网络、双路任务评判网络以及代价评判网络；

31、根据预设的拉格朗日乘子、所述策略网络、所述双路任务评判网络以及所述代价评判网络，构建多个损失函数；

32、根据所述飞行器集群中任意飞行器对应的所述状态观测向量、所述连续动作控制指令、所述任务奖励函数以及所述安全代价信号，构建与所述任意飞行器对应的综合优先级参数；

33、根据所述综合优先级参数，更新所述损失函数，以构建所述飞行器集群控制模型。

34、在某些实施方式中，所述基于所述飞行器集群控制模型，根据所述飞行器集群中任意飞行器的相对观测状态，确定针对所述飞行器集群中任意所述飞行器的控制指令，以控制所述飞行器集群执行编队保持或者执行协同避障，包括：

35、初始化所述飞行器集群的初始物理状态，并初始化所述飞行器集群控制模型；

36、获取所述飞行器集群中任意飞行器的相对观测状态；

37、将所述相对观测状态输入所述飞行器集群控制模型的策略网络，确定任意所述飞行器的连续动作指令；

38、对所述连续动作指令执行双曲正切激活限幅以及线性逆映射，使所述任意飞行器满足对应的最大可用过载物理边界约束条件，以确定所述控制指令。

39、本技术实施方式中的电子设备包括存储器及处理器，所述存储器存储有计算机程序，在所述计算机程序被所述处理器执行的情况下，实现上述实施方式中的飞行器集群编队保持与协同避障控制方法。

40、本技术的有益效果是：本技术利用安全软演员-评论家算法，一方面通过将位置与速度协同误差映射为虚拟弹性势能与阻尼耗散能推导连续协同奖励函数，可以填补硬安全约束的缺口，从而解决奖励函数出现奖励篡改的问题，另一方面通过向稠密任务奖励与稀疏安全代价解耦的受约束马尔可夫决策过程框架引入拉格朗日乘子，自适应调节经验回放策略的优先级，以保证飞行器集群编队内部防碰撞的稳定编队构型以及编队外针对障碍物的协同稳定绕飞。