基于深度强化学习的无人机集群抗干扰通信决策方法

本发明涉及基于深度强化学习的无人机集群抗干扰通信决策方法，属于无人机通信。

背景技术：

1、随着低空经济的快速发展，无人机集群在物流配送、应急救援、环境监测等场景中得到日益广泛的应用。无人机集群通信系统通常由多个无人机簇构成，每个簇包含一个簇头和若干个簇成员，簇头负责为其所有簇成员进行通信决策。无人机集群通信面临以下技术挑战：一是电磁环境复杂多变，通信链路易受全频带噪声、周期扫频、随机跳频等多种动态干扰的影响；二是频谱资源受限，多无人机共享频段导致同频干扰严重；三是无人机机载电池容量有限，高功率发射虽能提升抗干扰能力但会显著缩短续航时间。

2、现有抗干扰通信决策方法主要包括传统跳频扩频方法、基于认知无线电的方法以及基于深度强化学习的方法。传统方法基于预设的跳频图案或扩频序列，决策规则固定，无法适应动态变化的干扰环境。认知无线电方法依赖频谱感知结果，感知精度和实时性难以保证，且在多无人机场景中开销较大。基于深度强化学习的单无人机方法在固定干扰参数下训练，策略泛化能力有限，环境参数变化后性能显著下降。现有多智能体强化学习方法将多机问题拆分为多个独立单机决策，各智能体独立学习自身策略，缺乏有效的协同决策机制。

3、此外，现有方法大多将信道选择与发射功率控制作为两个独立问题进行决策，或采用固定发射功率等级，未能充分考虑信道选择与功率控制之间的耦合关系，无法实现二者的联合优化决策。总体而言，现有技术大多基于固定的干扰参数和经验规则，过分依赖预设的知识和静态的决策模型，系统缺乏灵活性和自适应能力，难以有效应对复杂多变的电磁干扰环境。

技术实现思路

1、针对现有无人机通信中决策模型静态化、对复杂多变的电磁干扰环境适应性不足的问题，本发明提供一种基于深度强化学习的无人机集群抗干扰通信决策方法。

2、本发明的一种基于深度强化学习的无人机集群抗干扰通信决策方法，包括，

3、所述无人机集群包括多个无人机簇；将通信系统的时间轴划分为多个等长的时隙，每个时隙依次包括频谱感知阶段、决策阶段、数据传输阶段和学习阶段；

4、步骤一：每个无人机簇的簇头在每个时隙的频谱感知阶段对当前频谱环境进行扫描，获取包括相邻前一次通信信道信干噪比、相邻前一次通信信道选择、相邻前一次发射机发射功率及当前通信干扰机选择信道的当前信道状态信息；

5、步骤二：在决策阶段，每个无人机簇的簇头采用深度强化学习网络根据所述当前信道状态信息获得每个无人机簇所有簇成员的当前决策结果，包括当前通信信道选择和当前发射机发射功率；

6、步骤三：在数据传输阶段，每个无人机簇的簇头根据当前决策结果向其它簇成员传递对应的决策结果；每个簇成员计算当前通信信道信干噪比，并判断通信状态是否成功；

7、步骤四：每个无人机簇的簇头根据通信状态、当前与相邻前一次通信信道或发射机发射功率切换代价、发射机发射功率能耗成本以及碰撞状态，计算当前即时奖励；

8、然后返回步骤一获取下一次通信的信道状态信息，继续进行下一次通信决策的迭代计算；直到达到预设的通信时长或通信中断条件；

9、同时进入学习阶段，每更新一次信道状态信息，将当前信道状态信息、当前决策结果、当前即时奖励和下一次通信的信道状态信息组成经验样本；迭代过程每达到阶段预设时长后，将当前所有经验样本存入经验回放池，对深度强化学习网络进行参数更新。

10、根据本发明的基于深度强化学习的无人机集群抗干扰通信决策方法，通信信道、发射机发射功率和干扰机选择信道组成环境观测状态；所述环境观测状态采用独热编码进行预处理后输入深度强化学习网络。

11、根据本发明的基于深度强化学习的无人机集群抗干扰通信决策方法，所述深度强化学习网络采用dueling-ddqn算法框架，包含当前网络和目标网络；迭代计算过程中，采用当前网络获得决策结果，采用目标网络计算训练所需的目标q参考值；当前网络将动作价值函数分解为状态价值函数和优势函数之和；动作选择采用ε-greedy策略，以概率ε随机选择动作进行探索，以概率1-ε选择当前网络输出q值最大的动作；采用经验样本，基于当前网络输出q值与目标q参考值计算损失函数，更新当前网络的网络参数；经过设定步数迭代后，并将当前网络的网络参数同步至目标网络。

12、根据本发明的基于深度强化学习的无人机集群抗干扰通信决策方法，将动作价值函数表示为：

13、，

14、式中为信道状态信息，为决策结果，为状态价值函数，为优势函数，为决策结果动作空间中可选决策，为决策结果动作空间。

15、根据本发明的基于深度强化学习的无人机集群抗干扰通信决策方法，在数据传输阶段，若干扰机发生信道切换，将数据传输阶段分割为第一时间段和第二时间段，分别计算两个时间段的通信信道信干噪比和干扰功率，并采用香农公式计算数据传输速率，根据两个时间段的数据传输速率和数据包大小判断通信状态是否成功。

16、根据本发明的基于深度强化学习的无人机集群抗干扰通信决策方法，对第个簇头，在时隙执行决策结果后获得的即时奖励为：

17、

18、式中为通信状态成功指示函数，为通信状态失败指示函数，为切换惩罚系数，为通信信道或发射机发射功率切换指示函数，为奖励系数，为线性化后发射机发射功率，为碰撞惩罚系数，为碰撞指示函数。

19、根据本发明的基于深度强化学习的无人机集群抗干扰通信决策方法，对深度强化学习网络进行训练，在经验回放池中进行样本采样的方法为：

20、采用优先经验回放算法进行样本采样，以时序差分误差的绝对值衡量样本优先级；经验样本被采样的概率为：

21、，

22、式中为经验样本的优先级，为经验回放池中第个样本的优先级，，为经验回放池中经验样本数；

23、采用重要性采样权重校正经验样本采样偏差。

24、根据本发明的基于深度强化学习的无人机集群抗干扰通信决策方法，所有无人机簇的簇头基于多智能体强化学习算法进行协同决策；所述多智能体强化学习算法采用集中式训练-分布式执行框架，训练阶段各簇头将个体输出q值通过混合网络组合为全局q值，利用全局环境观测状态信息进行信用分配；执行阶段各簇头根据自身环境观测状态使用gru网络输出进行去中心化独立决策；

25、所述混合网络带有dueling结构，混合网络以全局环境观测状态信息为输入，通过超网络生成非负的混合权重和偏置。

26、根据本发明的基于深度强化学习的无人机集群抗干扰通信决策方法，所述多智能体强化学习算法采用引入独立熵正则化机制的qmix算法；

27、各簇头引入可学习的对数温度参数，基于gru网络输出，经温度缩放后的softmax函数得到独立决策的策略分布；温度缩放系数基于对数温度参数计算得到；

28、多智能体强化学习算法的损失函数在qmix损失基础上增加策略熵正则项。

29、根据本发明的基于深度强化学习的无人机集群抗干扰通信决策方法，对第个簇头，将可学习的对数温度参数表示为，为可学习的熵温度参数；

30、初始化；

31、在训练过程中，第个簇头的策略分布采用温度缩放后的softmax函数近似：

32、，

33、式中为策略分布，为簇头环境观测状态信息，为第个簇头的个体输出q值；

34、策略熵的计算为：

35、；

36、er-qmix的总损失函数为：

37、，

38、式中为td误差损失，为熵系数，为簇头数；

39、，

40、式中为全局q值，为个簇头的总即时奖励，为折扣因子，为相邻下一次通信的全局q值；

41、可学习的熵温度参数通过梯度下降自动调整。

42、本发明的有益效果：本发明方法通过信道选择与发射功率的联合决策，频谱感知、抗干扰决策、数据传输和策略学习的闭环迭代，能够有效应对扫频、跳频、压制等多种复杂动态电磁干扰及簇内同频干扰，提升了无人机集群在动态干扰环境中的自主决策能力，实现自适应抗干扰通信。

43、本发明通过频谱感知与深度强化学习的闭环迭代，实现了对复杂电磁环境的实时感知与通信策略的动态自适应调整，能够有效应对扫频、跳频等多种干扰模式。采用信道选择与功率控制的联合优化框架，在保证通信质量的前提下显著降低了切换开销和发射能耗，提高了频谱与能量利用效率。

44、本发明针对多无人机集群场景引入集中式训练-分布式执行框架，通过er-qmix算法的混合网络实现全局信用分配，有效解决了多智能体协作中的策略趋同问题，同时每个智能体配置独立的熵温度参数实现差异化探索，使集群在动态智能干扰环境中具备良好的鲁棒性与可扩展性。