一种基于Actor-Critic深度强化学习的抗干扰通信方法

本发明涉及通信，具体涉及一种基于actor-critic深度强化学习的抗干扰通信方法。

背景技术：

1、认知无线电技术通过提升频谱利用率有效缓解频谱资源短缺问题，但在复杂电磁环境下，无线通信系统中开放性的通信信道易受恶意干扰，导致频谱利用率下降、通信质量降低以及抗干扰性能下降。

2、随着深度强化学习在抗干扰领域的应用，研究者们通过改进传统算法（如dqn、ddpg）提升通信系统性能，但联合域抗干扰方法仍面临决策空间复杂、收敛速度慢及对智能干扰适应能力不足等挑战；目前传统单域抗干扰方法难以应对多维度干扰，抗干扰效果有限；现有基于深度强化学习的抗干扰方法因决策空间庞大导致收敛缓慢；而且，目前缺乏对智能干扰机动态策略的自适应能力，导致策略过拟合问题突出，鲁棒性不足。

技术实现思路

1、针对上述问题，本发明的目的是提供一种基于actor-critic深度强化学习的抗干扰通信方法，该方法通过分布式actor网络并行决策、统一critic网络评估，结合离线训练与在线接入两阶段框架，实现动态干扰环境下的高效抗干扰通信；同时，引入参数重置机制避免策略过拟合，提升对抗智能干扰的适应性，最终提高通信成功率、收敛速度及鲁棒性。

2、本发明所采用的技术方案是：一种基于actor-critic深度强化学习的抗干扰通信方法，包括以下步骤：

3、s100：搭建无线通信场景；以及基于所述无线通信场景计算接收端接收到的无线信号功率谱密度函数和干扰机处的信号功率谱密度函数；

4、s200：基于所述接收端接收到的无线信号功率谱密度函数和干扰机处的信号功率谱密度函数构建抗干扰优化模型；

5、s300：基于双重actor-critic深度强化学习方法对所述抗干扰优化模型进行求解，获得最优抗干扰策略；以及基于所述最优抗干扰策略进行抗干扰。

6、优选地，步骤s100中所述接收端接收到的无线信号功率谱密度函数通过以下公式计算得到：

7、；

8、式中，为收端接收到的无线信号功率谱密度函数；为通信方发射端到接收端的信道增益；为干扰机到接收端的信道增益；为通信方信号的功率谱密度函数；为干扰信号功率谱密度函数；为噪声的功率谱密度函数；和分别为通信方信号和干扰信号的中心频率；和分别为通信方和干扰机的天线发射增益；为接收端的天线接收增益。

9、优选地，步骤s100中所述干扰机处的信号功率谱密度函数通过以下公式计算得到：

10、；

11、式中，为干扰机处的信号功率谱密度函数；为干扰方智能决策设备的接收天线增益，为t时刻通信方到干扰机处的信道增益；为干扰机的天线发射增益；为通信方信号的功率谱密度函数；为噪声的功率谱密度函数。

12、优选地，步骤s200中所述抗干扰优化模型通过以下公式表示：

13、；

14、式中，为通信方策略；为干扰方策略；为状态价值函数。

15、优选地，步骤s300包括：基于双重actor-critic深度强化学习方法求解所述抗干扰优化模型中的联合域抗干扰问题；所述联合域包括功率域和频率域。

16、优选地，所述双重actor-critic深度强化学习方法是actor-critic的基础上加入另一个actor网络；所述双重actor-critic深度强化学习方法包括功率优先的actor网络、频率优先的actor网络和critic网络。

17、优选地，步骤s300包括：

18、在所述双重actor-critic深度强化学习方法的训练阶段，所述频率优先的actor网络和功率优先的actor网络均做出的动作并将回报返回给所述critic网络，所述critic网络对频率优先的actor网络和功率优先的actor网络做出的动作进行打分，指导所述频率优先的actor网络和功率优先的actor网络不断完善，以使频率优先的actor网络和功率优先的actor网络达到决策思路下最优网络。

19、优选地，步骤s300包括：

20、在所述双重actor-critic深度强化学习方法的接入阶段，所述功率优先的actor网络、频率优先的actor网络根据电磁环境分别得到功率优先最优动作和频率优先最优动作，critic网络分别对所述功率优先最优动作和频率优先最优动作进行评价，选出功率优先最优动作和频率优先最优动作中回报更多的动作作为最优抗干扰策略。

21、优选地，所述actor网络通过策略梯度算法进行训练。

22、优选地，所述critic网络通过时序差分学习算法进行训练。

23、上述技术方案的有益效果：

24、（1）本发明针对现有方法收敛慢、鲁棒性差及难以应对动态智能干扰的问题，公开的一种基于actor-critic深度强化学习的抗干扰通信方法，该方法通过分布式actor网络并行决策、统一critic网络评估，结合离线训练与在线接入两阶段框架，动态优化频域和功率域的抗干扰策略，实现动态干扰环境下的高效抗干扰通信。同时，引入参数重置机制避免策略过拟合，提升对抗智能干扰的适应性，从而有效提高通信成功率、收敛速度及鲁棒性，适用于智能干扰场景下的联合域抗干扰通信。

25、（2）本发明旨在提供一种基于深度强化学习的通信抗干扰方法，以解决的面对智能干扰难快速收敛的问题。仿真结果表明了基于双重actor-critic的深度强化学习抗干扰算法具有看良好的有效性、鲁棒性和收敛性。

1.一种基于actor-critic深度强化学习的抗干扰通信方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的抗干扰通信方法，其特征在于，步骤s100中所述接收端接收到的无线信号功率谱密度函数通过以下公式计算得到：

3.根据权利要求1所述的抗干扰通信方法，其特征在于，步骤s100中所述干扰机处的信号功率谱密度函数通过以下公式计算得到：

4.根据权利要求1所述的抗干扰通信方法，其特征在于，步骤s200中所述抗干扰优化模型通过以下公式表示：

5.根据权利要求1所述的抗干扰通信方法，其特征在于，步骤s300包括：基于双重actor-critic深度强化学习方法求解所述抗干扰优化模型中的联合域抗干扰问题；所述联合域包括功率域和频率域。

6.根据权利要求5所述的抗干扰通信方法，其特征在于，所述双重actor-critic深度强化学习方法是actor-critic的基础上加入另一个actor网络；所述双重actor-critic深度强化学习方法包括功率优先的actor网络、频率优先的actor网络和critic网络。

7.根据权利要求6所述的抗干扰通信方法，其特征在于，步骤s300包括：

8.根据权利要求6所述的抗干扰通信方法，其特征在于，步骤s300包括：

9.根据权利要求6所述的抗干扰通信方法，其特征在于，所述actor网络通过策略梯度算法进行训练。

10.根据权利要求6所述的抗干扰通信方法，其特征在于，所述critic网络通过时序差分学习算法进行训练。