基于竞争机制的智能干扰决策方法及装置

本发明属于雷达对抗有源干扰，具体涉及一种面向主动防护系统aps雷达的智能干扰决策方法及装置，可用于雷达对抗。

背景技术：

1、干扰决策是雷达电子对抗领域中的重要环节。主动防护系统雷达通常具有作用距离近、反应时间短、工作模式切换快等特点，其工作状态和信号波形会随目标距离、威胁等级以及外部干扰情况动态变化。同时，受雷达抗干扰逻辑不可完全观测、侦察信息不完整等因素影响，干扰方难以在单一时刻获得雷达的完整状态信息，增加了复杂电磁对抗环境下干扰策略自主生成的难度。现有干扰决策方法主要包括基于规则库、知识库和专家经验的决策方法，以及基于强化学习的决策方法。传统方法依赖预先设定的干扰规则和人工经验，在主动防护系统雷达工作模式快速切换、波形参数动态变化及对抗环境高度非平稳的情况下，难以及时调整干扰策略；强化学习方法虽然能够通过与环境交互学习干扰策略，但现有方法在历史状态信息利用、动作价值估计以及大规模离散动作空间探索方面仍存在不足。

2、公开号为cn114814741b的专利文献公开了一种基于优先级重要采样融合的dqn雷达干扰决策方法及装置。该方法构建雷达对抗环境，将雷达工作模式、干扰动作及干扰效能评价纳入强化学习决策过程；在网络训练过程中，根据交互样本的重要程度进行优先级经验回放，并引入重要性权重对采样偏差进行修正，以提高关键交互样本的利用率和网络训练稳定性；并针对不同雷达工作模式设置相应的威胁等级，并将威胁等级作为干扰效能评估依据，进而根据动作价值输出干扰决策结果。然而，该方法未对雷达工作模式、信号参数和历史干扰效果之间的连续演化关系进行联合表征；在aps雷达模式快速切换、信号波形动态变化或干扰效果存在滞后性的情况下，难以根据历史交互信息准确判断当前对抗态势。此外，该方法未依据当前雷达工作模式对候选干扰动作进行针对性约束，在干扰样式和参数组合较多时，仍可能将训练资源用于与当前对抗阶段不匹配的动作探索，从而影响决策效率。

3、曹舒雅等作者在其发表的论文《基于dqn的雷达智能干扰决策方法》（《制导与引信》，2024，45(2): 15-20）中公开了一种基于深度q学习网络的雷达智能干扰决策方法。该方法对不同类型有源干扰的作用机理进行建模与仿真分析，阐述了dqn算法的改进原理及智能干扰决策流程，使干扰机在缺乏先验知识的未知环境中通过与环境的持续交互学习，逐步优化干扰策略。该方法虽然能够有效提升动态环境下的干扰决策效果，但由于采用基础dqn架构，其核心是依赖当前时刻的状态信息进行决策，未引入循环神经网络处理历史时序信息，因而难以有效捕捉雷达工作模式切换过程中的状态演化规律，且对时间相关性强的对抗场景决策精度有限；同时由于未将干扰决策问题建模为部分可观测马尔可夫决策过程，未考虑实际对抗环境中雷达状态不完全可观、观测信息含噪且时变的关键约束，导致其对主动防护系统雷达复杂工作模式切换和动态非平稳对抗环境的适应性仍然有限。

技术实现思路

1、本发明的目的在于针对上述现有技术的不足，提出一种基于竞争机制的智能干扰决策方法及装置，以充分利用主动防护系统雷达在对抗过程中的当前观测信息和历史干扰效果反馈，增强部分可观测环境下的雷达状态表征能力，提高在雷达工作模式快速切换、雷达信号波形动态变化以及干扰动作空间较大情况下的干扰决策效率和干扰效果。

2、实现本发明目的的技术思路是：通过将主动防护系统雷达的目标距离、工作模式、信号参数和历史干扰效果反馈进行组合，构建当前决策时刻的复合观测状态，以充分利用当前观测信息和历史干扰效果反馈；通过对连续决策时刻的复合观测状态进行时序关联建模，并提取其中与当前干扰决策相关的历史信息，增强部分可观测环境下的雷达状态表征能力；通过根据雷达工作模式对干扰动作进行动作掩码屏蔽，并采用竞争机制对候选干扰动作进行价值评估，减少无效动作探索，提高干扰决策效率和稳定性；通过执行所选择的干扰动作并获取实时干扰效果评估结果，更新历史干扰效果反馈，形成闭环自适应决策过程，从而提高复杂电磁对抗环境下的干扰效果。

3、根据上述思路，本发明的技术方案包括：

4、1.一种基于竞争机制的智能干扰决策方法，其特征在于，包括：

5、（1）获取主动防护系统雷达的目标距离、工作模式、雷达信号参数和历史干扰效果评估反馈，将其组合为复合观测状态；

6、（2）构建深度循环q网络，所述深度循环q网络包括时序特征增强网络和竞争决策网络；将当前决策时刻的复合观测状态输入到时序特征增强网络进行时序关联处理，得到时序增强特征；

7、（3）预设包括干扰样式及对应的干扰参数组合，根据所述复合观测状态中的雷达工作模式生成动作掩码对预设干扰动作集合进行筛选，得到合法干扰动作集合；

8、（4）将时序增强特征输入到所述竞争决策网络，得到各合法干扰动作对应的动作价值，并选其最大的干扰样式及干扰参数组合，得到当前干扰动作；

9、（5）执行所选择的干扰动作，得到干扰效果评估得分，并据此分别表计算决策奖励和构建下一时刻的复合观测状态；

10、（6）根据复合观测状态、干扰动作、决策奖励和下一决策时刻的复合观测状态构建交互训练样本，利用其对时序特征增强网络和竞争决策网络进行训练，得到智能干扰决策模型；

11、（7）将待决策时刻的复合观测状态输入所述智能干扰决策模型，输出对应的干扰样式及干扰参数组合。

12、进一步，所述（2）中将当前决策时刻的复合观测状态输入到时序特征增强网络进行时序关联处理，其实现包括：

13、（2a）构建包括时序特征增强网络和竞争决策网络的深度循环q网络，其中，所述时序特征增强网络包括全连接层、非线性层、lstm网络和时序注意力机制；所述竞争决策网络包括状态价值分支和动作优势分支；

14、（2b）将当前决策时刻的复合观测状态输入全连接层和非线性层，得到高维状态特征；

15、（2c）将所述高维状态特征输入到所述lstm网络，对连续多个决策时刻的状态信息进行时序关联建模，得到隐藏状态序列；

16、（2c）根据所述隐藏状态序列计算各时间步的注意力得分；

17、（2d）对所述注意力得分进行归一化，得到注意力权重；

18、（2e）将所述注意力权重与隐藏状态进行残差融合，得到时序增强特征。

19、进一步，所述（3）中预设包括干扰样式及对应的干扰参数组合，根据所述复合观测状态中的雷达工作模式生成动作掩码对预设干扰动作集合进行筛选，其实现包括：

20、（3a）将干扰样式及其关键参数进行组合，构成离散动作集合；

21、（3b）将所述动作集合划分为压制类动作子集和欺骗类动作子集，该压制类动作子集包括噪声调频干扰、噪声调幅干扰和噪声调相干扰，该欺骗类动作子集包括密集假目标干扰、多假目标干扰和移频干扰；

22、（3c）根据雷达工作模式特征生成二进制动作掩码向量：

23、在搜索模式和确认模式下，将对应的掩码位置设为1，将对应的掩码位置设为0；

24、在跟踪模式和拦截模式下，将对应的掩码位置设为1，并根据干扰资源情况选择性设置对应的掩码位置；

25、（3d）根据所述动作掩码向量对动作集合进行筛选，得到当前决策时刻的合法干扰动作集合。

26、进一步，所述（4）中将时序增强特征输入到所述竞争决策网络，得到各合法干扰动作对应的动作价值，其实现包括：

27、（4a）设置状态价值分支和动作优势分支，分别输出当前状态的状态价值和各干扰动作的动作优势；

28、（4b）根据所述状态价值和动作优势计算干扰动作的动作价值；

29、（4c）根据合法干扰动作的动作价值选择干扰样式及对应的干扰参数组合。

30、进一步，所述（5）中执行所选择的干扰动作，得到干扰效果评估得分，其实现包括：

31、（5a）根据所选择的干扰样式及干扰参数组合生成干扰信号，并将所述干扰信号作用于主动防护系统雷达；

32、（5b）构建包括输入层、两个全连接隐含层和输出层的干扰效果评估模型，且两个全连接隐含层均采用线性整流非线性激活函数；

33、（5c）将当前雷达信号参数、目标距离、干扰样式及干扰参数进行组合构成评估特征向量，并将其输入到该干扰效果评估模型，得到当前决策时刻的综合干扰效果评估得分。

34、进一步，所述（5）中根据评估得分计算决策奖励和构建下一时刻的复合观测状态，其实现包括：

35、（5d）根据当前综合干扰效果评估得分、前一时刻综合干扰效果评估得分及当前干扰动作的干信比，计算当前决策时刻的奖励；

36、（5e）根据干扰效果评估得分和目标距离确定雷达工作模式的升级概率和模式回退概率转移概率；

37、（5f）获取状态转移后的目标距离、雷达工作模式和雷达信号参数，并将当前得分更新至历史反馈窗口；

38、（5g）将所述更新后的历史反馈特与下一时刻的目标距离、雷达工作状态、雷达信号特征进行组合，得到下一时刻的复合观测状态。

39、2.一种基于竞争机制的智能干扰决策装置，其特征在于，包括：

40、复合状态构建模块，用于获取主动防护系统雷达的目标距离、工作模式、雷达信号参数和历史干扰效果评估反馈，并将其组合为复合观测状态；

41、动作掩码模块，用于根据所述复合观测状态中的雷达工作模式生成动作掩码，对预设干扰动作集合进行筛选，得到合法干扰动作集合；

42、时序特征增强模块，用于建立包括全连接层、lstm网络和时序注意力机制的时序特征增强网络，将所述复合观测状态输入所述时序特征增强网络，得到时序增强特征；

43、竞争决策模块，用于建立包括状态价值分支和动作优势分支的竞争决策网络，将所述时序增强特征输入所述竞争决策网络，得到各合法干扰动作对应的动作价值，并选择动作价值最大的干扰样式及干扰参数组合，得到干扰动作；

44、drqn网络构建模块，用于构建包括时序特征增强网络和竞争决策网络的深度循环q网络；

45、干扰效果反馈模块，用于执行所述干扰动作，获得干扰效果评估得分和下一时刻的雷达观测数据，并输出决策奖励及下一时刻的复合观测状态；

46、模型训练模块，用于根据复合观测状态、干扰动作、决策奖励和下一时刻的复合观测状态构建交互训练样本，用其训练深度循环q网络，得到智能干扰决策模型；

47、干扰决策输出模块，用于将待决策时刻的复合观测状态输入所述智能干扰决策模型，输出对应的干扰样式及干扰参数组合。

48、本发明与现有技术相比，具有如下优点：

49、其一，本发明将目标距离、雷达工作模式、雷达信号参数和历史干扰效果评估反馈组合为复合观测状态，并通过lstm网络和时序注意力机制对连续决策时刻的状态信息进行时序关联处理。与仅依据当前观测信息进行决策的方法相比，本发明能够利用历史干扰效果及雷达状态演化信息增强对当前对抗态势的表征，提高部分可观测条件下干扰决策的稳定性。

50、其二，本发明根据雷达工作模式生成动作掩码，对预设干扰动作集合中的无效动作进行筛选。与在全部干扰动作中进行无差别探索的方法相比，本发明能够使智能体在当前雷达工作模式对应的合法干扰动作集合中进行决策，减少无效动作探索，提高干扰决策效率及干扰样式选择的合理性。

51、其三，本发明采用包括状态价值分支和动作优势分支的竞争决策网络，将当前对抗状态的状态价值与不同干扰动作的动作优势分别进行估计，并通过去均值聚合方式得到动作价值。与采用单一网络直接估计动作价值的方法相比，本发明能够降低不同干扰动作之间的价值估计冗余，提高动作价值估计的稳定性，从而提高干扰样式及干扰参数组合的选择效果。

52、其四，本发明通过干扰效果评估模型获得当前干扰效果评估得分，并利用所述得分计算决策奖励、更新历史干扰效果评估反馈和构建下一时刻的复合观测状态，形成“状态观测-干扰决策-效果评估-状态更新”的闭环决策过程。其与固定规则或开环决策方法相比，本发明能够根据实际干扰效果动态调整后续干扰策略，提高复杂动态电磁对抗环境下干扰决策的自适应能力。