基于深度确定性策略梯度的分布式干扰布阵智能优化方法及系统

本发明属于信号处理，特别涉及一种分布式干扰布阵智能优化方法及系统，可用于分布式电子对抗。

背景技术：

1、随着相控阵雷达和空时自适应处理技术的发展，传统单站干扰方式因空间自由度有限，难以在复杂对抗环境下形成稳定、有效的压制效果。空时自适应处理技术能够联合利用雷达阵列的空域信息和相干脉冲的时域信息，在空时二维域内对杂波和干扰进行自适应抑制，从而显著提升雷达系统的抗干扰能力。尤其是在多通道阵列雷达中，stap处理能够根据接收数据协方差矩阵自适应形成权矢量，在干扰入射方向附近产生抑制凹口，使干扰信号被显著削弱。因此，单一干扰源或简单固定布阵方式难以充分突破stap处理形成的空时抑制能力。

2、分布式干扰通过多个干扰机协同工作，可从不同方位、不同距离或不同空时维度对目标雷达实施联合干扰，相较于单站干扰具有更高的空间自由度和协同对抗潜力。通过合理设计多个干扰机的布阵方位、功率分配、转发参数和干扰样式，可以改变雷达接收端干扰信号的空时分布特征，进而影响stap处理后的空时功率谱和抑制凹口分布。然而，在实际对抗场景中，干扰机布阵参数之间存在强耦合关系，布阵角度、功率权重、转发脉宽和假目标数量等参数共同影响stap处理后的干扰剩余效应，导致分布式干扰布阵优化问题具有高维、非线性和连续动作空间特征。若采用随机布阵方式，各干扰机方位和参数缺乏协同优化，难以充分发挥分布式干扰优势，干扰效果具有较大的随机性和不稳定性，因此需要对分布式干扰的布阵进行优化。

3、现有分布式干扰布阵优化方法通常采用穷举搜索、局部搜索或启发式智能优化方法。例如，穷举搜索方法通常将干扰机布阵角度按照一定间隔进行离散化，在给定角度集合中遍历不同组合，并以stap输出信干噪比最小或干扰抑制凹口抬升为目标选取较优布阵方案。该类方法原理直观，在干扰机数量较少、布阵精度要求不高的情况下能够获得一定优化效果。但随着干扰机数量增加和角度划分精度提高，搜索空间会急剧膨胀，计算复杂度显著增加，难以满足实际对抗场景中快速响应的需求。同时，穷举搜索的寻优精度受离散化间隔限制，真实最优布阵方案可能落在离散网格之外，从而造成精度损失。

4、申请号为cn201710678602.6的专利文献公开了一种“基于分布式平台的雷达协同干扰方法”，其针对分布式平台受到雷达扫描或跟踪的场景，先计算各平台进入雷达接收机的干扰功率、雷达回波功率和有效干扰扇面，再根据平台实际分布关系确定覆盖所有平台所需的最小干扰扇面；当某个平台被雷达跟踪时，进一步划分其他平台相对于被跟踪平台的可协同区和非协同区，并依据敌方雷达所在位置确定可参与协同干扰的平台以及采用压制式干扰或欺骗式干扰。该方法虽说能在一定程度上实现多平台协同干扰决策，但由于其主要依据平台几何位置、雷达波束范围和干扰压制比进行规则判定，侧重于协同平台选择和干扰方式选择，并未对多干扰机布阵方位、功率权重、转发脉宽和假目标数量等连续参数进行联合优化，也未考虑空时自适应处理雷达对干扰信号形成的空时抑制凹口。因此，难以根据stap处理反馈自适应调整分布式干扰布阵方案，无法解决复杂动态对抗环境下分布式干扰机对stap雷达的智能布阵优化问题。

5、申请号为cn202210151246.3的专利文献公开了一种“基于最优干扰规划模型的集群协同干扰规划方法”，其构建了由多部干扰机和任务飞机组成的集群协同系统，以任务飞机飞行距离及干扰机对目标雷达的功率与干扰机距目标雷达距离的比值作为优化目标，并采用多目标粒子群算法求解干扰机空间位置、干扰功率分配和任务飞机飞行航线，从而提高多部干扰机对雷达网的协同干扰效果和干扰资源利用效率。该方法能够在一定程度上解决多干扰机协同规划问题，但由于其主要面向雷达网探测范围压缩和安全航线生成，优化指标侧重于任务飞机航线和干扰功率资源分配，并未针对具备空时自适应处理能力的雷达建立干扰效能评价模型，也未将stap处理后的空时功率谱凹口深度作为布阵优化反馈，故该方法难以根据stap处理反馈对分布式干扰布阵参数进行闭环优化，无法满足复杂对抗环境下快速、自适应布阵的需求。同时由于，该方法采用多目标粒子群算法进行离线迭代寻优，易受初始粒子分布和局部最优影响，且在布阵参数连续变化、雷达状态动态变化或干扰样式切换时，难以实现快速、自适应的布阵决策。

6、申请号为cn202510538927.9的专利文献公开了一种“基于强化学习的组网雷达抗分布式协同航迹欺骗干扰方法”，其从雷达抗干扰角度出发，在组网雷达跟踪过程中插入复核时隙，通过强化学习调度多域捷变脉冲串，并结合复核雷达选择和二元假设检验识别分布式协同航迹欺骗干扰。该方法的核心在于提升雷达系统对协同欺骗干扰的识别和抗干扰能力，属于雷达端的防护与识别方法，并非从干扰方角度设计分布式干扰机的布阵参数，也未针对stap处理后的干扰凹口抬升问题建立布阵优化机制。进一步地，该方法中的强化学习主要用于雷达复核时隙、复核雷达及脉冲资源的抗干扰调度，其优化对象是雷达端的探测与识别策略，而不是干扰端的方位布阵、功率分配、转发脉宽和假目标数量等连续参数。因此，该方法不能解决多干扰机布阵参数之间强耦合、连续动作空间寻优困难以及干扰效果需根据stap处理反馈实时调整的问题，难以直接用于提升分布式干扰系统对空时自适应处理雷达的主动干扰效能。

7、综上，现有分布式协同干扰相关技术虽然能够在一定程度上实现协同平台选择、干扰方式判定、空间位置规划和功率资源分配，但仍主要依赖几何规则、传统优化或雷达端抗干扰决策，缺乏面向stap处理机制的干扰效能评价与闭环优化能力。尤其是在干扰机布阵参数连续变化、雷达空时自适应权矢量动态调整以及干扰样式切换的复杂对抗场景下，现有方法难以充分刻画多干扰机布阵参数与stap抑制凹口之间的耦合关系，也难以实现快速、精确、自适应的布阵决策。

技术实现思路

1、本发明的目的在于针对上述已有技术的不足，提出一种基于深度确定性策略梯度的分布式干扰布阵智能优化方法及系统，以在避免随机布阵协同效果差、穷举搜索计算量大、启发式优化方法易陷入局部最优的同时，提高分布式干扰布阵优化的实时性、精度和对空时自适应处理雷达的干扰效能。

2、实现本发明目的的技术思路是：通过将多干扰机协同布阵参数优化问题建模为马尔可夫决策过程，实现对随机布阵中多干扰机参数协同优化；通过采用深度确定性策略梯度智能体直接输出连续动作向量，并将其映射为连续布阵参数，降低计算量、提高寻优精度；通过actor-critic网络结构、经验回放和目标网络更新机制，实现全局优化、对动态对抗环境的适应；根据雷达回波仿真和stap处理结果计算空时功率谱凹口深度，引导智能体学习削弱stap抑制效果的分布式干扰布阵策略，实现对雷达回波和stap的反馈处理。

3、根据上述思路，本发明的技术方案包括如下：

4、1.基于深度确定性策略梯度的分布式干扰布阵智能优化方法，其特征在于，包括：

5、（1）构建包括目标雷达、空时自适应处理模块和多部干扰机的分布式干扰布阵优化场景；

6、（2）将多干扰机协同布阵参数优化问题建模为马尔可夫决策过程，定义系统状态、动作空间和并构造奖励函数；

7、（3）选用现有的演员网络、评论员网络、目标演员网络和目标评论员网络作为多干扰机协同布阵参数优化网络；

8、（4）获取干扰方位角、功率权重、转发脉宽、假目标个数和stap反馈信息这些参数，并将其输入到演员网络，输出连续动作向量，再将该连续动作向量解码为新的干扰方位角、功率权重、转发脉宽和假目标个数，根据解码结果生成分布式干扰信号；

9、（5）将所述（4）中获取的参数和输出的连续动作向量输入到评论员网络，输出干扰效果的价值，并更新演员网络参数；

10、（6）对分布式干扰信号进行空时自适应处理，得到空时功率谱；

11、（7）根据空时功率谱提取各干扰方位处的抑制凹口深度，获取奖励；

12、（8）将系统状态、动作、奖励和新系统状态组成交互经验输入到目标演员网络和目标评论员网络计算目标干扰效果价值，更新评论员网络参数以逼近目标干扰效果价值；

13、（9）重复执行（4）到（8），直至满足设定的终止条件，得到最优演员网络；

14、（10）将当前的干扰方位角、功率权重、转发脉宽、假目标个数这些参数输入到最优的演员网络，输出优化后的分布式干扰机布阵的干扰方位角、功率权重、转发脉宽和假目标个数，完成分布式干扰布阵智能优化。

15、进一步，所述（8）中将系统状态、动作、奖励和新系统状态组成交互经验输入到目标演员网络和目标评论员网络计算目标干扰效果价值，更新评论员网络参数以逼近目标干扰效果价值，其实现包括：

16、8a）将t时刻的交互过程中得到的系统状态、动作、奖励和新系统状态组成交互经验：；

17、8b）随机采用组交互经验：

18、8c）将交互经验中的新系统状态输入到目标演员网络，得到下一时刻目标动作；

19、8d）将新系统状态和目标动作输入到目标评论员网络，得到目标状态-动作价值；

20、8e）根据奖励和目标状态-动作价值计算目标干扰效果价值；

21、8f）将当前系统状态和当前动作输入评论员网络，得到当前干扰效果价值；

22、8g）根据当前干扰效果价值和目标干扰效果价值构造评论员网络损失函数；

23、8h）按照损失函数的负梯度方向更新评论员网络参数；

24、8i）对目标演员网络和目标评论员网络进行软更新。

25、2．基于深度确定性策略梯度的分布式干扰布阵智能优化系统，其特征在于，包括：

26、分布式干扰布阵场景构建模块，用于构建包括目标雷达、空时自适应处理模块和多部干扰机的分布式干扰布阵优化场景；

27、马尔可夫决策过程建模模块，用于将多干扰机协同布阵参数优化问题建模为马尔可夫决策过程，并定义系统状态、动作空间和奖励函数；

28、深度确定性策略梯度智能体决策模块，用于构建演员网络、评论员网络、目标演员网络和目标评论员网络，并根据当前系统状态输出连续动作向量；

29、动作解码与参数映射模块，用于将连续动作向量映射为多部干扰机的干扰方位角、功率权重、转发脉宽和假目标个数；

30、雷达回波与空时自适应处理模块，用于根据干扰参数生成雷达接收数据，计算空时自适应处理权矢量并输出空时功率谱；

31、奖励计算模块，用于根据空时功率谱提取各干扰方位处的抑制凹口深度，并计算奖励函数值；

32、经验回放与网络训练模块，用于存储智能体与环境交互产生的经验样本，并对演员网络和评论员网络进行训练更新；

33、布阵策略输出模块，用于在训练完成后输出最优分布式干扰布阵参数。

34、本发明与现有技术相比，具有如下优点：

35、其一，本发明将多干扰机协同布阵参数优化问题建模为马尔可夫决策过程，并将干扰方位角、功率权重、转发脉宽、假目标个数和stap反馈信息共同作为系统状态，克服了现有随机布阵方法中各干扰机参数缺乏协同、难以根据雷达处理反馈进行调整的不足，使分布式干扰布阵优化过程具备环境感知能力和闭环优化能力。

36、其二，本发明采用演员网络输出连续动作向量，并将该连续动作向量解码为新的干扰方位角、功率权重、转发脉宽和假目标个数，克服了传统穷举搜索方法需要对布阵参数进行离散遍历、计算量大且寻优精度受离散间隔限制的不足，使多干扰机布阵参数能够在连续空间内进行联合优化，提高了布阵寻优的精度和效率。

37、其三，本发明通过评论员网络对系统状态和连续动作向量进行评价，输出当前布阵动作对应的干扰效果价值，并利用该价值指导演员网络参数更新，克服了启发式优化方法易受初始条件影响、容易陷入局部最优的问题，使演员网络能够在训练过程中逐步学习更优的布阵策略，提高了分布式干扰布阵优化的稳定性和全局寻优能力。

38、其四，本发明对分布式干扰信号进行空时自适应处理，提取空时功率谱中各干扰方位处的抑制凹口深度，并以该抑制凹口深度作为奖励依据，克服了现有干扰规划方法未直接面向stap抑制机制进行优化的问题，使智能体的学习目标与削弱stap对干扰信号的抑制效果直接对应，从而提升了分布式干扰系统对空时自适应处理雷达的干扰效能。

39、其五，本发明利用目标演员网络和目标评论员网络计算目标干扰效果价值，并通过训练过程不断更新演员网络和评论员网络参数，克服了现有布阵方法主要依赖离线规划、难以适应复杂动态对抗环境的问题，使训练完成后的演员网络能够根据当前干扰参数和stap反馈快速输出优化后的布阵方案，提高了分布式干扰布阵决策的实时性和自适应能力。