一种基于分层维度自适应迁移的机载雷达干扰决策方法

本发明属于电子战与雷达对抗，具体涉及一种基于分层维度自适应迁移的机载雷达干扰决策方法。

背景技术：

1、基于强化学习的机载雷达干扰决策通常先在仿真环境中训练，再部署到实际对抗场景。然而，不同型号雷达的工作模式数量、射频范围、脉冲体制以及干扰机可配置参数数量存在差异，侦察接收机还会引入频率、脉宽和脉冲重复间隔的测量误差，使训练环境与目标环境在状态转移、奖励分布以及网络输入输出维度上产生域偏移。

2、当源域和目标域的状态维度或动作维度不一致时，源域分层强化学习网络无法按照原始张量形状直接加载。若针对每一种雷达型号和参数组合都从零训练，不仅需要大量目标域交互样本，而且会丢弃源域已经学习到的“低威胁阶段优先诱导、高威胁阶段优先压制”等高层战术知识，以及时频覆盖和参数匹配等低层表示，难以满足电子对抗对快速适应和有限训练窗口的要求。

3、文献“h. you, t. yang, y. zheng, j. hao and m. e. taylor, cross-domainadaptive transfer reinforcement learning based on state-actioncorrespondence, proceedings of uai 2022, pmlr 180:2299-2309, 2022.”通过状态编码器、动作编码器和自适应模块学习不同状态动作空间之间的对应关系，并从多个源策略向目标策略迁移知识。但是，该方法需要额外训练映射网络和跨域轨迹表示，未针对雷达干扰分层价值网络的输入层、输出层及偏置参数给出直接可实施的维度切片加载流程。

4、文献“k. p. sivakumar, y. zhang, z. bell, s. nivison and m. m.zavlanos, transfer reinforcement learning in heterogeneous action spacesusing subgoal mapping, arxiv:2410.14484, 2024.”利用长短期记忆网络学习专家与学习者之间的子目标序列映射，以提高异构动作空间下的样本效率。但是，该方法依赖专家示范和子目标轨迹数据，适用于动作语义映射场景；对于源域与目标域具有相同战术语义但网络维度增减的雷达干扰任务，仍缺少对共有维度直接复用、对新增维度随机初始化并同步微调的轻量化方案。

5、如上所述，现有跨域强化学习方法多通过编码、蒸馏或示范映射解决异构空间问题，计算链路较长，且没有充分利用分层干扰决策中元控制器高层战术知识相对稳定、控制器输入输出维度随雷达型号和硬件参数变化的结构特点。因此，有必要提出一种面向分层价值网络的维度自适应迁移方法，在不要求配对轨迹和额外映射网络的情况下，按照最小公共维度切片复制源域权重，并用学习率调度完成目标域快速微调。

技术实现思路

1、本发明的目的在于克服现有技术的不足，提供一种基于分层维度自适应迁移的机载雷达干扰决策方法，在源域预训练包含元控制器和控制器的分层深度双q网络，根据目标域状态维度和动作维度重新构建目标q网络，对输入层、输出层及偏置项的可对齐公共部分进行权重切片加载，对目标域新增维度保持随机初始化，并采用指数衰减学习率在目标域进行微调，实现跨雷达型号和跨参数规模的快速知识复用。

2、本发明的目的是通过以下技术方案来实现的：一种基于分层维度自适应迁移的机载雷达干扰决策方法，具体步骤如下：

3、s1、构建源域与目标域雷达干扰决策模型，并确定可迁移维度交集；具体如下：

4、s11、构建源域与目标域的雷达干扰决策模型，确定源域和目标域的状态空间、元动作空间及控制器动作空间；源域和目标域均采用分层半马尔可夫雷达干扰决策模型；分层半马尔可夫雷达干扰决策模型包括元控制器和控制器，元控制器和控制器各自采用一组分层双q价值网络，分层双q价值网络包括在线q网络和目标q网络；

5、源域分层半马尔可夫雷达干扰决策模型依据标称雷达模式数量和标称干扰参数粒度建立；目标域分层半马尔可夫雷达干扰决策模型依据实际雷达型号、侦察参数和干扰机硬件能力重新确定模型的状态维度、元动作维度和控制器动作维度；

6、s12、计算源域和目标域的分层半马尔可夫雷达干扰决策模型中各对应层的最小公共维度，确定可迁移维度交集；针对元控制器，迁移共有雷达状态维度对应的输入权重和共有干扰样式对应的输出权重；针对控制器，迁移共有状态与样式输入维度，以及共有参数动作索引对应的输出权重与偏置；

7、s13、构建降维、升维和参数偏差目标域的初始化规则；降维目标域采用裁剪式加载，只保留目标域网络能够容纳的源域权重；升维目标域采用公共部分加载，对新增状态列和动作行随机初始化；参数偏差目标域在网络维度相同的情况下整体加载，再利用目标域样本修正状态转移和奖励差异；

8、s2、基于权重切片加载和学习率调度完成目标域分层干扰策略迁移与微调：先在源域训练元控制器和控制器的分层深度双q网络至收敛，并保存元控制器、控制器的分层深度双q网络参数；然后按目标域形状构建网络并执行切片加载；最后采用目标域状态动作空间、经验回放和双q更新进行微调。

9、本发明的有益效果：本发明的方法直接利用分层价值网络的张量结构进行迁移，无需额外训练状态动作映射网络或采集成对专家轨迹；按照最小公共维度复制源域输入层、输出层和偏置参数，可同时处理目标域降维和升维；对新增维度保留随机初始化，使模型具备学习新雷达模式和新干扰参数的能力；通过指数衰减学习率实现先快速适应、后稳定精调，既减少目标域样本需求，又降低固定大学习率引起的灾难性遗忘，适用于雷达型号、工作模式和干扰机能力变化的跨域部署。

1.一种基于分层维度自适应迁移的机载雷达干扰决策方法，其特征在于，具体步骤如下：

2.根据权利要求1所述的一种基于分层维度自适应迁移的机载雷达干扰决策方法，其特征在于，所述步骤s2包括以下子步骤：