一种重要性加权约束选项学习反无人机拦截方法及系统与流程

本发明涉及反无人机拦截，尤其涉及一种重要性加权约束选项学习反无人机拦截方法及系统。

背景技术：

1、反无人机拦截是无人机防御领域的关键技术方向，传统的制导方法（如比例导引法）在面对高机动目标及真实感知约束时适应性不足。近年来，深度强化学习（deepreinforcement learning, drl）因其在高速四旋翼控制任务中展现出的卓越性能，被逐步应用于无人机拦截问题的求解。现有研究尝试采用端到端的深度强化学习框架，利用近端策略优化（proximal policy optimization, ppo）等算法训练神经网络控制器，直接从感知信息映射至控制指令；也有研究通过引入专家经验来改善策略学习的泛化能力与收敛速度。然而，现有基于深度强化学习的反无人机拦截方案仍面临一个核心的技术问题：稀疏成功样本条件下的高效学习与多类型物理约束的联合保障问题。

2、具体而言，反无人机拦截任务中有效拦截样本极为稀疏，现有方法难以充分利用这些稀有成功经验来提升策略性能；同时，现有方案在追求拦截成功率的过程中，普遍缺乏对拦截机自身物理约束（如飞行安全边界、作用距离限幅、姿态对准精度等）的系统性考量，导致所训练策略可能出现高回报但实际不可行的动作。上述问题制约了深度强化学习在反无人机拦截场景中的实际部署效果。

技术实现思路

1、为了弥补以上不足，本发明提供了一种重要性加权约束选项学习反无人机拦截方法及系统，主要解决了反无人机拦截任务中稀疏成功样本条件下高效学习与多类型物理约束动态联合保障的问题。

2、第一方面，本发明提供了如下技术方案，一种重要性加权约束选项学习反无人机拦截方法，包括：

3、s1、获取反无人机拦截任务的当前态势信息，根据所述当前态势信息构造策略观测信息，并根据所述当前态势信息计算当前的作用评分信息；

4、s2、构建共享编码器、兼容性网络及k个选项策略头，k为预设正整数；将所述策略观测信息经所述共享编码器提取状态特征后，分别输入所述兼容性网络和所述k个选项策略头，获得各选项的状态归属概率及动作分布，并基于所述状态归属概率和所述动作分布构建混合策略，采样输出拦截动作；

5、s3、针对采集的转移样本，分别计算该转移样本相对于每一候选选项的动作似然相容性、方向几何相容性及约束可行性门控值；将三者相乘获得选择性重要性加权迁移权重，经截断归一化处理后，将所述转移样本按所述权重分别写入各选项对应的情节记忆库；

6、s4、从各选项的情节记忆库中检索近邻样本，根据检索结果计算各选项的情节价值，并按所述状态归属概率对各选项的情节价值进行加权融合，获得混合情节价值；

7、s5、根据所述混合情节价值计算优势估计值，并基于所述优势估计值更新所述k个选项策略头、所述兼容性网络及所述共享编码器的网络参数；

8、s6、统计各选项在本次训练批次中接收样本的平均约束代价，根据所述平均约束代价与预设约束预算的差值分别更新各选项的拉格朗日乘子及所述方向几何相容性中的几何原型；

9、s7、重复执行步骤s1至步骤s6直至满足预设训练终止条件，输出训练后的混合策略，用于生成反无人机拦截的控制指令。

10、第二方面，本发明提供以下技术方案，一种重要性加权约束选项学习反无人机拦截系统，所述系统包括：

11、数据获取与预处理模块，用于获取反无人机拦截任务的当前态势信息，构造策略观测信息，并根据所述当前态势信息计算当前的作用评分信息；

12、策略构建与动作生成模块，用于构建共享编码器、兼容性网络及k个选项策略头，k为预设正整数；将所述策略观测信息经所述共享编码器提取状态特征后，分别输入所述兼容性网络和所述k个选项策略头，获得各选项的状态归属概率及动作分布，并基于所述状态归属概率和所述动作分布构建混合策略，采样输出拦截动作；

13、权重计算与情节记忆写入模块，用于针对采集的转移样本，分别计算该转移样本相对于每一候选选项的动作似然相容性、方向几何相容性及约束可行性门控值；将三者相乘获得选择性重要性加权迁移权重，经截断归一化处理后，将所述转移样本按所述权重分别写入各选项对应的情节记忆库；

14、情节价值检索与融合模块，用于从各选项的情节记忆库中检索近邻样本，根据检索结果计算各选项的情节价值，并按所述状态归属概率对各选项的情节价值进行加权融合，获得混合情节价值；

15、网络参数更新模块，用于根据所述混合情节价值计算优势估计值，并基于所述优势估计值更新所述k个选项策略头、所述兼容性网络及所述共享编码器的网络参数；

16、约束乘子与几何原型更新模块，用于统计各选项在本次训练批次中接收样本的平均约束代价，根据所述平均约束代价与预设约束预算的差值分别更新各选项的拉格朗日乘子及所述方向几何相容性中的几何原型；

17、迭代训练与策略输出模块，用于重复执行数据获取与预处理模块至约束乘子与几何原型更新模块直至满足预设训练终止条件，输出训练后的混合策略，用于生成反无人机拦截的控制指令。

18、本发明具有如下有益效果：

19、1、本发明中，通过构建情节记忆库和近邻检索机制，使算法能够从历史成功或失败经验中直接借鉴价值估计，有效放大了稀有成功样本的训练效用；同时通过引入拉格朗日可行性门控和乘子动态更新机制，使策略在训练过程中持续受到物理安全边界、作用距离、姿态对准等多类型约束的自适应惩罚，最终输出策略能够在保证拦截精度的前提下始终满足各项物理可行性要求。

20、2、本发明中，通过计算转移样本相对于每一候选选项的动作似然相容性、方向几何相容性及约束可行性门控值，并将三者相乘作为样本写入各选项情节记忆库的迁移权重，使得仅当样本在动作风格、空间几何分布和约束可行性三个维度上与某选项均高度匹配时，才被纳入该选项的记忆库进行价值估计；有效避免了高回报但动作风格错配或违反安全约束的样本对选项策略的误导，提升了各选项策略的专门化水平。

21、3、本发明中，通过设置k个独立选项策略头，并结合策略差异正则化项和兼容性熵正则化项进行联合参数更新，促使各选项在训练过程中自然分化为具有不同距离、不同对准度偏好的专门化子策略，避免所有选项收敛至相同动作分布；在同等选项容量下，所训练的多选项混合策略能够覆盖更广泛的任务场景，提升了复杂对抗条件下的拦截成功率。

1.一种重要性加权约束选项学习反无人机拦截方法，其特征在于，包括：

2.根据权利要求1所述的一种重要性加权约束选项学习反无人机拦截方法，其特征在于，在所述s1中，构造策略观测信息，并根据所述当前态势信息计算当前的作用评分信息，包括：

3.根据权利要求1所述的一种重要性加权约束选项学习反无人机拦截方法，其特征在于，在所述s2中，获得各选项的状态归属概率及动作分布，包括：

4.根据权利要求1所述的一种重要性加权约束选项学习反无人机拦截方法，其特征在于，在所述s2中，基于所述状态归属概率和所述动作分布构建混合策略，采样输出拦截动作，包括：

5.根据权利要求1所述的一种重要性加权约束选项学习反无人机拦截方法，其特征在于，在所述s3中，计算该转移样本相对于每一候选选项的动作似然相容性、方向几何相容性及约束可行性门控值；将所述转移样本按所述权重分别写入各选项对应的情节记忆库，包括：

6.根据权利要求1所述的一种重要性加权约束选项学习反无人机拦截方法，其特征在于，在所述s4中，获得混合情节价值，包括：

7.根据权利要求1所述的一种重要性加权约束选项学习反无人机拦截方法，其特征在于，在所述s5中，计算优势估计值，并基于所述优势估计值更新所述k个选项策略头、所述兼容性网络及所述共享编码器的网络参数，包括：

8.根据权利要求1所述的一种重要性加权约束选项学习反无人机拦截方法，其特征在于，在所述s6中，更新各选项的拉格朗日乘子及所述方向几何相容性中的几何原型，包括：

9.根据权利要求1所述的一种重要性加权约束选项学习反无人机拦截方法，其特征在于，在所述s7中，输出训练后的混合策略，包括：

10.一种重要性加权约束选项学习反无人机拦截系统，其特征在于，用于权利要求1-9任一项所述的一种重要性加权约束选项学习反无人机拦截方法，所述系统包括：