一种基于双层深度强化学习的博弈策略优化方法与流程
本发明属于信号智能决策,具体涉及一种基于双层深度强化学习的博弈策略优化方法。
背景技术:
1、随着电磁频谱环境的日益复杂和动态多变,通信系统在执行频谱决策与对抗任务时,需要面对多种类型的电磁信号以及实时变化的信号参数。传统的静态规则库或专家系统难以覆盖所有可能的对抗场景,而人工经验判断又无法满足快速响应和持续优化的需求。
2、近年来,深度强化学习被逐步引入电磁频谱决策领域,通过与动态环境的持续交互学习,智能体能够根据实时状态自适应地调整对抗策略。然而,现有的强化学习方法通常将对抗方法选择与参数调整混合在同一动作空间中,导致动作空间维度过大而引发维数灾难,网络收敛速度慢且难以搜索到全局最优策略。同时,现有方法在设计奖励函数时往往依赖单一的通断指标或通信质量指标,缺乏对不同电磁信号特征(如压制信号与转发信号的差异)的针对性利用,导致模型在复杂场景下的决策精度和泛化能力受限。
3、针对上述问题,本发明提出了一种基于双层深度强化学习的博弈策略优化方法。
技术实现思路
1、为解决现有技术中存在的上述问题,本发明的目的在于提供一种基于双层深度强化学习的博弈策略优化方法。
2、为实现上述发明目的,本发明采取的技术方案是:
3、一种基于双层深度强化学习的博弈策略优化方法,包括:
4、构建智能体与电磁环境的对抗博弈模型,定义状态空间、动作空间及奖励函数;
5、构建包含外层方法决策网络和内层参数决策网络的双层深度强化学习网络,外层网络用于从预设的对抗方法集合中选择对抗方法,内层网络用于在选定对抗方法下从对应的对抗参数集合中选择对抗参数;
6、构建基于高维知识库的效果评估模块,建立信号类型与对抗方法的相关矩阵以及信号参数与对抗参数的相关矩阵,分别针对压制信号和转发信号设计差异化的奖励函数;内层网络在执行参数优化时,根据外层所选定的对抗方法结合相关矩阵动态裁剪参数搜索空间;
7、构建基于dueling double dqn架构的双层决策神经网络,将主网络参数和目标网络参数分别拆分为外层参数和内层参数;外层网络设置有多个并行信号类型识别分支及效果置信度评估分支,通过置信度加权融合进行决策;
8、训练双层决策神经网络,外层决策网络选择对抗方法,内层决策网络选择对抗参数,根据奖励函数更新网络参数;训练过程中内层网络向外层网络反馈效果置信度,当效果置信度低于预设阈值时触发外层网络重新决策;
9、基于训练后的双层决策神经网络输出最优对抗策略。
10、优选地,外层网络与内层网络在训练阶段采用差异化的参数更新策略,包括:
11、外层网络的参数更新频率低于内层网络,外层网络每执行多步更新一次参数而内层网络每一步均进行参数更新,且外层网络的学习率低于内层网络的学习率;更新频率与学习率相互独立配置,分别从时间维度和幅度维度对参数更新进行约束,以匹配方法选择层级的粗粒度稳定性需求与参数调整层级的细粒度快速优化需求。
12、优选地,动态裁剪参数搜索空间的具体方式为:
13、当外层网络选定一对抗方法后,内层网络查询信号参数与对抗参数的相关矩阵,从矩阵元素中读取当前信号参数下与各对抗参数组合的适配度值,适配度值即为相关矩阵中对应位置矩阵元素的数值;
14、将适配度值高于预设阈值的对抗参数组合确定为有效参数子集,仅在该有效参数子集内进行精细搜索与优化,适配度低于或等于预设阈值的对抗参数组合被视为在当前信号参数下与该对抗方法不匹配而被裁剪排除。
15、优选地,外层网络设置的多个并行信号类型识别分支的数量与预设的信号类型类别总数相同,每个并行识别分支独立输出针对对应信号类型的对抗方法q值向量;效果置信度评估分支输出当前状态下各信号类型的效果置信度权重,各置信度权重之和为1;
16、最终决策通过效果置信度权重与对应分支输出的对抗方法q值向量进行加权求和,以融合后的综合q值作为外层网络的最终决策依据,使得外层网络能够在多信号类型共存的实际对抗场景中准确识别当前信号构成并据此决策最优对抗方法。
17、优选地,多个并行识别分支与效果置信度评估分支共享底层特征提取网络,仅在输出层各自独立,以兼顾参数共享的效率与分支独立输出的灵活性;效果置信度权重由效果置信度评估分支通过归一化指数函数输出,各信号类型的置信度权重之和为1。
18、优选地,训练过程中的效果置信度反馈机制为:
19、在每一轮交互完成并获得即时奖励后,内层网络计算当前参数组合下的效果置信度指标,效果置信度指标为当前即时奖励与滑动窗口内历史奖励均值的比值;
20、当该比值低于预设阈值时判定当前所选对抗方法及其参数组合的效果置信度不足,触发外层网络在当前状态下重新选择对抗方法,并调用对应的内层网络进行新一轮参数寻优,由此形成方法选择、参数优化、效果验证和方法修正的闭环优化架构。
21、优选地,针对压制信号构建奖励函数的方式为:
22、获取对抗前智能体发射频带与电磁信号频带的重叠带宽,以及对抗后智能体发射频带与电磁信号频带的重叠带宽,以对抗前与对抗后的重叠带宽差值占对抗前重叠带宽的比例作为第一评估分量;
23、获取对抗前的干信比和对抗后的干信比,以对抗后的干信比与对抗前的干信比的差值占对抗前干信比的比例作为第二评估分量;
24、将第一评估分量与第二评估分量之和作为压制信号对应的奖励值。
25、优选地,针对转发信号构建奖励函数的方式为:
26、获取脉冲压缩处理前的干信比和脉冲压缩处理后的干信比,以脉冲压缩处理后的干信比作为转发信号对应的奖励值;或者以脉冲压缩处理后的干信比与脉冲压缩处理前的干信比的差值作为转发信号对应的奖励值。
27、优选地,外层网络的输入为状态向量中的信号类型部分,内层网络的输入为状态向量中的信号参数部分;或者,外层网络和内层网络均以完整状态向量为输入,外层网络侧重学习信号类型特征与各对抗方法间的映射关系,内层网络侧重学习信号参数特征与各对抗参数间的映射关系。
28、优选地,相关矩阵的矩阵元素通过离线仿真或历史对抗数据统计获得,以干信比改善量作为对抗效果的量化指标统计其平均值作为对应矩阵元素的取值;相关矩阵在系统部署前完成离线构建并预先存储,或在系统实际运行过程中随交互数据积累进行增量式更新。
29、有益效果
30、1、本发明通过构建外层方法决策与内层参数调整的双层深度强化学习模型,将对抗决策解耦为方法选择与参数调整两个层级,有效降低了动作空间维度,克服了传统方法将两者混合所引发的维数灾难问题。该架构摆脱了对预设规则库的依赖,能够根据实时信号状态自动匹配最优策略,提升了对动态电磁环境的自适应能力。此外,外层与内层网络采用差异化的参数更新策略,外层更新频率及学习率均低于内层,以匹配方法选择层级的稳定性需求与参数调整层级的精细化需求,避免相互干扰;同时将dueling double dqn架构与双层决策深度融合,主网络与目标网络参数均拆分为外层和内层,支持在线更新与离线决策两种模式,进一步保障了实时决策效率。
31、2、本发明引入基于高维知识库的效果评估模块,分别针对压制信号和转发信号设计了差异化的奖励函数。抗压制信号基于频谱重叠度和干信比变化构建奖励函数,抗转发信号基于脉冲压缩后干信比构建奖励函数,由此克服了现有方法依赖单一通信指标导致决策精度不足的缺陷,能够精准反映不同场景的策略有效性并指导模型快速收敛。同时,内层网络在参数优化过程中,根据外层选定的对抗方法,结合相关矩阵动态裁剪参数搜索空间,仅在与当前方法适配度高于阈值的子空间内进行精细搜索,使得相关矩阵不仅为奖励函数提供先验指导,还用于定义参数寻优的边界条件,形成知识库与网络决策的深度协同,进一步降低了搜索维度并提升了决策效率。
32、3、本发明在外层网络中设置多个并行信号类型识别分支及效果置信度评估分支,通过置信度与方法适配度的加权融合进行最终决策,使外层网络能够同时处理多种信号类型并存的复杂电磁环境,提升了方案的适用性和鲁棒性;同时建立了内外层之间的双向效果置信度传递机制,内层网络在参数优化完成后计算效果置信度,当低于预设阈值时触发外层重新决策,形成了方法选择、参数优化、效果验证、方法修正的闭环架构,克服了现有单向串行架构中因初始方法选择不当而影响后续优化的缺陷。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com