一种基于奖励驱动的多智能体自适应入侵防御控制方法及系统
本发明涉及多智能体协同控制与分布式优化,尤其涉及一种基于奖励驱动的多智能体自适应入侵防御控制方法及系统,尤其适用于安防巡逻、无人机集群防护以及关键基础设施动态拦截等场景。
背景技术:
1、随着多智能体协同系统在安防巡逻、低空防御以及关键设施保护等领域的广泛应用,如何利用分布式智能体集群对外部入侵目标实施高效拦截已成为行业研究的核心议题。多智能体防御系统通常依赖局部通信与协同算法实现编队运动与目标包抄,其控制架构的稳定性与适应性直接决定了防线在复杂对抗环境中的生存概率与拦截效能。在现有技术中,防御集群的控制策略多采用预设规则或固定参数配置,系统依据预先设定的战术模板执行拦截动作,虽然此类方案在静态或低动态场景下能够维持基础防御功能,但在面对高动态、强不确定性的真实对抗环境时,其固有缺陷逐渐显现,且这些缺陷并非源于操作误差或环境噪声,而是由控制架构本身的局限性所导致。
2、首先,现有防御方法依赖固定或人工驱动规则,策略适应性严重不足。现有的防御方法主要依赖预设的、固定或基于人工规则/阈值的策略模式,无法根据入侵规模、方向和强度上的不确定性进行灵活调整,由于对抗态势具有高度非线性与突发性特征,在极端或未知的动态环境中容易导致防线崩溃或策略不匹配。
3、其次,现有评估机制缺乏定量化的策略有效性反馈闭环。多数现有方案仅依靠定性分析或单一事件触发阈值进行模式判断,缺乏综合定量的奖励间隙评估体系。由于系统无法对当前战术的执行收益进行连续量化映射,控制模块难以准确识别策略偏离最优解的程度,进而导致系统无法依据实时局势系统性地调节战术的激进或保守倾向,策略切换缺乏数学依据与收敛保障。
4、此外,战术决策与运动执行耦合紧密,缺乏分层自适应能力。现有方案大多将战术决策与运动执行耦合在单一控制回路中,即使底层采用分布式优化方法,其策略模式仍须预先固化,无法根据实时威胁等级和奖励反馈自主切换战术逻辑,导致系统在动态变化环境中难以同时兼顾局部最优运动与全局策略适配。
5、鉴于上述现有技术中策略适应性差、定量评估缺失以及缺乏动态适应性的固有缺陷,本领域亟需一种能够实时量化对抗收益、自主触发战术模式切换、并在底层优化中平滑嵌入战术权重的自适应防御控制方法,以便在有限算力与复杂对抗条件下实现防御纵深最大化与系统鲁棒性提升。
技术实现思路
1、本发明的任务是提供一种基于奖励驱动的多智能体自适应入侵防御控制方法及系统,通过所述系统和/或方法,解决现有技术中策略适应性差、定量评估缺失以及缺乏动态适应性的问题,通过上层事件触发机制与下层分布式优化算法的闭环耦合,实现战术模式的自适应切换与运动指令的平滑生成。
2、在本发明的第一方面,前述任务通过一种基于奖励驱动的多智能体自适应入侵防御控制方法来解决,该方法包括如下步骤:
3、提供参与者集合与状态空间;
4、提供聚合变量与分布式追踪器;
5、评估威胁等级,计算归一化奖励间隙,基于所述归一化奖励间隙执行战术模式的事件触发切换,根据当前被触发的战术模式更新混合因子;以及
6、接收混合因子和战术模式指令,使用投影聚合追踪算法执行分布式优化运动控制与物理约束。
7、在本发明的一个实施例中,提供参与者集合与状态空间包括:
8、定义防御者集合和入侵者集合;
9、状态空间包括混合因子以及战术模式;
10、提供智能体的物理状态更新方程,
11、
12、其中,表示智能体a在k时刻的物理状态,所述物理状态包括二维位置与速度;表示控制输入;a和b分别表示基于采样时间间隔δt建立的系统离散动力学状态转移矩阵和输入矩阵。
13、在本发明的一个实施例中,提供聚合变量与分布式追踪器包括:
14、提供全局聚合变量,
15、
16、其中,表示第个防御者在时刻的物理二维位置坐标向量;n表示防御者集群的总数量;
17、提供分布式追踪器,
18、
19、
20、其中,表示防御者用于估计团队全局聚合变量的本地追踪器;表示用于追踪全局成本函数梯度和的本地追踪器;表示无向通信图双随机邻接矩阵中的权重元素;表示提取本地状态的映射函数;表示局部代价函数对其第二自变量的偏导数;表示防御者在时刻的状态向量;表示与防御者存在通信连接的局部邻居防御者节点的集合。
21、在本发明的一个实施例中,评估威胁等级,计算归一化奖励间隙,基于所述归一化奖励间隙执行战术模式的事件触发切换,根据当前被触发的战术模式更新混合因子包括:
22、评估入侵者的综合威胁等级,
23、
24、其中,和分别表示入侵者与保护目标的位置;表示入侵者朝向目标的径向逼近速度;表示当前正对该入侵者实施空间压制的防守者数量;、、均表示正向权重系数;
25、计算归一化奖励间隙,
26、
27、其中,和分别表示防御方和入侵方单步几何收益的指数滑动平均值;表示用于防止分母为零的微小常数;
28、若归一化奖励间隙或者,则战术模式触发离散跳变,其中和分别表示预设的高、低判定阈值;
29、根据当前被触发的战术模式更新混合因子,
30、
31、其中,表示更新的混合因子,表示当前的混合因子;表示决定过渡平滑程度的指数平滑系数;表示与当前被触发的战术模式相对应的预设目标常数值。
32、在本发明的一个实施例中,接收混合因子和战术模式指令,使用投影聚合追踪算法执行分布式优化运动控制与物理约束包括:
33、接收混合因子和战术模式指令,使用投影聚合追踪算法执行分布式优化运动控制,
34、
35、其中,表示梯度下降后的中间状态投影值;表示将位置向考虑防碰撞与压制硬约束的局部可行域内部进行投影的数学操作;表示融合本地梯度与全局梯度估计的搜索方向;表示梯度步长;表示状态更新的平滑因子;表示防御者在时刻的状态向量;
36、使用投影聚合追踪算法执行物理约束多点压制径向硬约束,以确保防御的鲁棒阻挡效果,
37、其中,和分别表示入侵者与保护目标的位置;表示当前正对该入侵者实施空间压制的防守者数量。
38、在本发明的第二方面,前述任务还通过一种基于奖励驱动的多智能体自适应入侵防御控制系统来解决,该系统用于所述的基于奖励驱动的多智能体自适应入侵防御控制方法,该系统包括:
39、状态空间提供模块,被配置为提供参与者集合与状态空间;
40、追踪器提供模块,被配置为提供聚合变量与分布式追踪器;
41、控制变量更新模块,被配置为评估威胁等级,计算归一化奖励间隙,基于所述归一化奖励间隙执行战术模式的事件触发切换,根据当前被触发的战术模式更新混合因子;以及
42、分布式优化模块,被配置为接收混合因子和战术模式指令,使用投影聚合追踪算法执行分布式优化运动控制与物理约束。
43、在本发明的一个实施例中,所述控制变量更新模块位于上层战术决策层中,所述追踪器提供模块与所述分布式优化模块位于下层分布式运动控制层中。
44、在本发明的一个实施例中,所述上层战术决策层与所述下层分布式运动控制层部署在智能体自带的本地机载计算单元中,整个防御集群的运行不依赖中央控制服务器或边缘聚合节点,智能体仅与处于自身通信范围内的局部邻居节点进行对等通信。
45、在本发明的第三方面,本发明还提供一种电子设备,该电子设备包括:
46、处理器,其被配置为执行机器可读指令;
47、显卡,其被配置为训练所述的基于奖励驱动的多智能体自适应入侵防御控制方法;以及
48、存储器,其被配置为存储有机器可读指令,所述机器可读指令在被处理器和/或显卡执行时执行所述的基于奖励驱动的多智能体自适应入侵防御控制方法的步骤。
49、在本发明的第四方面,本发明还提供一种计算机可读存储介质,其上存储有计算机可读指令,所述计算机可读指令被处理器执行时执行所述的基于奖励驱动的多智能体自适应入侵防御控制方法的步骤。
50、本发明提供的技术方案具有以下优点:
51、本发明通过连续评估实时对抗信息(如防御者和入侵者的相对状态、数量对比和威胁等级),利用奖励反馈驱动上层战术决策层自适应调节,使防御集群能够根据实时局势在激进的前沿拦截和保守的后方守卫两种截然不同的战术模式间进行自主且平滑的切换,显著提升了动态适应性。
52、本发明通过将战术决策与运动控制分层解耦,使得下层分布式运动控制层具备可证明的收敛性,能够自动响应动态态势变化,显著增强系统在复杂威胁环境中的整体防御效能和鲁棒性。
53、本发明采用基于历史奖励指数滑动平均的量化态势评估机制,有效滤除了偶发性环境噪声和轨迹摆动造成的虚假信号,为上层战术决策层切换提供了稳定、高信噪比的闭环反馈信号,避免了传统固定规则评估的滞后性与偶发失效。
54、本发明通过事件触发机制与指数平滑的双重自适应结构,确保系统仅在奖励间隙跨越临界阈值时才进行战术模式切换,避免了控制系统的频繁抖动,同时底层混合因子的指数平滑过渡将上层离散战术指令转化为连续优化目标函数更新,消除了控制信号跳变引发的物理硬件剧烈振荡问题。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com