基于时间序列感知的多智能体强化学习协同追踪制导方法及系统

摘要: 本技术涉及控制科学与工程,尤其涉及多智能体的协同追踪制导技术。背景技术:1、随着国内低空经济的快速发展,民用低空场景下的高速高机动非合作目标处置需求持续攀升,尤...
基于时间序列感知的多智能体强化学习协同追踪制导方法及系统

本技术涉及控制科学与工程,尤其涉及多智能体的协同追踪制导技术。

背景技术:

1、随着国内低空经济的快速发展,民用低空场景下的高速高机动非合作目标处置需求持续攀升,尤其是在城市反“黑飞”、大型活动低空安保、机场净空区防护等典型民用场景中,违规闯入的小型无人机往往具备高机动性、飞行路径不可预测的特点,单架民用无人机已难以独立完成稳定追踪与取证任务,多智能体协同捕获技术因此成为保障民用低空任务可靠性的核心技术路径。

2、当前,传统的民用多无人机协同追踪控制方法大多基于数值优化或空间覆盖理论构建,这类方法在实际落地过程中始终面临难以突破的技术瓶颈:一方面,针对三维复杂低空场景的高动态追踪求解需要极高的计算资源开销,普通民用无人机搭载的边缘计算芯片完全无法承载,只能依赖地面站远程运算,一旦通信链路出现延迟就会直接导致追踪任务失败;另一方面,随着协同无人机数量的增加,控制算法的求解复杂度呈指数级上升,极易陷入典型的“维数灾难”,在目标出现剧烈机动时无法快速输出有效的协同控制指令。

3、近年来,深度强化学习(drl)技术为民用多智能体协同控制提供了一种极具前景的数据驱动替代方案,从根本上规避了传统方法对复杂解析推导和精确剩余时间估计的强依赖。在民用无人机协同会合场景中,现有技术已利用ddpg和mappo算法,通过适配民用场景的奖励塑造和课程学习策略,在不预设目标匀速运动、不引入小角度机动假设的前提下,实现了多无人机对动态目标的同时会合;针对民用低空通信链路不稳定、目标存在主动规避动作的对抗环境,相关研究通过将自注意力机制集成到maddpg框架中,大幅增强了分布式控制的鲁棒性,同时基于q-learning和多智能体强化学习技术,实现了民用场景下对机动目标的高效追踪和自主机动决策;此外,基于dqn的无人系统集群自适应安全控制技术,也为多无人机在民用低空环境下的防碰撞运行提供了基础支撑。总体而言,深度强化学习在包含多重运动学约束、分布式民用通信网络和动态目标博弈的复杂低空协同场景中,展现出了远超传统方法的自适应决策能力。

4、在已有的相关研究中,团队提出了基于投影嵌入的覆盖优化(peco-rl)框架,通过将三维运动空间投影到二维平面的降维处理方式,有效缓解了民用无人机机载端的计算瓶颈。但现有的深度强化学习方法大多隐式地假设了一个完全可观测的马尔可夫决策过程(mdp),这类方案严重依赖单帧的瞬时观测数据,无法有效捕捉目标的连续动态演化规律,尤其是在民用低空环境中,雷达噪声、建筑物遮挡带来的观测误差普遍存在,目标的时变机动行为十分剧烈,使得该控制问题本质上成为一个部分可观测马尔可夫决策过程(pomdp),现有技术在这类场景下极易出现追踪丢失、轨迹预判失误等问题,至今尚未形成成熟的民用落地解决方案。

技术实现思路

1、本发明针对民用低空场景下的实际作业痛点,面向民用无人机集群的多智能体协同捕获场景,旨在解决现有技术在应对高速和高机动非合作目标时,普遍存在的控制精度不足、任务执行效率偏低的核心技术问题,提供了基于时间序列感知的多智能体强化学习协同追踪制导方法及系统。

2、本发明为解决上述问题采取的技术方案是:一种基于时间序列感知的多智能体强化学习协同追踪制导方法,所述方法包括:

3、将多智能体的三维追踪投影到二维并建立协同覆盖准则,所述协同覆盖准则包括:在到达前的博弈过程中的任何时间,智能体集群的联合可达集完全包围目标的概率规避区域;

4、将控制决策问题重构为部分可观测马尔可夫决策过程;

5、建立时序感知的协同覆盖强化学习控制策略,具体包括:首先,将单帧状态重构为保留历史演化信息的时间观测序列;随后,设计集成长短期记忆网络的近端策略优化ppo架构;最后,引入针对时间特征定制的协同覆盖奖励函数;

6、基于时序感知的协同覆盖强化学习控制策略,多智能体执行协同追踪制导。

7、进一步地,所述将多智能体的三维追踪投影到二维,具体包括:

8、利用终端阶段智能体间距离相对于目标距离可忽略不计的特征,所有智能体的视线los角为均匀的;假设智能体集群的相对速度矢量共享相同的方向,p定义为垂直于初始los方向并穿过目标的预测会合点的平面:

9、 (1)

10、其中,r为初始视线 los 方向的单位向量,即预测会合面 的法向量,为目标在预测会合时刻 的预测位置向量,分别为分别为预测会合面上的两个正交坐标分量;

11、随后,通过从惯性坐标系到视线 los 坐标系的坐标变换,将智能体 i 的三维零控预测终端位置  以及目标当前位置  投影到预测会合面  上,得到其二维投影表示,用于后续协同覆盖准则和可达集计算。

12、进一步地,所述协同覆盖准则的建立方法,具体包括:

13、对于高机动目标, 由于其规避策略的极端不确定性和固有的雷达噪声,其预测位置被建模为概率分布;投影到平面p上,目标的预测规避区域服从2d时变高斯分布:

14、

15、其中,表示目标的投影预测会合点,是综合考虑动态机动发散和传感器噪声的协方差矩阵;

16、建立协同覆盖准则为:在到达前的博弈过程中的任何时间,智能体集群的联合可达集必须完全包围目标的概率规避区域,满足的子集关系为:

17、

18、其中,为拦截博弈初始时刻;在物理意义上,可达集和规避区域在终端时间都收敛到一个确定点,所以在整个博弈过程中保持这种连续的空间覆盖。

19、进一步地,所述智能体集群的联合可达集的获取方法,具体包括:

20、假设智能体的最大可用加速度为,在剩余时间内的最大横向位移为;以投影的零效能终端位置为中心,单个智能体的2d投影可达集定义为半径为的圆形区域:

21、 (2)

22、其中,为平面上智能体 可达区域内任一点的第一维坐标,为为该点的第二维坐标;

23、整个智能体集群的联合可达集是这些个体子集的并集,表示为 ,其中,=。

24、进一步地,所述将单帧状态重构为保留历史演化信息的时间观测序列,具体包括:使用长度为k的滑动窗口ht将状态表示扩展到时域:

25、 (5)

26、其中,为为 t 时刻的单帧状态向量,包含各智能体在预测会合面 p 上的二维投影零效能终端位置、目标二维投影位置以及剩余时间,k为为滑动窗口的历史帧长度。

27、进一步地,所述集成长短期记忆网络的近端策略优化ppo架构,具体包括:

28、首先通过带有tanh激活函数的全连接编码器将每个单帧状态映射到低维嵌入,其中,将此学习到的嵌入与原始状态向量进行拼接;

29、然后,组合的增强序列由多层lstm网络处理,最终的线性投影将lstm的终端隐藏状态映射为综合记忆特征;

30、actor网络根据长度为  的历史观测序列 生成控制指令;在获得表示目标动态的隐藏状态后,actor 利用可学习注意力机制来提取集群内的空间耦合特征;使用嵌入作为查询向量,并将 m 个相邻智能体的特征作为键值对,计算出的空间协调特征xnear为:

31、

32、其中,为查询向量的可学习线性映射矩阵,为键向量的可学习线性映射矩阵,cat()为沿特征维度进行拼接的函数,为注意力特征的缩放维度,为自智能体 i的局部时空特征,并作为查询特征,为m 个邻近智能体的拼接特征,并作为键值特征;

33、加权特征和目标状态随后通过全连接层,输出策略分布,表示法向加速度的均值和标准差;

34、同时,critic评估全局态势,它使用与actor相同的lstm/注意力结构进行深度特征融合,输出一个状态价值标量来预测预期收益;

35、在训练期间,网络通过ppo 算法同步演进;actor通过最大化标准ppo裁剪进行更新,确保策略改进的稳定性和单调性;而critic则最小化价值估计的均方误差mse,采用广义优势估计gae来计算优势函数。

36、进一步地,所述引入针对时间特征定制的协同覆盖奖励函数,具体包括:

37、分阶段奖励架构包括一个在飞行期间连续评估的逐步瞬时奖励,以及一个仅在会合时刻评估的成功捕获奖励;

38、瞬时奖励通过随时间演变的权重机制提供高频反馈:

39、 (7)

40、其中,为协同覆盖奖励 的时间变化权重,为预测相对距离奖励 的权重系数,为差分控制惩罚  的时间变化权重;

41、协同覆盖奖励:为了量化空间协同效应,该项评估从目标的预测规避分布中提取的离散样本:

42、

43、其中,指示函数 表示是否落在智能体i的可达集内,权重随时间单调增加,以优先保证无缝的终端覆盖,为从目标预测规避分布中抽取的离散样本总数;

44、预测相对距离奖励:为了引导集群并提供稳定的收敛梯度,引入了包含未来终端相对位置偏差演化的衰减惩罚:

45、 (9)

46、其中, ,k为未来预测窗口的步数上限,t为向量转置符号,为智能体 i 在时刻 t 的预测终端相对位置偏差向量,即零控脱靶量向量;

47、差分控制惩罚:为了在不人为限制绝对机动性的情况下抑制高频指令抖振,通过对加速度变化进行惩罚,其中,为智能体 i 在时刻 t 输出或执行的加速度控制指令,即法向加速度向量;结合单调递增的权重,以确保轨迹的平滑性,防止在追踪附近发生执行器饱和;

48、终端命中奖励:在 时评估,该奖励平衡了个体精度与集群冗余,确保至少发生一次成功会合:

49、

50、其中,是集群的最小终端误差距离,是为防止数学奇点而添加的一个常数,为智能体 i 在终端时刻 t_e 的终端误差距离,即个体脱靶距离。

51、第二方面,本发明提供一种基于时间序列感知的多智能体强化学习协同追踪制导系统,该系统具有与如上文所述一种基于时间序列感知的多智能体强化学习协同追踪制导方法的步骤对应的程序模块,运行时执行所述的一种基于时间序列感知的多智能体强化学习协同追踪制导方法中的步骤。

52、第三方面,本发明提供一种计算机设备,包括存储器和处理器,所述存储器中存储有计算机程序,当所述处理器运行所述存储器存储的计算机程序时执行如上文所述的一种基于时间序列感知的多智能体强化学习协同追踪制导方法的步骤。

53、第四方面,本发明提供一种计算机可读存储介质,所述存储介质用于储存计算机程序,所述计算机程序执行如上文所述的一种基于时间序列感知的多智能体强化学习协同追踪制导方法。

54、本发明的有益效果:

55、本文发明提出了一种时序感知的多智能体强化学习(marl)协同覆盖控制方法。具体而言,首先本发明应用了一个2d预测会合面投影模型,该模型在保留关键3d运动学特征的同时压缩了状态空间,从而为序列网络训练提供了有效的基础。然后,本发明设计了一种先进的控制架构,将lstm模块集成到ppo框架中以处理历史观测序列,能够提取隐藏的机动动态,从而有效缓解噪声环境中的部分可观测性挑战。最后,在不同机动场景下进行的综合仿真验证了所提出的方法能显著提高终端误差精度,有效抑制指令抖振,并最小化整体控制能量消耗。

56、本发明可以用于:

57、民用低空安防核心场景‌:可直接应用于城市反“黑飞”作业,针对违规闯入机场净空区、政府机关、大型活动场馆等禁飞空域的高速高机动非合作小型无人机,支撑多架民用无人机集群完成协同追踪、轨迹取证、合规驱离全流程任务,是当前低空安保体系的核心技术支撑。

58、‌重大活动低空保障场景‌:适配体育赛事、演唱会、国家级展会等大型公共活动的低空安保需求,可快速响应闯入活动管控空域的高速小型违规飞行器,在不干扰现场正常秩序的前提下,高效完成协同捕获处置,保障活动现场低空安全。

59、‌应急救援与公共安全辅助场景‌:可应用于山林搜救、水域救援等应急场景,针对高速移动的救援目标、快速逃窜的违规移动目标,支撑多智能体民用无人机集群完成大范围协同追踪定位,为地面救援、执法力量提供实时精准的目标轨迹指引,大幅提升应急响应效率。

60、‌民用特殊场景的目标追踪场景‌可适配长距离油气管道、超高压输电线路的巡检防护场景,针对沿线高速移动的违规作业无人机、可疑机动目标,多无人机集群沿管线/线路分段协同追踪,快速定位目标位置并预警,保障关键基础设施的低空运行安全。

61、‌民用无人机技术验证与培训场景‌:可作为民用无人机多机协同技术的实训验证平台,支撑无人机科普教学、多机协同追踪技术的民用化测试,依托广州迪飞无人机等机构的线下专业训练场地,完成多智能体协同捕获技术的实操训练与场景落地验证。

62、‌环保与生态监测辅助场景‌:适配环保无人机集群的作业需求,针对高速移动的违规排污移动源、非法盗猎机动目标,多智能体协同完成持续追踪与轨迹取证,为生态环境执法提供完整的目标动态数据支撑。