基于多智体强化学习的分布式组网雷达资源分配方法及装置

摘要: 本申请涉及雷达组网,尤其是涉及一种基于多智体强化学习的分布式组网雷达资源分配方法及装置。背景技术:1、现代雷达系统在执行多目标跟踪任务时面临着机动目标与电子对抗...
基于多智体强化学习的分布式组网雷达资源分配方法及装置

本申请涉及雷达组网,尤其是涉及一种基于多智体强化学习的分布式组网雷达资源分配方法及装置。

背景技术:

1、现代雷达系统在执行多目标跟踪任务时面临着机动目标与电子对抗的双重挑战,分布式组网雷达作为多雷达系统的重要发展方向,通过协同感知利用空间分集优势能有效提高定位与跟踪精度,且具有自由度高和通信开销低的特点,但由于资源耦合和异构节点协同,其资源管理面临着比单基地雷达更大的挑战。

2、现有资源分配技术主要依赖预设运动模型进行单步状态预测,并结合跟踪性能理论下界来指导发射资源分配,通常采用凸优化或凸松弛技术求解资源消耗最小化或性能最大化问题。部分研究为了摆脱对预设模型的依赖,引入了交互式多模型方法或长短期记忆网络等数据驱动手段来改善目标运动状态的估计精度。此外,针对复杂的时序决策任务,部分方案将资源分配问题建模为马尔可夫决策过程,并利用深度强化学习算法进行功率分配或联合波束与功率分配,以期在动态电磁干扰环境下实现最佳跟踪性能。

3、然而,现有技术仅利用单步预测信息进行资源分配,在应对机动目标时只能在测量显现机动特性并导致跟踪滤波器协方差膨胀后才增加资源,这种被动式响应机制不可避免地引发跟踪滞后并降低资源利用效率;同时预设运动模型在与真实目标运动学发生显著失配时会导致跟踪性能严重下降,而交互式多模型方法在模型集过大时无法保证实时性;此外现有强化学习方法多基于完全可观测假设进行建模,无法正确处理分布式雷达网络中各节点独立观测所固有的部分可观测性问题,导致策略难以适应实际跟踪场景中的信息不确定性。综上所述,现有技术存在因被动响应、模型失配及部分可观测性建模缺陷导致的跟踪精度不足与资源利用率低下的技术问题。

技术实现思路

1、有鉴于此,本申请提供了一种基于多智体强化学习的分布式组网雷达资源分配方法及装置,主要目的在于解决现有技术存在因被动响应、模型失配及部分可观测性建模缺陷导致的跟踪精度不足与资源利用率低下的技术问题。

2、根据本申请的第一个方面,提供了一种基于多智体强化学习的分布式组网雷达资源分配方法,包括:

3、在分布式雷达网络中,各雷达节点独立运行贝叶斯滤波器,根据各自接收到的回波量测,递推计算目标状态的后验分布,生成局部滤波状态序列;

4、将所述局部滤波状态序列输入基于长短期记忆网络、注意力机制与高斯混合模型的目标状态多步预测模型,经编码提取时序隐特征并由融合注意力机制的解码器学习机动目标状态转移规律,由高斯混合模型输出层映射得到包含未来状态概率密度分布参数、先验贝叶斯信息矩阵及预测置信因子的多步预测信息;

5、基于所述多步预测信息将资源分配建模为部分可观测马尔可夫决策过程,采用集中训练分布执行架构,利用集成循环神经网络的独立策略网络编码所述时序隐特征并结合集中式评价网络,通过经验回放与确定性策略梯度优化获得资源分配策略;

6、依据所述资源分配策略,控制各雷达节点根据所述多步预测信息更新所述时序隐特征并生成联合动作,执行分布式雷达网络的资源自适应协同分配。

7、根据本申请的第二个方面,提供了一种基于多智体强化学习的分布式组网雷达资源分配装置,包括:

8、生成单元,用于在分布式雷达网络中,各雷达节点独立运行贝叶斯滤波器,根据各自接收到的回波量测,递推计算目标状态的后验分布,生成局部滤波状态序列;

9、预测单元,用于将所述局部滤波状态序列输入基于长短期记忆网络、注意力机制与高斯混合模型的目标状态多步预测模型,经编码提取时序隐特征并由融合注意力机制的解码器学习机动目标状态转移规律,由高斯混合模型输出层映射得到包含未来状态概率密度分布参数、先验贝叶斯信息矩阵及预测置信因子的多步预测信息;

10、获取单元,用于基于所述多步预测信息将资源分配建模为部分可观测马尔可夫决策过程,采用集中训练分布执行架构,利用集成循环神经网络的独立策略网络编码所述时序隐特征并结合集中式评价网络,通过经验回放与确定性策略梯度优化获得资源分配策略;

11、分配单元,用于依据所述资源分配策略,控制各雷达节点根据所述多步预测信息更新所述时序隐特征并生成联合动作,执行分布式雷达网络的资源自适应协同分配。

12、根据本申请的第三个方面,提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述第一方面所述方法的步骤。

13、根据本申请的第四个方面,提供了一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面所述方法的步骤。

14、借由上述技术方案,本发明提供的一种基于多智体强化学习的分布式组网雷达资源分配方法及装置,与现有技术相比,具有如下有益效果:基于贝叶斯框架获取各雷达节点的局部滤波状态序列,为资源分配提供高精度的局部滤波状态基础,同时融合长短期记忆网络、注意力机制与高斯混合模型构建多步预测模型,有效提取时序隐特征、识别目标机动目标状态转移规律,输出包含未来状态概率密度分布参数、先验贝叶斯信息矩阵及预测置信因子的多步预测信息,使资源分配决策能够前瞻性适配目标动态变化;在此基础上,将资源分配问题建模为部分可观测马尔可夫决策过程,结合集中训练分布执行架构、经验回放与确定性策略梯度优化资源分配策略,兼顾全局协同最优性与各雷达节点的分布式自主执行能力,最终在运行过程中依托多步预测信息实时更新时序隐特征并生成联合控制动作,实现发射功率和波束参数等雷达资源的自适应协同调配,有效提升了分布式雷达网络在复杂动态场景下的目标跟踪精度与资源利用效率。

15、上述说明仅是本申请技术方案的概述,为了能够更清楚地了解本申请的技术手段,而可依照说明书的内容予以实施,并且为了让本申请的上述和其他目的、特征和优点能够更浅显易懂,以下特举本申请的具体实施方式。

1.一种基于多智体强化学习的分布式组网雷达资源分配方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,在所述根据各自接收到的回波量测,递推计算目标状态的后验分布,生成局部滤波状态序列之前,所述方法还包括:

3.根据权利要求1所述的方法,其特征在于,所述将所述局部滤波状态序列输入基于长短期记忆网络、注意力机制与高斯混合模型的目标状态多步预测模型,经编码提取时序隐特征并由融合注意力机制的解码器学习机动目标状态转移规律,包括:

4.根据权利要求3所述的方法,其特征在于,所述计算当前预测时间步对各历史时间步隐藏状态的注意力权重,基于所述注意力权重对所述隐藏状态序列进行加权求和,生成上下文向量,包括:

5.根据权利要求3所述的方法,其特征在于,在所述将所述上下文向量输入分类层进行机动目标状态转移规律识别,输出目标在未来多步预测区间内机动目标状态转移规律的概率分布之后,所述由高斯混合模型输出层映射得到包含未来状态概率密度分布参数、先验贝叶斯信息矩阵及预测置信因子的多步预测信息,包括:

6.根据权利要求1所述的方法,其特征在于,所述采用集中训练分布执行架构,利用集成循环神经网络的独立策略网络编码所述时序隐特征并结合集中式评价网络,通过经验回放与确定性策略梯度优化获得资源分配策略,包括:

7.根据权利要求6所述的方法,其特征在于,所述基于所述小批量样本,交替更新所述集中式评价网络的参数与各所述独立策略网络的参数,直至收敛得到资源分配策略,包括:

8.根据权利要求7所述的方法,其特征在于,所述集中式评价网络与各所述独立策略网络均对应有结构相同的目标网络;在所述交替更新所述集中式评价网络的参数与各所述独立策略网络的参数之后,还包括:

9.根据权利要求1-8中任一项所述的方法,其特征在于,所述依据所述资源分配策略,控制各雷达节点根据所述多步预测信息更新所述时序隐特征并生成联合动作,执行分布式雷达网络的资源自适应协同分配,包括:

10.一种基于多智体强化学习的分布式组网雷达资源分配装置,其特征在于,包括: