一种无人机编队级多设备电磁敏感动态检测装置

摘要: 本发明涉及电磁检测领域,尤其涉及一种无人机编队级多设备电磁敏感动态检测装置。背景技术:1、随着无人机集群技术的快速发展,无人机编队已广泛应用于侦察监视、协同打击...
一种无人机编队级多设备电磁敏感动态检测装置

本发明涉及电磁检测领域,尤其涉及一种无人机编队级多设备电磁敏感动态检测装置。

背景技术:

1、随着无人机集群技术的快速发展,无人机编队已广泛应用于侦察监视、协同打击、通信中继、应急救援等任务场景。相比单架无人机,无人机编队能够通过多平台协同完成更大范围的信息感知与任务执行。然而,在实际电磁环境下,编队中的各无人机机载电子设备易受到外界电磁信号作用,导致导航、通信、飞行控制及任务载荷等多类设备输出数据发生电磁敏感异常,进一步影响无人机间协同通信、信息共享及编队控制性能,严重时甚至引起编队队形失稳、协同任务失败等问题。因此,对无人机编队级多设备电磁敏感进行动态检测,对于保障实际电磁环境下无人机编队安全稳定运行具有重要意义。

2、目前,针对无人机电磁敏感问题,现有技术主要通过电磁屏蔽、滤波抑制、接地优化等方法提升单个设备的电磁兼容能力;但是,这些方法大多针对单架无人机或单个机载电子设备开展研究,缺乏对无人机编队中多架无人机、多类机载电子设备之间电磁敏感关联特性的综合考虑。当编队执行协同任务时,外界电磁信号同时作用于编队中的多架无人机,并可能导致不同机载电子设备产生不同程度的电磁敏感现象,进而影响编队整体协同控制性能。此外,无人机编队具有平台数量多、设备类型丰富、协同关系复杂等特点,现有方法难以满足无人机编队级多设备电磁敏感动态检测需求。

技术实现思路

1、本发明的目的在于克服现有技术的缺点,提供了一种无人机编队级多设备电磁敏感动态检测装置,解决了现有技术存在的不足。

2、本发明的目的通过以下技术方案来实现:一种无人机编队级多设备电磁敏感动态检测装置,所述装置包括:动态检测模型构建模块、模型部署模块、运行状态采集模块、动态检测模块和结果输出模块;

3、所述动态检测模型构建模块:基于构建的数据集建立强化学习训练环境,将编队运行状态作为状态空间,以机载电子设备电磁敏感类别作为动态空间,并依据检测结果涉及奖励函数,通过演员网络、双评论家网络及经验回放机制不断优化策略网络参数,获得无人机编队级多设备电磁敏感动态检测模型;

4、所述模型部署模块:将训练得到的模型参数进行固化,并部署至无人机编队各无人机对应的机载开发板,再将机载开发板分别集成至编队无人机平台,建立与机载电子设备、飞行控制系统及飞行数据存储设备之间的数据通信关系;

5、所述运行状态采集模块:无人机编队执行协同任务过程中,各无人机持续采集导航、飞行控制、通信以及任务载荷这些机载电子设备输出数据,同时获取反映编队协同状态的运行信息,并构建当前时刻的编队状态向量;

6、所述动态检测模块:将构建的编队状态向量输入到动态检测模型中,动态监测模型综合分析各无人机平台运行状态、多类机载电子设备输出特征及编队协同关系,实时动态输出编队中各无人机及各类机载电子设备的电磁敏感状态;

7、结果输出模块:根据动态检测模型输出的检测结果,持续确定发生电磁敏感的无人机平台、对应机载电子设备及电磁敏感类别,并生成编队级多设备电磁敏感检测结果,为后续编队协同控制、电磁敏感调控及任务决策提供依据。

8、所述动态检测模型构建模块具体包括以下内容:

9、飞参数据表现为多维时间序列,采用滑动时间窗口方法构造编队运行状态向量作为强化学习的状态空间;

10、根据无人机电磁敏感特性表征结果,将原始数据划分为m+1种状态类别,包括正常状态以及m类电磁敏感输出,得到强化学习智能体在每一状态下需要选择的动态表示为,其中,表示正常状态,其余类别对应不同的电磁敏感输出类型;

11、设计一奖励函数,当模型预测正确时给予正奖励,当模型预测错误时给予负奖励,从而引导智能体学习数据特征,实现不同类别电磁敏感输出的准确分类,并引入类别权重,以提高少数类电磁敏感输出的识别能力,奖励函数的形式为,其中,表示真实电磁敏感输出类别,为依据不同类别电磁敏感输出数据的数量计算得到的类别权重,与分别为奖励和惩罚系数;

12、在策略学习方面,采用演员-评论家架构,演员网络负责根据当前状态生成动作策略,输出为各个动作的概率分布,评论家网络为双评论家网络结构,两个独立的评论家网络作为动作网络分别估计状态-动作价值函数,并取较小值作为最终估计;

13、引入经验回放机制,以提高样本利用效率并减少样本之间的相关性,在智能体与环境交互过程中,每一步经验被存储为五元组,在训练过程中从经验池中随机采样批量数据进行网络更新,从而提高训练稳定性并避免序列数据带来的相关性问题。

14、所述演员网络由三层全连接层组成,并使用线性整流函数作为激活函数,策略函数表示为,其中,表示神经网络输出的动作,通过softmax函数转换为概率分布,在训练阶段根据该概率进行随机采样,从而增强策略探索能力;

15、两个评论家网络结构相同,但是参数独立训练,并分别维护对应的目标评论家网络以提高训练稳定性。

16、所述动作网络的优化目标表示为,其中,表示由状态s到经验回放池d的数学期望,为温度系数,用于控制策略熵大小;并通过损失函数对温度系数进行更新,为目标策略熵,表示数学期望,该机制能够在探索与利用之间自动取得平衡。

17、所述动态检测模型在训练过程包括:

18、首先对无人机编队飞参数据进行预处理,随后利用滑动窗口方法构造状态序列,并建立强化学习环境;

19、训练过程中,智能体首先根据当前状态输入动作网络,获得各个动作的概率分布,并从中采样得到当前动作,环境根据动作给出对应奖励以及下一状态,并将交互过程形成的经验存储到经验回放池中;

20、当经验池中的样本数量达到设定阈值后,开始随机采样小批量数据用于网络训练,利用目标评论家网络计算目标动作价值,并更新两个评论家网络参数,随后根据评论家网络输出更新演员网络策略,最后根据策略熵计算温度系数并进行自动调节;

21、在每个训练回合结束后,通过计算分类准确率以评估动态检测模型性能,并根据动态检测模型表现进行参数更新,当训练达到设定回合数或者满足提前停止条件时,训练过程结束,得到最终的无人机编队级多设备电子敏感动态检测模型。

22、所述装置还包括无人机编队及检测对象构建模块、无人机编队多源运行数据获取模块和编队级电磁敏感检测数据集构建模块;

23、所述无人机编队及检测对象构建模块:构建由多架无人机组成的目标编队,确定编队中各无人机搭载的导航设备、飞行控制设备、通信设备及任务载荷这些机载电子设备,并选取能够反映各类设备运行状态的关键飞行数据和设备状态数据作为电磁敏感动态检测对象;

24、所述无人机编队多源运行数据获取模块:分别开展无人机编队仿真试验和实际飞行试验,采集编队执行不同协同任务、飞行队形及飞行状态下各无人机机载电子设备输出数据,同时获取电磁信号作用下多架无人机、多类机载电子设备产生电磁敏感现象时的运行数据,建立编队级多源数据集;

25、所述编队级电磁敏感检测数据集构建模块:对采集的编队运行数据进行数据清洗、标准化、特征筛选及滑动时间窗口构建,构建包含不同无人机平台、多类机载电子设备及编队协同状态信息的状态空间及样本数据集。

26、本发明具有以下优点:一种无人机编队级多设备电磁敏感动态检测装置,针对无人机编队中多架无人机、多类机载电子设备电磁敏感关联特性复杂、协同关系紧密的特点,构建基于离散软演员-评论家强化学习的编队级电磁敏感动态检测模型,综合分析编队运行状态、机载电子设备输出特征及编队协同关系,实现对编队中多架无人机、多类机载电子设备电磁敏感状态的动态检测。进一步将efi-dsac模型部署至编队各无人机机载开发板,构建无人机编队级多设备电磁敏感动态检测装置,为编队协同控制、电磁敏感调控、飞行安全评估及任务决策提供可靠的动态检测依据。