一种基于SPO的频率捷变雷达联合抗干扰决策方法
本发明涉及雷达信号处理与智能抗干扰,尤其涉及一种基于spo的频率捷变雷达联合抗干扰决策方法。
背景技术:
1、随着有源干扰技术的发展,雷达面临的电磁环境呈现出干扰样式多样、干扰参数时变以及干扰策略智能化等特点。瞄频干扰能够针对雷达当前工作频点集中施加干扰功率,宽带噪声干扰能够覆盖雷达的多个可用频点,扫频干扰能够按照预设规律在雷达工作频带内切换,转发干扰能够截获、存储并转发雷达发射信号。上述有源干扰会降低雷达接收回波的信干噪比,进而降低雷达的目标检测概率。
2、频率捷变是雷达主动抗干扰的重要手段。频率捷变雷达将一个雷达脉冲划分为多个子脉冲,并使不同子脉冲采用不同载频,以降低干扰机对雷达真实工作频点的持续跟踪能力。
3、除频率捷变外,雷达还可以采用副瓣对消等干扰抑制措施。副瓣对消通过辅助通道获取干扰信号,并根据主通道与辅助通道之间的幅相关系形成对消权值,从而降低由雷达天线副瓣进入的干扰功率。但是,副瓣对消对由雷达天线主瓣进入的干扰难以获得相同的抑制效果。因此,探测子脉冲频点和干扰抑制措施之间存在耦合关系,需要根据干扰类型、干扰方向和历史干扰行为进行联合决策。
4、现有的雷达智能抗干扰方法通常将雷达工作频点或者干扰抑制算法作为单一决策对象,难以在同一动作空间内对探测子脉冲频点和干扰抑制措施进行联合优化。当可选频点数量和抗干扰措施数量增加时,雷达的组合动作空间快速增大,传统基于动作价值函数的强化学习算法容易出现动作价值估计波动,影响抗干扰策略的训练效果。
5、此外,雷达抗干扰任务的最终评价指标通常为一个相参处理间隔结束时的目标检测概率。若仅在相参处理间隔结束时将目标检测概率作为奖励,则奖励具有稀疏性和延迟性,不利于强化学习模型确定各子脉冲动作与最终目标检测性能之间的关系;若仅采用单个时刻的信干噪比作为奖励,又可能使强化学习模型的优化目标与相参处理间隔结束时的目标检测概率不一致。
6、近端策略优化算法通过截断新旧策略的动作概率比限制策略更新幅度,但当动作概率比超出截断区间后,部分训练样本难以继续提供有效的策略梯度,并且固定截断区间难以根据不同训练样本的优势函数自适应地调整约束强度,容易影响策略训练的稳定性。
技术实现思路
1、本发明的目的在于克服现有技术中的不足,提供一种基于spo的频率捷变雷达联合抗干扰决策方法,解决现有雷达抗干扰方法难以联合优化子脉冲频点和干扰抑制措施、奖励反馈稀疏或者与最终检测目标不一致以及策略更新稳定性不足的问题。
2、为达到上述目的,本发明采用下述技术方案实现。
3、本发明提供了一种基于spo的频率捷变雷达联合抗干扰决策方法,包括:
4、获取雷达的历史发射动作和有源干扰观测信息,根据所述历史发射动作和有源干扰观测信息构建雷达抗干扰决策状态;
5、将探测子脉冲频点和干扰抑制措施进行组合,构建雷达联合抗干扰动作空间;
6、将所述雷达抗干扰决策状态输入策略优化模型,得到雷达联合抗干扰动作空间中各联合抗干扰动作的选择概率,并根据所述选择概率确定联合抗干扰动作;
7、根据所述联合抗干扰动作控制雷达的探测子脉冲频点和干扰抑制措施,使雷达与有源干扰环境进行交互,并获取执行所述联合抗干扰动作后的有源干扰观测信息;
8、根据各频点的信号功率、噪声功率和干扰功率计算各频点的信干噪比,在相参处理间隔内根据各频点的信干噪比和干扰抑制措施启用代价生成步级奖励,在相参处理间隔结束时根据多频点检测概率生成终端奖励;
9、将所述雷达抗干扰决策状态、联合抗干扰动作、步级奖励或终端奖励以及更新后的雷达抗干扰决策状态作为训练样本,根据所述训练样本计算优势函数和新旧策略动作概率比;
10、根据所述优势函数和新旧策略动作概率比构建spo目标函数,在所述spo目标函数中设置与新旧策略动作概率比偏离1的程度相关的二次惩罚项,根据所述spo目标函数更新策略优化模型;
11、重复进行联合抗干扰动作生成、有源干扰环境交互、奖励计算和模型更新,直至满足预设训练终止条件,得到训练后的策略优化模型,并利用所述训练后的策略优化模型生成雷达联合抗干扰动作。
12、可选的,所述雷达在一个雷达脉冲内发射多个子脉冲,雷达发射信号表示为:
13、 (1)
14、其中,表示脉内时间为时的雷达发射信号,表示脉内时间,表示一个雷达脉冲内的子脉冲数量,表示子脉冲持续时间,表示第个子脉冲的发射功率,表示雷达发射信号包络,表示虚数单位,表示第个子脉冲的载频,表示矩形窗函数,表示指数函数。
15、第个子脉冲的载频表示为:
16、 (2)
17、其中,表示雷达初始载频,表示第个子脉冲对应的频点索引,表示相邻可选频点之间的频率间隔。
18、可选的,第时刻的雷达联合抗干扰动作表示为:
19、 (3)
20、其中,表示第时刻的雷达联合抗干扰动作,分别表示个探测子脉冲的频点索引,表示干扰抑制措施标识。
21、当时,表示启用干扰抑制措施;当时,表示不启用所述干扰抑制措施。所述干扰抑制措施为副瓣对消。
22、可选的,所述雷达抗干扰决策状态由最近个时刻的雷达发射动作和有源干扰观测信息构成,表示为:
23、 (4)
24、其中,表示第时刻的雷达抗干扰决策状态,表示第时刻的有源干扰观测信息,表示第时刻的雷达发射动作,表示用于构建雷达抗干扰决策状态的历史时刻数量。
25、可选的,所述有源干扰包括瞄频干扰、宽带噪声干扰、扫频干扰和转发干扰中的一种或多种;所述有源干扰观测信息至少包括有源干扰作用的频点信息。
26、可选的,当干扰信号由雷达天线副瓣进入且启用副瓣对消时,有效干扰功率表示为:
27、 (5)
28、当干扰信号由雷达天线主瓣进入或者未启用副瓣对消时,有效干扰功率表示为:
29、 (6)
30、其中,表示经过副瓣对消处理后的有效干扰功率,表示副瓣对消处理前的干扰功率,表示副瓣对消改善量。
31、可选的,在相参处理间隔的非结束时刻,第个子脉冲对应的信干噪比表示为
32、 (7)
33、其中,表示第时刻第个子脉冲的信干噪比,表示第个子脉冲对应频点的信号功率,表示噪声功率,表示第时刻第个子脉冲对应的有效干扰功率。
34、所述基础步级奖励表示为:
35、 (8)
36、其中,表示第时刻的步级奖励,表示奖励缩放系数,表示第时刻参与目标检测的子脉冲位置集合,表示所述子脉冲位置集合中的元素数量。
37、在所述基础步级奖励中扣除干扰抑制措施启用代价,得到最终步级奖励
38、 (9)
39、其中,表示干扰抑制措施启用代价系数,表示第时刻是否启用副瓣对消;启用时,否则。
40、可选的,在相参处理间隔结束时,对同一频点上的多个子脉冲进行相参积累,第个频点相参积累后的信干噪比表示为:
41、 (10)
42、其中,表示第个频点相参积累后的信干噪比,表示相参处理间隔内第个频点参与相参积累的子脉冲数量,表示第个频点的信号功率,表示第个频点的噪声功率,表示第个频点受到干扰的子脉冲集合,表示所述集合中第个子脉冲对应的有效干扰功率。
43、可选的,根据各频点相参积累后的信干噪比,分别计算无目标假设和有目标假设下第个频点对应的检测权重
44、 (11)
45、 (12)
46、无目标假设和有目标假设下的检测统计量分别表示为:
47、 (13)
48、 (14)
49、其中,表示参与目标检测的频点数量,表示无目标假设下第个频点对应的检测权重,表示有目标假设下第个频点对应的检测权重,表示服从自由度为2的归一化卡方分布的随机变量,表示为:
50、 (15)
51、可选的,根据预设虚警概率计算检测门限,所述检测门限表示为:
52、 (16)
53、根据所述检测门限计算多频点检测概率,所述多频点检测概率表示为:
54、 (17)
55、其中,表示检测门限,表示预设虚警概率,表示多频点检测概率,表示无目标假设下检测统计量的累积分布函数,表示有目标假设下检测统计量的累积分布函数。所述终端奖励设置为多频点检测概率。
56、可选的,所述策略优化模型包括策略网络和价值网络,所述策略网络用于根据雷达抗干扰决策状态输出各联合抗干扰动作的选择概率,表示为:
57、 (18)
58、所述价值网络用于输出雷达抗干扰决策状态对应的状态价值,表示为:
59、 (19)
60、其中,表示由参数确定的策略,表示策略网络的动作评分函数,表示由参数确定的状态价值函数,表示价值网络的状态价值映射函数。
61、可选的,采用广义优势估计方法计算优势函数,时序差分误差表示为:
62、 (20)
63、优势函数估计值表示为:
64、 (21)
65、回报估计值表示为:
66、 (22)
67、其中,表示第时刻的时序差分误差,表示第时刻的步级奖励或终端奖励,表示折扣因子,表示广义优势估计参数,表示相参处理间隔是否结束的标识,表示第时刻的优势函数估计值,表示第时刻的回报估计值。
68、可选的,当前策略网络相对于旧策略网络的动作概率比表示为:
69、 (23)
70、spo目标函数表示为:
71、 (24)
72、其中,表示当前策略网络相对于旧策略网络的动作概率比,表示旧策略网络参数,表示二次惩罚系数,表示策略熵系数,表示策略概率分布的熵,表示期望运算。
73、根据所述spo目标函数更新策略网络,并根据下式所示的价值损失函数更新价值网络
74、 (25)
75、其中,表示价值损失函数。
76、与现有技术相比,本发明所达到的有益效果为:
77、本发明将探测子脉冲频点和干扰抑制措施纳入统一的雷达联合抗干扰动作空间,能够根据有源干扰环境联合调整雷达波形参数和干扰抑制措施,避免分别优化不同抗干扰资源导致的策略不协调问题;根据雷达历史发射动作和有源干扰观测信息构建雷达抗干扰决策状态,使策略优化模型能够利用扫频干扰、转发干扰及其他时变干扰的历史行为特征;在相参处理间隔内采用各频点信干噪比生成步级奖励,在相参处理间隔结束时采用多频点检测概率生成终端奖励,既能够为模型训练提供连续反馈,又能够使策略优化目标与雷达最终目标检测性能保持一致;通过在非结束时刻的步级奖励中扣除干扰抑制措施启用代价,避免副瓣对消在无需抑制时始终开启,使频点选择与干扰抑制措施启停之间形成资源权衡;在策略优化目标函数中引入与新旧策略动作概率比偏离1的程度相关的二次惩罚项,能够连续约束策略更新幅度,提高雷达抗干扰策略训练的稳定性及目标检测性能。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com