一种基于动态知识图谱学习的零样本SAR目标识别方法
本发明涉及雷达图像智能解译与目标识别,具体为一种基于动态知识图谱学习的零样本sar目标识别方法。
背景技术:
1、合成孔径雷达(synthetic aperture radar,sar)具有全天时、全天候成像能力,并具有一定的穿透能力,已广泛应用于遥感监测、军事侦察、海面监视、交通目标识别和灾害应急等领域。sar自动目标识别是sar图像智能解译中的重要任务,其目标是在复杂成像条件下对车辆、舰船、飞机等目标类别进行准确识别。
2、现有sar目标识别方法主要依赖人工设计特征或深度学习模型。早期方法通常基于散射中心、模板匹配、形状结构描述子等人工特征进行识别,虽然具有一定物理可解释性,但在复杂背景、目标姿态变化、结构差异较大以及噪声干扰条件下,识别稳定性有限。近年来,卷积神经网络、注意力网络、transformer及其混合模型被广泛应用于sar目标识别,能够从大量标注样本中学习判别性特征,并在封闭类别条件下取得较好效果。然而,上述方法通常依赖每一目标类别具有充足的标注sar样本。在实际应用中,新型目标、罕见目标或突发出现的目标类别往往难以及时获得足够标注数据,导致传统监督学习模型难以识别未参与训练的类别。虽然零样本学习能够借助类别语义描述、属性信息或外部知识实现由已见类别向未见类别的知识迁移,但现有零样本识别方法大多面向光学图像设计,通常更关注视觉外观特征与语义空间之间的映射关系,难以充分适配sar图像由电磁散射机制决定的成像特性。具体而言,现有技术至少存在以下问题:
3、第一,sar图像特征表征容易受到成像噪声和散射复杂性的影响。sar图像由相干电磁散射机制形成,普遍存在斑点噪声、背景杂波、视角敏感和散射响应非均匀等问题。现有基于深度学习的sar目标识别方法虽然能够自动提取判别特征,但通常缺少对散射响应稳定性、散射基元及其空间结构关系的显式建模,容易将噪声扰动或偶然强散射点误作为有效特征,导致目标特征表达不稳定,尤其在目标姿态变化、局部遮挡、结构差异较大或类内变化明显的情况下,识别性能和泛化能力受到限制。
4、第二,现有sar零样本识别方法对未见类别的知识迁移能力不足。传统sar目标识别方法通常依赖每一类别均具有充足的标注样本,而实际应用中新型目标、罕见目标或突发出现的目标类别往往难以及时获得标注数据。虽然零样本学习能够利用类别语义描述或属性信息实现由已见类别向未见类别的迁移,但现有方法多直接建立图像特征与语义描述之间的匹配关系,缺少对sar散射机理的针对性约束,导致语义信息与sar图像特征之间存在模态差异,难以稳定生成具有判别性的未见类别表示。
5、第三,现有语义知识建模方式缺乏样本自适应能力和有效图推理机制。现有零样本识别中的语义知识通常以固定属性向量、静态类别描述或预设知识图谱形式存在,类别与属性之间的关系在训练和推理过程中大多保持不变,难以根据不同sar样本呈现出的散射特征进行动态调整。当不同类别具有相似语义属性,或同一类别在不同成像角度下表现出不同散射模式时,静态语义关系难以准确反映当前样本的有效判别信息,从而影响语义知识传播、类别原型生成以及最终未见类别识别的准确性。
6、因此需要对以上问题提出一种新的解决方案。
技术实现思路
1、本发明的目的在于提供一种基于动态知识图谱学习的零样本sar目标识别方法,以解决背景技术中提出的设计问题。
2、为实现上述目的,本发明提供如下技术方案:一种基于动态知识图谱学习的零样本sar目标识别方法,包括以下步骤:
3、s1:获取待识别的sar图像、目标类别文本描述以及属性类型文本描述;
4、s2:对待识别sar图像进行斑点抑制散射表征学习,得到sar图像的散射表征;
5、s3:基于目标类别文本描述和属性类型文本描述构建初始语义知识图谱,并利用sar图像的散射表征对初始语义知识图谱中的类别-属性关系进行动态自适应调整,得到散射引导的动态知识图谱;
6、s4:在散射引导的动态知识图谱上进行关系感知图推理,对类别节点和属性节点之间的语义信息进行传播与更新,生成目标类别原型;
7、s5:基于sar图像的散射表征与目标类别原型之间的匹配结果,输出目标识别类别。
8、进一步地,所述s1中的目标类别文本描述包括目标的尺寸、形状、结构、组成部件、对称性、材料、散射强度和散射模式;
9、进一步地,所述s1还包括对输入sar图像进行尺寸归一化处理。
10、进一步地,所述斑点抑制散射表征学习包括斑点抑制散射响应场提取、散射基元提取以及散射基元结构关系建模,具体步骤为:
11、s2.1:接收输入的待识别sar图像,并将待识别sar图像输入主干特征提取网络,提取得到初始特征张量;
12、s2.2:对待识别sar图像进行同态变换,将sar图像中的乘性斑点噪声转换为加性扰动形式,得到对数域响应,并基于对数域响应计算局部散射不稳定性指标,其中,局部散射不稳定性指标的计算公式为:
13、
14、其中,表示像素位置;表示以像素位置为中心的自适应支持区域;表示位置处的对数域响应;表示自适应支持区域内的平均对数域响应;表示像素位置处的局部散射不稳定性指标;
15、s2.3:根据局部散射不稳定性指标对初始特征张量进行调制,抑制不稳定散射响应并保留稳定散射响应,得到斑点抑制后的散射响应场,其中,斑点抑制后的散射响应场的计算公式为:
16、
17、其中,表示主干特征提取网络在位置处提取的初始特征;表示斑点抑制强度调节参数;表示位置处斑点抑制后的散射响应;
18、s2.4:设置多个可学习散射原子,计算斑点抑制后的散射响应场中各位置特征与各散射原子之间的响应关系,并根据响应关系得到对应的分配权重,再基于所述分配权重对斑点抑制后的散射响应场进行加权聚合,得到多个散射基元,其中,第个散射基元的计算公式为:
19、
20、其中,表示斑点抑制后的散射响应场中的位置总数;表示位置对第个散射原子的分配权重;表示第个散射基元;
21、s2.5:计算各散射基元的响应离散度,并根据响应离散度确定散射基元的可靠性系数,利用可靠性系数对散射基元进行修正;再计算不同散射基元之间的耦合强度,并根据耦合强度对散射基元进行结构关系建模,得到结构增强后的散射基元;
22、s2.6:将所有结构增强后的散射基元进行组合,得到待识别sar图像的散射表征,其中,sar图像的散射表征表示为:
23、
24、其中,表示结构增强后的第个散射基元;表示散射基元的数量;表示散射基元组合函数;表示待识别sar图像的散射表征。
25、进一步地,所述s3包括以下步骤:
26、s3.1:接收输入的目标类别文本描述和属性类型文本描述,将目标类别作为类别节点,将属性类型作为属性节点;
27、s3.2:分别对目标类别文本描述和属性类型文本描述进行语义编码,得到类别语义嵌入和属性语义嵌入,表示为:
28、
29、其中,表示目标类别的文本描述,表示属性类型的文本描述;表示类别文本编码器;表示属性文本编码器;表示目标类别的类别语义嵌入;表示属性类型的属性语义嵌入;
30、s3.3:基于类别语义嵌入和属性语义嵌入之间的相似度,计算类别—属性关联强度,其中,类别—属性关联强度表示为:
31、
32、其中,表示目标类别与属性类型之间的初始关联强度;表示相似度计算函数;表示温度参数;
33、s3.4:基于不同属性语义嵌入之间的相似度,计算属性-属性依赖关系,并根据类别节点、属性节点、类别-属性关联强度以及属性-属性依赖关系构建初始语义知识图谱;
34、s3.5:接收s2得到的sar图像散射表征,基于sar图像散射表征、类别语义嵌入和属性语义嵌入计算样本级门控系数,表示为:
35、
36、其中,表示sar图像的散射表征;表示sigmoid激活函数;表示可学习门控矩阵;表示类别语义嵌入和属性语义嵌入的拼接向量;表示当前sar图像对目标类别与属性类型之间关联关系的激活程度;
37、s3.6:利用样本级门控系数对初始语义知识图谱中的类别-属性关联强度进行动态更新,得到散射引导的类别-属性边权重,并结合属性-属性依赖关系构建散射引导的动态知识图谱,其中,散射引导的类别-属性边权重表示为:
38、
39、其中,表示经sar图像散射表征引导后的目标类别与属性类型之间的动态边权重。
40、进一步地,所述s4包括以下步骤:
41、s4.1:接收s3得到的散射引导的动态知识图谱,将类别节点和属性节点的语义嵌入作为初始节点表示,并根据散射引导的类别—属性边权重和属性—属性依赖关系构建统一邻接矩阵;
42、s4.2:基于统一邻接矩阵进行关系感知图信息传播,使类别节点和属性节点按照动态边权进行语义信息传递与更新,其中,第层图推理的节点表示更新公式为:
43、
44、其中,表示第层的节点表示;表示散射引导的动态知识图谱对应的统一邻接矩阵;表示统一邻接矩阵对应的度矩阵;表示第层图推理的可学习参数矩阵;表示非线性激活函数;
45、s4.3:在图信息传播过程中引入关系感知门控机制,对重要语义关系进行增强,对弱相关语义关系进行抑制,其中,关系感知门控机制表示为:
46、
47、其中,
48、
49、表示关系感知门控权重;表示关系门控参数;表示逐元素乘法;
50、s4.4:经过层关系感知图推理后,得到更新后的类别节点表示和属性节点表示,并基于更新后的属性节点表示以及散射引导的类别-属性边权重,生成目标类别原型,其中,目标类别的类别原型表示为:
51、
52、其中,表示目标类别的类别原型;表示目标类别的类别语义嵌入;表示散射引导后的目标类别与属性类型之间的动态边权重;表示经过层关系感知图推理后的第个属性节点表示。
53、与现有技术相比,本发明的有益效果是:
54、1、本发明提高了sar目标特征表征的稳定性和抗干扰能力,针对sar图像相干成像所导致的斑点噪声、背景杂波和散射响应不稳定等问题,引入斑点抑制散射表征机制,对sar图像中的散射响应场进行稳定性估计和特征调制,并进一步提取具有物理意义的散射基元及其结构关系。相比直接使用常规深度图像特征的方法,本发明能够更有效地突出目标区域中稳定、可靠的散射信息,抑制随机噪声和无关背景响应,从而获得更符合sar成像机理的目标表征,提高复杂成像条件下的识别鲁棒性。
55、2、本发明增强了零样本条件下对未见类别目标的识别能力,利用类别文本描述和属性语义信息构建知识图谱,将已见类别与未见类别之间的共享语义关系进行结构化表达,并通过语义传播生成类别原型。相比依赖大量标注样本的监督识别方法,本发明能够在未见类别缺少标注sar样本的情况下,借助已见类别学习到的知识和类别语义描述实现目标识别。该方式降低了对未见类别标注数据的依赖,适用于新型目标、罕见目标或突发目标类别的识别场景,提升了sar目标识别模型的开放类别泛化能力。
56、3、本发明提升了语义知识与sar散射特征的融合效果和推理准确性,不是采用固定属性向量或静态知识图谱,而是利用输入sar图像的散射表征对知识图谱中的类别-属性关系进行动态调整,使语义关系能够随具体样本的散射特征自适应变化。通过关系感知图推理机制,语义信息能够在动态调整后的知识图谱中有效传播,并生成更具判别性的类别原型。相比现有静态语义匹配方法,本发明能够更准确地刻画当前样本与候选类别之间的关联关系,改善类别语义相近或散射模式复杂情况下的识别性能。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com