基于多模态注意力融合的低空弱小目标协同检测方法

摘要: 本发明涉及目标检测,特别是基于多模态注意力融合的低空弱小目标协同检测方法。背景技术:1、低空目标检测技术是低空空域监管、低空安防防控的重要技术支撑,微型无人机、...
基于多模态注意力融合的低空弱小目标协同检测方法

本发明涉及目标检测,特别是基于多模态注意力融合的低空弱小目标协同检测方法。

背景技术:

1、低空目标检测技术是低空空域监管、低空安防防控的重要技术支撑,微型无人机、空飘物等低空弱小目标因尺寸小、特征稀疏,其稳定检测是本领域的重点研究内容。

2、现有技术中,专利文献cn117523426a公开了一种融合特征金字塔的低空目标检测算法,该算法以红外视频数据构建低空目标检测数据集,采用swintransformer骨干网络结合特征融合结构构建检测模型,通过多尺度特征融合与特征金字塔结构完成低空目标的特征提取与检测,可适配低空小目标的检测场景。

3、该现有技术采用红外单模态数据作为检测输入,在复杂低空应用场景下,单一红外模态仅能提供目标的部分特征信息,无法结合不同模态数据的特征互补性完成弱小目标的完整特征表征,难以支撑复杂场景下低空弱小目标的精准检测。

技术实现思路

1、为解决现有技术中存在的技术问题,本发明提供了基于多模态注意力融合的低空弱小目标协同检测方法。

2、本发明采用的技术方案是:

3、基于多模态注意力融合的低空弱小目标协同检测方法,包括以下步骤:

4、步骤1:获取低空场景下的多源图像数据,对所述多源图像数据进行配准与增强处理,分离并提取可见光波段特征图和热红外波段特征图;

5、步骤2:将所述可见光波段特征图和所述热红外波段特征图输入至多模态特征融合模块,利用通道空间双重注意力机制计算特征权重,对齐并融合不同模态的特征信息,生成多模态联合特征表示;

6、步骤3:将所述多模态联合特征表示输入至轻量化特征提取网络,通过深度可分离卷积与复合缩放策略,逐级提取目标的多尺度深层语义特征,构建基础特征金字塔;

7、步骤4:将所述基础特征金字塔输入至双向特征融合网络,通过自上而下与自下而上双向跨尺度连接,结合动态感受野调整机制,对所述基础特征金字塔中的各级特征进行重加权与高频信息增强,生成增强型特征金字塔;

8、步骤5:将所述增强型特征金字塔输入至目标定位网络,基于图注意力机制对潜在目标区域进行筛选,生成具有空间拓扑关联的目标候选区域;

9、步骤6:将所述目标候选区域对应的特征向量输入至度量分类模块,采用支持集原型匹配算法计算特征相似度,基于相似度匹配结果确定目标类别属性及位置修正参数,输出最终检测结果。

10、优选的,所述步骤1包括以下子步骤:

11、子步骤1.1:采集低空场景下的可见光图像数据与热红外图像数据,形成多源图像数据;

12、子步骤1.2:对所述多源图像数据执行空间配准操作,建立不同源图像数据之间的空间映射关系;

13、子步骤1.3:对完成配准的多源图像数据执行图像增强操作,提升目标区域与背景区域的特征区分度;

14、子步骤1.4:对增强后的多源图像数据执行波段分离操作,划分可见光波段数据与热红外波段数据;

15、子步骤1.5:分别对可见光波段数据与热红外波段数据执行特征提取操作,得到可见光波段特征图和热红外波段特征图。

16、优选的,所述步骤2包括以下子步骤:

17、子步骤2.1:将可见光波段特征图与热红外波段特征图同步输入至多模态特征融合模块;

18、子步骤2.2:通过通道注意力机制对双模态特征图执行通道维度特征权重计算,得到通道加权特征;

19、子步骤2.3:通过空间注意力机制对所述通道加权特征执行空间维度特征权重计算,得到空间加权特征;

20、子步骤2.4:对所述空间加权特征执行模态对齐操作,统一双模态特征的空间位置与特征分布;

21、子步骤2.5:对完成对齐的双模态特征执行特征融合操作,生成多模态联合特征表示。

22、优选的,所述步骤3包括以下子步骤:

23、子步骤3.1:将多模态联合特征表示输入至轻量化特征提取网络;

24、子步骤3.2:通过深度可分离卷积对多模态联合特征表示执行浅层特征提取操作,得到浅层基础特征;

25、子步骤3.3:通过复合缩放策略调整特征提取网络的结构参数,适配多尺度特征提取需求;

26、子步骤3.4:对浅层基础特征执行逐级下采样操作,提取不同层级的深层语义特征;

27、子步骤3.5:对不同层级的深层语义特征执行特征聚合操作,构建第一基础特征金字塔。

28、优选的,所述对不同层级的深层语义特征执行特征聚合操作,构建第一基础特征金字塔包括以下内容:

29、确定空域高度小于预设高度且成像像素尺寸小于预设像素尺寸的待检测目标对应的尺度分布概率,基于尺度分布概率搭建特征桥接单元,通过特征桥接单元执行低层细粒度特征与高层语义特征的关联操作,对低层细粒度特征与高层语义特征完成关联后的特征执行聚合操作,构建基础特征金字塔。

30、优选的,所述步骤4包括以下子步骤:

31、子步骤4.1:将基础特征金字塔输入至双向特征融合网络;

32、子步骤4.2:通过自上而下连接对基础特征金字塔执行高层特征向低层传递操作;

33、子步骤4.3:通过自下而上连接对基础特征金字塔执行低层特征向高层传递操作;

34、子步骤4.4:基于动态感受野调整机制,自适应调整基础特征金字塔中各级特征的感受野范围;

35、子步骤4.5:对完成双向传递的各级特征执行特征重加权操作;

36、子步骤4.6:对重加权后的特征执行高频信息增强操作,生成增强型特征金字塔。

37、优选的,所述对重加权后的特征执行高频信息增强操作,生成增强型特征金字塔包括以下内容:

38、构建低空气流语义特征库,将重加权特征与低空气流语义特征库执行匹配操作,确定无效高频特征区域,对无效高频特征区域执行特征屏蔽操作,对屏蔽处理后的特征执行增强操作,生成增强型特征金字塔。

39、优选的,所述步骤5包括以下子步骤:

40、子步骤5.1:将增强型特征金字塔输入至目标定位网络;

41、子步骤5.2:通过图注意力机制对增强型特征金字塔执行特征编码操作,得到目标区域编码特征;

42、子步骤5.3:基于所述目标区域编码特征提取潜在目标区域;

43、子步骤5.4:对所述潜在目标区域执行空间拓扑关系建模操作,建立区域间关联约束;

44、子步骤5.5:基于空间拓扑关联约束剔除冗余潜在目标区域,生成目标候选区域。

45、优选的,对所述潜在目标区域执行空间拓扑关系建模操作,建立区域间关联约束包括以下内容:

46、构建低空非目标拓扑禁忌表,基于低空非目标拓扑禁忌表解除目标特征与非目标特征的拓扑绑定关系,对解除绑定后的目标特征执行空间拓扑关系建模操作,基于建模结果建立区域间关联约束。

47、优选的,所述步骤6包括以下子步骤:

48、子步骤6.1:提取目标候选区域对应的特征向量;

49、子步骤6.2:将所述特征向量输入至度量分类模块;

50、子步骤6.3:通过支持集原型匹配算法计算所述特征向量与预设原型特征的相似度;

51、子步骤6.4:基于相似度匹配结果确定目标候选区域的类别属性;

52、子步骤6.5:基于类别属性与特征分布计算目标位置修正参数;

53、子步骤6.6:根据类别属性与目标位置修正参数执行检测结果优化操作,输出最终检测结果。

54、本发明的有益效果是:通过可见光波段特征与热红外波段特征的提取和多模态注意力融合处理,能够充分发挥不同模态数据的特征互补作用,完善低空弱小目标的特征表征;结合多尺度深层语义特征提取与双向跨尺度特征融合,可提升对低空弱小目标的特征适配性;通过图注意力机制的区域筛选与度量分类处理,有助于改善复杂低空场景下弱小目标的检测效果,提升检测的精准程度。