一种频率-空间互补的航空小目标检测方法

摘要: 本公开实施例涉及航空小目标检测,尤其涉及一种频率-空间互补的航空小目标检测方法。背景技术:1、航空目标检测广泛应用于无人机巡检、交通监控、低空安防、应急救援、遥...
一种频率-空间互补的航空小目标检测方法

本公开实施例涉及航空小目标检测,尤其涉及一种频率-空间互补的航空小目标检测方法。

背景技术:

1、航空目标检测广泛应用于无人机巡检、交通监控、低空安防、应急救援、遥感解译和城市管理等任务。与自然场景图像相比,航空图像通常具有拍摄视角高、目标尺度跨度大、背景复杂、目标密集分布、纹理线索弱以及小目标像素占比低等特点。在同一幅图像中,行人、自行车、车辆等小目标可能仅占据极少像素,而中大型目标又需要较强的语义上下文支撑,因而对检测模型的多尺度表示能力提出了更高要求。

2、现有卷积神经网络检测器和特征金字塔结构能够在一般目标检测任务中取得较好效果,但直接用于航空图像时仍存在明显不足。其一,小目标依赖浅层高分辨率特征中的边缘、纹理和局部高频结构,而这些细节信息在早期下采样和深层特征提取过程中容易被抑制或丢失;其二,中大型目标需要更宽的有效感受野和更完整的结构上下文,但普通小卷积核或同质化金字塔处理方式难以充分建模长距离空间依赖;其三,现有特征金字塔方法多对不同层级特征采用相近的融合或增强方式,未能充分利用浅层特征偏向局部细节、深层特征偏向语义上下文的功能差异。

3、已有航空目标检测方法通常从区域搜索、密度指导、局部裁剪、样本选择或检测头优化等角度改善小目标检测效果。这些方法虽然能够在一定程度上提高检测性能,但多数仍以空间域区域处理或检测策略调整为主,对浅层高频细节保留和深层上下文完整性的联合建模不足。

4、因此,迫切需要一种能够根据不同深度特征的功能差异进行互补增强的航空小目标检测方法,以解决小目标细节易丢失、密集目标响应分散、跨尺度表达不均衡等问题。

5、需要注意的是,本部分旨在为权利要求书中陈述的本公开的技术方案提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

技术实现思路

1、本公开实施例的目的在于提供一种频率-空间互补的航空小目标检测方法,进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。

2、根据本公开实施例,提供一种频率-空间互补的航空小目标检测方法,包括:

3、步骤s1:构建频率-空间互补学习检测模型;其中,频率-空间互补学习检测模型包括特征提取网络、频率感知浅层增强模块、空间上下文深层增强模块、跨层金字塔融合模块和目标检测头,特征提取网络包括早期特征提取模块和多阶段特征提取模块,目标检测头包括分类分支和边界框回归分支;

4、步骤s2:利用特征提取网络对航空图像依次进行细节保留特征提取和多尺度特征提取,得到多个尺度的主干特征;其中,主干特征包括浅层高分辨率特征和深层低分辨率特征;

5、步骤s3:利用频率感知浅层增强模块对浅层高分辨率特征进行高频细节增强,得到浅层频率增强特征;

6、步骤s4:利用空间上下文深层增强模块对深层低分辨率特征进行空间上下文建模增强,得到深层空间上下文增强特征;

7、步骤s5:利用跨层金字塔融合模块对由浅层频率增强特征和深层空间上下文增强特征组成的跨层特征集合进行跨层特征融合,得到多尺度的金字塔特征;

8、步骤s6:将多尺度的金字塔特征输入目标检测头,由目标检测头输出目标检测结果。

9、进一步地,步骤s2中,利用早期特征提取模块进行细节保留特征提取,具体过程包括:

10、对航空图像进行初始卷积、归一化和非线性激活,得到初始特征;

11、利用标准池化路径对初始特征进行下采样,得到语义下采样特征;

12、利用类haar细节采样路径通过空间偏移采样算子从初始特征的局部二维邻域的不同位置提取多个第一空间移位子特征,将多个第一空间移位子特征沿通道维度进行拼接得到细节采样特征,再将细节采样特征通过卷积、归一化和非线性激活进行通道压缩,得到细节保留特征;

13、将语义下采样特征与细节保留特征沿通道维度拼接,并通过卷积、归一化和非线性激活进行融合,得到早期细节保留特征。

14、进一步地,步骤s2中,利用多阶段特征提取模块进行多尺度特征提取,具体过程包括:

15、利用多阶段特征提取模块对早期细节保留特征进行多尺度特征提取,以生成主干特征、主干特征、主干特征和主干特征;其中,主干特征和主干特征为浅层高分辨率特征,主干特征和主干特征为深层低分辨率特征。

16、进一步地,步骤s3具体包括:

17、对浅层高分辨率特征进行通道投影,得到投影特征;其中,表示主干特征对应的投影特征,表示通道投影操作;

18、定义紧凑步长采样算子,并基于紧凑步长采样算子对浅层高分辨率特征进行空间移位采样,生成多个第一空间移位子特征;

19、根据多个第一空间移位子特征,构造多个高频响应分量;

20、将多个高频响应分量沿通道维度拼接,并通过卷积、归一化、非线性激活和上采样得到浅层细节特征;

21、利用通道门控和空间门控对浅层细节特征进行噪声抑制和细节调制,得到门控后的细节特征;

22、将门控后的细节特征通过可学习残差缩放系数注入投影特征,得到浅层频率增强特征。

23、进一步地,步骤s4具体包括:

24、对深层低分辨率特征进行通道投影,得到投影特征;其中,表示主干特征对应的投影特征;

25、对投影特征依次执行大核深度卷积、归一化、点卷积和gelu激活函数,得到上下文残差特征;

26、将上下文残差特征与投影特征进行残差融合,得到深层空间上下文增强特征。

27、进一步地,步骤s5具体包括:

28、根据浅层频率增强特征和深层空间上下文增强特征,构造跨层特征集合;

29、对跨层特征集合执行通道维度的跨层交互,增强不同层级特征之间的通道语义关联,得到通道交互后的跨层特征集合;其中,为通道维度跨层交互算子;

30、对通道交互后的跨层特征集合执行空间维度的跨层交互,增强不同尺度特征之间的空间响应一致性,得到空间交互后的跨层特征集合;其中,为空间维度跨层交互算子;

31、将空间交互后的跨层特征集合中各层级的空间交互特征与对应层级的浅层频率增强特征和深层空间上下文增强特征进行残差融合,得到多尺度的金字塔特征。

32、进一步地,步骤s6具体包括:

33、将多尺度金字塔特征输入分类分支,输出目标类别预测结果和置信度预测结果;

34、将多尺度金字塔特征输入边界框回归分支,输出目标位置预测结果。

35、进一步地,频率-空间互补学习检测模型训练的总损失函数为:

36、

37、其中,表示分类损失,表示边界框回归损失,表示用于平衡分类损失和边界框回归损失的权重系数。

38、本公开的实施例提供的技术方案可以包括以下有益效果:

39、通过上述方法,根据不同深度特征在航空目标检测中的功能差异,对浅层高分辨率特征和深层低分辨率特征实施差异化的互补增强,避免采用相同特征处理方式所造成的局部细节表征不足和深层结构响应不完整。通过在早期特征提取阶段在保留语义下采样信息的同时,从局部二维邻域的不同空间位置提取并融合细节信息,从而减少初始下采样过程中航空小目标弱边界、细纹理及局部结构信息的损失,为后续多尺度特征提取提供包含更多局部细节证据的基础特征。通过频率感知浅层增强模块能够有针对性地增强与小目标边缘、纹理及局部形状相关的高频信息。通过空间上下文深层增强模块提高模型对中大型目标整体轮廓、空间连续性、局部遮挡关系及背景上下文的建模能力。通过跨层金字塔融合模块增强不同尺度特征之间的语义关联和空间响应一致性,使浅层局部细节信息与深层语义上下文信息在多尺度金字塔中形成互补,提高多尺度目标检测的整体平衡性。该方法通过早期细节保留、浅层高频细节增强、深层空间上下文建模以及跨层特征交互的协同作用,提高航空图像中小目标、密集目标和尺度变化目标的检测精度、定位稳定性及复杂背景适应能力。所述技术方案可以与不同特征提取网络及目标检测头组合使用,具有较好的模型兼容性和应用扩展性。