一种基于稀疏注意力和语义校准的航拍目标实时检测方法

摘要: 本技术涉及航拍图像目标检测,尤其涉及一种基于稀疏注意力和语义校准的航拍目标实时检测方法。背景技术:1、航拍图像目标检测是遥感解译与低空视觉智能的重要组成部分,可...
一种基于稀疏注意力和语义校准的航拍目标实时检测方法

本技术涉及航拍图像目标检测,尤其涉及一种基于稀疏注意力和语义校准的航拍目标实时检测方法。

背景技术:

1、航拍图像目标检测是遥感解译与低空视觉智能的重要组成部分,可服务于交通监控、城市治理、应急响应和基础设施巡检等应用。不同于常规地面视角图像,航拍场景具有俯视成像几何、大范围背景覆盖、实例密集分布以及显著尺度变化等特点,大量目标仅占据少数几个像素,导致外观线索微弱、边界模糊,并对轻微定位误差高度敏感。

2、现代目标检测主要沿卷积范式和基于transformer的范式发展。卷积检测器通常生成密集候选,并依赖人工设计的分配规则和非极大值抑制。detr类检测器通过一对一二分图匹配将检测表述为直接集合预测,从而消除锚框设计与非极大值抑制。rt-detr进一步通过高效混合编码器与不确定性最小查询选择提升了该范式的效率。然而,其特征层级主要面向通用自然场景检测设计,在航拍图像中,仅依赖较晚、较低分辨率的编码器层级会限制细粒度证据的保留,而提供给编码器的最高分辨率特征仍可能无法为微小目标提供充分的语义判别能力。

3、一种直接做法是引入更早期的高分辨率特征层,但仅保留更多空间细节仍无法解决上述问题。与目标相关的响应只占航拍特征图中的很小一部分,因此对高分辨率特征进行统一交互不仅效率低,而且容易受到背景干扰。与此同时,尽管深层特征具有更强语义,但将其密集传播至所有细粒度位置可能会模糊局部结构,并引入无关上下文。此外,航拍图像中实例分布密集,原始查询配置难以为密集场景提供足够的假设容量;小目标和微小目标的定位对轻微中心和尺寸偏差高度敏感,仅依赖基于重叠的定位监督难以显式区分相似坐标误差对不同尺度边界框的相对影响。

4、因此,如何在保留高分辨率细粒度证据的同时,将上下文交互和深层语义传递选择性地限制在目标相关位置,并在不改变端到端匹配与分类目标的前提下提升密集场景中的假设容量和尺度敏感定位能力,成为航拍图像实时端到端目标检测亟待解决的问题。

技术实现思路

1、为了有助于解决上述问题,本技术提供一种基于稀疏注意力和语义校准的航拍目标实时检测方法。

2、一种基于稀疏注意力和语义校准的航拍目标实时检测方法,包括:

3、获取航拍图像,并将航拍图像经主干网络处理,得到原始编码器输入层级;

4、将原始编码器输入层级替换为步幅依次递增的三个高分辨率特征层级,对最高分辨率特征层级进行频率增强调制,得到频率增强特征;

5、根据频率增强特征预测显著性先验,依据显著性先验从高分辨率特征中选取目标相关位置;

6、在选取的目标相关位置之间执行长程交互,将交互结果与原始局部特征进行有界混合后散射回对应空间位置,得到上下文增强高分辨率特征;

7、对上下文增强高分辨率特征与其余特征层级执行多尺度融合,在自底向上路径中对传递后的特征执行小波分解并映射至目标通道数,得到多个融合特征层级;

8、根据频率增强特征预测补偿路由位置,从最深融合特征层级中采样与补偿路由位置空间对齐的深层语义特征,生成有界有符号残差;

9、将有界有符号残差稀疏写回最高分辨率融合特征层级中对应的补偿路由位置,得到校准后高分辨率特征;

10、将校准后高分辨率特征与其余融合特征层级输入解码器,结合查询集合进行端到端目标预测,并输出航拍目标检测结果。

11、可选的,所述根据频率增强特征预测显著性先验,依据显著性先验从高分辨率特征中选取目标相关位置包括:

12、将频率增强特征输入显著性探测头,生成单通道显著图;

13、将真实边界框投影至特征网格,并按投影框尺寸计算自适应半径,在投影目标中心放置二维高斯响应,通过逐像素最大值合并重叠响应,得到软热力图;

14、以软热力图作为监督信号,对单通道显著图进行优化;

15、将优化后的单通道显著图映射为归一化响应分布,并将归一化响应分布作为显著性先验,显著性先验中每个空间位置上的数值即为对应位置的响应得分;

16、根据响应得分,从高分辨率特征中选取响应最高的若干位置作为目标相关位置。

17、可选的,所述在选取的目标相关位置之间执行长程交互,将交互结果与原始局部特征进行有界混合后散射回对应空间位置,得到上下文增强高分辨率特征包括:

18、从高分辨率特征中收集目标相关位置对应的原始局部特征,形成紧凑序列;

19、为紧凑序列生成二维位置编码,在紧凑序列内部执行长程交互,得到上下文增强序列;

20、获取可学习门控参数,根据可学习门控参数对上下文增强序列与紧凑序列进行有界混合,得到混合序列;

21、将混合序列散射回目标相关位置在高分辨率特征中的对应空间位置,未选取位置保留原始特征,得到上下文增强高分辨率特征。

22、可选的,所述根据可学习门控参数对上下文增强序列与紧凑序列进行有界混合,得到混合序列包括:

23、根据可学习门控参数确定有界上下文响应贡献系数;

24、将上下文响应贡献系数作用于上下文增强序列,得到第一混合分量;

25、将上下文响应贡献系数的补数作用于紧凑序列,得到第二混合分量;

26、将第一混合分量与第二混合分量相加,得到混合序列。

27、可选的,所述对上下文增强高分辨率特征与其余特征层级执行多尺度融合,在自底向上路径中对传递后的特征执行小波分解并映射至目标通道数,得到多个融合特征层级包括:

28、对最深特征层级执行多头自注意力,并将中间特征层级直接参与跨尺度聚合;

29、在自底向上路径中,对传递后的特征执行哈尔小波分解,得到低频分量与多个方向高频分量;

30、将低频分量与多个方向高频分量在通道维度拼接,并经卷积与激活映射至目标通道数,得到小波下采样特征;

31、将小波下采样特征与自顶向下路径对应层级特征融合,得到多个融合特征层级。

32、可选的,所述根据频率增强特征预测补偿路由位置,从最深融合特征层级中采样与补偿路由位置空间对齐的深层语义特征,生成有界有符号残差包括:

33、将频率增强特征输入补偿路由头,生成路由图;

34、将真实边界框投影至高分辨率特征网格,按投影框尺寸将实例划分为不同尺度组,并对不同尺度组分别设置响应权重与绘制半径上限,构造尺度感知路由先验;

35、依据尺度感知路由先验对路由图进行监督,并根据路由图响应选取若干补偿路由位置;

36、对每个补偿路由位置,从最深融合特征层级采样基础语义特征,并根据补偿路由位置对应的局部特征预测有界位移;

37、依据有界位移对基础语义特征进行对齐采样,得到与补偿路由位置空间对齐的深层语义特征;

38、对与补偿路由位置空间对齐的深层语义特征进行归一化与残差适配,并依据补偿路由位置对应局部特征的幅度对残差适配后的深层语义特征进行范数约束,得到约束语义特征;

39、根据约束语义特征生成位置级非负标量门与位置级有符号标量门;

40、将位置级非负标量门与位置级有符号标量门广播至通道维度后作用于约束语义特征,得到初始有符号残差,并依据全局残差强度对初始有符号残差进行整体约束,得到有界有符号残差。

41、可选的,所述将有界有符号残差稀疏写回最高分辨率融合特征层级中对应的补偿路由位置,得到校准后高分辨率特征包括:

42、将有界有符号残差按照补偿路由位置对应的索引进行累积;

43、在累积过程中,将有界有符号残差与最高分辨率融合特征层级中补偿路由位置处的特征相加;

44、补偿路由位置之外的其余位置不进行累积,保持原有特征不变;

45、将最高分辨率融合特征层级保留为主要表示,使有界有符号残差仅在补偿路由位置处形成有界、空间对齐且位置级有符号的语义校正;

46、将完成稀疏写回的最高分辨率融合特征层级作为校准后高分辨率特征。

47、可选的,在所述将完成稀疏写回的最高分辨率融合特征层级作为校准后高分辨率特征之后,还包括:

48、将校准后高分辨率特征与其余融合特征层级输入解码器;

49、将查询集合的查询数量配置为大于原始查询数量的目标查询数量,以适应航拍图像中密集实例分布;

50、在边界框回归中保留广义交并比作为主要定位项,并引入经尺度校准的高斯组合距离项作为互补定位项,高斯组合距离项依据预测框与真实框的归一化中心偏差和尺寸偏差计算;

51、保持匈牙利匹配代价与基于交并比的分类质量目标不变,仅将互补定位项引入边界框回归;

52、根据解码器输出的预测框与分类结果,输出航拍目标检测结果。

53、可选的,所述在边界框回归中保留广义交并比作为主要定位项,并引入经尺度校准的高斯组合距离项作为互补定位项,高斯组合距离项依据预测框与真实框的归一化中心偏差和尺寸偏差计算包括:

54、获取预测框与真实框,并获取预测框与真实框之间的广义交并比项,将广义交并比项作为边界框回归的主要定位项;

55、获取预测框与真实框的归一化中心坐标、归一化宽度与归一化高度;

56、依据预测框与真实框的归一化中心坐标之差,以及预测框与真实框各自的归一化宽度与归一化高度,计算中心偏差分量;

57、依据预测框与真实框的归一化宽度之差与归一化高度之差,以及预测框与真实框各自的归一化宽度与归一化高度,计算尺寸偏差分量;

58、将中心偏差分量与尺寸偏差分量组合,得到高斯组合距离项,并对高斯组合距离项进行数值校准,使数值校准后的高斯组合距离项作为边界框回归的互补定位项。

59、综上所述,本技术包括以下有益技术效果:

60、通过将原始编码器输入层级替换为步幅依次递增的三个高分辨率特征层级,并对最高分辨率特征层级进行频率增强调制,有效保留了航拍图像中小目标在反复下采样过程中容易丢失的细粒度空间证据;在此基础上,利用频率增强特征预测显著性先验并据此选取目标相关位置,仅在少量目标相关位置之间执行长程交互,并将交互结果与原始局部特征进行有界混合后散射回对应空间位置,从而在不引入密集注意力计算开销和背景干扰的前提下增强微弱目标响应;随后在自底向上融合路径中采用哈尔小波分解替代传统下采样,在尺度转换过程中显式保留低频与高频结构信息,并通过独立的补偿路由头预测补偿路由位置,从最深融合特征层级采样空间对齐的深层语义特征,生成有界有符号残差并稀疏写回最高分辨率融合特征层级,使兼容的深层语义能够增强局部表示、不兼容的语义能够被抑制,从而在保留原始融合特征作为主要表示的同时提高稀疏位置处的语义可靠性;进一步结合更大的查询容量和以广义交并比为主要定位项、经尺度校准的高斯组合距离项为互补定位项的边界框回归策略,在不改变匈牙利匹配代价和基于交并比的分类质量目标的前提下提升尺度敏感定位能力。因此,本技术在visdrone和ai-tod-v2等航拍数据集基准上,采用resnet-18和resnet-50主干网络时均能获得一致的检测精度提升,尤其在小目标和微小目标上增益显著,同时保持实时端到端推理能力,兼顾了检测精度、尺度敏感性与部署效率。