基于联合重校准与查询分配的无人机航拍小目标检测方法

本发明涉及无人机航拍小目标检测方法，具体涉及基于联合重校准与查询分配的无人机航拍小目标检测方法，属于计算机视觉。

背景技术：

1、随着无人机、智能监控、遥感成像和自动巡检等技术的快速发展，小目标检测已广泛应用于交通监测、灾害救援、农业巡检、安防监控、城市管理和环境感知等场景。与常规目标检测任务相比，复杂环境下的小目标检测具有更高难度。此类场景中的目标通常在图像中占据像素比例较小，边缘、纹理和形状等可辨别信息有限，同时还容易受到复杂背景、光照变化、遮挡、目标密集分布、尺度差异和视角变化等因素干扰，导致目标特征弱、定位困难和误检漏检率较高。

2、现有无人机目标检测技术在多尺度目标、复杂环境、低光照等场景下虽取得了一定进展，但在实际应用中仍存在明显不足，具体如下：

3、首先，现有多尺度特征融合方法大多采用特征拼接、加权融合或卷积融合等方式，将不同分辨率的特征图进行整合。该类方法虽然能够利用浅层特征的空间细节和深层特征的语义信息，但往往缺少对不同层级特征差异性的有效处理，简单融合容易造成特征对齐不足、背景干扰传递以及小目标信息被稀释的问题；

4、此外，在复杂背景、低信噪比或成像质量下降的场景下，无人机图像容易出现对比度下降、边缘模糊和纹理细节退化等问题。现有检测方法多依赖空间域卷积或空间注意力机制进行特征增强，对频率域中的边缘、纹理和结构信息利用不足，难以有效补偿低信噪比造成的小目标特征退化。因此，在复杂背景和低信噪比条件下，目标特征容易被背景信息淹没，导致漏检和误检；

5、最后，现有detr类目标检测方法通常采用固定数量的对象查询进行预测，难以适应无人机图像中目标数量和分布密度的变化。在目标密集场景中，查询数量不足容易导致候选目标覆盖不充分，从而产生漏检；在目标稀疏场景中，过多查询又会带来冗余计算和无效预测，影响检测效率和模型稳定性。

技术实现思路

1、针对现有技术难以同时兼顾多尺度特征融合质量、复杂环境下的鲁棒性以及实时检测效率的技术问题，本发明提供一种基于联合重校准与查询分配的无人机航拍小目标检测方法，该方法在主干网络、多尺度特征融合阶段以及解码器查询阶段中分别引入空频双域增强模块、联合空间-通道重校准模块和密度感知查询分配模块，旨在提升无人机航拍图像在背景杂乱、目标尺度变化剧烈、目标分布密集以及小目标特征不明显等复杂场景下的检测精度与鲁棒性，并在保证检测准确性的同时提高检测效率，以满足无人机平台实时目标检测的应用需求。

2、为实现上述目的，本发明提供了基于联合重校准与查询分配的无人机航拍小目标检测方法，包括如下步骤：

3、步骤1，获取预处理无人机航拍数据集；

4、步骤2，搭建无人机航拍目标检测模型；

5、步骤3，利用预处理无人机航拍数据集对无人机航拍目标检测模型进行训练，得到训练好的检测模型；

6、步骤4，利用训练好的检测模型对待处理的无人机航拍图像进行目标检测，得到检测结果并对训练好的检测模型性能进行评估。

7、进一步地，所述步骤2包括：

8、将输入数据输入主干网络中，通过引入多阶段的空频双域模块进行处理，得到多尺度特征；

9、将多尺度特征输入颈部网络中，通过在多尺度特征融合阶段引入联合空间-通道重校准模块进行处理，得到多尺度融合特征；

10、将多尺度融合特征中的高分辨率特征输入密度感知查询分配模块中，根据目标分布密度动态调整查询分配策略，得到最终分配的查询数量；

11、将查询数量以及多尺度融合特征经特征拼接后得到的增强特征输入头部网络中，通过解码器和检测头根据查询向量预测目标类别和目标边界框。

12、进一步地，所述空频双域模块处理特征的过程包括：

13、首先，对输入特征进行卷积处理，得到中间特征；

14、随后，对中间特征进行通道划分，得到保留分支特征和增强分支特征；

15、接着，将增强分支特征输入至多个级联的跨域双重注意力块进行处理，得到处理后的增强分支特征；

16、最后，将保留分支特征与处理后的增强分支特征进行拼接，并通过卷积融合得到输出特征。

17、进一步地，所述跨域双重注意力块处理特征的过程包括：

18、首先，将输入特征进行批归一化和深度卷积处理后，与输入特征进行残差相加，得到局部增强特征；

19、随后，根据通道划分比例对局部增强特征进行通道划分，得到增强分支特征和保留分支特征；

20、接着，将经层归一化处理后增强分支特征输入至空频通道注意力模块进行处理，得到处理后的增强分支特征；

21、最后，将处理后的增强分支特征与保留分支特征进行拼接，并通过前馈网络处理得到输出特征。

22、进一步地，所述空频通道注意力模块处理特征的过程包括：

23、首先，将经逐点卷积处理后的输入特征沿通道维度划分为空间分支特征和频率分支特征；

24、然后，分别采用3×3、1×5和5×1深度卷积对空间分支特征进行方向空间增强，并将特征拼接后得到的特征通过逐点卷积进行融合，得到空间增强特征；

25、接着，将频率分支特征进行二维实值快速傅里叶变换，得到复数频率响应；将实部和虚部沿通道维度拼接，并通过3×3深度卷积对频率响应进行局部联合调制，得到调制后的频率特征；利用二维实值逆快速傅里叶变换对调制后的频率特征进行处理，得到频率重构特征；

26、随后，将频率重构特征输入频率可靠性门控单元中，通过全局平均池化、1×1卷积和sigmoid激活函数处理生成频率可靠性权重；利用频率可靠性权重对频率重构特征进行逐元素相乘，得到频率增强特征；

27、最后，将空间增强特征和频率增强特征进行拼接，得到空频融合特征；将空频融合特征输入至高效通道注意力单元进行轻量通道重标定，并利用逐点卷积对重标定后的空频融合特征进行输出映射，得到输出特征。

28、进一步地，所述联合空间-通道重校准模块处理特征的过程包括：

29、首先，将第一输入特征和第二输入特征分别输入至双向跨通道关系单元进行处理，得到第一通道关系描述向量和第二通道关系描述向量；

30、然后，对经向量变换后的第一通道关系描述向量和第二通道关系描述向量进行外积与归一化处理，得到跨通道关系矩阵；

31、接着，利用跨通道关系矩阵及其转置矩阵分别对第一输入特征和第二输入特征进行双向通道关系校准，得到第一通道关系校准特征和第二通道关系校准特征；该过程表示为：

32、,

33、,

34、其中，和分别表示第一通道关系校准特征和第二通道关系校准特征；和分别表示由第一输入特征和第二输入特征沿空间维度展平得到的特征矩阵；表示由两路通道关系描述向量共同构造的跨通道关系矩阵的转置矩阵，用于第二路特征的反向通道关系校准；表示尺寸恢复操作，用于将c×hw的矩阵恢复为h×w×c的空间特征图，以便与后续空间显著校准权重进行逐元素运算。

35、随后，将第一通道关系校准特征和第二通道关系校准特征分别输入至空间显著校准单元进行处理，得到第一空间显著校准图和第二空间显著校准图；分别对第一空间显著校准图和第二空间显著校准图进行softmax归一化处理，得到第一空间显著校准权重和第二空间显著校准权重；将第一空间显著校准权重和第二空间显著校准权重分别与第一通道关系校准特征和第二通道关系校准特征进行逐元素相乘后，通过残差连接分别与第一输入特征和第二输入特征进行逐元素相加，得到第一空间-通道联合重校准特征和第二空间-通道联合重校准特征；

36、最后，将第一空间-通道联合重校准特征和第二空间-通道联合重校准特征输入至加权融合单元进行加权融合，得到输出特征。

37、进一步地，所述双向跨通道关系单元处理特征的过程包括：

38、依次对输入特征进行平均池化、1×1卷积和relu激活函数处理，得到平均池化分支结果；

39、依次对输入特征进行最大池化、1×1卷积和relu激活函数处理，得到最大池化分支结果；

40、将平均池化分支结果和最大池化分支结果进行相加，得到通道关系描述向量；

41、所述空间显著校准单元处理特征的过程包括：

42、分别对通道关系校准特征进行平均池化和最大池化处理，得到通道平均空间描述图和通道最大空间描述图；

43、将通道平均空间描述图和通道最大空间描述图在通道维度进行拼接，并通过多层3×3卷积生成空间显著校准图。

44、进一步地，所述密度感知查询分配模块处理特征的过程包括：

45、首先，利用像素重排操作对输入特征进行空间维度重排，得到空间重排特征；

46、其次，分别对空间重排特征进行全局平均池化和全局最大池化，得到全局平均池化特征和全局最大池化特征；

47、然后，分别将全局平均池化特征和全局最大池化特征输入至轻量化激励单元进行处理，并通过残差连接分别与全局平均池化特征和全局最大池化特征进行相加，得到平均池化分支和最大池化分支的残差增强特征；

48、接着，将平均池化分支和最大池化分支的残差增强特征沿通道维度进行拼接，并利用1×1卷积进行跨分支融合，得到聚合密度特征；

49、最后，将聚合密度特征输入至前馈网络进行处理，并通过softmax归一化处理生成不同目标密度类别的概率分布；并根据概率最大的密度类别从预设查询数量集合中选择对应的查询数量。

50、本发明还提供了一种电子设备，包括处理器和存储器，所述存储器存储有程序代码，当所述程序代码被所述处理器执行时，使得所述处理器执行所述的方法的步骤。

51、本发明还提供了一种存储介质，存储有计算机程序或指令，当所述计算机程序或指令在计算机上运行时，执行所述的方法的步骤。

52、与现有技术相比，本发明的有益效果为：

53、1、针对复杂背景下无人机航拍小目标特征表达不足、检测精度低的问题。本发明设计空频双域模块，通过空间域与频率域协同建模增强无人机航拍图像中的小目标特征。该模块在外层采用分流与聚合结构，仅将部分通道送入连续跨域双重注意力块进行增强，并保留部分原始特征以维持空间定位信息；在跨域双重注意力块内部，空频通道注意力模块进一步采用方向空间增强分支和频率重构分支并行处理，其中方向空间增强分支提取局部纹理、水平轮廓和垂直轮廓信息，频率重构分支通过二维实值快速傅里叶变换、实虚部联合卷积调制和二维实值逆快速傅里叶变换恢复目标相关的频域细节响应。为避免道路纹理、阴影边界和建筑边缘等背景高频被误增强，空频通道注意力模块在频率重构后引入频率可靠性门控单元，对频率特征进行置信度筛选，再与空间分支特征进行融合，并通过轻量通道重标定完成空频特征的自适应调制。由此，本发明能够在降低计算冗余的同时强化小目标边缘、方向结构和频率细节，抑制复杂背景中的不可靠频率响应，提高模型在复杂无人机场景下的检测鲁棒性。

54、2、针对多尺度特征融合不充分、浅层背景噪声易干扰小目标定位的问题。本发明设计联合空间-通道重校准模块，用于对浅层细节特征和深层语义特征进行协同校准与融合。该模块并非简单采用通道权重重标定，而是通过两路尺度对齐特征的通道描述向量构造跨特征通道关系矩阵，使浅层细节通道与深层语义通道形成显式互引导关系；再结合空间注意力对显著区域进行残差增强。现有多尺度特征融合方法多采用简单拼接、相加或卷积融合，容易导致背景噪声传递、小目标位置信息削弱以及语义信息稀释。该模块通过空间维度和通道维度的联合重校准，对融合特征中的目标相关通道和关键空间区域进行自适应增强，同时抑制复杂背景纹理和冗余噪声干扰，使浅层高分辨率特征提供更精细的边缘和位置信息，深层语义特征提供更稳定的类别语义约束。由此，模型能够缓解多尺度融合过程中的特征错位、背景噪声累积和小目标响应弱化问题，提高小目标定位精度和密集目标检测稳定性。

55、3、针对detr类模型固定查询数量难以适应目标密度变化的问题。本发明引入密度感知查询分配模块，用于根据图像中目标分布密度、特征响应强度和候选目标响应情况自适应确定当前图像所需的检测查询数量。传统rt-detr采用固定数量对象查询，在目标密集场景中容易因候选覆盖不足造成漏检，在目标稀疏场景中又容易产生冗余计算和无效预测。密度感知查询分配模块通过密度感知机制估计整幅图像的目标密集程度，并依据密度类别选择对应的查询数量，在密集场景中增加候选查询容量，在稀疏场景中减少无效查询，从而提高小目标、遮挡目标和密集目标的召回能力，同时降低冗余计算和误检风险，提高模型的检测效率、预测稳定性和复杂场景适应能力。