一种基于尺度交叉特征融合的无人机航拍小目标检测方法及系统与流程

本发明涉及计算机视觉与无人机目标检测，尤其涉及一种基于尺度交叉特征融合的无人机航拍小目标检测方法及系统。

背景技术：

1、无人机（uav）视觉目标检测凭借其高机动性、宽广视野和灵活部署等优势，近年来在战场侦察、智能交通、精准农业以及环境监测和应急救援等领域发挥着至关重要的作用。然而，由于无人机航拍图像通常是在动态飞行过程中由机载相机捕获，面临着飞行高度和视角剧烈变化带来的严峻挑战，包括目标分辨率极低（极小尺度）、尺度变化剧烈、目标分布密集以及极易受到复杂背景干扰等问题。传统的目标检测器主要针对具有充足算力和中大型目标的自然图像设计，当直接迁移至计算资源受限的无人机平台时，不可避免地会遭遇严重的性能瓶颈。具体而言，庞大的模型难以满足机载有限计算资源对实时推理的约束，而过度轻量化的模型在面对微小、密集或部分遮挡的目标时，往往会遭遇严重的性能退化，导致漏检和误报频发。

2、近年来，随着深度学习技术的迅速发展，越来越多的研究者开始致力于解决无人机视觉中的这些难题，并在轻量化网络设计与特征增强方面取得了显著进展。在网络架构优化方面，liu等人提出了convnext，通过重新思考卷积网络的设计范式，在保持计算效率的同时显著增强了特征表示能力。li等人引入了efficientvit，将轻量级自注意力机制与卷积操作相结合，为高分辨率密集预测任务取得了更好的精度与效率平衡。为解决全局建模能力不足的问题，carion等人提出了detr，将目标检测转化为集合预测问题，随后zhang等人、liu等人相继推出了dino-detr和dn-detr，通过改进降噪训练和匹配策略，大幅提升了端到端检测器在小目标场景下的训练稳定性和定位精度。此外，针对实际部署与实时性需求，lyu等人提出了rt-detr，保留了transformer优势的同时显著提升推理效率；wu等人和koonce等人分别引入了repvit和mobilevitv3，在移动端和嵌入式平台上展现了良好的性能。同时，最新的轻量级yolo变体（如msud-yolo和cs-yolo）也被广泛应用于无人机视觉领域，以求在检测精度与计算效率间取得平衡。

3、尽管现有深度学习和轻量化检测技术在无人机平台上取得了一定的性能提升，但在应用场景日益复杂的情况下，现有方法在关键目标特征提取、跨尺度特征融合以及检测结果可靠性方面仍存在明显局限。首先，部分方法仍依赖相对繁重的网络结构，参数量和计算成本较高，不利于在资源受限的无人机边缘平台上进行实时部署。其次，浅层空间细节特征与深层语义特征之间通常采用直接拼接或简单加权方式进行融合，容易引入背景冗余信息，且不同尺度特征之间的语义差异缺乏充分建模，导致密集分布和遮挡区域中的微小目标特征难以被有效增强。再次，现有方法即使引入高分辨率浅层特征，也往往缺乏与深层语义特征之间的尺度交叉注意力约束，微小目标的边缘结构和细粒度纹理信息仍可能在连续下采样和特征传递过程中发生退化。最后，传统检测损失函数通常以相对独立的方式优化分类置信度和边界框定位质量，使预测分类得分难以准确反映候选框的实际定位精度，进而影响密集场景下非极大值抑制过程中候选框排序的可靠性。

4、针对上述问题，如何提出一种基于尺度交叉特征融合的无人机航拍小目标检测方法及系统，在严格的机载算力限制下，兼顾轻量化特征提取、尺度交叉特征融合、浅层细节与深层语义协同增强以及分类定位质量一致性优化，仍是复杂无人机航拍小目标检测领域亟需解决的关键技术问题。

技术实现思路

1、有鉴于此，本发明提供了一种基于尺度交叉特征融合的无人机航拍小目标检测方法及系统，解决了现有技术中无人机航拍图像目标尺度极小、分布密集、遮挡严重以及复杂背景干扰导致的漏检与误报问题，同时克服机载边缘设备算力受限带来的实时部署瓶颈；通过轻量化星型特征提取、尺度交叉注意力融合、浅层细节与深层语义协同增强以及质量感知损失优化，提高复杂航拍场景下微小目标、密集目标和遮挡目标的检测精度与鲁棒性。

2、为了实现上述目的，本发明采用如下技术方案：

3、一种基于尺度交叉特征融合的无人机航拍小目标检测方法，包括以下步骤：

4、s1、获取无人机航拍图像数据并进行预处理，构建目标检测模型训练集；

5、s2、采用starnet轻量化骨干网络对预处理后的无人机航拍图像进行多尺度特征提取，输出浅层至深层的多级原始特征图；starnet轻量化骨干网络内置star block，通过星型逐元素乘法操作实现特征向高维空间的隐式映射，以在低计算成本下增强特征的非线性交互能力和语义表达能力；

6、s3、基于多级原始特征图构建多尺度特征路径，并在相邻尺度特征融合节点中设置尺度交叉特征融合模块scfm；尺度交叉特征融合模块scfm对相邻尺度特征进行空间分辨率对齐后，生成跨尺度特征增强的融合注意力权重，并以残差增强方式作用于尺度对齐后的融合特征，得到多尺度增强融合特征；

7、s4、在保留p5深层语义检测层的基础上，利用尺度交叉特征融合模块scfm将浅层高分辨率特征与上采样后的深层语义特征进行尺度交叉注意力融合，生成p2增强检测特征；p2增强检测特征与p3、p4和p5检测特征共同构成p2-p5四尺度协同检测结构；

8、s5、将p2、p3、p4和p5四个尺度的检测特征分别输入mbconv轻量化检测头进行目标预测；

9、s6、在模型训练阶段，引入质量焦点损失qfl，以预测框与真实框之间的交并比iou作为分类质量软标签，同步联合优化分类置信度与边界框定位质量；

10、s7、将待检测的无人机航拍图像输入训练完成的目标检测模型，输出无人机航拍微小目标的类别信息和边界框位置。

11、上述的方法，可选的，s2中，starnet轻量化骨干网络采用四阶段分层结构，其中，star block对输入特征图依次执行7×7深度可分离卷积、用于通道扩维的1×1点卷积、星型逐元素乘法、通道压缩的1×1点卷积，最后将压缩后的输出特征与原始输入特征做残差连接，以生成包含非线性交互关系的二阶增强特征。

12、上述的方法，可选的，s3中，尺度交叉特征融合模块scfm包括空间-通道协同注意力单元和多尺度随机池化注意力单元；空间-通道协同注意力单元通过多尺度深度可分离卷积提取局部空间结构信息，并分别生成空间注意力权重和通道注意力权重；多尺度随机池化注意力单元对尺度对齐后的融合特征执行不同池化尺度下的随机池化响应计算，并对多个池化响应进行归一化加权融合，得到尺度不变注意力映射图；将空间注意力权重、通道注意力权重和尺度不变注意力映射图进行融合，得到融合注意力权重。

13、上述的方法，可选的，s4中，p2增强检测特征的生成过程包括：

14、将c2浅层高分辨率特征作为空间细节输入，将由c3、c4或c5特征经上采样得到的深层语义特征作为上下文语义输入；对空间细节输入和上下文语义输入进行空间分辨率对齐后输入尺度交叉特征融合模块scfm，通过尺度交叉注意力融合获得p2增强检测特征。

15、上述的方法，可选的，s5中，mbconv轻量化检测头包括依次连接的1×1通道扩展卷积层、3×3深度可分离卷积层、se通道注意力层和1×1通道压缩卷积层；其中，se通道注意力层通过全局平均池化获得通道描述向量，并通过全连接层和激活函数生成通道权重，将通道权重作用于深度可分离卷积层输出的特征图。

16、上述的方法，可选的，p2、p3、p4和p5四个尺度的检测特征分别对应设置mbconv轻量化检测头，各尺度检测头的卷积参数相互独立，用于分别适配不同空间分辨率和不同目标尺度下的检测特征分布。

17、上述的方法，可选的，s6中，质量焦点损失qfl在正样本监督过程中，将预测框与真实框之间的交并比iou作为连续区间[0,1]内的定位质量得分，并以定位质量得分替代离散类别标签中的正样本标签值；在负样本监督过程中，将对应类别的质量标签设为0；通过分类预测得分与质量标签之间的差值构造调制因子，使模型在训练过程中同时优化类别判别能力和边界框定位质量。

18、一种基于尺度交叉特征融合的无人机航拍小目标检测系统，用以实现上述任一项所述的一种基于尺度交叉特征融合的无人机航拍小目标检测方法，包括依次连接的数据获取与预处理模块、轻量化多尺度特征提取模块、尺度交叉特征融合模块、p2-p5四尺度协同检测结构、mbconv轻量化检测头、质量焦点损失qfl优化模块、检测结果输出模块：

19、数据获取与预处理模块，用于获取无人机航拍图像数据并进行预处理，构建目标检测模型训练集；

20、轻量化多尺度特征提取模块，用于采用starnet轻量化骨干网络对预处理后的无人机航拍图像进行多尺度特征提取，输出浅层至深层的多级原始特征图；starnet轻量化骨干网络内置star block，通过星型逐元素乘法操作实现特征向高维空间的隐式映射，以在低计算成本下增强特征的非线性交互能力和语义表达能力；

21、尺度交叉特征融合模块，用于基于多级原始特征图构建多尺度特征路径，并在相邻尺度特征融合节点中设置尺度交叉特征融合模块scfm；尺度交叉特征融合模块scfm对相邻尺度特征进行空间分辨率对齐后，生成跨尺度特征增强的融合注意力权重，并以残差增强方式作用于尺度对齐后的融合特征，得到多尺度增强融合特征；

22、p2-p5四尺度协同检测结构，用于在保留p5深层语义检测层的基础上，利用尺度交叉特征融合模块scfm将浅层高分辨率特征与上采样后的深层语义特征进行尺度交叉注意力融合，生成p2增强检测特征；p2增强检测特征与p3、p4和p5检测特征共同构成p2-p5四尺度协同检测结构；

23、mbconv轻量化检测头，用于对p2、p3、p4和p5四个尺度的检测特征分别进行目标预测，实现通道特征压缩、关键通道增强和背景冗余抑制；

24、质量焦点损失qfl优化模块，用于在模型训练阶段，引入质量焦点损失qfl，以预测框与真实框之间的交并比iou作为分类质量软标签，同步联合优化分类置信度与边界框定位质量；

25、检测结果输出模块，用于将待检测的无人机航拍图像输入训练完成的目标检测模型，输出无人机航拍微小目标的类别信息和边界框位置。

26、上述的系统，可选的，尺度交叉特征融合模块scfm包括空间-通道协同注意力单元和多尺度随机池化注意力单元；空间-通道协同注意力单元通过多尺度深度可分离卷积提取局部空间结构信息，并分别生成空间注意力权重和通道注意力权重；多尺度随机池化注意力单元对尺度对齐后的融合特征执行不同池化尺度下的随机池化响应计算，并对多个池化响应进行归一化加权融合，得到尺度不变注意力映射图；将空间注意力权重、通道注意力权重和尺度不变注意力映射图进行融合，得到融合注意力权重。

27、上述的系统，可选的，mbconv轻量化检测头包括依次连接的1×1通道扩展卷积层、3×3深度可分离卷积层、se通道注意力层和1×1通道压缩卷积层；其中，se通道注意力层通过全局平均池化获得通道描述向量，并通过全连接层和激活函数生成通道权重，将通道权重作用于深度可分离卷积层输出的特征图。

28、经由上述的技术方案可知，与现有技术相比，本发明提供了一种基于尺度交叉特征融合的无人机航拍小目标检测方法及系统，具有以下有益效果：

29、（1）本发明采用starnet作为轻量化骨干网络，通过star block中的星型逐元素乘法操作，在较低计算成本下实现特征向高维空间的隐式映射，增强了特征之间的非线性交互能力和语义表达能力；同时，相较于传统重型骨干网络，能够有效降低模型参数数量和计算复杂度，更适用于无人机等资源受限边缘设备的实时部署需求。

30、（2）本发明设计的尺度交叉特征融合模块scfm，将空间-通道协同注意力机制与多尺度随机池化注意力机制相结合，对相邻尺度特征进行分辨率对齐、注意力权重生成和残差增强融合。该模块能够强化浅层空间细节与深层语义信息之间的交互，有效抑制复杂背景冗余信息，提升模型对密集分布、重度遮挡以及尺度变化微小目标的特征感知能力和检测鲁棒性。

31、（3）本发明在保留p5深层语义检测层的基础上，构建p2至p5四尺度协同检测结构。其中，p2检测特征并非由浅层高分辨率特征直接接入检测头形成，而是由starnet输出的浅层高分辨率特征与上采样后的深层语义特征经scfm模块进行尺度交叉注意力融合后生成。由此获得的p2增强检测特征同时包含微小目标的边缘结构、细粒度纹理和上下文语义信息，能够有效缓解连续下采样造成的小目标细节丢失问题，提高模型对极小尺度目标的定位灵敏度和检测准确率。

32、（4）本发明构建了内嵌se通道注意力机制的mbconv轻量化检测头，通过点卷积通道扩展、深度可分离卷积空间特征提取、se通道重标定以及点卷积压缩降维，实现了检测特征的轻量化表示增强。该检测头能够在较低计算开销下突出关键目标通道并抑制背景噪声通道，从而提高多尺度检测特征的表达效率。

33、（5）本发明在模型训练阶段引入质量焦点损失qfl，将预测框与真实框之间的交并比iou作为分类质量软标签，使检测头输出的分类得分能够同时表征目标类别概率和边界框定位质量。该设计缓解了传统分类置信度与定位精度不一致的问题，提高了密集无人机航拍场景下非极大值抑制nms候选框排序的可靠性，进一步减少误检和漏检现象。