一种无人机视角的小目标检测方法及相关装置

摘要: 本发明涉及计算机视觉,尤其涉及一种无人机视角的小目标检测方法及相关装置。背景技术:1、低空经济已成为国家重点发展的战略性新兴产业,无人机在快递配送、电力巡检、安...
一种无人机视角的小目标检测方法及相关装置

本发明涉及计算机视觉,尤其涉及一种无人机视角的小目标检测方法及相关装置。

背景技术:

1、低空经济已成为国家重点发展的战略性新兴产业,无人机在快递配送、电力巡检、安防预警等工业场景加速普及,无人机视角目标检测技术成为制约产业落地的关键技术瓶颈。受飞行高度动态变化、航拍视场范围广、目标分布稀疏且尺度跨度大等因素影响,无人机航拍图像存在显著的多尺度特性,小目标特征微弱、边界模糊、易被复杂背景淹没,使得高精度小目标检测极具挑战性。

2、当前无人机小目标检测方法虽在检测性能上取得一定提升,但仍难以克服复杂背景干扰导致的漏检、误检问题,且模型对目标尺度变化敏感性较强,鲁棒性不足。yolo11 检测模型通过结构优化提升了通用目标检测精度,但其原生网络在下采样过程中易丢失小目标细节特征,多尺度融合机制与检测头架构未针对无人机航拍场景做定制化适配,小目标检测能力存在明显短板,无法满足低空无人机应用的高精度检测需求。

技术实现思路

1、为了解决上述技术问题,本发明提出一种无人机视角的小目标检测方法及相关装置,对yolo11网络进行系统性结构改进,各模块功能相互配合、逐级优化特征,有效提升航拍场景下小目标的检测精度与鲁棒性。

2、为了达到上述目的,本发明的技术方案如下:

3、一种无人机视角的小目标检测方法,包括如下步骤:

4、构建基于yolo11网络改进的检测模型;

5、将待检测的图像输入所述检测模型中,获得检测结果;

6、所述检测模型,包括:

7、主干网络:包括依次连接的第一conv模块、第一spdconv-att模块、第一c3k2模块、第二spdconv-att模块、第二c3k2模块、第三spdconv-att模块、第三c3k2模块、第四spdconv-att模块和第四c3k2模块,进行多尺度特征提取;

8、颈部网络:包括依次连接的sppf模块、c2psa模块、第二conv模块、第一concat模块、第一csp-mfee模块、第一upsample模块、第二concat模块、第二csp-mfee模块、第二upsample模块、第三concat模块、第三csp-mfee模块、第三upsample模块、第四concat模块、第四csp-mfee模块、ema 模块、第五spdconv-att模块、第五concat模块、第五csp-mfee模块、第六spdconv-att模块、第六concat模块、第六csp-mfee模块、第七spdconv-att模块、第七concat模块、第七csp-mfee模块,还包括第八spdconv-att模块、第九spdconv-att模块;第一c3k2模块的数据输出端与第四concat模块的数据输入端相连;第二c3k2模块的数据输出端与第三concat模块的数据输入端相连;第二c3k2模块的数据输出端与第八spdconv-att模块的数据输入端相连连接,第八spdconv-att模块的数据输出端与第二concat模块的数据输入端相连;第三c3k2模块的数据输出端与第二concat模块的数据输入端相连;第三c3k2模块的数据输出端与第九spdconv-att模块的数据输入端相连连接,第九spdconv-att模块的数据输出端与第一concat模块的数据输入端相连;第四c3k2模块的数据输出端与sppf模块的数据输入端相连;第四concat模块的数据输出端与第四csp-mfee模块的数据输入端相连;第三csp-mfee模块的数据输出端与第五concat模块的数据输入端相连;第二csp-mfee模块的数据输出端与第六concat模块的数据输入端相连;第一csp-mfee模块的数据输出端与第七concat模块的数据输入端相连;交替实现多次下采样和上采样的循环迭代,进行多尺度特征融合和增强;

9、检测头:采用afpn模块替换原有的检测头结构,进行输出小目标的类别和边界框。

10、优选地,第一spdconv-att模块、第二spdconv-att模块、第三spdconv-att模块、第四spdconv-att模块、第五spdconv-att模块、第六spdconv-att模块、第七spdconv-att模块、第八spdconv-att模块、第九spdconv-att模块的结构相同,第一spdconv-att模块的处理过程包括:

11、对输入的c1特征进行间隔采样,生成若干不同颜色的子特征图;将若干所述不同颜色的子特征图进行特征融合后经过1×1卷积层处理,输出c2特征;

12、对输入的c1特征依次进行1×1卷积层、bn层和avgpool2d层处理,输出特征;

13、将所述c2特征经过seblock和silu激活函数处理后与特征进行特征融合,获得第一spdconv-att模块的的输出特征。

14、优选地,第一csp-mfee 模块、第二csp-mfee 模块、第三csp-mfee 模块、第四csp-mfee 模块、第五csp-mfee 模块、第六csp-mfee 模块、第七csp-mfee 模块的结构相同,第一csp-mfee 模块的处理过程包括:

15、对输入的m1特征进行1×1卷积层处理,输出m2特征;

16、对输入的m1特征进行1×1卷积层处理,输出m3特征;将m3特征经过简化重参数化模块和3x3卷积处理后与m3特征进行逐元素相加,输出m4特征;

17、将所述m2特征与m4特征进行聚合,输出m5特征,将所述m5特征经过mfee 模块、1×1卷积层处理,获得第一csp-mfee 模块的输出特征。

18、优选地,所述mfee 模块包括并行的若干分支,所述若干分支中的一分支为3×3局部卷积层;所述若干分支中其他的结构相同,且每个分支均包括依次连接的自适应平均池化、1×1 卷积层、3×3 分组卷积层、上采样和边缘增强器。

19、优选地,检测头的处理过程,包括:

20、接收ema 模块、第五csp-mfee模块、第六csp-mfee模块、第七csp-mfee模块输出的四个不同尺度特征p2、p3、p4和p5;

21、采用渐近特征金字塔网络afpn,通过动态权重机制对四个不同尺度特征p2、p3、p4和p5进行跨尺度融合,分别形成p2、p3、p4和p5的增强特征,并输入相应的检测分支进行目标类别和边界框预测。

22、基于上述内容,本发明还公开了一种无人机视角的小目标检测装置,包括:

23、构建模块,用于构建基于yolo11网络改进的检测模型;

24、检测模块,用于将待检测的图像输入所述检测模型中,获得检测结果;所述检测模型,包括:主干网络:包括依次连接的第一conv模块、第一spdconv-att模块、第一c3k2模块、第二spdconv-att模块、第二c3k2模块、第三spdconv-att模块、第三c3k2模块、第四spdconv-att模块和第四c3k2模块,进行多尺度特征提取;颈部网络:包括依次连接的sppf模块、c2psa模块、第二conv模块、第一concat模块、第一csp-mfee模块、第一upsample模块、第二concat模块、第二csp-mfee模块、第二upsample模块、第三concat模块、第三csp-mfee模块、第三upsample模块、第四concat模块、第四csp-mfee模块、ema 模块、第五spdconv-att模块、第五concat模块、第五csp-mfee模块、第六spdconv-att模块、第六concat模块、第六csp-mfee模块、第七spdconv-att模块、第七concat模块、第七csp-mfee模块,还包括第八spdconv-att模块、第九spdconv-att模块;第一c3k2模块的数据输出端与第四concat模块的数据输入端相连;第二c3k2模块的数据输出端与第三concat模块的数据输入端相连;第二c3k2模块的数据输出端与第八spdconv-att模块的数据输入端相连连接,第八spdconv-att模块的数据输出端与第二concat模块的数据输入端相连;第三c3k2模块的数据输出端与第二concat模块的数据输入端相连;第三c3k2模块的数据输出端与第九spdconv-att模块的数据输入端相连连接,第九spdconv-att模块的数据输出端与第一concat模块的数据输入端相连;第四c3k2模块的数据输出端与sppf模块的数据输入端相连;第四concat模块的数据输出端与第四csp-mfee模块的数据输入端相连;第三csp-mfee模块的数据输出端与第五concat模块的数据输入端相连;第二csp-mfee模块的数据输出端与第六concat模块的数据输入端相连;第一csp-mfee模块的数据输出端与第七concat模块的数据输入端相连;交替实现多次下采样和上采样的循环迭代,进行多尺度特征融合和增强;检测头:采用afpn模块替换原有的检测头结构,进行输出小目标的类别和边界框。

25、基于上述内容,本发明还公开了一种计算机设备,包括:存储器,用于存储计算机程序;处理器,用于执行所述计算机程序时实现如上述任一所述的方法。

26、基于上述内容,本发明还公开了一种可读存储介质,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上述任一所述的方法。

27、基于上述技术方案,本发明的有益效果是:

28、1)本发明检测模型前端的多尺度特征提取子网以yolo11架构为网络主干,结合spdconv-att模块与残差连接提取多尺度特征。spdconv-att部分利用空间重排和se通道注意力机制捕获从浅层细节到深层语义的特征信息,残差分支通过平均池化在下采样的同时保留低层特征信息,实现了与主分支的下采样同步并输出增强的特征表示;

29、2)本发明提出了多尺度边缘增强模块csp-mfee,用来学习不同层次下的边缘特征与上下文信息,强化模型对复杂场景下小目标边界的学习能力。该模块通过局部分支保留原始细节特征,多尺度上下文分支通过自适应池化和分组卷积提取不同感受野的特征,最终通过特征拼接和边缘增强提升对小目标的感知能力;

30、3)本发明提出了一种基于afpn的改进检测头afpn4head,用于自适应融合多尺度特征以动态平衡不同层次特征的贡献程度,提升模型对微小目标的检测能力。该模块在传统三检测头基础上增加小目标检测头,通过渐进式特征融合策略整合底层、高层和顶层特征,并在小检测头中加入ema注意力机制,通过多尺度通道交互和空间自适应建模增强微小目标的特征表征能力。在visdrone2019数据集上的实验结果表明,改进方法的检测性能优于基准模型,证明了所提方法的有效性。