基于多尺度差异化稀疏注意力的航拍目标检测方法及系统
本发明涉及无人机目标检测,具体而言,涉及基于多尺度差异化稀疏注意力的航拍目标检测方法及系统。
背景技术:
1、目标检测是计算机视觉领域的核心任务之一,旨在同时定位和识别图像中的目标物体。随着无人机技术的快速发展,基于无人机航拍图像的目标检测在电力巡检、交通监控、灾害救援等领域展现出巨大的应用价值。然而,无人机航拍图像具有目标尺度小(如行人仅占几十个像素)、分布密集、背景复杂等特点,对检测算法的精度和速度提出了双重挑战。yolo系列算法作为单阶段目标检测的代表,在速度和精度的平衡上表现出色,已被广泛应用于实时检测场景。从yolov8到yolov11再到yolo26,模型结构不断优化。然而,面对无人机航拍场景中的密集小目标时,基准模型的检测精度仍然有限。为此,研究者们尝试将各种注意力机制引入yolo框架,以增强模型对小目标的感知能力。然而,现有改进方案普遍存在一个严重缺陷:引入注意力机制后推理速度大幅下降,难以满足实时性要求。
2、yolo系列算法作为单阶段目标检测的代表,在速度和精度的平衡上表现出色,已被广泛应用于实时检测场景。从yolov8到最新的yolov11,模型结构不断优化,但面对无人机航拍场景中的密集小目标时,基准模型的检测精度仍然有限。为此,研究者们尝试将各种注意力机制引入yolo框架,以增强模型对小目标的感知能力。然而,现有改进方案普遍存在一个严重缺陷:引入注意力机制后推理速度大幅下降,难以满足实时性要求。
3、例如基于特征融合和注意力堆叠的yolo检测改进方法,虽然能获得一定的精度提升,但推理速度普遍从基准的25.0fps降至6.8-7.6fps,速度损失高达70%以上,完全无法满足无人机实时巡检的严苛需求。又或者基于结构重参数化和轻量化卷积的检测加速方法,以yolov10和yolo26为代表,通过结构重参数化、轻量化卷积设计等手段大幅降低模型计算量,追求极致的推理速度。但这类追求极致速度的方法在检测精度上显著下降--yolov10s的map@0.5仅为0.438,yolo26s仅为0.445,均低于基准yolov11s的0.453,在密集小目标场景下漏检严重,无法满足实际应用中对检测精度的基本要求。
技术实现思路
1、本发明的目的在于提供一种基于多尺度差异化稀疏注意力的航拍目标检测方法及系统,以改善上述问题。为了实现上述目的,本发明采取的技术方案如下:
2、第一方面,本申请提供了一种基于多尺度差异化稀疏注意力的航拍目标检测方法,包括:
3、通过无人机实时采集原始航拍图像,结合图像预处理操作得到标准化航拍图像;
4、以yolov11s模型为基础框架,引入多尺度差异化稀疏注意力机制进行改进,构建得到目标检测器;
5、基于组合损失函数对所述目标检测器进行迭代训练,得到轻量化目标检测模型;
6、将所述标准化航拍图像输入所述轻量化目标检测模型进行前向推理,得到包含目标类别与边界框的目标检测结果。
7、第二方面,本申请还提供了一种基于多尺度差异化稀疏注意力的航拍目标检测系统,包括:
8、采集模块,用于通过无人机实时采集原始航拍图像,结合图像预处理操作得到标准化航拍图像;
9、构建模块,用于以yolov11s模型为基础框架,引入多尺度差异化稀疏注意力机制进行改进,构建得到目标检测器;
10、训练模块,用于基于组合损失函数对所述目标检测器进行迭代训练,得到轻量化目标检测模型;
11、检测模块,用于将所述标准化航拍图像输入所述轻量化目标检测模型进行前向推理,得到包含目标类别与边界框的目标检测结果。
12、本发明的有益效果为:
13、(1)本发明仅将yolo11s模型neck层p3、p4位置的c3k2模块替换为c2bra-ms模块,其余网络结构保持不变,整体拓扑改动范围小,网络训练难度低,适配性良好。本发明依托双层路由注意力实现多尺度差异化特征增强,结合航拍图像的成像规律适配注意力机制,利用浅层特征强化航拍小目标特征表达,利用中层特征提升中等尺度目标的提取效果,有效抑制天空、植被等大面积无效背景带来的干扰,使网络特征更多集中于建筑、车辆、道路等待检测目标。本发明整体检测精度稳定,既保证各类目标的检出效果,又提升边界框定位精度,适配航拍图像远景丰富、背景繁杂、目标尺度跨度大的检测场景;
14、(2)c2bra-ms模块结合通道降维与空间稀疏双重思路缩减算力消耗,通过多层1×1卷积对注意力计算通道做压缩,减少注意力相似度矩阵的运算开销;借助区域路由筛选机制规避全局注意力的海量冗余计算,整体浮点运算量有效下降。模块搭配深度可分离卷积简化卷积运算,配合加速库对卷积内核的硬件调度优化,实现模型参数量与计算负载同步降低。在机载算力有限的硬件条件下拥有更快推理速度,可支撑无人机航拍作业时的实时目标检测,兼顾检测精度与嵌入式硬件部署可行性。
15、本发明的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
1.一种基于多尺度差异化稀疏注意力的航拍目标检测方法,其特征在于,包括:
2.根据权利要求1所述的基于多尺度差异化稀疏注意力的航拍目标检测方法,其特征在于,所述以yolov11s模型为基础框架,引入多尺度差异化稀疏注意力机制进行改进,构建得到目标检测器,包括:
3.根据权利要求2所述的基于多尺度差异化稀疏注意力的航拍目标检测方法,其特征在于,所述c2bra-ms模块包括第一卷积块、轻量化bra块、拼接层和第二卷积块;
4.根据权利要求3所述的基于多尺度差异化稀疏注意力的航拍目标检测方法,其特征在于,所述轻量化bra块包括多个依次连接的轻量化bra单元;
5.根据权利要求4所述的基于多尺度差异化稀疏注意力的航拍目标检测方法,其特征在于,所述轻量化bra单元用于特征处理的步骤为:
6.根据权利要求5所述的基于多尺度差异化稀疏注意力的航拍目标检测方法,其特征在于,所述将所述降维特征通过双层路由注意力层进行注意力学习,得到第二增强特征,包括:
7.根据权利要求2所述的基于多尺度差异化稀疏注意力的航拍目标检测方法,其特征在于,所述利用所述c2bra-ms模块对yolov11s模型的颈部网络进行改进,得到差异化颈部网络,包括:
8.根据权利要求7所述的基于多尺度差异化稀疏注意力的航拍目标检测方法,其特征在于,所述配置注意力参数的具体步骤为:
9.根据权利要求1所述的基于多尺度差异化稀疏注意力的航拍目标检测方法,其特征在于,所述基于组合损失函数对所述目标检测器进行迭代训练,得到轻量化目标检测模型,包括:
10.一种基于多尺度差异化稀疏注意力的航拍目标检测系统,其特征在于,包括:
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com