改进YOLOv11s的轻量化无人机航拍图像小目标检测方法
本发明涉及计算机视觉与目标检测,具体涉及改进yolov11s的轻量化无人机航拍图像小目标检测方法。
背景技术:
1、近年来,随着遥感技术和智能硬件的飞速发展,无人机技术与计算机视觉的深度融合,使无人机航拍影像的目标检测成为热门研究方向。无人机航拍图像检测在农业监测、地质勘测、遥感测绘、生态保护等众多领域具有广泛应用。由于无人机航拍图像具有拍摄视角高、视场宽广的特点,图像中的目标往往呈现出尺寸微小、分布密集且易被复杂背景淹没的特性,导致常规检测器在采样过程中极易丢失小目标的关键特征信息。
2、yolov11是一种先进的实时端到端目标检测模型。yolov11的体系结构由主干网络(backbone)、特征融合颈部(neck)和解耦检测头(head)三个核心组件构成。主干网络通过集成c3k2模块与c2psa空间注意力机制强化特征建模能力。特征融合颈部采用pan结构,通过自上而下和自下而上的双向路径实现跨尺度特征交互。检测部分采用解耦头设计,通过独立的分类与回归分支提升感知精度。
3、然而,yolov11s模型在面向无人机航拍图像中大量小目标时仍存在以下问题:(1)c3k2模块的密集卷积堆叠方式在航拍场景下易造成高频细节逐级衰减;(2)pan结构重复的特征融合增加了计算量,且多次上下采样可能导致原始特征信息丢失;(3)传统解耦头的多层独立卷积导致参数冗余与计算负担,难以满足无人机边缘端的实时性需求。
4、针对上述问题,已有研究提出了若干改进方案。例如,中国专利申请cn121033377a公开了一种面向无人机航拍图像的轻量化小目标检测方法,构建基于改进yolov11s的轻量化小目标检测网络,融合多尺度预测头优化、全维度动态卷积odconv与轻量化深度卷积ldconv的混合架构,并结合形状敏感的损失函数。该方案主要依赖卷积算子的替换来压缩模型,但其主干网络仍沿用c3k2模块的密集卷积堆叠结构,未从根本上改变高频细节逐级衰减的信息传递路径。
5、中国专利申请cn120451835a公开了一种基于yolov11s改进的无人机目标检测方法及系统,在c3k2模块中引入cmsc模块,颈部concat替换为sdi模块,增加针对小目标的p2检测层,并根据wise-iou、inner-iou和mpdiou损失函数对原损失函数进行改进。该方案虽然引入了inner-iou损失函数,但其检测头仍为独立的解耦头结构,各尺度检测头之间缺乏参数共享机制,参数量冗余问题未得到有效解决。此外,自适应特征金字塔网络afpn已被多篇文献公开用于无人机目标检测中的多尺度特征融合;ghostconv模块亦被广泛用于yolo系列模型的轻量化改进。
6、中国专利申请cn120014244a公开了一种基于改进yolov11s算法的无人机航拍小目标检测方法。该方案以yolov11s为基准模型,从整体架构层面进行轻量化改进,包括构建无人机航拍图像数据集、构建检测模型、优化模型参数及训练等步骤。然而,该方案主要侧重于模型整体层面的轻量化调整,未深入到主干网络c3k2模块内部解决高频细节衰减的结构性问题,也未对颈部网络融合节点的权重分配机制和检测头的参数共享结构进行针对性的精细化设计。
7、尽管上述方案在轻量化或检测精度方面各有提升,但现有方法仍难以在机载嵌入式平台严格受限的计算资源下,实现小目标高精度检测与模型轻量化的良好平衡。
8、与上述现有技术相比,本发明的区别特征主要体现在主干网络、颈部网络、检测头和损失函数四个层面。在主干网络层面,设计的rga-block模块将输入特征沿通道维度拆分为辅路与主路两条独立路径,辅路以深度可分离卷积专门提取高频细节,主路以结构重参数化卷积与级联标准卷积提取深层语义。在颈部网络层面,设计的adfpn在各融合节点引入空间自适应权重机制,通过softmax归一化生成与特征图空间分辨率一致的自适应权重张量,使不同空间位置按需分配各尺度分支的贡献度。在检测头层面,设计的轻量级共享卷积检测头sdchead使不同尺度的特征图共享同一组卷积权重。在损失函数层面,将比例因子由标量扩展为与特征图空间分辨率一致的二维张量,通过轻量卷积分支端到端学习生成,并用双线性插值取出每个框中心位置对应的比例因子值,使不同空间位置的缩放强度可自适应差异化响应。
9、上述rga-block的通道分流与并行增强、adfpn的空间自适应加权融合、sdchead的跨尺度参数共享与层级缩放、以及二维比例因子张量驱动的inner-ciou损失函数,这四个模块实现了端到端协同优化。
技术实现思路
1、本发明提供一种改进yolov11s的轻量化无人机航拍图像小目标检测方法,为了解决现有yolov11s在机载部署时小目标高频细节易丢失、特征融合冗余、以及检测头参数过重的问题,使模型兼顾检测精度与轻量化部署需求。
2、为解决上述技术问题,本发明提供改进yolov11s的轻量化无人机航拍图像小目标检测方法,包括以下步骤:
3、s1:通过集成有rga-block(reparameterized global attention block)模块与ghostconv模块的主干网络,对输入特征图执行特征提取操作,输出多尺度特征图;其中,所述rga-block模块将输入特征图沿通道维度划分为两个子特征分支,分别经深度可分离卷积提取高频增强特征、经结构重参数化卷积与级联标准卷积提取深层语义特征后聚合输出,所述输入特征图的空间分辨率为h×w、通道数为,输出特征图的空间分辨率与通道数均保持不变;
4、s2:在颈部网络,利用自适应动态特征金字塔网络adfpn,对所述多尺度特征图进行空间自适应加权融合,输出跨尺度特征充分对齐与交互后的多尺度融合特征图;其中,adfpn在各融合节点处将来自不同尺度的输入特征图在通道维度拼接后,经两层1×1卷积与softmax归一化生成空间自适应权重张量,对各输入特征图加权求和后得到融合特征图;
5、s3:通过轻量级共享卷积检测头,将不同的多尺度融合特征图输入共享卷积模块提取通用共享特征,并分别输入分类分支与回归分支进行目标分类与边界框回归,得到预测框;其中,不同尺度的融合特征图经独立1×1卷积降维后输入同一共享卷积模块,所述共享卷积模块由串联的1×1卷积与3×3深度可分离卷积构成,分类分支与回归分支共享该模块的权重参数;
6、s4:通过辅助边界框完全交并比损失函数,计算预测框与真实标注框的完全交并比损失;所述损失函数中,比例因子为与输入特征图空间分辨率一致的二维张量,不同空间位置具有不同的比例因子值;所述二维比例因子张量通过轻量分支生成,所述轻量分支以特征图为输入,经两个级联的3×3卷积层与sigmoid激活函数处理,输出与所述特征图空间分辨率一致的二维比例因子张量;根据预测框或真实框的中心点坐标,通过双线性插值从所述二维比例因子张量中索引对应的比例因子值;通过比例因子对预测框和真实框分别进行缩放,生成辅助预测框与辅助真实框;辅助预测框与辅助真实框的宽度和高度按如下公式缩放:,其中,和分别为缩放后的宽度和高度,和分别为缩放前的宽度和高度,为可学习缩放增益系数,表示第个预测框,代表第个预测框对应的比例因子值。
7、进一步地,对输入特征图执行特征提取操作,包括:
8、将输入特征图输入1×1卷积层进行通道重组,沿通道维度将重组后的特征按照预设的或动态确定的通道分流比例划分为第一子特征分支与第二子特征分支;
9、将所述第二子特征分支输入辅路,通过3×3深度可分离卷积提取高频增强特征;
10、将所述第二子特征分支输入主路,通过3×3结构重参数化卷积与级联的标准卷积层提取高层语义特征,并通过轻量级se注意力机制对通道响应进行自适应重标定,获得注意力加权后的语义特征;
11、将所述第一子特征分支、所述高频增强特征以及注意力加权后的语义特征沿通道维度进行聚合,生成模块输出特征;
12、其中,所述结构重参数化卷积在训练阶段采用多分支结构,在推理阶段折叠为单分支卷积。
13、进一步地,所述通道分流比例通过以下方式动态确定:
14、对输入特征图进行场景类型预分类,所述场景类型包括农田场景、城市场景和山地场景中的至少两种;基于场景类型从预设的比例映射表中选取对应的通道分流比例配置,不同场景类型对应不同的通道分流比例配置;
15、将输入特征图划分为多个局部区域,计算各局部区域的频域能量分布,对于高频能量占比超过预设频域能量阈值的局部区域,提高所述第二子特征分支的通道比例;
16、其中,所述比例映射表通过在各类场景数据集上的网格搜索消融实验预先确定,搜索空间包括1:1、1:2和1:3中的至少两种比例。
17、进一步地,在颈部网络,自适应动态特征金字塔网络adfpn包括多个融合节点,各融合节点用于对不同尺度的输入特征图进行融合操作,利用adfpn,对所述多尺度特征图进行空间自适应加权融合,包括:
18、所述多尺度特征图包括特征图p2、特征图p3、特征图p4、特征图p5;
19、对多尺度特征图分别进行1×1卷积通道调整;
20、对特征图p5上采样后与特征图p4拼接融合,形成第一融合特征图b4;
21、将第一融合特征图b4上采样后与特征图p3进行自适应融合,形成第二融合特征图b3;
22、对特征图p2下采样后与所述第二融合特征图b3和特征图p3进行跨尺度连接,形成第三融合特征图n3;
23、对所述第三融合特征图n3下采样后与所述第一融合特征图b4和特征图p4进行跨尺度连接,形成第四融合特征图n4;
24、对所述第四融合特征图n4下采样后与特征图p5进行跨尺度连接,形成第五融合特征图n5。
25、进一步地,各融合节点处的自适应融合操作中,针对同一空间位置,不同输入分支对应的空间自适应权重张量中的权重值经softmax归一化后之和为1。
26、进一步地,各融合节点处的自适应融合操作通过空间自适应权重机制动态分配各输入特征分支的权重,包括:
27、将某个融合节点接收到的来自多个不同尺度的输入特征图在通道维度进行拼接;
28、通过两层连续的1×1卷积层对融合后的特征图进行通道压缩与维度重构;
29、沿输入分支维度引入softmax归一化操作,生成对应各尺度分支的空间自适应权重张量,所述空间自适应权重张量同时基于融合后的特征图生成,其维度为n乘高乘宽,其中n为当前融合节点接收到的输入分支数量,高和宽分别对应输入特征图的高度和宽度;
30、将各输入特征图在对应空间权重调制后进行加权求和,得到融合特征图。
31、进一步地,s3包括:
32、将不同的多尺度融合特征图通过独立的1×1卷积层进行通道降维与对齐,得到通道降维后的尺度特征图;
33、将通道降维后的尺度特征图输入同一个共享卷积模块,提取得到跨尺度共享特征;所述共享卷积模块由串联的1×1卷积与3×3深度可分离卷积构成,各尺度特征图共享同一组卷积权重;
34、将所述跨尺度共享特征分别输入分类分支与回归分支,所述分类分支与回归分支共享所述共享卷积模块的权重参数;
35、其中,所述回归分支引入尺度敏感的层级可学习缩放参数,所述可学习缩放因子作用于所述共享特征图,经回归卷积层处理后生成预测框,所述可学习缩放因子针对不同特征层级独立取值。
36、进一步地,所述辅助边界框完全交并比损失由一减去内部交并比、中心点距离惩罚项以及宽高比惩罚项三项构成;
37、所述内部交并比基于辅助预测框与辅助真实框的交集面积与并集面积的比值计算得到;
38、所述中心点距离惩罚项为预测框与真实框中心点欧氏距离的平方与两者最小外接矩形对角线长度平方的比值;
39、所述宽高比惩罚项由宽高比差异度量值与平衡系数的乘积构成。
40、进一步地,所述ghostconv模块仅部署于主干网络深层阶段,浅层阶段保留标准卷积进行下采样。
41、进一步地,所述rga-block模块设置于主干网络中c3k2模块所在位置,所述adfpn设置于颈部网络中pan结构所在位置,所述轻量级共享卷积检测头设置于原有的解耦检测头所在位置,所述辅助边界框完全交并比损失函数作为边界框回归损失函数。
42、与现有技术相比,本发明具有以下有益效果:
43、第一,通过rga-block模块的通道分流与并行增强机制,将输入特征图沿通道维度划分为子特征分支,辅路采用深度可分离卷积提取高频增强特征以突出小目标边缘与局部结构,主路采用结构重参数化卷积与级联标准卷积提取高层语义特征并经轻量级se注意力机制自适应重标定,使包含高频细节与深层语义的特征图得到保留并融合输出,从而解决c3k2模块密集卷积堆叠导致高频细节逐级衰减的问题;同时ghostconv模块仅在主干网络深层阶段部署以对高维特征进行轻量化下采样,浅层阶段保留标准卷积,使深层计算冗余被削减的同时浅层高分辨率特征完整性得到维持,在增强特征表达能力的同时降低冗余计算开销。
44、第二,通过adfpn的空间自适应加权融合机制与跨尺度连接路径,在各融合节点处将来自不同尺度的输入特征图在通道维度拼接,经两层连续的1×1卷积与softmax归一化生成空间自适应权重张量,对各尺度特征图进行逐像素加权求和,使多尺度特征在空间上精确对齐并深度交互,从而解决固定融合权重导致小目标细节稀释的问题;通过引入高分辨率特征图参与跨尺度连接并裁剪冗余路径,使多次上下采样导致的原始特征信息丢失得到避免,实现了不同尺度信息的双向交互与高效融合。
45、第三,通过轻量级共享卷积检测头的跨尺度参数共享机制与回归分支独立尺度感知因子配置,将不同尺度的融合特征图经独立1×1卷积通道降维后输入同一共享卷积模块,分类分支与回归分支共用权重参数,使检测头参数冗余与计算负担被消除;同时回归分支引入可学习缩放因子,针对不同特征层级独立取值以补偿参数共享带来的尺度感知损失,使模型轻量化与尺度适应性得到兼顾。
46、第四,通过辅助边界框完全交并比损失函数中比例因子为与输入特征图空间分辨率一致的二维张量及双线性插值索引机制,使不同空间位置获得差异化缩放强度,从而解决传统标量比例因子无法空间差异化响应的问题;辅助预测框与辅助真实框按缩放条件进行缩放,使缩放幅度在训练中端到端自适应优化,缓解小目标对定位偏差高度敏感导致的回归不稳定问题。
47、第五,通过rga-block、ghostconv、adfpn、轻量级共享卷积检测头与辅助边界框完全交并比损失函数在端到端协同优化架构下的联合训练,使各模块输出以特征图张量形式相互约束与反馈,通过端到端的联合训练在多任务约束下实现了各模块的性能互补,使模型在提升小目标检测精度的同时实现轻量化部署。
48、本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书和附图中所特别指出的结构来实现和获得。
49、下面通过附图和实施例,对本发明的技术方案做进一步地详细描述。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com