一种多分支特征增强与跨尺度融合的目标检测方法

摘要: 本发明属于计算机视觉与深度学习,涉及一种多分支特征增强与跨尺度融合的目标检测方法。背景技术:1、随着智能感知技术的发展,目标检测已广泛应用于安防监控、交通管理、...
一种多分支特征增强与跨尺度融合的目标检测方法

本发明属于计算机视觉与深度学习,涉及一种多分支特征增强与跨尺度融合的目标检测方法。

背景技术:

1、随着智能感知技术的发展,目标检测已广泛应用于安防监控、交通管理、无人系统、城市管理等场景。在无人机航拍或复杂自然场景中,待检测目标往往具有尺寸小、像素占比低、局部纹理弱、背景干扰强等特点,容易出现边缘模糊、细节丢失和类别混淆等问题,从而给检测任务带来较大挑战。

2、现有目标检测方法主要包括两阶段检测方法和一阶段检测方法。两阶段方法如faster r-cnn、cascade r-cnn通常具有较高精度,但推理速度较慢、部署成本较高;一阶段方法如yolo系列具有端到端检测和实时性好的优点,已成为工程应用中的主流方案。其中,yolo11通过backbone、neck和head的组合实现多尺度目标预测,在通用检测任务中具有较好的效率与精度。

3、但是,在复杂背景下的小目标检测场景中,现有yolo11仍存在以下不足:其一,在特征提取过程中,随着网络层数加深及特征图不断下采样,小目标细节信息容易被削弱或丢失,导致特征表达能力不足;其二,在复杂背景环境下,小目标与背景区域的特征区分度较低,模型难以准确区分目标与背景,容易产生漏检或误检;其三,在多尺度特征融合过程中,不同层级特征之间的融合方式较为固定,缺乏对不同尺度特征重要性的有效调节机制,难以充分利用小目标的局部细节与高层语义信息。

技术实现思路

1、本发明的目的在于提供一种多分支特征增强与跨尺度融合的目标检测方法,解决现有目标检测方法在复杂背景条件下对小尺度目标细节提取不足、背景干扰大以及多尺度特征融合效果不理想的问题。

2、为达到上述目的,本发明提供如下技术方案:

3、一种多分支特征增强与跨尺度融合的目标检测方法,包括以下步骤:

4、步骤1、采集无人机航拍或复杂场景下的目标图像构建数据集,对图像中的目标进行标注,划分训练集、测试集和验证集;

5、步骤2、搭建检测网络,所述检测网络以yolo11作为基础框架,包括backbone、neck和head三部分,其中在所述backbone部分引入统一多分支细节增强模块umde,多个umde模块和双卷积跨阶段局部瓶颈c3k2模块交替堆叠,并在所述统一多分支细节增强模块umde内部设置局部残差细节增强分支模块ulrdb;在所述backbone底部引入快速空间金字塔池化sppf模块与带空间注意力的跨阶段局部模块c2psa;在所述neck部分,采用多层级特征融合结构,引入跨尺度自适应加权特征融合模块cawf;在head部分设置多个detect检测头;

6、步骤3、利用步骤1中的训练集数据对检测网络进行训练;

7、步骤3.1、输入图像首先经过backbone进行多层级特征提取,并利用umde模块增强小目标的边缘、纹理及局部结构信息,在所述umde模块中,输入特征图分别送入多个并行分支,通过各分支内不同形式的串行卷积提取不同感受野下的局部细节信息,对引入残差连接的部分分支输出进行特征保留,并将所述多个并行分支的输出沿通道维度进行拼接融合,得到增强后的特征图;

8、步骤3.2、将backbone输出的相邻尺度特征输入cawf模块,对包含丰富语义信息的高层特征与保留较多边缘纹理的低层细节特征分别进行通道及尺寸对齐,并生成各自的自适应权重;依据所述自适应权重完成双向信息交互,使高层特征获得低层细节补充,且低层特征获得高层语义补充;随后对交互后的融合结果进行卷积整合,构建多尺度特征表示;

9、步骤3.3、将经过umde和cawf增强后的多尺度特征输入对应的检测头,在不同尺度上同时完成目标分类与边界框回归,输出最终检测结果;

10、步骤4、使用验证集评估检测网络的性能并优化参数;

11、步骤5、将待检测图像输入训练完成的检测网络,得到复杂背景条件下的小目标检测结果。

12、进一步的,步骤2中所述统一多分支细节增强模块umde包括输入特征分配部分、多个并行设置的局部残差细节增强分支ulrdb、特征聚合部分和输出部分;单个所述ulrdb主要由1×1卷积、1×3非对称卷积、3×1非对称卷积、3×3卷积以及局部残差连接组成;输入特征首先被复制并分别送入各ulrdb分支,各ulrdb分支独立提取局部细节特征;随后,将ulrdb各分支输出在特征维度进行聚合,得到增强后的输出特征。

13、进一步的,步骤2中所述跨尺度自适应加权特征融合模块cawf包括通道对齐单元、自适应权重生成单元、双向特征交互单元和融合输出单元;所述跨尺度自适应加权特征融合模块cawf接收相邻尺度的高层语义特征和低层细节特征作为输入,首先通过1×1 cbs模块对两路特征进行通道映射,所述1×1 cbs模块为由卷积层、批归一化层和silu激活函数依次串联组成的基础特征提取单元;随后,分别生成高层特征和低层特征对应的自适应权重,用于动态调节两路特征的信息传递强度;在自适应权重的引导下,所述cawf将低层特征中的边缘、纹理和位置信息补充至高层特征,同时将高层特征中的语义信息传递至低层特征,以抑制背景噪声和无关纹理;最后,利用上采样或下采样操作统一特征图的空间尺寸,将双向增强后的两路特征进行拼接,并通过3×3 cbs完成特征整合,得到融合输出特征。

14、进一步的,所述步骤3.1的过程包括:

15、设输入图像为其中c、h、w分别表示通道数、高度和宽度,首先,将输入图像复制四份传入到对应的分支路径进行特征提取,其中第i条分支的特征提取过程可公式化表示为:

16、

17、其中表示由若干串行卷积操作构成的非线性映射函数,对应由1×1cbs、非对称卷积及3×3cbs组合形成的卷积路径;

18、原始图像复制为两份,第一份会依次经过1×1cbs,1×3cbs,3×1cbs以及3×3cbs的串行卷积;第二份则会与第一份的卷积结果进行局部残差连接:

19、

20、

21、最终,所有分支输出特征在通道维度进行聚合,模块输出特征可表示为:

22、

23、其中表示在通道维度重组,表示非线性激活函数。

24、进一步的,所述步骤3.2的过程包括:

25、设来自相邻尺度的两层特征图分别为:,,其中表示高层特征,表示低层特征;

26、首先,通过1×1的cbs对两层特征进行通道映射,使其具有一致的特征维度:

27、

28、其中,与表示由卷积、批归一化和非线性激活函数组成的cbs模块;

29、其次所述cawf分别为高层与低层特征生成注意力权重:

30、

31、其中()表示sigmoid函数,能将注意力权重约束在[0,1]区间;

32、在注意力权重支持下,cawf通过双向信息交互同时增强语义特征与细节特征;高层特征在低层语义特征的增强下更新为:

33、

34、同样地,低层特征在高层细节特征的增强下更新为:

35、

36、其中⊙表示逐元素相乘,表示尺度对齐算子,用于将输入特征调整至目标特征的分辨率;

37、最后,将对齐后的高低层特征进行拼接并融合:

38、

39、其中表示cbs组成的卷积。

40、与现有技术相比,本发明具有以下有益效果:

41、本发明通过引入多分支特征增强与跨尺度自适应加权融合机制,显著提升了检测网络在复杂背景、低对比度及目标密集场景下的检测性能。具体而言,本发明从特征提取和特征融合两个关键阶段对小目标信息进行针对性增强,使检测头能够获取兼具丰富局部细节与高层语义的多尺度特征,从而在保证检测效率的同时,有效降低了漏检率和误检率,提高了检测精度、鲁棒性及泛化能力。

42、本发明通过统一多分支细节增强模块umde模块有效保留并强化了小目标的边缘与细节信息。该模块将输入特征送入多条并行卷积分支,通过1×1卷积、非对称卷积和3×3卷积提取不同方向及不同感受野下的边缘、纹理和局部结构信息,并利用残差连接保留原始特征。这种设计显著减少了小目标细节在网络下采样和深层特征提取过程中的损失,增强了网络对小目标的特征表达能力。

43、本发明通过跨尺度自适应加权特征融合模块cawf充分结合了浅层细节与深层语义信息。该模块首先对相邻尺度的高层特征和低层特征进行通道及尺寸对齐,再根据两路特征生成自适应权重,并进行双向信息交互,使低层细节信息补充至高层特征,同时利用高层语义信息抑制低层特征中的背景干扰。由此提高了不同尺度特征之间的信息互补能力,改善了传统固定融合方式对重要特征利用不足的问题,进一步提升了检测网络对小尺度及密集目标的分类与定位准确性。