融合层次化大核与频域空域双分支增强的小目标检测方法
本发明涉及神经网络,具体涉及一种融合层次化大核与频域空域双分支增强的小目标检测方法。
背景技术:
1、目标检测是计算机视觉领域的核心任务之一,其目的是在图像或视频中定位并识别出感兴趣的目标对象。其中,小目标检测由于目标在图像中所占像素比例极低,一直是目标检测领域的技术难点。在无人机遥感场景下,由于航拍高度较高、视场范围广阔,影像中的车辆、行人等目标通常仅占据几十甚至几个像素,对小目标检测技术提出了更高的要求。
2、以yolo(you only look once)系列为代表的单阶段目标检测方法,凭借端到端的检测框架和优异的推理速度,在各类目标检测任务中得到了广泛应用。其中,yolov8作为当前主流的基准框架,其网络结构主要包括骨干特征提取网络、多尺度特征融合网络和解耦检测头网络。在骨干特征提取网络中,yolov8通过一系列标准卷积层与c2f模块堆叠,以逐层下采样提取多尺度特征;多尺度特征融合网络则负责对不同层级的特征进行融合,兼顾不同尺度目标的检测需求。
3、然而,将yolov8直接应用于无人机遥感影像小目标检测时,仍存在以下不足:一方面,骨干网络浅层采用的标准卷积核感受野有限,在对小目标进行特征提取时,难以同步兼顾小目标的细粒度纹理细节与全局上下文信息,导致小目标特征与背景信息混淆,不利于后续的定位与分类;另一方面,骨干网络深层经过多次下采样后,小目标的高频细节信息(如边缘、轮廓等)容易被逐渐削弱甚至丢失,而yolov8原生结构中缺乏专门针对高频细节进行保留与增强的机制,进一步加剧了小目标特征表征能力不足的问题。上述不足共同导致了yolov8在无人机遥感小目标检测中漏检率与误检率偏高,检测精度难以满足实际应用需求。
技术实现思路
1、本发明提出了一种融合层次化大核与频域空域双分支增强的小目标检测方法,其目的是:解决现有yolov8检测方法在无人机遥感小目标检测中,骨干网络浅层标准卷积感受野有限导致小目标特征与背景信息混淆、深层下采样导致小目标高频细节特征丢失的问题,从而降低漏检率与误检率,提升小目标检测精度。
2、本发明技术方案如下:
3、一种融合层次化大核与频域空域双分支增强的小目标检测方法,该方法基于yolov8网络框架,所述yolov8网络框架包括骨干特征提取网络、多尺度特征融合网络和解耦检测头网络;
4、所述yolov8网络框架为改进的yolov8小目标检测模型,在其骨干特征提取网络中:
5、在第2特征层级,以层次化大核细节增强模块替换该层级原有的标准卷积层;所述层次化大核细节增强模块对输入特征图进行通道对齐后,分别馈入大核上下文分支和细节保留分支,所述大核上下文分支通过深度卷积捕获全局上下文信息,所述细节保留分支通过标准卷积保留细粒度纹理细节,再将两分支输出沿通道维度拼接并经逐点卷积融合后输出;
6、在第5特征层级,以c2f-fsdem模块替换该层级原有的c2f模块;所述c2f-fsdem模块在原生c2f模块基础上将卷积类型参数conv_type设为fsconv,使c2f模块内部每个bottleneck中的两个3×3卷积均采用频域-空域双分支增强模块实现;所述频域-空域双分支增强模块对输入特征图经通道拆分后分别馈入频域分支和空域分支,所述频域分支通过离散小波变换分离高低频分量并分别增强后融合,空域分支通过标准卷积提取空域特征,两分支经尺寸对齐、通道拼接和逐点卷积融合后输出。
7、作为所述融合层次化大核与频域空域双分支增强的小目标检测方法的进一步改进:所述大核上下文分支的处理过程包括:
8、通过步长大于1的3×3深度卷积对通道对齐后的特征图进行下采样,得到初始特征图;
9、通过步长为1的空洞深度卷积对所述初始特征图进行上下文增强,得到上下文增强特征图;
10、将所述初始特征图与所述上下文增强特征图沿通道维度拼接后,经1×1逐点卷积将通道数压缩至所述层次化大核细节增强模块输出通道数的一半,得到大核上下文分支输出特征图。
11、作为所述融合层次化大核与频域空域双分支增强的小目标检测方法的进一步改进:所述细节保留分支的处理过程包括:通过3×3标准卷积对通道对齐后的特征图进行处理,得到细节保留分支输出特征图,所述细节保留分支输出特征图的通道数为所述层次化大核细节增强模块输出通道数的一半。
12、作为所述融合层次化大核与频域空域双分支增强的小目标检测方法的进一步改进:所述将两分支输出沿通道维度拼接并经逐点卷积融合后输出,包括:将所述大核上下文分支输出特征图与所述细节保留分支输出特征图沿通道维度拼接后,经1×1逐点卷积将通道数恢复至所述层次化大核细节增强模块的输出通道数,再依次经批归一化和silu激活函数处理,得到所述层次化大核细节增强模块的输出特征图。
13、作为所述融合层次化大核与频域空域双分支增强的小目标检测方法的进一步改进,所述频域-空域双分支增强模块对输入特征图经通道拆分,包括:
14、通过分组数等于通道对齐后的特征图通道数、输出通道数为所述通道数两倍的1×1分组卷积对每个输入通道分别进行特征映射,并依次经批归一化和silu激活函数处理,得到中间特征图;
15、将所述中间特征图沿通道维度平分为两组,分别作为频域分支输入特征图和空域分支输入特征图。
16、作为所述融合层次化大核与频域空域双分支增强的小目标检测方法的进一步改进,所述频域分支通过离散小波变换分离高低频分量并分别增强后融合,包括:
17、通过基于haar小波的可微分二维离散小波变换对所述频域分支输入特征图进行一级分解,得到低频分量和由水平、垂直、对角三个方向的高频细节子带构成的高频分量元组;
18、对所述低频分量,采用深度卷积进行特征增强并经批归一化和silu激活函数处理,得到低频增强特征图;
19、对所述高频分量元组,沿方向维拆分为三个方向子带后沿通道维度拼接并压缩方向维,得到高频融合特征图,再通过分组卷积、批归一化和silu激活进行特征整合与增强,得到高频增强特征图;所述分组卷积的分组数取其输入通道数与输出通道数的最大公约数,使每个输出通道由三个方向子带中对应通道位置的特征融合得到,不同通道组之间互不干扰;
20、通过通道注意力机制对所述高频增强特征图进行自适应加权后,与所述低频增强特征图相加,得到频域分支输出特征图。
21、作为所述融合层次化大核与频域空域双分支增强的小目标检测方法的进一步改进:所述空域分支通过标准卷积提取空域特征,包括:采用3×3标准卷积对所述空域分支输入特征图进行处理,并经批归一化和silu激活函数处理,得到空域分支输出特征图。
22、作为所述融合层次化大核与频域空域双分支增强的小目标检测方法的进一步改进,所述两分支经尺寸对齐、通道拼接和逐点卷积融合后输出,包括:
23、对所述频域分支输出特征图空间尺寸对齐至与所述空域分支输出特征图一致,再将两者沿通道维度拼接后,经包含1×1逐点卷积、批归一化和silu激活函数的卷积模块将通道数压缩至所述频域-空域双分支增强模块的输出通道数,再经一次silu激活函数处理,得到所述频域-空域双分支增强模块的输出特征图。
24、作为所述融合层次化大核与频域空域双分支增强的小目标检测方法的进一步改进,改进的yolov8小目标检测模型的训练步骤为:
25、构建训练数据集,所述训练数据集包含无人机遥感影像及其对应的目标真实边界框与类别标签;
26、将训练样本输入所述yolov8网络框架,根据模型预测结果与真实标签计算损失函数值,所述损失函数包括采用二元交叉熵计算的分类损失、ciou边界框回归损失和分布焦点损失dfl;
27、对模型参数进行迭代优化,直至模型收敛。
28、作为所述融合层次化大核与频域空域双分支增强的小目标检测方法的进一步改进:训练过程中,所述层次化大核细节增强模块在权重初始化时,所述大核上下文分支的各卷积层采用kaiming正态分布初始化,所述细节保留分支的标准卷积层采用与yolov8原生卷积一致的初始化方式。
29、相对于现有技术,本发明具有以下有益效果:
30、1.本发明针对无人机遥感影像小目标检测中浅层特征提取时标准卷积感受野有限、小目标细粒度细节与全局上下文信息难以兼顾的问题,在骨干特征提取网络的第2特征层级以层次化大核细节增强模块替换原有标准卷积层。该模块将输入特征图经通道对齐后分别馈入大核上下文分支与细节保留分支:大核上下文分支通过深度卷积配合空洞卷积扩大等效感受野,捕获远距离像素间的依赖关系,使特征响应更聚焦于小目标所在区域;细节保留分支则通过标准卷积保持原始分辨率下的局部纹理与边缘信息,避免大卷积核可能带来的细节平滑效应。两分支输出拼接后经逐点卷积融合,使浅层特征图在获得充足上下文信息的同时保留小目标的关键细粒度线索,从而在源头环节缓解小目标与背景混淆的问题。
31、2.针对骨干网络深层多次下采样后小目标高频细节信息容易丢失的问题,本发明在第5特征层级将频域-空域双分支增强模块集成到c2f模块内部,形成c2f-fsdem模块。该模块对输入特征图进行通道拆分后,频域分支通过离散小波变换将特征分解为低频语义分量与水平、垂直、对角三个方向的高频细节分量,对低频分量采用深度卷积增强语义表达,对高频分量经融合后以分组卷积进行逐通道融合增强,并引入通道注意力对高频特征自适应加权,再与增强后的低频特征相加,使深层特征中的边缘、轮廓等细节信息得到有效保留与强化;空域分支则通过标准卷积提取常规空域特征。两分支经尺寸对齐后融合输出,使得深层特征既承载丰富的语义信息,又保留了小目标的高频判别性细节,弥补了原生网络下采样过程中细节湮灭的缺陷。
32、3.上述两个模块在骨干网络中分层互补作用——浅层hldem模块着力解决感受野与细节的兼顾问题,深层c2f-fsdem模块着力解决高频细节的保持问题——形成从小目标特征提取前端到后端的增强通路。对比实验表明,两个模块联合部署后的模型相对原生yolov8n在map@0.5、map@0.5:0.95和aps指标上均取得提升,说明该分层增强方案能够提高无人机遥感场景下小目标的检测精度。
33、4.本发明所提出的层次化大核细节增强模块和频域-空域双分支增强模块均采用深度卷积、分组卷积等轻量化操作,在带来精度增益的同时保持了较低的参数量和计算开销。改进后的模型在推理速度上与原生yolov8n基本持平,无需增加额外的硬件成本或显存占用,对部署环境友好。
34、5.所提出的两个模块的输入、输出特征图形状与yolov8原生卷积层完全一致,可直接替换原有模块而无需修改后续网络结构。
35、6.本发明训练时所采用的权重初始化策略——大核分支采用kaiming初始化、细节保留分支沿用yolov8原生初始化、批归一化层置为典型初值——使得模型训练初期梯度稳定,收敛速度快,便于工程落地和实际部署。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com