一种面向恶劣天气交通场景的车辆与行人目标检测方法

摘要: 本发明涉及计算机视觉与智能交通,尤其是涉及一种面向恶劣天气交通场景的车辆与行人目标检测方法。背景技术:1、近年来,随着智能交通系统、自动驾驶技术以及智慧城市建设...
一种面向恶劣天气交通场景的车辆与行人目标检测方法

本发明涉及计算机视觉与智能交通,尤其是涉及一种面向恶劣天气交通场景的车辆与行人目标检测方法。

背景技术:

1、近年来,随着智能交通系统、自动驾驶技术以及智慧城市建设的快速发展,交通场景目标检测技术受到了广泛关注。目标检测作为计算机视觉领域的重要研究方向,其主要任务是在图像或视频中实现目标的准确定位与类别识别,为车辆环境感知、交通流量分析、道路安全监测等应用提供基础支撑。

2、目前,基于深度学习的目标检测方法已成为主流技术路线,主要包括两阶段检测方法和单阶段检测方法。其中,两阶段检测方法以r-cnn、fast r-cnn和faster r-cnn为代表,通过候选区域生成与分类回归两步完成目标检测,具有较高的检测精度;单阶段检测方法以ssd和yolo系列为代表,直接完成目标分类与定位预测,具有较高的检测速度和实时性能。由于兼顾检测精度与推理效率,yolo系列算法已广泛应用于交通场景目标检测任务。

3、随着yolo系列模型的持续发展,其在网络结构设计、特征提取能力以及多尺度检测性能等方面不断得到优化,在交通目标检测领域表现出较好的综合性能。其中,yolo11在保持较高检测精度的同时兼顾推理速度和部署效率,已成为当前目标检测领域的重要研究基础。因此,现有针对恶劣天气交通场景的目标检测研究中,已有较多工作以yolo系列模型为基础,通过引入注意力机制、改进特征融合结构以及优化检测头等方式提升模型性能。

4、然而,在浓雾、降雨、降雪以及夜间低照度等恶劣天气条件下,图像通常存在对比度下降、目标边缘模糊、纹理细节缺失以及背景噪声增强等问题。上述因素会导致目标特征退化,并进一步影响特征提取、多尺度特征融合以及目标分类定位过程,从而降低目标检测模型的检测精度与鲁棒性。因此,如何提升恶劣天气交通场景下目标检测模型的特征表达能力、多尺度信息融合能力以及抗噪性能,已成为当前研究的重要方向。

5、专利申请cn118334413a公开了一种基于多尺度混合注意力模块的不良天气下目标检测方法,首先使用主干网络对输入图像进行特征提取,接着将主干网络输出的特征图送入多尺度混合注意力模块,最后送入检测头获得检测结果。其中多尺度混合注意力模块包含三个部分,轻量级多尺度特征融合模块、通道注意力模块和空间注意力模块。但采用固定感受野的扩张卷积与静态分离的注意力机制,缺乏对跨尺度特征差异的动态门控融合以及基于能量函数的自适应背景噪声抑制,且未实现深层语义层面的通道协同压缩,导致其在复杂恶劣天气下的抗噪鲁棒性、多尺度特征协同表达能力以及模型轻量化程度均较低。

技术实现思路

1、本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种显著提升了恶劣天气下模糊、微小及遮挡目标的检测精度与抗干扰鲁棒性,同时有效降低了模型参数量,实现了高精度与轻量化部署的有效平衡的面向恶劣天气交通场景的车辆与行人目标检测方法。

2、本发明的目的可以通过以下技术方案来实现:

3、一种面向恶劣天气交通场景的车辆与行人目标检测方法,包括如下处理过程:

4、获取恶劣天气交通场景图像数据,构建包含车辆与行人目标类别的目标检测数据集,并将所述目标检测数据集划分为训练集、验证集和测试集;

5、构建目标检测网络,所述目标检测网络对输入的图像数据进行处理的步骤包括:

6、对所述图像数据进行多层特征提取,得到多尺度输入特征;针对各所述输入特征,分别沿高度方向和宽度方向进行自适应平均池化和自适应最大池化;将池化结果拼接后依次经过第一层卷积、批归一化操作和激活函数进行特征映射;随后通过第二层卷积恢复通道维度,并结合激活函数生成高度与宽度注意力权重;利用自适应权重对平均池化和最大池化得到的注意力增强特征进行融合,对各所述输入特征进行重标定,得到多尺度增强特征图;

7、获取所述多尺度增强特征图进行跨尺度特征融合,通过计算相邻尺度特征之间的信息差异生成门控权重,并根据所述门控权重动态调整特征融合比例,同时保留高分辨率的浅层细节特征,得到多尺度融合特征;

8、针对所述多尺度融合特征,推导最小能量函数计算各位置的重要性权重,对目标区域进行增强并对背景噪声区域进行抑制,得到背景干扰降低的多尺度特征图;

9、获取所述多尺度特征图中的深层语义特征,并在各尺度特征进入检测头进行预测之前,通过深层语义压缩和均衡投影重构各特征通道;

10、将所述训练集和所述验证集中的图像数据输入所述目标检测网络,按照上述处理步骤获取预测结果,以对所述目标检测网络进行训练;

11、利用训练后的目标检测网络对待检测图像进行检测,输出车辆与行人目标的类别信息、目标位置及对应置信度。

12、进一步地,所述对各所述输入特征进行池化及融合的处理过程为:

13、各所述输入特征分别沿高度与宽度方向进行自适应平均池化与自适应最大池化;将对应池化结果在空间维度拼接后,经所述第一层卷积、批归一化操作和激活函数进行特征映射得到中间特征;将所述中间特征沿高度与宽度方向拆分为第一子张量和第二子张量;所述第二子张量经维度转置后与所述第一子张量分别通过所述第二层卷积与激活函数生成对应的高度与宽度注意力权重,并通过逐元素乘法分别得到均值注意力增强特征与最大池化增强特征。

14、进一步地,所述利用自适应权重对平均池化和最大池化得到的注意力增强特征进行融合的过程包括:

15、设定自适应加权系数,将所述自适应加权系数对应的初始值设定为零,并通过激活函数将其约束在预设区间内,使所述均值注意力增强特征与所述最大池化增强特征初始具有相同融合比例;

16、在所述目标检测网络的训练过程中,所述自适应加权系数通过反向传播进行自适应更新以动态调整所述融合比例。

17、进一步地,所述跨尺度特征融合的具体过程包括:

18、将检测尺度向高分辨率端扩展,引入第一预设步长的特征层,并构建由多尺度特征组成的多尺度特征融合体系,所述多尺度特征按分辨率由低到高包含高层特征和低层特征;

19、在跨尺度融合阶段利用卷积对所述低层特征进行通道对齐,并通过双线性插值统一空间分辨率;

20、将对应的所述高层特征与所述低层特征沿通道维分别均匀划分为多个通道数相同的子空间,并计算对应子空间之间的绝对差异图。

21、进一步地,所述根据所述门控权重动态调整特征融合比例的具体过程包括:

22、将所述绝对差异图依次经过第三层卷积、批归一化层、第一激活层、第四层卷积及第二激活层生成门控权重;

23、根据所述门控权重对对应子空间的所述高层特征与所述低层特征进行自适应加权融合,最后将各个子空间的融合结果沿通道维拼接,并通过卷积完成通道融合得到最终的所述融合特征。

24、进一步地,所述保留高分辨率的浅层细节特征的具体过程包括:

25、在所述多尺度特征融合体系中具有最高分辨率特征的底层融合输出端,引入第一注意力处理过程与第二注意力处理过程;

26、所述第一注意力处理过程沿通道维将所述最高分辨率的融合特征均匀划分为若干组,分别沿高度方向和宽度方向执行自适应平均池化,经卷积实现跨方向信息交互,并通过归一化及矩阵乘法建立全局与局部特征之间的关联关系生成空间注意力权重,对所述最高分辨率的融合特征进行加权增强;

27、所述第二注意力处理过程通过将空间位置信息嵌入通道注意力中捕捉水平方向与垂直方向的长程依赖;

28、利用一个独立的自适应标量参数对所述两个处理过程的输出进行动态加权融合。

29、进一步地,所述推导最小能量函数计算各位置的重要性权重的具体过程包括:

30、通过计算所述多尺度融合特征中各像素与其邻域的线性分离特性推导出最小能量函数;

31、所述最小能量函数的值越低表明对应像素与背景统计分布的差异越大;

32、取所述最小能量函数的倒数并通过激活函数抑制过大值,完成对所述多尺度融合特征的重标定。

33、进一步地,在所述通过深层语义压缩和均衡投影重构各特征通道的过程中,深层语义压缩的具体过程包括:

34、在提取所述多尺度特征图中的深层语义特征时,采用连续通道压缩方式对特征提取网络结构进行重构;

35、将提取所述深层语义特征的网络层的第一特征通道数压缩至第二特征通道数,其中所述第二特征通道数小于所述第一特征通道数,并保持后续特征提取步骤均采用压缩后的所述第二特征通道数进行计算,减少深层特征的参数规模。

36、进一步地,在所述通过深层语义压缩和均衡投影重构各特征通道的过程中,均衡投影重构特征通道的具体过程包括:

37、在各尺度特征进入检测头进行类别与位置预测之前,分别设置由卷积层、批归一化层及激活函数依次组成的卷积瓶颈层,对各尺度特征进行通道维度线性投影映射,且保持特征图空间尺寸不变;

38、通过非对称通道配置,根据多尺度特征所承担的检测任务为各尺度特征分配不同的目标通道数,对各尺度特征的通道数进行重构。

39、进一步地,所述目标检测训练的具体过程包括:

40、采用从头训练策略,在不加载预训练权重的情况下,设定初始学习率、动量因子以及权重衰减系数,利用随机梯度下降优化算法通过反向传播对所述目标检测网络的参数进行更新,生成所述训练后的目标检测网络。

41、与现有技术相比,本发明具有以下有益效果:

42、1.提升复杂天气下目标识别能力:本发明分别沿高度和宽度方向进行自适应平均池化和最大池化生成注意力权重;随后利用反向传播更新的自适应加权系数对两类增强特征进行动态融合,完成特征重标定,从而实现了全局结构信息与局部显著特征的完美融合。

43、2.提升小目标及遮挡目标检测性能:本发明将检测尺度向高分辨率扩展,通过计算相邻尺度差异生成门控权重动态调整融合比例以过滤噪声;同时在最高分辨率的底层输出端,利用自适应参数对捕获局部与长程依赖的注意力分支进行融合,实现了多尺度信息高效交互与浅层细节的充分保留。

44、3.抑制背景干扰增强模型鲁棒性:本发明通过计算特征图中各像素与邻域的线性分离特性推导最小能量函数;进一步取该能量函数的倒数并结合激活函数抑制过大值,精准计算出重要性权重对多尺度融合特征进行重标定,从而大幅增强了模型在恶劣天气下检测的稳定性与鲁棒性。

45、4.降低参数量并提高模型部署效率:本发明在最深层特征提取时采用连续压缩方式缩减通道数,并在后续保持该压缩规模以剔除冗余语义;同时在特征进入预测头前,通过卷积瓶颈层及非对称通道配置,根据各尺度检测任务分配不同的目标通道数进行重构,实现了模型的高效轻量化。

46、5.实现精度与轻量化的有效平衡:本发明协同骨干网络的双池化特征动态重标定、特征融合网络的门控融合与浅层细节保留,以及检测前的能量函数噪声抑制与通道重构技术;该综合方案在大幅压缩冗余参数和计算复杂度的同时,全面提升了恶劣天气交通场景下各类目标的检测精度与模型抗噪能力。