一种基于逐层特征重标定的钢材表面缺陷检测方法及系统

摘要: 本发明涉及工业机器视觉,尤其是涉及一种基于逐层特征重标定的钢材表面缺陷检测方法及系统。背景技术:1、热轧钢材在轧制、冷却和输送过程中可能形成裂纹、夹杂、斑块、点...
一种基于逐层特征重标定的钢材表面缺陷检测方法及系统

本发明涉及工业机器视觉,尤其是涉及一种基于逐层特征重标定的钢材表面缺陷检测方法及系统。

背景技术:

1、热轧钢材在轧制、冷却和输送过程中可能形成裂纹、夹杂、斑块、点蚀、轧制氧化铁皮和划痕等表面缺陷。低对比度裂纹与钢材基材之间的灰度差异较小,部分裂纹还具有宽度窄、延伸方向不固定和边缘不连续的特点。采用目标检测网络处理此类图像时,裂纹的浅层纹理响应会随卷积和下采样逐级减弱,容易造成漏检或类别混淆。

2、现有基于yolo网络的钢材表面缺陷检测方法通常在主干网络的单一位置设置注意力模块,或者仅通过增大输入尺寸、调整损失权重提高检测精度。单一位置的注意力处理只能对一个层级的特征进行增强,不能在后续多级特征提取过程中持续校正通道响应;单纯增加模型规模又会提高参数量和计算开销,不利于在工控中央处理器或边缘嵌入式设备上部署。因此,现有技术至少存在低对比度裂纹特征在多级特征提取过程中持续衰减,以及缺陷检测精度与轻量化部署难以兼顾的问题。

技术实现思路

1、本发明的目的在于提供一种基于逐层特征重标定的钢材表面缺陷检测方法及系统,以解决现有技术中存在的低对比度裂纹特征在多级特征提取过程中持续衰减,以及缺陷检测精度与轻量化部署难以兼顾的问题。

2、为解决上述技术问题,本发明提供的一种基于逐层特征重标定的钢材表面缺陷检测方法,包括以下步骤:

3、s1,获取待检测的钢材表面图像,对所述钢材表面图像进行预处理,得到待检测图像;

4、s2,将所述待检测图像输入预先训练的目标检测网络,所述目标检测网络包括依次连接的主干网络、颈部网络和检测头,所述主干网络包括多级串联的c2f特征提取模块,每一级c2f特征提取模块的输出端均连接一个通道注意力模块;

5、s3,利用各级c2f特征提取模块依次提取所述待检测图像的特征,利用连接在当前c2f特征提取模块输出端的通道注意力模块,根据当前c2f特征提取模块输出的完整特征图生成各通道的权重系数,将所述权重系数与所述完整特征图逐通道相乘,得到当前级的重标定特征图,并将所述重标定特征图传递至下一级c2f特征提取模块和/或作为主干网络的多尺度输出特征图,由此在主干网络的不同特征提取层级连续执行通道特征重标定;

6、s4,利用所述颈部网络融合主干网络输出的多尺度重标定特征图,得到多尺度融合特征图;利用所述检测头对所述多尺度融合特征图进行分类和边界框回归,输出钢材表面缺陷的缺陷类别和边界框。

7、进一步地,步骤s1具体包括:获取热轧钢材的原始灰度表面图像,采用双线性插值将所述原始灰度表面图像的分辨率调整为416×416像素;在训练阶段,还对训练图像进行随机缩放、翻转、亮度扰动和马赛克增强中的至少一种,在推理阶段保持图像的灰度信息,将单通道像素值复制为三通道后转换为所述目标检测网络的输入张量。

8、进一步地,每一级c2f特征提取模块对输入特征图依次执行以下处理:采用第一1×1卷积对输入特征图进行通道变换;将通道变换后的特征图拆分为第一支路特征和第二支路特征;将所述第一支路特征直接传递,将所述第二支路特征输入至少一个串联的瓶颈模块;将所述第一支路特征、所述第二支路特征以及各瓶颈模块输出的中间特征沿通道维度拼接;采用第二1×1卷积对拼接后的特征进行融合,得到所述完整特征图。

9、进一步地,所述通道注意力模块为挤压与激励通道注意力模块,所述挤压与激励通道注意力模块包括:

10、挤压单元,用于对所述完整特征图的各通道分别执行全局平均池化,生成通道描述子;

11、激励单元,用于通过第一全连接层将所述通道描述子的通道数按照缩减比率进行压缩,经relu激活后通过第二全连接层恢复通道数,并经sigmoid激活生成归一化的权重系数;

12、重标定单元,用于将所述权重系数与所述完整特征图逐通道相乘,得到尺寸与所述完整特征图相同的重标定特征图;

13、其中,不同c2f特征提取模块输出端的挤压与激励通道注意力模块分别根据对应层级的完整特征图独立生成权重系数。

14、进一步地,对于输入所述挤压与激励通道注意力模块的完整特征图,第个通道的通道描述子按照下式计算:

15、

16、权重向量及重标定特征图按照下式计算:

17、

18、

19、其中,、和分别为完整特征图的通道数、高度和宽度,为通道描述子,为权重向量,为relu激活函数,为sigmoid激活函数,和分别为第一全连接层和第二全连接层的权重矩阵,第一全连接层的通道缩减比率为16。

20、进一步地,所述目标检测网络为改进的yolov8n目标检测网络;所述目标检测网络的训练损失包括分类损失、完整交并比边界框回归损失和分布焦点损失,其总损失为:

21、

22、其中,分类损失权重为1.0,完整交并比边界框回归损失权重为7.5,分布焦点损失权重为1.5。

23、进一步地,所述目标检测网络采用随机梯度下降优化器进行训练,初始学习率为0.01,动量为0.937,权重衰减系数为0.0005,批次大小为16,训练轮数为50;加载yolov8n在通用目标检测数据集上的预训练权重作为初始参数,并采用分层随机划分方式将带有缺陷类别标签和边界框标签的钢材表面图像划分为训练集和验证集。

24、进一步地,步骤s4中,所述颈部网络采用特征金字塔网络和路径聚合网络构成的双向特征融合结构,对不同分辨率的多尺度重标定特征图执行自顶向下融合和自底向上融合;所述检测头为解耦检测头,分别执行缺陷分类和边界框回归;所述缺陷类别包括裂纹、夹杂、斑块、点蚀表面、轧制氧化铁皮和划痕中的至少一种。

25、本发明的另一目的在于提供一种基于逐层特征重标定的钢材表面缺陷检测系统,系统包括:

26、图像采集预处理模块,用于获取待检测的钢材表面图像并进行预处理,得到待检测图像;

27、逐层特征重标定模块,包括预先训练的目标检测网络,所述目标检测网络包括依次连接的主干网络、颈部网络和检测头,所述主干网络包括多级串联的c2f特征提取模块,每一级c2f特征提取模块的输出端均连接一个通道注意力模块;各通道注意力模块用于根据对应c2f特征提取模块输出的完整特征图生成各通道的权重系数,将所述权重系数与所述完整特征图逐通道相乘,得到当前级的重标定特征图,并将所述重标定特征图传递至下一级c2f特征提取模块和/或作为主干网络的多尺度输出特征图;

28、多尺度检测模块,用于通过所述颈部网络融合所述多尺度输出特征图,并通过所述检测头输出钢材表面缺陷的缺陷类别和边界框;

29、结果输出模块,用于将所述缺陷类别和边界框叠加至钢材表面图像并输出检测结果。

30、进一步地,所述图像采集预处理模块包括工业灰度相机、照明单元和图像缩放单元,所述工业灰度相机和照明单元用于在稳定照明条件下采集热轧钢材表面图像,所述图像缩放单元用于将所述热轧钢材表面图像调整为416×416像素;所述逐层特征重标定模块和多尺度检测模块部署在工控机的中央处理器或边缘嵌入式开发板上;所述结果输出模块包括显示单元和存储单元,分别用于显示带有缺陷类别和边界框的质检图像以及存储检测结果。

31、采用上述技术方案,本发明具有如下有益效果:

32、1、与仅在主干网络单一位置设置注意力模块的方式相比,本发明在各级c2f特征提取模块输出端分别设置通道注意力模块;当前层的完整特征图在传入下一层前完成通道重标定,能够在多级特征提取过程中持续提高与裂纹等弱缺陷相关通道的相对响应并抑制基材背景通道,降低低对比度缺陷特征逐层衰减造成的漏检风险;

33、2、本发明采用通道维度的全局平均池化、两层全连接映射和逐通道乘法完成重标定,不改变输入特征图与输出特征图的空间尺寸,便于与c2f特征提取模块串联;结合yolov8n、416×416输入尺寸以及分类损失、完整交并比边界框回归损失和分布焦点损失的加权训练方式,可在模型参数量增加较小的情况下提高缺陷检测性能,适合工控中央处理器和边缘嵌入式开发板部署。