一种镀锡钢板表面周期缺陷的判定方法

1.本发明涉及镀层钢板表面质量检测领域，特别是指一种镀锡钢板表面周期缺陷的判定方法。


背景技术：

2.在电镀锡钢板的生产的过程中，受基板轧制和电镀工艺等的影响难免会在产品表面产生缺陷，这些缺陷轻则会影响产品美观性，重则会影响产品的物理化学性能使其在关键应用场合造成某些严重后果。在这些缺陷中有很多可能具有等间隔出现的周期性质，如：压印、烧点、粉印、软点、油斑等。在生产过程中尽早准确检测与判别出这些周期缺陷有利于迅速溯源产生缺陷的原因并予以消除从而提升后续产品的质量。
3.相较于普通钢板而言，镀锡钢板的缺陷具有种类多，形貌复杂，严重程度各不相同等特点。目前已有一些能对钢板周期缺陷进行判断的方法，如专利cn110308256a《钢板下表周期缺陷检测装置》和专利cn110763693b《带钢表面周期性缺陷的周期测量装置及方法》，其原理主要还是通过机械装置并利用机电/光电的方法完成周期缺陷的检测，无法做到缺陷图像的采集保存与可视化，而表面缺陷检测的方法已从人工阶段、机电/光电阶段发展到了机器视觉阶段。现有的基于机器视觉的钢板周期缺陷判定方法大多需要提前采集获知周期缺陷的种类与周期性质并且分类准确率有待提升，并且当前也鲜有专门针对镀锡钢板缺陷提出的周期缺陷检测方法。


技术实现要素：

4.针对上述问题，本发明提出一种镀锡钢板表面周期缺陷的判定方法，能够高效准确检测镀锡钢板的周期缺陷。
5.本发明是通过以下技术方案实现的：
6.一种镀锡钢板表面周期缺陷的判定方法，包括：
7.(1)获取镀锡钢板原图进行缺陷类型与位置标注，获得标注样本；
8.(2)对所述标注样本进行有监督数据增强，形成数据集；
9.(3)利用改进的yolov5s卷积神经网络模型以半监督学习的方式扩充所述数据集，获得扩充数据集；
10.(4)使用所述扩充数据集完成对改进的yolov5s卷积神经网络模型的训练并检测待测镀锡钢板缺陷；半监督学习过程中使用的卷积神经网络与最终检测分类所使用的卷积神经网络模型相同。
11.(5)检测到三个连续同类缺陷，计算相邻缺陷的中心间距并定义潜在周期；
12.(6)在规定范围内找到符合位置和数目要求的同类缺陷，完成周期性的判定。
13.进一步地，在步骤(1)具体为：使用图像传感器采集获取镀锡钢板原图；所述图像传感器选用线扫描ccd相机或线扫描cmos相机；成像方式选择明场成像或中间场成像；成像相机的触发方式选择利用编码器产生脉冲信号的外触发方式或利用灰度值判断的内触发
方式来获取镀锡钢板的图像；对获得的镀锡钢板原图上的各类缺陷进行类别名称与缺陷位置的标注。
14.进一步地，步骤(2)中，有监督的数据增强方法包括几何变换类和/或颜色变换类；所述几何变换类包括翻转、裁剪和缩放中的任意一种或多种，所述颜色变换类包括噪声、模糊和随机擦除中的任意一种或多种。
15.进一步地，步骤(3)，使用改进的yolov5s卷积神经网络模型，以半监督学习的方式扩充数据集。即用简单训练的网络模型扩充数据，并不断进行人工筛选修正，最终形成大规模的数据集。
16.yolov5s是yolov5网络系列中深度最浅、特征图宽度最小的网络。而本发明步骤(3)中，所述改进的yolov5s卷积神经网络模型包括backbone、neck和head三部分：
17.backbone部分用于提取图像的特征，backbone部分使用cspdarknet作为主干网络，融合了focus模块、csp模块和spp模块；具有很强的特征提取能力。其中，focus模块包括切片操作、concat操作和卷积操作；csp模块包括多个卷积层、归一化层、激活函数层、残差组件(由两组卷积层、归一化层、激活函数层和一个加和操作组成)以及concat操作；ssp模块包括不同尺寸的最大池化操作和concat操作。上述模块是yolov4\v5算法中常规固定的方法模块。
18.neck部分用于提高网络对不同尺度目标的检测能力，neck部分包括rescbam模块，rescbam模块包含1*1卷积层和带有残差结构的注意力机制模型，将rescbam模块应用在neck部分，以增强模型对不同维度特征的融合能力，增强网络关注对缺陷检测有利特征的能力并提升模型的非线性表达能力；
19.neck部分在三个不同尺度的特征图上使用csp模块，整合高维语义特征与低维细节特征；其中，neck部分在三个不同尺度的特征图上使用了与backbone部分不同的csp模块，具体是将backbone部分中csp模块的残差组件换成了卷积层、批归一化层和激活函数层的三层叠加组件。
20.head部分用于分类与定位，head部分包含了一个卷积层，获得最终的预测结果，即缺陷的类别和位置；
21.所述改进的yolov5s卷积神经网络模型采用的激活函数为silu。
22.所述改进的yolov5s卷积神经网络模型对图像的处理过程为：将图像输入到backbone部分，backbone部分中cspdarknet主干网络对输入图像进行特征提取，focus模块对图像进行切片并形成特征图，csp模块和spp模块继续对所述特征图进行深层提取并以三个不同尺寸的特征图形式传递到neck部分；neck部分的rescbam模块增强对接收到的特征图特定区域的关注，并配合所使用的csp模块进行进一步特征提取；最后，head部分输出大、中、小三个尺寸的特征图。
23.进一步地，步骤(5)具体为：
24.在三个连续出现的同类缺陷中，设第一缺陷与第二缺陷的中心距离为m，第二缺陷与第三缺陷的中心距离为n，中心距离m和中心距离n的差值为k，允许误差为δ，则有：
25.k＝m-n
26.若k＜δ，则定义潜在的周期长度t为中心距离m与中心距离n的均值，即
27.t＝(m n)/2。
28.进一步地，步骤(6)具体为：如果在第一缺陷之前的2t长度范围内和第三缺陷之后的2t长度范围内找到2-4个同类缺陷，定义找到的缺陷的中心到第一缺陷的中心距离分别为m1…mn
(2≤n≤4)，允许的误差为θ，若
29.st.m
i mod t＜θ且m
j mod t＜θ
30.其中i,j取1
…
n间的整数，st.意为使得，mod为取余。
31.则定义找到的缺陷为周期缺陷，潜在周期t即成为确定周期t。至此完成对镀锡钢板表面缺陷的周期性判定。
32.本发明有益技术效果：
33.本发明提供的方法将卷积神经网络与视觉技术结合，通过制定判定规则，无需提前统计获知缺陷的周期性质，并能有效缓解因卷积神经网络对缺陷漏检或误检造成缺陷判周期失败的问题，实现镀锡钢板表面周期缺陷快速准确地检测与判定，对快速溯源并消除产生周期缺陷的原因从而提升产品质量有积极作用。
34.本发明所述方法采用改进的yolov5s卷积神经网络模型进行镀锡钢板缺陷检测，具有检测识别准、运行速度快、部署成本低的优点。能够实现镀锡钢板表面周期缺陷快速准确地检测与判定，对快速溯源并消除周期缺陷提升产品质量有积极作用。
附图说明
35.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
36.图1为本发明实施例中镀锡钢板表面周期缺陷判定方法结构图；
37.图2为本发明实施例中实施例中镀锡钢板表面周期缺陷判定方法流程图；
38.图3为本发明实施例中检测出的一种具有周期性质的压印图像示例。
具体实施方式
39.为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
40.如图1所示是本发明实施例提供的一种镀锡钢板表面周期缺陷判定方法结构图，该方法包括：
41.(1)获取镀锡钢板原图进行缺陷类型与位置标注，获得标注样本；
42.(2)对所述标注样本进行有监督数据增强，形成数据集；
43.(3)利用改进的yolov5s卷积神经网络模型以半监督学习的方式扩充所述数据集，获得扩充数据集；
44.(4)使用所述扩充数据集，将数据集分为训练集与测试集，设置batch_size、learn_rate、epoch参数，完成对改进的yolov5s卷积神经网络模型的训练并使用训练好的模型检测待测镀锡钢板缺陷；
45.(5)检测到三个连续同类缺陷，计算相邻缺陷的中心间距并定义潜在周期；
46.(6)在规定范围内找到符合位置和数目要求的同类缺陷，完成周期性的判定。
47.具体地，对于获取镀锡钢板原图进行缺陷类型与位置标注，本实施例中图像传感器使用线扫描cmos相机，照明方式为白光led，成像相机触发方式使用内触发方式，按照类别和严重程度定义32类镀锡板表面缺陷，并标注出缺陷在图像中的具体位置。
48.具体地，对标注样本进行有监督数据增强形成数据集，本实施例针对镀锡钢板表面缺陷的形貌，使用翻转、缩放和添加高斯噪声的方法进行数据增强并形成数据集。
49.对于利用改进的yolov5s卷积神经网络模型以半监督学习的方式扩充数据集。本实施例使用卷积神经网络模型为改进的yolov5s模型，所述改进的yolov5s卷积神经网络模型包括backbone、neck和head三部分：
50.backbone部分用于提取图像的特征，backbone部分使用cspdarknet作为主干网络，融合了focus模块、csp模块和spp模块；具有很强的特征提取能力。
51.neck部分用于提高网络对不同尺度目标的检测能力，neck部分包括rescbam模块，rescbam模块包含1*1卷积层和带有残差结构的注意力机制模型；neck部分在三个不同尺度的特征图上使用csp模块，整合高维语义特征与低维细节特征；
52.head部分用于分类与定位，head部分包含了一个卷积层，获得最终的预测结果，即缺陷的类别和位置；
53.将网络中所有的激活函数由yolov5s中的的leakyrelu替换为silu，以提高特征提取效果；
54.改进的yolov5s卷积神经网络模型的工作过程为：首先将图像输入到backbone部分，由backbone部分中cspdarknet主干网络对输入图像进行特征提取，focus模块对图像进行切片并形成特征图，csp模块和spp模块继续对特征进行深层提取并以三个不同尺寸的特征图形式传递到neck部分；其次，neck部分的rescbam模块增强对接收到的特征图特定区域的关注，并配合该部分所使用的csp模块进行进一步特征提取；最后，head部分输出大、中、小三个尺寸的特征图。
55.具体地，输入为512*512的rgb图像，则输出的三个特征图大小分别为64*64*111、32*32*111和16*16*111，分别用来检测32类大、中、小尺寸的缺陷。
56.步骤(4)中，对于使用所述扩充数据集，将数据集分为训练集与测试集，设置batch_size、learn_rate、epoch等参数完成对改进的yolov5s卷积神经网络模型的训练并使用训练好的模型检测待测镀锡钢板缺陷，将数据集按照8:2的比例分为训练集与测试集，使用tensorflow平台进行改进的yolov5s卷积神经网络模型的训练，batch_size为4，learn_rate为0.0001，epoch为100，完成对改进的yolov5s卷积神经网络模型的训练并使用训练好的模型检测待测镀锡钢板缺陷。这里半监督学习过程中使用的卷积神经网络与与最终检测分类所使用的卷积神经网络模型相同。该改进的yolov5s在处理镀锡板缺陷图像时具有检测识别准、运行速度快、部署成本低的优点。
57.对于检测到三个连续同类缺陷计算中心间距并定义潜在周期，在三个连续出现的同类缺陷中，设第一与第二缺陷的中心距离为m，第二与第三缺陷的中心距离为n，其差值为k，允许的误差可根据卷积神经网络的分类准确率与检测误差做相应的调整，缓解因漏检误检造成的周期性判定失败现象。本实施例的δ定为5mm固定值，则有：
58.k＝m-n
59.若k＜5mm,则定义潜在的周期长度t为第一与第二缺陷的中心距离m与第二与第三
缺陷的中心距离n的均值，即
60.t＝(m n)/2
61.对于在规定范围内找到符合位置和数目要求的同类缺陷完成周期性的判定,在第一缺陷之前2t长度和第三缺陷之后2t长度范围内找到两个或以上同类缺陷，定义这些缺陷中心到第一缺陷的中心距离为m1…mn
(n最大为4)，允许的误差为θ，若
62.st.m
i mod t＜θ且m
j mod t＜θ
63.则定义这些缺陷为周期缺陷,潜在周期t即成为确定周期t。
64.本实施例使用python进行周期性判定程序的编写，编写方法为：,若检测到三个连续出现的同类缺陷，若第一与第二缺陷的中心距离m与第二与第三缺陷的中心距离n的差值k小于5mm，则定义(m n)/2为潜在的周期长度t,若在第一缺陷之前2t长度和第三缺陷之后2t长度范围内可找到两个或以上同类缺陷且这些缺陷与第一缺陷的中心距离对t取余小于5mm，则定义这些缺陷为周期缺陷。
65.表1是该方法在两样本钢卷上对压印，烧点，铁粉印，软点四类常见周期缺陷的检测结果。
66.表1部分周期缺陷检测结果统计表
67.样本编号压印烧点铁粉印软点分类准确率1#3740235296.7％2#5843285795.1％
68.如图3a-e给出了缺陷的样式，是采用本实施例方法检测的一种具有周期性质软点的示意图，图3中各个缺陷由表检系统摄像机采集并分别存为独立图片，其周期为871mm。
69.以上所述是本发明的一种优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。