一种多级网络融合圆钢表面缺陷检测方法及图像采集装置

1.本发明涉及计算机视觉、深度学习、目标检测、金属表面缺陷检测设备与方法技术领域，特别是指一种多级网络融合圆钢表面缺陷检测方法及装置。


背景技术：

2.圆钢作为一种特殊钢种和工业原材料，广泛应用于汽车、航天等各种工业零件的制造，圆钢的质量直接决定了以其为原材料的工业成品质量。随着制造业不断向自动化、信息化、数据化的智能生产转型，圆钢生产不断向高速化发展，对保障圆钢质量的检测技术提出了更高的要求。因此，保障圆钢生产质量是提高企业竞争力的重要环节，掌握实时高效、稳定、高精度的圆钢检测技术是钢铁生产企业抢占新一代工业革命制高点的关键一步。
3.当前，随着圆钢生产线不断升级，钢铁生产节奏越来越快。如何在快速生产节奏中，确保生产质量，是当前圆钢生产最为关注的问题。现有的人工目视检测方法，其时效性、人生安全缺乏保障使得该方法不再适用于当前圆钢生产线的缺陷检测。现有无损检测方法，由于这些检测技术本身的局限性，其算法防化能力差、并且多用于离线检测，实时性较差难以适应如今高速在线生产圆钢表面缺陷检测的需求。现有的机器视觉方法设计特征提取器(阈值分割、边缘检测、对比度检测等方法)获取缺陷的特征，但由于算法设计过程复杂、且容易受到复杂多变的环境影响等问题，造成算法泛化能力不足、鲁棒性差、检测精度较低。


技术实现要素：

4.本发明提供了一种多级网络融合圆钢表面缺陷检测方法及图像采集装置，现有的圆钢表面缺陷检测具有以下问题，算法设计过程复杂、且容易受到复杂多变的环境影响等问题，造成算法泛化能力不足、鲁棒性差、检测精度较低。
5.为解决上述技术问题，本发明的实施例提供如下方案：
6.一方面，本发明实施例提供一种多级网络融合圆钢表面缺陷检测方法，所述检测方法包括：
7.获取实时圆钢表面图像，将圆钢表面具有缺陷的圆钢表面图像建立成圆钢表面缺陷数据集，将圆钢表面没有缺陷的圆钢表面图像建立成圆钢表面非缺陷图像样本；
8.利用圆钢表面缺陷数据集创建efficient net分类优先网络与yolov5网络融合的圆钢表面缺陷检测网络模型，所述模型得以分类识别圆钢表面表面缺陷种类和定位圆钢表面缺陷位置；
9.利用迁移学习训练所述圆钢表面缺陷检测网络模型；
10.将圆钢表面非缺陷图像样本加入所述圆钢表面缺陷检测网络模型并训练模型。
11.优选地，在建立圆钢表面缺陷数据集中，包括：
12.利用labelimg对圆钢表面缺陷图像进行标注，标注出缺陷类别和缺陷位置信息。
13.优选地，在建立圆钢表面缺陷数据集中，还包括：
14.分别建立凹坑、划伤、辊印、翘皮、耳子、氧化铁皮带和裂纹的圆钢表面缺陷图像样本；
15.将圆钢表面分布较多的、容易误检测氧化铁皮带和耳子缺陷混的圆钢表面图像建立成圆钢表面非缺陷图像样本。
16.优选地，在创建圆钢表面缺陷检测网络模型中，包括：
17.设计yolov5目标检测网络模型获取圆钢表面缺陷的分类和边框定位信息，设计efficientnet网络进行圆钢表面缺陷的优先分类。
18.优选地，在圆钢表面缺陷检测网络模型检测缺陷过程中，若efficientnet 分类优先网络存在置信度大于0.9的分类缺陷，则判定该样本图像一定存在该类缺陷；否则取置信度分数不小于0.3作为可能存在的缺陷类别，并进一步结合yolov5网络得到最终的检测结果。
19.优选地，在利用迁移学习训练所述圆钢表面缺陷检测网络模型中，包括：
20.把imagenet数据集上训练得到的权重作为主干网络训练的初始化权重，对在热轧带钢表面缺陷数据集上进行预训练，得到预训练权重，将预训练权重作为主干网络训练的初始化权重；
21.将圆钢表面字符数据集划分训练集、验证集和测试集，比例为7∶1∶2。
22.优选地，在圆钢表面字符数据集划分训练集、验证集和测试集中，包括：
23.冻结主干卷积神经网络的浅层预训练权重，采用adam优化器，学习率设为0.001进行网络模型预训练；
24.解冻主干卷积神经网络的浅层预训练权重，学习率降低为0.0001再次进行训练。
25.另一方面，本发明实施例提供一种图像采集装置，所述采集装置用于获取所述的多级网络融合圆钢表面缺陷检测方法中的圆钢表面图像，所述装置包括：
26.所述装置包括支架，在所述支架上圆周均布安装有四台线扫描相机，每台所述线扫描相机与水平线之间的夹角为45
°
、与垂直线之间的夹角为45
°
；
27.在所述支架上安装有环形绿色led光源。
28.优选地，所述线扫描相机具有gige数字接口，采集到的圆钢表面图像通过网络远距离传送到服务器上。
29.本发明的上述方案至少包括以下有益效果：
30.上述方案中，检测方法将efficient net分类优先网络与yolov5网络进行两级网络融合，得到基于多级网络融合的圆钢表面缺陷网络模型，有效解决表面缺陷检测存在误报和漏检的问题，满足圆钢表面缺陷检测的需求，泛化能力足、鲁棒性好，提升了检测准确率；在圆钢表面缺陷检测网络模型训练时，利用迁移学习进行整个圆钢表面缺陷检测网络模型的训练，解决了样本数量不足容易造成不同类别缺陷样本数量不平衡、训练过程中容易造成过拟合的问题；将一种圆钢表面非缺陷图像样本加入圆钢表面缺陷检测网络模型的训练，使得样本划分更为合理，有效提高了圆钢表面缺陷检测网络模型的训练精度和检测精度；
31.图像采集装置采集实时圆钢表面图像，并传送到服务器上，进行圆钢表面缺陷检测，图像采集装置采集的图像无死角，图像均匀性好，适用于圆钢表面缺陷检测。
附图说明
32.图1为本发明的多级网络融合圆钢表面缺陷检测方法的实施例一的流程图；
33.图2为本发明的多级网络融合圆钢表面缺陷检测方法的流程图一；
34.图3为本发明的多级网络融合圆钢表面缺陷检测方法的流程图二；
35.图4为本发明的多级网络融合圆钢表面缺陷检测方法的流程图三；
36.图5为本发明的多级网络融合圆钢表面缺陷检测方法的流程图四；
37.图6a为本发明的圆钢表面凹坑缺陷图像样本；
38.图6b为本发明的圆钢表面划伤缺陷图像样本；
39.图6c为本发明的圆钢表面辊印缺陷图像样本；
40.图6d为本发明的圆钢表面翘皮缺陷图像样本；
41.图6e为本发明的圆钢表面耳子缺陷图像样本；
42.图6f为本发明的圆钢表面氧化铁皮带缺陷图像样本；
43.图6g为本发明的圆钢表面裂纹缺陷图像样本；
44.图6h为本发明的圆钢表面非缺陷图像样本；
45.图7a为本发明的圆钢表面凹坑缺陷图像检测效果图；
46.图7b为本发明的圆钢表面划伤缺陷图像检测效果图；
47.图7c为本发明的圆钢表面辊印缺陷图像检测效果图；
48.图7d为本发明的圆钢表面翘皮缺陷图像检测效果图；
49.图7e为本发明的圆钢表面耳子缺陷图像检测效果图；
50.图7f为本发明的圆钢表面氧化铁皮带缺陷图像检测效果图；
51.图7g为本发明的圆钢表面裂纹缺陷图像检测效果图；
52.图7h为本发明的圆钢表面非缺陷图像检测效果图；
53.图8为本发明的多级网络融合圆钢表面缺陷检测方法的算法框架图；
54.图9为本发明的多级网络融合圆钢表面缺陷检测方法的实施例二的流程图；
55.图10为本发明的图像采集装置的示意图；
56.图11是本发明的图像采集装置的环形led绿色光源的示意图。
57.附图标记：
58.1、支架；2、线扫描相机；3、绿色led光源。
具体实施方式
59.下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
60.实施例一
61.如图1和图8所示的，本实施例提供一种多级网络融合圆钢表面缺陷检测方法，多级网络融合圆钢表面缺陷检测方法的算法框架图如图8所示的，所述检测方法包括：
62.s100、获取实时圆钢表面图像，将圆钢表面具有缺陷的圆钢表面图像建立成圆钢表面缺陷数据集，将圆钢表面没有缺陷的圆钢表面图像建立成圆钢表面非缺陷图像样本；
63.s200、利用圆钢表面缺陷数据集创建efficient net分类优先网络与 yolov5网络融合的圆钢表面缺陷检测网络模型，所述模型得以分类识别圆钢表面表面缺陷种类和定位圆钢表面缺陷位置；
64.s300、利用迁移学习训练所述圆钢表面缺陷检测网络模型；
65.s400、将圆钢表面非缺陷图像样本加入所述圆钢表面缺陷检测网络模型并训练模型。
66.圆钢表面缺陷图像和圆钢表面非缺陷图像检测效果图如图7a～图7h所示，本实施例的检测方法建立圆钢表面缺陷的数据集和圆钢表面非缺陷图像样本，针对单一网络模块特征提取能力有限、难以满足充分提取圆钢表面缺陷特征的问题，本实施例的检测方法将efficient net分类优先网络与yolov5网络进行两级网络融合，得到基于多级网络融合的圆钢表面缺陷网络模型，有效解决表面缺陷检测存在误报和漏检的问题，满足圆钢表面缺陷检测的需求，泛化能力足、鲁棒性好，提升了检测准确率；在圆钢表面缺陷检测网络模型训练时，利用迁移学习进行整个圆钢表面缺陷检测网络模型的训练，解决了样本数量不足容易造成不同类别缺陷样本数量不平衡、训练过程中容易造成过拟合的问题；将一种圆钢表面非缺陷图像样本加入圆钢表面缺陷检测网络模型的训练，使得样本划分更为合理，有效提高了圆钢表面缺陷检测网络模型的训练精度和检测精度。
67.如图2所述的，在步骤s100建立圆钢表面缺陷数据集中，包括：
68.s 110、利用labelimg对圆钢表面缺陷图像进行标注，标注出缺陷类别和缺陷位置信息，建立数据集。具体地，人工筛选出适用于网络训练的圆钢表面缺陷图像和圆钢表面非缺陷图像，并采用labelimg进行标注。
69.s120、分别建立凹坑、划伤、辊印、翘皮、耳子、氧化铁皮带和裂纹的圆钢表面缺陷图像样本，共7种类型影响成品质量和外观的圆钢表面缺陷图像样本，圆钢表面凹坑缺陷图像样本如图6a所示，如图6b圆钢表面划伤缺陷图像样本，圆钢表面辊印缺陷图像样本如图6c所示，圆钢表面翘皮缺陷图像样本如图6d所示，圆钢表面耳子缺陷图像样本如图6e所示，圆钢表面氧化铁皮带缺陷图像样本如图6f所示，圆钢表面裂纹缺陷图像样本如图6g所示。
70.s130、将圆钢表面分布较多的、容易误检测氧化铁皮带和耳子缺陷混的圆钢表面图像建立成圆钢表面非缺陷图像样本，圆钢表面非缺陷图像样本不影响圆钢成品质量。圆钢表面非缺陷图像样本如图6h所示。
71.如图3所述的，在步骤s200创建圆钢表面缺陷检测网络模型中，包括：
72.s210、设计yolov5目标检测网络模型获取圆钢表面缺陷的分类和边框定位信息，设计efficientnet网络进行圆钢表面缺陷的优先分类。
73.s220、在圆钢表面缺陷检测网络模型检测缺陷过程中zm[，若efficientnet 分类优先网络存在置信度大于0.9的分类缺陷，则判定该样本图像一定存在该类缺陷；否则取置信度分数不小于0.3作为可能存在的缺陷类别，并进一步结合yolov5网络得到最终的检测结果。对现场采集的圆钢表面图像样本进行缺陷检测，一张图像样本上的缺陷种类一般不会超过三种。
[0074]
本实施例的yolov5具有检测速度快、模型参数小的优点，具体优点如下：第一点，在输入端进行数据增强等优化，具体方式包括：采用随机缩放、随机裁剪、随机排布等数据增强方式进行拼接，增强网络的特征提取能力，有利于提升小目标的检测效果；通过初始设
定长宽的锚框，在网络训练时不断进行权重参数更新，寻找适用于该数据集分布最优的锚框值；由于在训练过程中需要对图片尺寸进行调整(填充边框黑边像素以满足尺寸需求)，通过自适应方法添加最少的黑边像素，可以减少冗余特征信息的提取、提高推理速度、减少计算量、提升目标检测速度。第二点，设计更轻量化、特征提取能力更强的主干网络(backbone)：设计focus网络结构，使得特征图可以进行切片操作，在经过卷积核参数共享以提高特征提取效率；设计csp1网络结构，该结构为残差结构，可以加快参数更新速度，在减少了计算量的同时可以保证准确率；第三点，在后续网络结构中提高网络特征融合能力：采用fpn pan的结构，并设计csp2结构替换常规的卷积结构以提高特征融合能力。
[0075]
本实施采用efficient net分类优先网络与yolov5网络融合的圆钢表面缺陷检测网络模型，利用单一yolov5目标检测网络模型进行缺陷分类，往往由于缺陷类别分类错误造成漏检和误检的问题。本实施例在yolov5网络获取目标类别和目标定位的基础上，设计特征提取能力强、模型参数小的 efficientnet作为分类优先网络。分类优先网络只进行单一地缺陷分类任务，对图像的特征提取更符合缺陷分类的需求。
[0076]
有效解决表面缺陷检测存在误报和漏检的问题，满足圆钢表面缺陷检测的需求。
[0077]
如图4和图5所述的，在步骤s300利用迁移学习训练所述圆钢表面缺陷检测网络模型中，包括：
[0078]
s310、把imagenet数据集上训练得到的权重作为主干网络训练的初始化权重，对在热轧带钢表面缺陷数据集上进行预训练，得到预训练权重，将预训练权重作为主干网络训练的初始化权重；具体地，所述热轧带钢表面缺陷数据集为公开的东北大学热轧带钢表面缺陷数据集。
[0079]
s320、将圆钢表面字符数据集划分训练集、验证集和测试集，比例为7∶ 1∶2；
[0080]
s321、冻结主干卷积神经网络的浅层预训练权重，采用adam优化器，学习率设为0.001进行网络模型预训练；具体地，batchsize设为45，迭代次数设为200个epoch。
[0081]
s322、解冻主干卷积神经网络的浅层预训练权重，学习率降低为0.0001 再次进行训练，具体地，自适应调整，batchsize设置为20，再次训练300个 epoch。
[0082]
在步骤s300中，训练圆钢表面缺陷检测算法模型的训练硬件为：cpu采用intel w-2235型号、gpu采用rtx 3080型号、内存为32g，训练环境：采用pytorch 1.8.0的深度学习环境。
[0083]
在步骤s400中，针对多类缺陷样本特征存在相似性的特点，为提升网络模型对缺陷特征的提取能力，将一种圆钢表面非缺陷类样本加入网络模型的训练，使得样本划分更为合理，网络模型在训练过程中更专注于提取缺陷特征、有效提升了训练网络模型的检测精度。同时，利用迁移学习进行模型训练，解决了样本数量不足容易造成不同类别缺陷样本数量不平衡、训练过程中容易造成过拟合的问题。
[0084]
在实际生产过程中，针对圆钢生产线的特点，本实施例设计适用于圆钢缺陷样本收集的自动图像采集装置，用于圆钢表面图像的自动采集；
[0085]
实施例二
[0086]
如图9所示的，本实施例提供一种多级网络融合圆钢表面缺陷检测方法，多级网络融合圆钢表面缺陷检测方法的算法框架图如图8所示的，所述检测方法包括：
[0087]
s100、根据实际应用场景的需求，针对圆钢的规格和直径设计图像采集装置，利用
采集装置获取实时圆钢表面图像，将圆钢表面具有缺陷的圆钢表面图像建立成圆钢表面缺陷数据集，将圆钢表面没有缺陷的圆钢表面图像建立成圆钢表面非缺陷图像样本；
[0088]
s200、利用圆钢表面缺陷数据集创建efficient net分类优先网络与 yolov5网络两级网络融合的圆钢表面缺陷检测网络模型，所述模型得以分类识别圆钢表面表面缺陷种类和定位圆钢表面缺陷位置；
[0089]
s300、利用迁移学习训练所述圆钢表面缺陷检测网络模型；
[0090]
s400、将圆钢表面非缺陷图像样本加入所述圆钢表面缺陷检测网络模型并训练模型。
[0091]
实施例三
[0092]
如图所示10的，本实施例提供了一种适用于规格和直径为50-130mm的圆钢的图像采集装置，所述装置用于获取所述的多级网络融合圆钢表面缺陷检测方法中的圆钢表面图像，所述装置包括：
[0093]
所述装置包括支架，在所述支架上圆周均布安装有四台线扫描相机，每台所述线扫描相机与水平线之间的夹角为45
°
、与垂直线之间的夹角为45
°
，所述线扫描相机具有gige数字接口，采集到的圆钢表面图像通过网络远距离传送到服务器上，服务器得以储存圆钢表面图像。具体地，四台线扫描相机在圆钢径向方向上间隔90
°
分布。四台线扫描相机的设置保证拍摄圆钢的一周，且全无死角。线扫描相机采用2048分辨率线扫描相机，最大采集行频26k；
[0094]
如图11所示的，在所述支架上安装有环形绿色led光源。绿色led光源可以与红热钢卷自身光的波段进行有效区分，使得图像不受现场钢卷自身发热状态的影响，有效的防止了现场光照环境的干扰。绿色led光源照射区域大，亮度高，调试图像简单，且呈现出来的图像均匀性好，相较于激光光源在热轧现场更加适用。使用的绿色led环形光源照明不仅满足照明圆钢的一周而且有效降低照明区间内不均匀性(不均匀性≤5％)。
[0095]
在本实施的图像采集装置的基础上，调整线扫描相机的数量和布置方式，得以适用于其它规格和直径的圆钢的生产。
[0096]
本实施的图像采集装置采集实时圆钢表面图像，并传送到服务器上，进行圆钢表面缺陷检测，图像采集装置采集的图像无死角，图像均匀性好，适用于圆钢表面缺陷检测。
[0097]
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。