一种基于深度学习的手套表面缺陷检测方法及系统与流程

1.本发明涉及手套表面缺陷检测技术，具体涉及一种基于深度学习的手套表面缺陷检测方法及系统。


背景技术：

2.在手套，例如丁腈手套生产过程中，由于生产工艺和生产设备的缺陷，导致在生产中会一定概率出现残次品，不同国家和地区都有标准限制不良品率，因此需要在生产中筛选出残次品手套，降低手套的残次品率。
3.对于手套残次品，我们大致将缺陷分为两类：撕裂和污点。撕裂是指在手套表面出现明显的破损或者撕裂；污点是指手套表面出现大面积的污渍。以上两种手套都属于残次品，需要在出厂前把这些残次品手套进行筛选和摘除。
4.常规的方式是通过人工筛选的方式，需要给每条生产线配备检测人员，用于筛选出残次品手套，提高生产流水线的良品率。近年来机器学习技术快速发展，利用机器学习技术可以检测出图像中明显的缺陷，进行残次品手套的检测，但检测方式精度不高，无法满足生产需求。


技术实现要素：

5.本发明的目的在于，解决现有丁腈手套生产过程中存在的上述技术问题。
6.为实现上述目的，一方面，本发明提供了一种基于深度学习的手套表面缺陷检测方法,该方法包括以下步骤：
7.数据增强步骤，将手套图像输入到增强模块，经过增强变换，输出增强后的图像数据；
8.形状检测步骤，将增强后的图像数据输入到形状实时检测模型进行实时检测推理，在检测后判断是否开启辅助模型检测；所述辅助检测模型为图像分类模型，将增强后的图像数据输入到图像分类模型，得到图像分类结果；汇总实时检测模型和图像分类检测结果，确定形状合格的图像；
9.纹理检测步骤，针对形状合格的图像，则裁剪出手套部分后，进入表面纹理检测模块；输入到纹理实时检测模型进行实时检测推理，在检测后判断是否开启辅助模型检测；辅助检测模型为图像分类模型，将裁剪后的图像数据输入到图像分类模型，得到图像分类结果；汇总实时检测模型和图像分类检测结果，确定纹理合格的图像。
10.另一方面，本发明提供了一种基于深度学习的手套表面缺陷检测方法及系统,该系统包括：
11.数据增强模块，用于将手套图像输入到增强模块，经过增强变换，输出增强后的图像数据；
12.形状检测模块，用于将增强后的图像数据输入到形状实时检测模型进行实时检测推理，在检测后判断是否开启辅助模型检测；所述辅助检测模型为图像分类模型，将增强后
的图像数据输入到图像分类模型，得到图像分类结果；汇总实时检测模型和图像分类检测结果，确定形状合格的图像；
13.纹理检测模块，用于针对形状合格的图像，则裁剪出手套部分后，进入表面纹理检测模块；输入到纹理实时检测模型进行实时检测推理，在检测后判断是否开启辅助模型检测；辅助检测模型为图像分类模型，将裁剪后的图像数据输入到图像分类模型，得到图像分类结果；汇总实时检测模型和图像分类检测结果，确定纹理合格的图像。
14.本发明采用基于两阶段检测和辅助检测模型的表面缺陷检测方式进行缺陷检测，可以充分利用图像的视觉特征，更准确的检测出不同缺陷的丁腈手套。另外，模型在上线后可以继续采集缺陷手套样本，随着产线的生产过程不断地迭代模型，从而实现扩展模型适应产线的变化。
附图说明
15.图1为本发明实施例提供的一种基于深度学习的手套表面缺陷检测方法流程示意图；
16.图2为图1所示方法中数据增强步骤流程示意图；
17.图3为图1所示方法中形状检测步骤流程示意图；
18.图4为图1所示方法中纹理检测流程示意图；
19.图5为本发明实施例提供的一种基于深度学习的手套表面缺陷检测系统结构示意图。
具体实施方式
20.下面结合附图与具体实施方式对本发明作进一步详细描述。
21.如图1
‑
图4所示，该方法包括以下步骤：
22.数据增强步骤，将待检测的手套图像(如，丁腈手套图像)输入到增强模块，经过增强变换，输出增强后的图像数据；具体地，根据手套图像数据特征选择一系列的增强变换，将各种增强变换方式整合起来，进行图像的处理。增强变化包括左右翻转、上下翻转、高斯滤波、hsv变换、缩放、裁剪、均值滤波、锐化、浮雕、边缘检测、仿射变换中的一种或多种。
23.形状检测步骤，将增强后的图像数据输入到形状实时检测模型进行实时检测推理，在检测后判断是否开启辅助模型检测；所述辅助检测模型为图像分类模型，将增强后的图像数据输入到图像分类模型，得到图像分类结果；汇总实时检测模型和图像分类检测结果，确定形状合格的图像；
24.具体地，形状检测步骤具体包括：
25.图像数据经过数据增强模块得到增强后的图像数据，输入到形状实时检测模型进行实时检测推理，推理过程中打开tta检测时数据增强，设置的参数为fliplr(左右翻转)，反转的角度为180度；
26.在检测后判断是否打开严格模式，即是否开启辅助模型检测；辅助检测模型为图像分类模型，将增强后的图像数据输入到图像分类模型，得到图像分类结果；
27.汇总实时检测模型和图像分类检测结果，其中形状实时检测模型为yolov5，辅助检测模型为图像分类模型alexnet。
28.纹理检测步骤，针对形状合格的图像，则裁剪出手套部分后，进入表面纹理检测模块；输入到纹理实时检测模型进行实时检测推理，在检测后判断是否开启辅助模型检测；辅助检测模型为图像分类模型，将裁剪后的图像数据输入到图像分类模型，得到图像分类结果；汇总实时检测模型和图像分类检测结果，确定纹理合格的图像。
29.具体地，纹理检测步骤具体包括：
30.经过形状检测模块后判断为形状合格的图像，则裁剪出手套部分后，进入表面纹理检测模块。输入到纹理实时检测模型进行实时检测推理，推理过程中打开tta检测时数据增强，设置的参数为scale放缩，放缩的参数设置为1.2倍；
31.在检测后判断是否打开严格模式，即是否开启辅助模型检测开启辅助模型后检测识别准确率会上升，但误判率也会随着上升；辅助检测模型为图像分类模型，将裁剪后的图像数据输入到图像分类模型，得到图像分类结果；
32.汇总实时检测模型和图像分类检测结果，其中纹理实时检测模型为yolov5，辅助检测模型为图像分类模型alexnet。
33.本发明实施例还提供了模型迭代功能，在模型的测试运行过程中，可以进行模型的迭代工作，具体来说就是在生产线上进行推理的结果的判断，累积推理错误的样本，当超过一定规模后，进行模型的迭代工作。
34.相应地，本发明实施例还提供了一种基于深度学习的手套表面缺陷检测系统。如图5所示，该系统包括：数据增强模块51、形状检测模块52和纹理检测模块53。
35.数据增强模块51，用于将手套图像输入到增强模块，经过增强变换，输出增强后的图像数据；
36.形状检测模块52，用于将增强后的图像数据输入到形状实时检测模型进行实时检测推理，在检测后判断是否开启辅助模型检测；所述辅助检测模型为图像分类模型，将增强后的图像数据输入到图像分类模型，得到图像分类结果；汇总实时检测模型和图像分类检测结果，确定形状合格的图像；
37.纹理检测模块53，用于针对形状合格的图像，则裁剪出手套部分后，进入表面纹理检测模块；输入到纹理实时检测模型进行实时检测推理，在检测后判断是否开启辅助模型检测；辅助检测模型为图像分类模型，将裁剪后的图像数据输入到图像分类模型，得到图像分类结果；汇总实时检测模型和图像分类检测结果，确定纹理合格的图像。
38.本发明实施例采用基于两阶段检测和辅助检测模型的表面缺陷检测方式进行缺陷检测，可以充分利用图像的视觉特征，更准确的检测出不同缺陷的丁腈手套。另外，模型在上线后可以继续采集缺陷手套样本，随着产线的生产过程不断地迭代模型，从而实现扩展模型适应产线的变化。
39.显而易见，在不偏离本发明的真实精神和范围的前提下，在此描述的本发明可以有许多变化。因此，所有对于本领域技术人员来说显而易见的改变，都应包括在本权利要求书所涵盖的范围之内。本发明所要求保护的范围仅由所述的权利要求书进行限定。