基于少量缺陷样本的工业缺陷检测方法与流程

1.本发明涉及图像视觉检测技术领域，尤其是一种基于少量缺陷样本的工业缺陷检测方法。


背景技术：

2.在工业产品生产中，所有的商品都需要经过瑕疵检测来确保产品质量。目前，大多数的检测都使用机器检测来代替人工检测，这样不仅能够提升产品瑕疵检测的效率还能避免因人工疲劳检测而导致的错检和漏检的情况。
3.在机器检测中大多都是使用深度学习和传统学习相结合相辅助的方式。深度学习的本质是构建具有多隐层的机器学习模型，并使用海量数据训练网络对数据特征进行学习的过程。众所周知，决定深度学习性能的关键性因素有网络结构和数据集，一个性能较好的深度学习模型需要大量的带标注的数据。
4.但是，在工业场景中，正样本占比非常多，缺陷样本占比非常小。在缺陷样本中，一些较少的缺陷类型长时间较难收集到，这会造成缺陷在类别上不平衡的问题，进而影响到工业缺陷检测的效果。要想足额足量的收集到每一种类型的缺陷，需要耗费现场工作人员较多的时间与精力。此外，在项目初期，往往需要“打样”，此阶段难以获得大量数据去训练深度学习模型，而小批量、类别不均衡的数据集难以训练出精度较高的深度学习模型。
5.并且，在少量工业缺陷样本下，深度学习网络模型的性能往往受限，设计较好的网络模型架构也不能达到较大的性能提升。所以，使用合理的手段对较少类别的数据进行扩充，以提升网络模型的性能是非常重要的。
6.目前，在深度学习中，当数据量不充足时，会采用一些方法对数据集进行扩充的操作。常用的方法有传统方法和深度学习方法。传统方法中有图像融合和常用数据增强方法。其中常用数据增强方法包括对图像做几何变换、颜色空间变换、图像混合随机擦除等方式。常用数据增强方法比较常用，在很多深度学习网络之前都会有一种或者多种的这种数据增强方式，能够提升模型的泛化性。但是，传统数据方法并不能改变缺陷的形态和位置，不能够丰富缺陷的多样性，增强后的图像对深度学习模型效果提升不是非常明显。
7.在深度学习方面，可以使用gan网络直接生成缺陷图像，也可以使用阈转换网络转换生成缺陷图像，抑或是使用深度学习的图像融合方法生成图像。而深度学习方法的最大特点是需要大量数据训练神经网络，若数据量不充足，其效果也会大打折扣。而工业场景下的缺陷数据本来就存在不充足不均衡的问题，想要训练出来一个效果很好的深度学习缺陷生成网络是非常困难的，其生成效果也难以用于训练其他任务的深度学习网络。并且，就训练时间而言，缺陷生成网络的训练比较耗时间，生成图像质量的随机性较大，不容易把握。


技术实现要素：

8.本发明要解决的技术问题是：针对缺陷数据量不足和缺陷类别数据不平衡的问题，以及工业场景中缺陷数据收集困难，引发的深度学习工业缺陷检测效果不佳的问题；本
发明提出一种基于少量缺陷样本的工业缺陷检测方法，在数据受限情况下能够伪造工业缺陷数据，用于增加缺陷样本数量和平衡缺陷类别的数量，最终能够提升深度学习算法的检测效果。
9.本发明解决其技术问题所采用的技术方案是：一种基于少量缺陷样本的工业缺陷检测方法，主要包括缺陷数据的生成和深度学习网络的训练；
10.在缺陷数据的生成部分，能够通过已有的缺陷图像形变成各种形状的缺陷，然后再融合到正常样本的任何位置，模拟出不同场景下各种形态的缺陷，丰富和平衡工业缺陷数据集。即，能够通过已有的缺陷数据和正常样本，生成工业缺陷图像。
11.然后在深度学习网络训练中，将原始数据(原始的缺陷图像)和生成的数据(生成的缺陷图像)混合共同作为训练集,使得网络能拥有大批量的平衡数据，以达到较高的准确率。深度学习网络可以选择常用的任何分类模型或者分割模型。
12.具体步骤包括，
13.s1、收集缺陷数据和正常数据，对缺陷数据进行像素级标注，获得对应的掩膜mask；
14.s2、对缺陷图像进行抠图融合，形成新的缺陷图像；
15.s3、将生成缺陷图像和原始缺陷图像按类别混合，形成新的数据集；
16.s4、用上述数据集训练深度学习模型，获得训练完成的深度学习模型；
17.s5、使用深度学习模型对测试集进行缺陷检测；
18.s6、得到最终的缺陷检测结果。
19.进一步的说，本发明所述的步骤s1中，在稳定均匀的光照环境下，通过检测平台上的相机获得待检测零部件的图像数据，根据缺陷数据各个类别的分布情况，选择要扩充的缺陷类别对应的缺陷图像和一些正常样本作为融合背景图像。
20.进一步的说，本发明所述的步骤s2包括以下步骤，
21.s21、对目标缺陷数据进行global matting算法抠图，生成对应的图；
22.s22、对缺陷部分进行选择性的形变操作；
23.s23、确定正常样本及缺陷的融合点，进行颜色矫正处理；
24.s24、将缺陷融合到正常图像上，形成缺陷图像。
25.再进一步的说，本发明在进行所述的步骤s21之前，根据掩膜mask生成过渡区域；生成过渡区域包括以下步骤，
26.1)对人工标注部分进行腐蚀操作得到第一掩膜，将第一掩膜所在的区域确定为前景f；
27.2)对人工标注部分进行膨胀操作得到第二掩膜，使用第二掩膜减去前景部分得到过渡区域；
28.其中，掩膜mask区域中除了前景和过渡区域之外的部分是背景区域b。
29.再进一步的说，本发明所述的步骤s23中，选择正常样本作为背景图像，然后在正常样本上选择一个点作为融合点；根据原始缺陷部分的颜色均值和其周围区域的颜色均值以及融合点周围图像的颜色均值获得调整后缺陷部分颜色的均值。
30.再进一步的说，本发明所述的步骤s24中，融合的规则是：
31.本发明中涉及到的缺陷图像生成方法属于传统方法中图像融合方法，不同的是，本发明在传统融合的基础上加入了一些对缺陷进行形变和对融合部分进行颜色校正的操作，这使得使用本发明的方法获得的缺陷形态更丰富、生成的逼真度更高。并且本发明所提出的缺陷制作方法，通过实践上的对比证明，在原始工业缺陷数据较少的情况下本发明所述方法能够有效提升深度学习分类模型的准确率，这种方式的效果明显优于常用传统数据增强方式。
32.本发明的有益效果是，解决了背景技术中存在的缺陷，
33.1、使用抠图形变、颜色矫正和融合的缺陷图像制作思路，能够生成具有丰富性的工业缺陷样本，扩充了工业缺陷数据，缓解了工业缺陷数据不均衡和缺陷数据少的问题；
34.2、能够在工业缺陷数据量不足的情况下伪造数据，丰富训练数据集，能够比传统的数据增强方法取得更明显的效果提升，有益于人工智能在工业场景下的落地，具有较好的工业应用价值。
附图说明
35.图1是本发明的算法流程示意图；
36.图2是本发明生成过渡区域的过程流程示意图；
37.图3(a)～(g)是本发明缺陷生产效果示意图。
具体实施方式
38.现在结合附图和优选实施例对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
39.如图1-图3所示的一种基于少量缺陷样本的工业缺陷检测方法，能够做到实时交互式地生成工业缺陷，在缺陷生成过程中对缺陷的形变操作可以添加人工的判断，能够使生成的缺陷形变的更加自然逼真。
40.如图1所示，本发明主要包含以下几个步骤：收集缺陷数据和正常数据，对缺陷数据进行像素级标注，获得对应的掩膜mask；对缺陷图像进行抠图融合，形成新的缺陷图像；将生成缺陷图像和原始缺陷图像按类别混合，形成新的数据集；用上述数据集训练深度学习模型，获得训练完成的深度学习模型；最后使用深度学习模型对测试集进行缺陷检测。
41.下面对各个步骤进行详细说明：
42.步骤s1:收集缺陷数据和正常数据，对缺陷数据进行像素级标注。构建工业缺陷数据集，所述数据需要在工作台上，在稳定均匀的光照环境下，通过检测平台上的相机获得待检测零部件的图像数据。根据缺陷数据各个类别的分布情况，选择要扩充的缺陷类别对应的缺陷图像和一些正常样本(无瑕疵样本)作为融合背景图像。对缺陷图像进行像素级标注，获得对应掩膜mask。
43.步骤s2：对缺陷图像进行抠图融合，形成新的缺陷图像。
44.步骤s21：对目标缺陷数据进行global matting算法抠图，生成对应的图。
45.这种抠图方式能够考虑到缺陷边缘部分的前景和背景融合比例，计算出alpha图，使得融合后的边界部分更加自然光滑。
46.因此，在进行此步骤之前，根据掩膜mask生成过渡区域。生成过渡区域的过程如图2所示，首先，对步骤s2中得到的标注部分进行腐蚀操作得到第一掩膜，将第一掩膜所在的区域确定为前景f。然后，对步骤s2中得到的标注部分进行膨胀操作得到第二掩膜。最后，使用第二掩膜减去前景部分得到的过渡区域area1。其中掩膜mask区域中除了前景f和过渡区域area1之外的部分是背景区域b。
47.步骤s22：对缺陷部分进行选择性的形变操作，获得缺陷多样性。一般地，可选的形态变化有旋转、翻转、缩放、形变(仿射变换、透视变换和波浪变换)等操作对缺陷进行变形。各种操作对应有形变参数，可以根据缺陷的实际情况选择是否选择某种形变或者形变的程度。
48.步骤s23：确定正常样本及缺陷的融合点，进行颜色矫正处理。
49.选择正常样本t作为背景图像，然后在正常样本t上选择一个点作为融合点p。令原始缺陷部分的颜色均值为c1和其周围区域的颜色均值c2，融合点p周围图像的颜色均值c3，调整后缺陷部分颜色的均值为c4。上述颜色均值之间的关系满足下列关系：
50.c1-c2＝c3-c4
51.其中c1、c2和c3的值是已知的，可以求出调整后缺陷部分颜色的均值c4。以上，完成了对缺陷部分的颜色调整，得到的缺陷块记为image1。
52.上述的颜色均值的计算方式为，先将图像灰度化(记为x)，然后在区域计算灰度均值：
[0053][0054]
步骤s24：将颜色矫正后的缺陷融合到正常图像上，形成合成的工业缺陷图像。此步骤中，将步骤s6中的image1，融合到正常图像上。融合的规则是：
[0055][0056]
效果图如图3所示，图3中，(a)为缺陷小图，(b)、(c)为正常背景图，(d)～(g)为生成的缺陷图；过程是从缺陷小图中抠图形变，再融合到正常背景小图中，生成缺陷图。
[0057]
步骤s3：将生成缺陷图像和原始缺陷图像按类别混合，形成新的数据集。此部分中生成的缺陷图像视数据集情况可以生成多张。具体生成方式为步骤s2。
[0058]
步骤s4：深度学习模型训练。此部分提到的深度学习模型可以为任意的深度学习模型，如分割网络、分类网络、目标检测网络等。可视任务而自行选择。
[0059]
步骤s5：使用测试数据集，作为输入。测试深度学习模型的效果。
[0060]
步骤s6：得到最终的缺陷检测结果。
[0061]
本方法能够在工业数据集整体数量较少或者缺陷类别数量不均衡的情况下，扩充工业缺陷数据数量，使得深度学习模型有充足的训练数据，获得良好的缺陷检测效果；能够切实的缓解在工业场景中缺陷图像数据不足和不同缺陷类型数据的参差不齐的情况，通过生成缺少的数据类别来达到补充缺陷数据的目的；能够降低因数据不足而导致的深度学习模型训练数据不足的问题，能够在一定程度上提升深度学习模型效果，助力人工智能在工业领域的落地。能够根据采集到的少量缺陷图像，对缺陷部分进行可选择性的形变，再融合到各个场景下的正常样本下，生成多样性的缺陷样本，从而丰富类别缺陷样本的多样性。
[0062]
本发明能够对缺陷样本进行模拟和扩增，缓解采集到缺陷图像类别上的不平衡问题，为人工智能检测算法提供较平衡的数据，有助于缺陷检测效果的提升。本发明所提出的缺陷生成方法无需训练，生成速度快，生成的缺陷类型丰富，在人工智能大数据背景下具有较高的实践价值和意义。
[0063]
本发明所提出的方法能够在原始工业缺陷数据较少的情况下，伪造大量缺陷数据，丰富工业缺陷的形态和数量。并且数据可以应用与任何深度学习缺陷检测网络中，使得深度学习网络模型的准确性更高。
[0064]
综上，本发明能够应用于实际的工业缺陷检测中，能缓解工业缺陷采集中采集数据难和缺陷数据不平衡的问题。在较少的缺陷样本时，伪造生成大量缺陷样本，对深度学习模型进行训练获得较好的检测效果。生成的缺陷数据在一定程度上能够丰富工业缺陷样本，有助提升于人工智能背景下深度学习工业缺陷检测模型的准确性。操作简单、实时性好，伪造缺陷的丰富性高，并且在原始工业缺陷数据较少的情况下，能提高深度学习模型的精度。在一定程度上缓解工业中缺陷图像数量不足和缺陷类别间数量失衡的问题，丰富缺陷数据数量，从而辅助提升深度学习模型检测的整体精度。
[0065]
以上说明书中描述的只是本发明的具体实施方式，各种举例说明不对本发明的实质内容构成限制，所属技术领域的普通技术人员在阅读了说明书后可以对以前所述的具体实施方式做修改或变形，而不背离发明的实质和范围。