一种基于深度学习的工业零件表面缺陷检测方法与流程

1.本发明涉及表面缺陷检测技术领域，具体涉及一种基于深度学习的工业零件表面缺陷检测方法。


背景技术：

2.在钢铁行业、纺织行业、半导体、汽车工业、智能制造等众多的工业领域，产品表面缺陷检测已经成为工业产品质量把控的关键一环。然而传统的缺陷检测方法容易受到噪声和尺度的干扰，算法的精度不能保证，缺陷检测的鲁棒性和实效性较差。此为，在工程应用中，还广泛存在缺陷样本数据收集难的问题，而且工业上采集数据集可能是在不同的条件下捕获的，导致网络模型的泛化能力差，采集数据集也是一个昂贵且耗时的过程，所以亟需解决在小样本条件下如何提高表面缺陷检测的精度问题。


技术实现要素：

3.本发明所要解决的是传统的缺陷检测方法精度不高和需要大量样本的问题，提供一种基于深度学习的工业零件表面缺陷检测方法。
4.为解决上述问题，本发明是通过以下技术方案实现的：
5.一种基于深度学习的工业零件表面缺陷检测方法，包括步骤如下：
6.步骤s1，对样品工业零件进行图像采集，并对采集到的图片进行预处理得到样品表面缺陷图像；
7.步骤s2，对样品表面缺陷图像的缺陷类型进行标注，并构建训练集和测试集；
8.步骤s3，建立基于多层级特征融合的深度学习模型；该基于多层级特征融合的深度学习模型主要由骨干网络、2个多尺度特征融合和注意力机制模块和全连接层组成；其中骨干网络的输入形成基于多层级特征融合的深度学习模型的输入，骨干网络的输出与第一多尺度特征融合和注意力机制模块的输入连接，第一多尺度特征融合和注意力机制模块的输出与第二多尺度特征融合和注意力机制模块的输入连接，第二多尺度特征融合和注意力机制模块的输出与全连接层的输入连接，全连接层的输出形成基于多层级特征融合的深度学习模型的输出；
9.步骤s4，将步骤s2的训练集输入到步骤s3构建的基于多层级特征融合的深度学习模型进行训练，得到训练完成的基于多层级特征融合的深度学习模型；
10.步骤s5，将步骤s2的测试集输入步骤s4训练完成的表面缺陷检测模型进行测试，得到最终的基于多层级特征融合的深度学习模型；
11.步骤s6，对将待测工业零件进行图像采集，并对采集到的图片进行预处理得到待测表面缺陷图像；
12.步骤s7，将步骤s6的待测表面缺陷图像送入到步骤s5的最终的基于多层级特征融合的深度学习模型中，对工业零件产品的表面缺陷进行检测。
13.上述基于多层级特征融合的深度学习模型中，骨干网络为卷积神经网络vgg16。
14.上述基于多层级特征融合的深度学习模型中，每个多尺度特征融合和注意力机制模块由多尺度特征融合单元、卷积注意力单元和多层级特征融合单元组成；多尺度特征融合单元的输入与多层级特征融合单元的一个输入共同形成多尺度特征融合和注意力机制模块的输入，多尺度特征融合单元的输出连接卷积注意力单元的输入和多层级特征融合单元的另一个输入，卷积注意力单元的输出连接多层级特征融合单元的又一个输入，多层级特征融合单元的输出形成多尺度特征融合和注意力机制模块的输出。
15.上述多尺度特征融合单元由4个分支和concat连接层组成；第一个分支包括1
×
1卷积层；第二个分支包括依次串联的1
×
1卷积层和3
×
3卷积层；第三个分支包括依次串联的1
×
1卷积层和5
×
5卷积层；依次串联的3
×
3池化层和1
×
1卷积层；4个分支的输入共同形成多尺度特征融合单元的输入，4个分支多尺度特征融合单元的输出同时与concat连接层的输入连接，concat连接层的输出形成多尺度特征融合单元的输出。
16.上述卷积注意力单元由通道注意力模型、空间注意力模型、2个element-wise乘法层组成；通道注意力模型的输入、第一element-wise乘法层的一个输入和第二element-wise乘法层的一个输入共同形成卷积注意力单元的输入，通道注意力模型的输出连接第一element-wise乘法层的另一个输入，第一element-wise乘法层的输出分别连接通道注意力模型的输入和第二element-wise乘法层的另一个输入，空间注意力模型的输出连接第二element-wise乘法层的又一个输入，第二element-wise乘法层的输出形成卷积注意力单元的输出。
17.与现有技术相比，本发明能够对工业零件的表面缺陷进行检测，首先利用vgg16网络作为骨干网络将局部特征进行聚集；然后利用多尺度特征融合和注意力机制模块先提取多尺度特征进行叠加，再利用注意力机制获取更多关键的细节信息，后融合网络不同深度的不同层级特征；最后输出特征图进行识别，以判别表面缺陷的类别，进而可以分析各类缺陷产生的原因，降低产品的不良率，提升整体的质量。相较于现有的检测方法，该方法具有较高的精度且泛化能力强，而且在小样本的数据集下也能达到一个较高的准确率。
附图说明
18.图1为基于多层级特征融合的深度学习模型的原理框图。
19.图2为多尺度特征融合和注意力机制模块的原理框图。
具体实施方式
20.为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实例，对本发明进一步详细说明。
21.一种基于深度学习的工业零件表面缺陷检测方法，其包括步骤如下：
22.步骤s1，对样品工业零件进行图像采集，并对采集到的图片进行预处理得到样品表面缺陷图像。
23.对图像进行预处理包括平移，反转，亮度变化，仿射变换，增强噪声等操作，以实现数据增强。
24.步骤s2，对样品表面缺陷图像的缺陷类型进行标注，并构建训练集和测试集。
25.对样品表面缺陷图像进行分类并且标注缺陷，分成训练集和测试集，训练集用来
训练模型，测试集用来评估模型的性能。
26.步骤s3，建立基于多层级特征融合的深度学习模型msfa-net作为表面缺陷检测模型。
27.本发明所建立的基于多层级特征融合的深度学习模型msfa-net如图1所示，其主要由三个部分组成：一个卷积神经网络vgg16作为骨干网络的局部特征提取器，两个多尺度特征融合和注意力机制模块(msfa)组合提取不同尺度的特征和获取关键的细节信息，以及一个全连接层实现缺陷的分类。骨干网络的输入形成基于多层级特征融合的深度学习模型的输入，骨干网络的输出与第一多尺度特征融合和注意力机制模块的输入连接，第一多尺度特征融合和注意力机制模块的输出与第二多尺度特征融合和注意力机制模块的输入连接，第二多尺度特征融合和注意力机制模块的输出与全连接层的输入连接，全连接层的输出形成基于多层级特征融合的深度学习模型的输出。
28.1)骨干网络
29.卷积神经网络vgg16通过反复堆叠3
×
3的小型卷积核代替了原来较大的卷积核，保证具有相同感受野的条件下，提升了网络深度，减少了参数，它在一定程度上提升了神经网络的效果，在许多局部特征提取工作中展现出优越的性能，且具有强大的迁移学习能力。因此，采用vgg16的预训练模型作为骨干网络。
30.2)多尺度特征融合和注意力机制模块(msfa)
31.每个msfa如图2所示，其主要由三部分组成：多尺度特征融合单元、卷积注意力单元(cbam)、以及多层级特征融合单元。
32.2.1)多尺度特征融合单元
33.多尺度特征融合单元由4个分支和concat连接层组成；第一个分支包括1
×
1卷积层；第二个分支包括依次串联的1
×
1卷积层和3
×
3卷积层；第三个分支包括依次串联的1
×
1卷积层和5
×
5卷积层；依次串联的3
×
3池化层和1
×
1卷积层；4个分支的输入共同形成多尺度特征融合单元的输入，4个分支多尺度特征融合单元的输出同时与concat连接层的输入连接，concat连接层的输出形成多尺度特征融合单元的输出。
34.利用inception网络的结构特点构造一个多尺度特征融合模块，使网络变宽，减少参数个数，提取高维的特征。如图所示，第一个分支采用1
×
1卷积来识别小目标，第二和第三个分支先通过1
×
1卷积来降低通道数，聚集有用信息，再进行3
×
3或5
×
5卷积来增大感受野，第四层在1
×
1卷积之前加入了池化层，可以对提取到的特征信息进行降维，并且增大卷积核的感受野。经过四个分支可以获得多个尺度的特征信息，最后将特征进行叠加输出。
35.2.2)卷积注意力单元
36.卷积注意力单元由通道注意力模型、空间注意力模型、2个element-wise乘法层组成；通道注意力模型的输入、第一element-wise乘法层的一个输入和第二element-wise乘法层的一个输入共同形成卷积注意力单元的输入，通道注意力模型的输出连接第一element-wise乘法层的另一个输入，第一element-wise乘法层的输出分别连接通道注意力模型的输入和第二element-wise乘法层的另一个输入，空间注意力模型的输出连接第二element-wise乘法层的又一个输入，第二element-wise乘法层的输出形成卷积注意力单元的输出。
37.引入cbam来提取关键特征并且抑制次要特征，增强特征的表达。cbam有两个组成
部分，第一部分是通道注意力模型，第二部分是空间注意力模型。
38.通道注意力模型在提取通道注意力的时候，输入多尺度特征图f，在空间维度上进行最大值池化与平均值池化产生两个空间信息描述f
cavg
和f
cmax
，再将这两个向量分别送入一个两层的共享神经网络(mlp)产生通道注意力特征图。然后将mlp输出的特征利用element-wise操作将特征向量合并，再经过sigmoid函数，生成最终的通道注意力特征即mc∈rc×1×1。最后将mc和输入特征图f做element-wise乘法操作，生成空间注意力模型需要的输入特征f
′
。通道注意力的计算如下：
39.mc(f)＝σ(mlp(avgpool(f)) mlp(maxpool(f)))
40.＝σ(w1(w0(f
cavg
)) w1(w0(f
cmax
)))
[0041][0042]
式中，f
cavg
和f
cmax
分别表示平均池化特征和最大池化特征，σ表示sigmoid函数，w0和w1表示mlp的权重。
[0043]
空间注意力模型在提取空间注意力的时候，将通道注意力模型输出的特征图f’作为该模块的输入特征图，通过最大值池化和平均池化分成两个大小为h
×w×
1的特征f
savg
和f
smax
，然后利用concat操作将二者拼接起来，再通过7
×
7卷积操作将通道变为1同时保证h和w不变，经过一个sigmoid函数生成空间注意力特征即ms∈rh×w。最后将ms和输入特征f
′
以及f做element-wise乘法操作，得到最终生成的卷积注意力特征f”。空间注意力的计算如下：
[0044]ms
(f
′
)＝σ(f7×7([avgpool(f
′
)；maxpool(f
′
)]))
[0045]
＝σ(f7×7([f
savg
；f
smax
]))
[0046][0047]
式中，f
savg
和f
smax
分别表示平均池化特征和最大池化特征，σ表示sigmoid函数，f7×7表示用7
×
7大小的卷积操作。
[0048]
2.3)多层级特征融合单元
[0049]
将骨干网络或第一个多尺度特征融合和注意力机制模块生成的特征图f0、多尺度特征融合生成的特征图f、cbam生成的特征图f”沿特征通道连接起来，融合成多层级特征，且定义如下：
[0050]
f1＝f0 f f"
[0051]
以这种方式最后获得的多层级特征具有来自网络不同深度的不同层级特征，不但具有高层级特征的语义信息，有利于进行缺陷分类，而且可以保留更多的低层级特征的细节信息，有利于进行缺陷的定位，使检测结果更加准确、可靠。
[0052]
由于在完成多层级特征融合之后，网络获取了丰富的特征信息，其中可能会存在某些不重要的重复的信息，所以我们在两个msfa模块之间，加入一个3
×
3最大池化层，一方面是去除第一个mfsa模块提取特征中的冗余信息，减少参数量，另一方面是防止过拟合，提高模型泛化能力。
[0053]
全连接层：经历过骨干网络和多尺度特征融合与注意力机制模块之后，成功提取出了丰富且重要的特征，然后对特征进行全局平均池化操作后再进行全连接操作，最终实现分类目的，这样做是为了防止图像的空间信息被破坏，降低参数量，同时抗过拟合效果更佳。
[0054]
步骤s4，将步骤s2的训练集输入到步骤s3构建的基于多层级特征融合的深度学习模型进行训练，得到训练完成的基于多层级特征融合的深度学习模型；
[0055]
步骤s5，将步骤s2的测试集输入步骤s4训练完成的表面缺陷检测模型进行测试，得到最终的基于多层级特征融合的深度学习模型；
[0056]
步骤s6，对将待测工业零件进行图像采集，并对采集到的图片进行预处理得到待测表面缺陷图像。
[0057]
步骤s7，将步骤s6的待测表面缺陷图像送入到步骤s5的最终的基于多层级特征融合的深度学习模型中，对工业零件产品的表面缺陷进行检测。
[0058]
本发明的核心是建立一个深层次的多尺度网络，融合多尺度特征和注意力特征，获得准确的特征信息来检测工业零件上复杂和细小的表面缺陷，不同尺度的特征图像可以提高不同缺陷的分类性能，从而达到在少量样本训练下取得较高的准确率的效果，解决工业上缺陷样本收集难的困扰。
[0059]
下面应用宋等人发布的公开的neu-cls表面缺陷数据集来对本发明的性能进行评估。neu-cls数据集总共包含六种缺陷，即划痕(sc)、斑点(pa)、麻点(ps)、夹杂物(in)、裂纹(cr)和轧入氧化皮(rs)，每一种缺陷类型的图片有300张，总共1800张。我们进行了三种不同类型的实验，分别随机选取neu-cls数据集中的每种缺陷类型的20％、50％和90％的数据(60、150和270张图像)作为训练样本，其余样本作为测试数据集，所有结果均通过10次运行获得，以验证提出的模型在不同大小训练数据集上的性能。
[0060]
表1不同比例训练样本数量的比较结果
[0061][0062]
在表1中，用80％，50％，10％的样本进行测试，详细展示了msfa-net与最新分类网络的比较结果，其中acc表示准确率。从这个表中，我们可以明显的看出我们提出的msfa-net在训练样本数据为20％的情况下达到了最高的准确率，为99.98％。shufflenet的准确率最差，只有91.32％，googlenet(97.64％)，efficientnet(98.47％)和shufflenet(91.32％)的准确率也不如mfsa-net。在训练样本比例增加到50％和90％的情况下，我们的模型准确率也均高于其他模型，都达到100％。这都得益于多尺度特征融合和注意力机制的融合策略的设计，使整个msfa-net在分类问题上取得了不错的成绩，尤其是在小样本学习的问题上有了较大的突破。随着训练样本的增加，各模型的准确率都有着明显的提高，这意味着分类的准确率与训练样本的数量有着极大的相关性。
[0063]
实验结果表明，本发明提出的方法的分类准确率均优于实验中的其他网络，可对表面缺陷进行准确实时分类。尤其，我们的方法只需要少量特定缺陷的训练样本就可以实
现准确的缺陷识别，该模型对工业零件生产和质量控制具有重要意义，且可以解决了工业上样本数据难收集的问题，显著降低了成本。
[0064]
需要说明的是，尽管以上本发明所述的实施例是说明性的，但这并非是对本发明的限制，因此本发明并不局限于上述具体实施方式中。在不脱离本发明原理的情况下，凡是本领域技术人员在本发明的启示下获得的其它实施方式，均视为在本发明的保护之内。