基于残差网络的焊接接头缺陷检测方法及装置与流程

1.本发明涉及工业缺陷检测技术领域，特别是涉及一种基于残差网络的焊接接头缺陷检测方法、装置、存储介质以及电子设备。


背景技术：

2.焊接，也称作熔接，是一种以加热、高温或者高压的方式接合金属或其他热塑性材料如塑料的制造工艺及技术，焊接接头是指两个或两个以上零件要用焊接组合的接点。焊接缺陷，是指在对目标部件进行焊接的过程中，焊接接头部位形成的缺陷，常见的焊接缺陷包括接起皱、接头之间的混合、焊接不足和过度焊接等，焊接缺陷出现的原因也有很多种，这些原因例如目标部件没有清理干净、温度和湿度等。为了确保焊接接头无焊接缺陷，视觉检测系统以其便捷性和低成本在焊接缺陷检测中发挥着至关重要的作用。
3.视觉检测系统中的传统方法，如统计模式识别、专家系统和人工监控，由于受到对检测员的培训、对专家经验的需求、以及对工作条件的适应性不足等限制，不能满足工业上自动化生产线的高生产率要求。而卷积神经网络(cnn)通过直接从数据中自动提取特征，效率高，这使得它在工业检测中应用广泛。
4.由于普通卷积神经网络中的参数有数千甚至更多，需要大量数据集进行训练。然而，在工业检验中，并非所有收集到的数据都是训练需要的理想样本数据，进而导致应用普通卷积神经网络对焊接接头进行缺陷检测的精度低。同时，现有技术仅仅采用焊接接头是否合格的缺陷分类，导致焊接接头缺陷检测的准确度低。


技术实现要素：

5.基于此，本发明的目的在于，提供一种基于残差网络的焊接接头缺陷检测方法、装置、存储介质以及电子设备，其具有提高焊接接头缺陷检测精度和准确度的优点。
6.根据本技术实施例的第一方面，提供一种基于残差网络的焊接接头缺陷检测方法，包括如下步骤：
7.获取待检测的焊接接头图像；
8.将所述焊接接头图像输入到卷积神经网络，得到焊接接头特征图；
9.建立并训练深度学习网络，获得焊接接头缺陷检测模型；所述焊接接头缺陷检测模型包括残差主干网络和注意力分支网络；
10.将所述焊接接头特征图并行输入至所述残差主干网络和所述注意力分支网络，获取主干特征图以及对应的注意力权重掩码；
11.将所述主干特征图以及对应的注意力权重掩码进行融合，获得注意特征图；
12.通过全局最大池化和全局平均池化层将所述注意特征图进行池化，得到池化结果；
13.将所述池化结果输出到全连接层进行分类，得到焊接接头缺陷的检测得分。
14.根据本技术实施例的第二方面，提供一种基于残差网络的焊接接头缺陷检测装
置，包括：
15.获取模块，用于获取待检测的焊接接头图像；
16.第一输入模块，用于将所述焊接接头图像输入到卷积神经网络，得到焊接接头特征图；
17.建立和训练模块，用于建立并训练深度学习网络，获得焊接接头缺陷检测模型；所述焊接接头缺陷检测模型包括残差主干网络和注意力分支网络；
18.第二输入模块，用于将所述焊接接头特征图并行输入至所述残差主干网络和所述注意力分支网络，获取主干特征图以及对应的注意力权重掩码；
19.融合模块，用于将所述主干特征图以及对应的注意力权重掩码进行融合，获得注意特征图；
20.池化模块，用于通过全局最大池化和全局平均池化层将所述注意特征图进行池化，得到池化结果；
21.分类模块，用于将所述池化结果输出到全连接层进行分类，得到焊接接头缺陷的检测得分。
22.根据本技术实施例的第三方面，提供一种电子设备，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行如上述任意一项所述的基于残差网络的焊接接头缺陷检测方法。
23.根据本技术实施例的第四方面，提供一种计算机可读存储介质，其上储存有计算机程序，该计算机程序被处理器执行时实现如上述任意一项所述的基于残差网络的焊接接头缺陷检测方法。
24.本技术实施例通过获取待检测的焊接接头图像，将所述焊接接头图像输入到卷积神经网络，得到焊接接头特征图，建立并训练深度学习网络，获得焊接接头缺陷检测模型，所述焊接接头缺陷检测模型包括残差主干网络和注意力分支网络，将所述焊接接头特征图并行输入至所述残差主干网络和所述注意力分支网络，获取主干特征图以及对应的注意力权重掩码，将所述主干特征图以及对应的注意力权重掩码进行融合，获得注意特征图，通过全局最大池化和全局平均池化层将所述注意特征图进行池化，得到池化结果，将所述池化结果输出到全连接层进行分类，得到焊接接头缺陷的检测得分。本发明通过残差主干网络提取焊接接头缺陷特征，注意力分支网络增强好的特征并抑制主干网络中不太有用的特征，实现从有限的数据集中有效地学习缺陷特征，提高了焊接接头缺陷检测的精度。同时，对焊接接头缺陷的程度进行分级评分，提高了焊接接头缺陷检测的准确度。
25.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。
26.为了更好地理解和实施，下面结合附图详细说明本发明。
附图说明
27.图1为本发明基于残差网络的焊接接头缺陷检测方法的流程示意图；
28.图2为本发明基于残差网络的焊接接头缺陷检测方法中s40获取主干特征图的流程示意图；
29.图3为本发明基于残差网络的焊接接头缺陷检测方法中s40获取注意力权重掩码
的流程示意图；
30.图4为本发明基于残差网络的焊接接头缺陷检测方法中s50的流程示意图；
31.图5为本发明基于残差网络的焊接接头缺陷检测方法中s20的流程示意图；
32.图6为本发明基于残差网络的焊接接头缺陷检测装置的结构框图；
33.图7为本发明基于残差网络的焊接接头缺陷装置融合模块65的结构框图。
具体实施方式
34.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施例方式作进一步地详细描述。
35.应当明确，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
36.在本技术实施例使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本技术实施例。在本技术实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
37.下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。在本技术的描述中，需要理解的是，术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本技术中的具体含义。
38.此外，在本技术的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
39.请参阅图1，本发明实施例提供一种基于残差网络的焊接接头缺陷检测方法，包括如下步骤：
40.s10.获取待检测的焊接接头图像；
41.在本技术实施例中，通过数字显微镜捕获待检测的焊接接头图像。
42.s20.将所述焊接接头图像输入到卷积神经网络，得到焊接接头特征图。
43.本技术实施例的卷积神经网络(convolutional neural networks,简称cnn)是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。卷积神经网络建立在卷积运算的基础上，通过融合局部感受野内的空间信息和通道信息来提取信息特征。通过将所述焊接接头图像输入到卷积神经网络进行特征提取，得到焊接接头特征图。具体地，输入的所述焊接接头图像大小为448*336*3，所述卷积神经网络包括一个卷积层和一个最大池化层，所述卷积层的卷积核大小为7*7，所述最大池化层的卷积核大小为3*3，输出的焊接接头特征图大小为224*168*64。
44.s30.建立并训练深度学习网络，获得焊接接头缺陷检测模型，所述焊接接头缺陷检测模型包括残差主干网络和注意力分支网络。
45.本技术实施例的残差网络由一系列残差块组成的，残差块分成直接映射部分和残差部分。由于工业上焊接接头缺陷样本有限，深度学习网络需要很好地适应最少量的训练样本。为此，本技术构建了焊接接头缺陷检测模型。
46.具体的，在本技术实施例中，建立并训练深度学习网络，获得焊接接头缺陷检测模型的过程如下：首先，构建数据集，由数字显微镜采集焊接接头图像样本，所述图像样本包括不同程度的焊接接头缺陷，例如因焊接皱纹、接头之间的混合、焊接不足和过度焊接等不同劣化情况而异。对所述图像样本进行人工标注，具体的标注是根据焊接接头的质量为其分配0到100之间的分数。如果图像样本是标准的，将得分接近100的给定图像样本称为正例，而标记为接近0的图像样本将被归类为不符合标准的示例。最终获得的整个数据集由2000个训练图像样本和500个测试图像样本组成，每张大小为448
×
336
×
3的图像样本都标有0到100的20倍数之一的分级分数。然后分别训练残差主干网络和注意力分支网络，将焊接接头特征图并行输入至所述残差主干网络和所述注意力分支网络，通过焊接接头缺陷检测模型的损失函数计算当前轮次所述残差主干网络和所述注意力分支网络的损失函数值，通过反向传播算法和梯度下降算法调整网络参数使所述损失函数值不断下降，直至下降至预设阈值。
47.s40.将所述焊接接头特征图并行输入至所述残差主干网络和所述注意力分支网络，获取主干特征图以及对应的注意力权重掩码。
48.在本技术实施例中，将所述焊接接头特征图输入至所述残差主干网络，获取主干特征图，输出的所述主干特征图的大小为28*21*512。将所述焊接接头特征图输入至所述注意力分支网络，获取对应的所述注意力权重掩码，输出的所述注意力权重掩码大小也为28*21*512。
49.s50.将所述主干特征图以及对应的所述注意力权重掩码进行融合，获取注意特征图。
50.在本技术实施例中，通过所述注意力权重掩码对所述主干特征图中的特征进行增强，并抑制不太有用的特征，获取注意特征图。
51.s60.通过全局最大池化和全局平均池化层将所述注意特征图进行池化，得到池化结果。
52.在本技术实施例中，通过全局最大池化和全局平均池化层将所述注意特征图进行池化，得到池化结果，这为网络提供更好的鲁棒性，同时保持对图像中纹理信息的高度敏感性。此外，对每个特征的激活求和的全局空间最大和平均池化将使网络学会对这些空间变换保持不变。
53.s70.将所述池化结果输出到全连接层进行分类，得到焊接接头缺陷的检测得分。
54.在本技术实施例中，将所述池化结果输出到全连接层进行分类，通过sigmoid激活函数和100的放大倍数，得到焊接接头缺陷的检测得分为[0,100]中的一个分值。
[0055]
应用本发明实施例，通过获取待检测的焊接接头图像，将所述焊接接头图像输入到卷积神经网络，得到焊接接头特征图，建立并训练深度学习网络，获得焊接接头缺陷检测模型，所述焊接接头缺陷检测模型包括残差主干网络和注意力分支网络，将所述焊接接头特征图并行输入至所述残差主干网络和所述注意力分支网络，获取主干特征图以及对应的注意力权重掩码，将所述主干特征图以及对应的注意力权重掩码进行融合，获得注意特征
图，通过全局最大池化和全局平均池化层将所述注意特征图进行池化，得到池化结果，将所述池化结果输出到全连接层进行分类，得到焊接接头缺陷的检测得分。本发明通过残差主干网络提取焊接接头缺陷特征，注意力分支网络增强好的特征并抑制主干网络中不太有用的特征，实现从有限的数据集中有效地学习缺陷特征，提高了焊接接头缺陷检测的精度。同时，对焊接接头缺陷的程度进行分级评分，提高了焊接接头缺陷检测的准确度。
[0056]
在一个可选的实施例中，所述残差主干网络包括依次连接的第一残差子网、第二残差子网和第三残差子网。请参阅图2，所述步骤s40，包括s41～s43，具体如下：
[0057]
s41.将所述焊接接头特征图输入至所述第一残差子网进行第一深度卷积处理，生成尺寸为所述焊接接头特征图尺寸1/2的第一特征图；
[0058]
s42.将所述第一特征图输入至所述第二残差子网进行第二深度卷积处理，生成尺寸为所述焊接接头特征图尺寸1/4的第二特征图；
[0059]
s43.将所述第二特征图输入至所述第三残差子网进行第三深度卷积处理，生成尺寸为所述焊接接头特征图尺寸1/8的所述主干特征图；其中，所述第二特征图的深度为所述第一特征图的深度的2倍，所述主干特征图的深度是所述第二特征图的深度的2倍。
[0060]
在本技术实施例中，将所述焊接接头特征图输入至所述残差主干网络的三个残差子网，输出的第一特征图、第二特征图和主干特征图大小分别为112*84*128、56*42*256、28*21*512，每个残差子网包括3个残差块，每个残差块包括2个卷积层，共18个卷积层，提高了卷积深度，有利于特征的提取。
[0061]
在一个可选的实施例中，所述注意力分支网络包括第一注意力模块、第二注意力模块、以及第三注意力模块。请参阅图3，所述步骤s40，还包括s44～s46，具体如下：
[0062]
s44.将所述焊接接头特征图输入至所述第一注意力模块，生成所述第一特征图对应的第一注意力权重掩码；
[0063]
s45.将所述第一注意力权重掩码输入至所述第二注意力模块，生成所述第二特征图对应的第二注意力权重掩码；
[0064]
s46.将所述第二注意力权重掩码输入至所述第三注意力模块，生成所述主干特征图对应的注意力权重掩码。
[0065]
在本技术实施例中，将所述焊接接头特征图输入至所述注意力分支网络的三个注意力模块，输出的第一注意力权重掩码、第二注意力权重掩码和注意力权重掩码大小分别为112*84*128、56*42*256、28*21*512，每个注意力模块包括1个卷积层和1个最大池化层，实现了空间注意力和通道注意力的计算，并且网络结构简单，计算量少，提高了网络处理效率。
[0066]
在一个可选的实施例中，请参阅图4，所述步骤s50，包括s51～s52，具体如下：
[0067]
s51.将所述注意力权重掩码中每个权重参数的值与所述主干特征图中每个元素的值做矩阵的乘积，获得赋予权重后的新特征图；
[0068]
s52.将所述新特征图每个元素的值加上所述主干特征图相同位置对应的每个元素的值，获得注意特征图；其中，计算公式为：
[0069]
f
i，j，c
(x)＝(1 a
i，j，c
(c))*b
i，j，c
(x)
[0070]
其中，f
i，j，c
(x)表示所述注意特征图，b
i，j，c
(x)表示所述主干特征图，a
i，j，c
(x)表示所述注意力权重掩码，a
i，j，c
(x)*b
i，j，c
(x)表示所述新特征图，i，j表示所述主干特征图和所
述注意特征图中元素的空间位置，c是所述主干特征图和所述注意特征图中输出通道的索引。
[0071]
在一个可选的实施例中，所述建立并训练深度学习网络模型的过程中使用alpha损失函数，所述alpha损失函数公式为：
[0072][0073]
其中，是预测分数，而y是标记分数，α是超参数。
[0074]
在本技术实施例中，由于预测分数是从[0,100]分布的随机数，但标记分数只是20的倍数，通过建立所述alpha损失函数，使网络被正则化，在训练时减少过度拟合，提高了网络的鲁棒性。
[0075]
在一个可选的实施例中，请参阅图5，所述建立并训练深度学习网络，获得焊接接头缺陷检测模型的过程中，还包括s21～s22：
[0076]
s21.采集焊接接头图像样本，将所述焊接接头图像样本进行数据扩充，获取扩充后的图像样本；其中，所述数据扩充包括通过水平反射、垂直反射和随机的小角度旋转操作，或/和改变所述焊接接头图像样本的rgb通道的序列；
[0077]
s22.将所述扩充后的图像样本输入至深度学习网络进行训练，获得焊接接头缺陷检测模型。
[0078]
在本技术实施例中，在构建数据集的过程中，采集焊接接头图像样本，对所述焊接接头图像样本进行数据扩充，通过水平反射、垂直反射和随机的小角度旋转操作，或/和改变所述焊接接头图像样本的rgb通道的序列，有利于增加数据集中的相关数据量。设置网络训练的学习率初始值为1
×
10
‑
3，每1000步指数衰减0.95，以随着网络训练的进行逐渐降低学习率。网络训练中的批量大小batchsize为8，网络训练轮次为200代。
[0079]
在一个可选的实施例中，对所述焊接接头图像样本进行分值标注，重复训练所述深度学习网络，使所述焊接接头缺陷检测模型预测的分值与标注的分值的差值在预设阈值范围之内，得到最终的所述焊接接头缺陷检测模型。
[0080]
在本技术实施例中，采用了只使用20的倍数作为分值的标注方法，根据标注的分值将这些样本大致分为6类，可以在一定程度上提高标注任务的可行性和正确性。
[0081]
相应于上述方法实施例，请参阅图6，本发明实施例提供一种基于残差网络的焊接接头缺陷检测装置6，包括：
[0082]
获取模块61，用于获取待检测的焊接接头图像；
[0083]
第一输入模块62，用于将所述焊接接头图像输入到卷积神经网络，得到焊接接头特征图；
[0084]
建立和训练模块63，用于建立并训练深度学习网络，获得焊接接头缺陷检测模型；所述焊接接头缺陷检测模型包括残差主干网络和注意力分支网络；
[0085]
第二输入模块64，用于将所述焊接接头特征图并行输入至所述残差主干网络和所述注意力分支网络，获取主干特征图以及对应的注意力权重掩码；
[0086]
融合模块65，用于将所述主干特征图以及对应的注意力权重掩码进行融合，获得注意特征图；
[0087]
池化模块66，用于通过全局最大池化和全局平均池化层将所述注意特征图进行池化，得到池化结果；
[0088]
分类模块67，用于将所述池化结果输出到全连接层进行分类，得到焊接接头缺陷的检测得分。
[0089]
可选的，请参阅图7，所述融合模块65，包括：
[0090]
相乘单元652，用于将所述注意力权重掩码中每个权重参数的值与所述主干特征图中每个元素的值做矩阵的乘积，获得赋予权重后的新特征图；
[0091]
求和单元654，用于将所述新特征图每个元素的值加上所述主干特征图相同位置对应的每个元素的值，获得注意特征图。
[0092]
应用本发明实施例，通过获取待检测的焊接接头图像，将所述焊接接头图像输入到卷积神经网络，得到焊接接头特征图，建立并训练深度学习网络，获得焊接接头缺陷检测模型，所述焊接接头缺陷检测模型包括残差主干网络和注意力分支网络，将所述焊接接头特征图并行输入至所述残差主干网络和所述注意力分支网络，获取主干特征图以及对应的注意力权重掩码，将所述主干特征图以及对应的注意力权重掩码进行融合，获得注意特征图，通过全局最大池化和全局平均池化层将所述注意特征图进行池化，得到池化结果，将所述池化结果输出到全连接层进行分类，得到焊接接头缺陷的检测得分。本发明通过残差主干网络提取焊接接头缺陷特征，注意力分支网络增强好的特征并抑制主干网络中不太有用的特征，实现从有限的数据集中有效地学习缺陷特征，提高了焊接接头缺陷检测的精度。同时，对焊接接头缺陷的程度进行分级评分，提高了焊接接头缺陷检测的准确度。
[0093]
本技术还提供一种电子设备，包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述实施例的方法步骤。
[0094]
本技术还提供一种计算机可读存储介质，其上储存有计算机程序，该计算机程序被处理器执行时实现上述实施例的方法步骤。
[0095]
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，则本发明也意图包含这些改动和变形。