一种焊接缺陷识别方法、装置、设备及存储介质与流程

1.本发明涉及焊接技术领域，特别是涉及一种焊接缺陷识别方法、装置、设备及存储介质。


背景技术：

2.焊接技术已被广泛应用于包括航空航天、石油管道、机械制造在内的多个关键领域。基于x射线的检测方法是目前工业界焊接缺陷检测的最重要的手段之一。传统的焊接缺陷检测流程主要以人工识别为主，即专业检测人员根据现场拍摄的x射线物理底片，在强亮度的观片灯下目测缺陷的位置以及类型。
3.上述焊接缺陷检测流程存在一些问题：专家经验的要求高，不同类型缺陷的位置、形态、颜色差别很大，检测人员需具备丰富的现场施工以及读片经验才能从物理底片中较准确地识别出缺陷，也就是说当前焊接缺陷的识别依赖专家的主观经验，对于同一张底片而言，不同检测人员，甚至同一检测人员在不同时间均有可能给出不同的识别结果，这严重影响了焊接缺陷识别的准确率，容易漏检、误检率高；另外，由于观片灯为强亮度设备，检测人员持续读片将会对眼睛产生较大伤害，损害眼部健康。
4.因此，如何提高焊接缺陷识别的准确率，避免损伤人眼，是本领域技术人员亟待解决的技术问题。


技术实现要素：

5.有鉴于此，本发明的目的在于提供一种焊接缺陷识别方法、装置、设备及存储介质，可以同时兼顾尺度各异的缺陷，提高了深度神经网络模型在真实应用场景下的焊接缺陷自动识别性能。其具体方案如下：
6.一种焊接缺陷识别方法，包括：
7.获取焊接扫描图像样本，并进行焊接缺陷标注，从标注后的图像样本中划分出训练集；
8.构建具有随机多尺度模块的深度神经网络模型；所述随机多尺度模块包括空洞卷积，所述空洞卷积引入的超参数空洞率为服从均匀分布的变量用于提取随机尺度特征；
9.使用所述训练集训练所述深度神经网络模型；
10.利用训练完成的所述深度神经网络模型对待测焊接扫描图像进行焊接缺陷的识别。
11.优选地，在本发明实施例提供的上述焊接缺陷识别方法中，使用所述训练集训练所述深度神经网络模型，包括：
12.从均匀分布u(γ，u)中采样得到所述变量γ为均匀分布的下界，u为均匀分布的上界；
13.将所述变量代入所述空洞卷积的计算公式中执行前向计算，提取出所述训练集的随机尺度特征。
14.优选地，在本发明实施例提供的上述焊接缺陷识别方法中，所述空洞卷积的计算公式为：
[0015][0016]
其中，w
l
表示二维卷积核，上标l表示所述深度神经网络模型的第l层，a
l
表示第l层的输出，标量p和q分别表示卷积核的宽与高，p和q分别表示卷积核在宽与高的方向上的坐标索引，表示第l 1层的(i,j)位置的净输入。
[0017]
优选地，在本发明实施例提供的上述焊接缺陷识别方法中，在使用所述训练集训练所述深度神经网络模型之后，还包括：
[0018]
从标注后的图像样本中划分出测试集；
[0019]
使用所述测试集对训练完成的所述深度神经网络模型进行测试。
[0020]
优选地，在本发明实施例提供的上述焊接缺陷识别方法中，使用所述测试集对训练完成的所述深度神经网络模型进行测试，包括：
[0021]
将所述变量遍历(γ，u)，分别执行前向计算，提取出多个所述测试集的随机尺度特征；
[0022]
融合提取出的多个随机尺度特征，得到融合后的测试结果。
[0023]
优选地，在本发明实施例提供的上述焊接缺陷识别方法中，在均匀分布u(γ，u)中，上界u和下界γ的区间与所述训练集的样本数量呈反比；或，
[0024]
上界u和下界γ的区间与各类待识别缺陷的空间尺度的差异呈正比。
[0025]
优选地，在本发明实施例提供的上述焊接缺陷识别方法中，所述随机多尺度模块连接在所述深度神经网络模型的骨干网络的输出上。
[0026]
本发明实施例还提供了一种焊接缺陷识别装置，包括：
[0027]
样本处理模块，用于获取焊接扫描图像样本，并进行焊接缺陷标注，从标注后的图像样本中划分出训练集；
[0028]
模型构建模块，用于构建具有随机多尺度模块的深度神经网络模型；所述随机多尺度模块包括空洞卷积，所述空洞卷积引入的超参数空洞率为服从均匀分布的变量用于提取随机尺度特征；
[0029]
模型训练模块，用于使用所述训练集训练所述深度神经网络模型；
[0030]
模型推理模块，用于利用训练完成的所述深度神经网络模型对待测焊接扫描图像进行焊接缺陷的识别。
[0031]
本发明实施例还提供了一种焊接缺陷识别设备，包括处理器和存储器，其中，所述处理器执行所述存储器中存储的计算机程序时实现如本发明实施例提供的上述焊接缺陷识别方法。
[0032]
本发明实施例还提供了一种计算机可读存储介质，用于存储计算机程序，其中，所述计算机程序被处理器执行时实现如本发明实施例提供的上述焊接缺陷识别方法。
[0033]
从上述技术方案可以看出，本发明所提供的一种焊接缺陷识别方法，包括：获取焊接扫描图像样本，并进行焊接缺陷标注，从标注后的图像样本中划分出训练集；构建具有随
机多尺度模块的深度神经网络模型；随机多尺度模块包括空洞卷积，空洞卷积引入的超参数空洞率为服从均匀分布的变量用于提取随机尺度特征；使用训练集训练深度神经网络模型；利用训练完成的深度神经网络模型对待测焊接扫描图像进行焊接缺陷的识别。
[0034]
本发明主要针对焊接缺陷尺度多样的特性，构建了可以同时兼容不同尺度缺陷的深度神经网络模型，将空洞卷积引入的超参数空洞率设置为服从均匀分布的变量增强了深度神经网络模型对焊接缺陷特征的提取能力，提高了深度神经网络模型在真实应用场景下的焊接缺陷自动识别性能，进而更好地提升了焊接缺陷识别的准确率，且不会损伤人眼。
[0035]
此外，本发明还针对焊接缺陷识别方法提供了相应的装置、设备及计算机可读存储介质，进一步使得上述方法更具有实用性，该装置、设备及计算机可读存储介质具有相应的优点。
附图说明
[0036]
为了更清楚地说明本发明实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0037]
图1为本发明实施例提供的焊接缺陷识别方法的流程图；
[0038]
图2为现有的卷积操作的示意图；
[0039]
图3为现有的空间卷积操作的示意图；
[0040]
图4为本发明实施例提供的不同空洞率的空洞卷积的示意图；
[0041]
图5为本发明实施例提供的焊接缺陷识别装置的结构示意图。
具体实施方式
[0042]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0043]
本发明提供一种焊接缺陷识别方法，如图1所示，包括以下步骤：
[0044]
s101、获取焊接扫描图像样本，并进行焊接缺陷标注，从标注后的图像样本中划分出训练集；
[0045]
s102、构建具有随机多尺度模块的深度神经网络模型；随机多尺度模块包括空洞卷积，空洞卷积引入的超参数空洞率为服从均匀分布的变量用于提取随机尺度特征；
[0046]
s103、使用训练集训练深度神经网络模型；
[0047]
s104、利用训练完成的深度神经网络模型对待测焊接扫描图像进行焊接缺陷的识别。
[0048]
在实际应用中，区别于自然图像，在x射线图像中，焊接缺陷常表现出尺度多样的特性，如气孔、夹渣等缺陷的几何尺寸往往较小，而裂纹、未熔合等缺陷的大小常几倍于气孔、夹渣，尺度多样的特点对深度神经网络模型在真实场景中的表现提出了挑战。此外，由
于底片划伤等原因造成的伪缺陷与真实缺陷往往具备类似特征，这些特性进一步加大了缺陷的自动识别难度。而在本发明实施例提供的上述焊接缺陷识别方法中，主要针对上述焊接缺陷尺度多样的特性，构建了可以同时兼容不同尺度缺陷的深度神经网络模型，将空洞卷积引入的超参数空洞率设置为服从均匀分布的变量增强了深度神经网络模型对焊接缺陷特征的提取能力，提高了深度神经网络模型在真实应用场景下的焊接缺陷自动识别性能，进而更好地提升了焊接缺陷识别的准确率，且不会损伤人眼。
[0049]
需要了解的是，卷积是当前深度神经网络模型的重要构成组件之一。针对输入的焊接扫描图像，卷积主要通过卷积核以某一步长在输入图像中从上至下、从左至右的滑动，使用对位相乘再求和的方法提取抽象特征，卷积可由以下公式描述：
[0050][0051]
其中，w
l
表示二维卷积核，上标l表示深度神经网络第l层，a
l
表示第l层的输出，标量p和q分别表示卷积核的宽与高，p和q分别表示卷积核在宽与高的方向上的坐标索引，表示第l 1层的(i,j)位置的净输入。
[0052]
卷积核在输入数据上沿宽与高的方向上进行滑动，图2示出了卷积操作的示意图，其中下层的左下角深色部分代表卷积核w
l
，下层的其余浅色部分即代表a
l
，上方的白色部分代表z
l 1
。
[0053]
增大卷积核w
l
的大小可提高神经网络的感知野大小，有助于模型学习到更丰富的特征表达。然而这也会加大模型的计算量以及可学习参数，进而带来过拟合的风险。空洞卷积的初衷即增大卷积的感知野大小，同时避免引入新的可学习参数，空洞卷积的计算原理如以下公式所示：
[0054][0055]
其中，r为空洞卷积新引入的超参数空洞率，其控制着卷积核各元素之间的距离。公式(2)中的与公式(1)中的含义相同，公式(2)中主要引入了超参数空洞率r。相比于普通卷积，空洞卷积相当于在各元素之间插入了r-1个0，显然，当r＝1时，空洞卷积即退化为普通卷积。图3示出了空洞卷积操作的示意图。
[0056]
空洞卷积实现了在未增加网络可学习参数和计算量的同时，有效增大了卷积操作的感知野。然而在将空洞卷积应用到真实网络模型的过程中需要人工确定超参数r，设置不当则有可能降低网络对于微小目标的识别准确率。本发明主要是针对人工设置超参数r的局限，同步提高网络对于较大以及较小目标的识别性能。
[0057]
进一步地，在具体实施时，在本发明实施例提供的上述焊接缺陷识别方法中，步骤s103使用训练集训练深度神经网络模型，具体可以包括：从均匀分布u(γ，u)中采样得到变量γ为均匀分布的下界，u为均匀分布的上界；将变量代入空洞卷积的计算公式中执行前向计算，提取出训练集的随机尺度特征。
[0058]
需要注意的是，现有技术中在应用空洞卷积时，超参数r一般在网络结构确定后则保持固定，而本发明则将r由人为设置的超参数转换为服从均匀分布的变量即由于为随机变量，因此包含的空洞卷积具备了随机尺度特征的提取能力。图4示出了不同空洞率的空洞卷积效果；最右侧的图对应接近上界u，即有较大的空洞率，卷积核各元素间的距离较大；最左侧的图对应接近下界γ，即有较小的空洞率，卷积核各元素间的距离较小。γ与u相等的情况则退化为图4(即空洞率保持固定，无随机性)。当变量γ与u相等时，本发明所提出的空洞卷积则退化为一般的空洞卷积，如图3所示，空洞率保持固定，无随机性。
[0059]
显然，在均匀分布的上界u与下界γ中随机取值，当接近上界u时，空洞卷积具备较大的感知野，对于焊接缺陷而言，则表现为有利于识别面积较大的缺陷(如未熔合)；当接近下界γ时，空洞卷积的感知野缩小，有利于识别面积较小的缺陷(如夹渣)。因此，本发明所提出的随机尺度特征提取方法同时兼顾了尺度各异的缺陷，有望提高深度神经网络在真实应用场景下的识别能力。在训练阶段，本发明首先从均匀分布u(γ，u)中采样得到变量之后再代入空洞卷积计算公式中执行前向计算，这里的前向计算即代表使用空洞卷积提取特征，a
l
与z
l
均可视为前向计算得到的特征。
[0060]
在具体实施时，在本发明实施例提供的上述焊接缺陷识别方法中，上述空洞卷积的计算公式具体可以为：
[0061][0062]
其中，w
l
表示二维卷积核，上标l表示深度神经网络模型的第l层，a
l
表示第l层的输出，标量p和q分别表示卷积核的宽与高，p和q分别表示卷积核在宽与高的方向上的坐标索引，表示第l 1层的(i,j)位置的净输入。
[0063]
在具体实施时，在本发明实施例提供的上述焊接缺陷识别方法中，在执行步骤s103使用训练集训练深度神经网络模型之后，还可以包括：从标注后的图像样本中划分出测试集；使用测试集对训练完成的深度神经网络模型进行测试。
[0064]
也就是说，深度神经网络模型的构建分为训练和测试两个阶段，在训练阶段使用训练集调整模型的连接权值。训练完成后，则使用测试集测试模型的真实表现性能。在测试阶段，使用测试集对训练完成的深度神经网络模型进行测试，具体可以包括：将变量遍历(γ，u)，分别执行前向计算，提取出多个测试集的随机尺度特征；融合提取出的多个随机尺度特征，得到融合后的测试结果。
[0065]
具体的测试阶段的计算流程如下：
[0066]
[0067][0068]
其中，n表示从(γ，u)中的采样值，表示空洞率为n时得到的特征，表示将(u-γ)个特征进行融合后的最终结果。这里的融合的方式即为求平均，见式(5)。
[0069]
在具体实施时，在本发明实施例提供的上述焊接缺陷识别方法中，随机多尺度模块连接在深度神经网络模型的骨干网络的输出上。也就是说，随机多尺度模块作用在骨干网络的输出上，该模块与骨干网络属于独立不相干的部分。骨干网络可以选择任意一种神经网络模型，如常见的resnet、vgg、inception网络等，在此不做限定。
[0070]
在具体实施时，在本发明实施例提供的上述焊接缺陷识别方法中，在均匀分布u(γ，u)中，上界u和下界γ的区间与训练集的样本数量呈反比；或，上界u和下界γ的区间与各类待识别缺陷的空间尺度的差异呈正比。当训练图像样本数较小时(如训练样本小于1000张)，或各类待识别缺陷的空间尺度差异较大，则可将上界u和下界γ的区间设置较大(如u＝7，γ＝1)。反之，则可将上界u和下界γ的区间设置较小(如u＝3，γ＝1)。
[0071]
另外，在具体实施时，从标注后的图像样本中还可以划分出验证集。在训练深度神经网络模型过程中，首先确定随机多尺度模块中的参数γ和u，然后选择某一骨干网络，如resnet，最后使用训练集训练深度神经网络模型。在确定评价指标(如准确率、召回率、精准率等)之后，可以使用验证集验证训练后的深度神经网络模型。若模型的效果达到预期，则可应用与实际部署。若未达预期，则重新训练深度神经网络模型。
[0072]
本发明实施例提供的上述焊接缺陷识别方法具备了识别不同尺度焊接缺陷的能力，增强了深度神经网络解决现实问题的能力，并且具备了较强的通用性，可适用于除开焊接缺陷外的包含不同尺度目标的识别任务。
[0073]
基于同一发明构思，本发明实施例还提供了一种焊接缺陷识别装置，由于该装置解决问题的原理与前述一种焊接缺陷识别方法相似，因此该装置的实施可以参见焊接缺陷识别方法的实施，重复之处不再赘述。
[0074]
在具体实施时，本发明实施例提供的焊接缺陷识别装置，如图5所示，具体包括：
[0075]
样本处理模块11，用于获取焊接扫描图像样本，并进行焊接缺陷标注，从标注后的图像样本中划分出训练集；
[0076]
模型构建模块12，用于构建具有随机多尺度模块的深度神经网络模型；随机多尺度模块包括空洞卷积，空洞卷积引入的超参数空洞率为服从均匀分布的变量用于提取随机尺度特征；
[0077]
模型训练模块13，用于使用训练集训练深度神经网络模型；
[0078]
模型推理模块14，用于利用训练完成的深度神经网络模型对待测焊接扫描图像进行焊接缺陷的识别。
[0079]
在本发明实施例提供的上述焊接缺陷识别装置中，可以通过上述四个模块的相互作用，增强深度神经网络模型对不同尺度焊接缺陷特征的提取能力，提高深度神经网络模型在真实应用场景下的焊接缺陷自动识别性能，进而更好地提升焊接缺陷识别的准确率，且不会损伤人眼。
[0080]
关于上述各个模块更加具体的工作过程可以参考前述实施例公开的相应内容，在此不再进行赘述。
[0081]
相应地，本发明实施例还公开了一种焊接缺陷识别设备，包括处理器和存储器；其中，处理器执行存储器中存储的计算机程序时实现前述实施例公开的焊接缺陷识别方法。
[0082]
关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
[0083]
进一步地，本发明还公开了一种计算机可读存储介质，用于存储计算机程序；计算机程序被处理器执行时实现前述公开的焊接缺陷识别方法。
[0084]
关于上述方法更加具体的过程可以参考前述实施例中公开的相应内容，在此不再进行赘述。
[0085]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置、设备、存储介质而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0086]
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0087]
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。
[0088]
综上，本发明实施例提供的一种焊接缺陷识别方法，包括：获取焊接扫描图像样本，并进行焊接缺陷标注，从标注后的图像样本中划分出训练集；构建具有随机多尺度模块的深度神经网络模型；随机多尺度模块包括空洞卷积，空洞卷积引入的超参数空洞率为服从均匀分布的变量用于提取随机尺度特征；使用训练集训练深度神经网络模型；利用训练完成的深度神经网络模型对待测焊接扫描图像进行焊接缺陷的识别。本发明主要针对焊接缺陷尺度多样的特性，构建了可以同时兼容不同尺度缺陷的深度神经网络模型，将空洞卷积引入的超参数空洞率设置为服从均匀分布的变量增强了深度神经网络模型对焊接缺陷特征的提取能力，提高了深度神经网络模型在真实应用场景下的焊接缺陷自动识别性能，进而更好地提升了焊接缺陷识别的准确率，且不会损伤人眼。此外，本发明还针对焊接缺陷识别方法提供了相应的装置、设备及计算机可读存储介质，进一步使得上述方法更具有实用性，该装置、设备及计算机可读存储介质具有相应的优点。
[0089]
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那
些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0090]
以上对本发明所提供的焊接缺陷识别方法、装置、设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。