一种高质量的焊缝及焊缝缺陷识别系统、方法、存储介质与流程

1.本发明属于基于语义分割的目标检测的技术领域，具体涉及一种高质量的焊缝及焊缝缺陷识别系统、方法、存储介质。


背景技术：

2.随着城市化进程地不断推进，许多高楼大厦如春笋般拔地而起，人们的生活也随之变得便利。制造业作为城市设施的基础产业，制造业的蓬勃发展才能利于国民。其中焊接技术是制造业生产的重点技术之一，大量在建筑房屋、车辆制造、家电生产等领域中使用，怎么智能化提取焊缝特征方便后续焊接操作是目前讨论最多的问题之一。
3.传统手动焊接是由工作人员手工焊接工件，主要依赖于工作人员的从业经验和精神状态，焊接环境复杂，长时间的焊接工作会降低工作人员的判断力，造成安全问题和产量降低，而且因焊接工艺的不同，工件焊接之后会出现不同类型的焊接缺陷，传统技术是通过人眼进行判断的，过于主观性，容易产生误检，所以现在制造业大力发展机器人智能化焊接，提高焊接效率，减少生成成本。机器人智能化焊接主要通过使用视觉传感器获取焊缝图像，再利用算法提取焊缝特征进行识别首次定位，然后根据预设的运行轨迹进行焊缝跟踪，实现智能化焊接，最后再使用视觉传感器对焊接好的工件进行采集，利用算法对工件进行缺陷判断，存在缺陷立即通知相关人员处理，从而提高工件的质量。
4.目前，大多数基于语义分割的焊缝及焊缝缺陷识别方法利用深度神经网络捕获焊缝和焊缝缺陷的特征信息，但是已有的方法分割得到的焊缝特征过于粗糙，边缘过度平滑，不能很好的适配焊缝这个目标，而且焊接产生的焊缝缺陷种类、形态多变，要求特征提取方式能更好地适应这些复杂的场景。因此，急需提出一种易部署、精度高的焊缝及焊缝缺陷定位识别方案，提高焊缝细节信息的处理能力，达到精确分割焊缝及焊缝缺陷的目的。


技术实现要素：

5.本发明的目的在于提供一种高质量的焊缝及焊缝缺陷识别系统、方法、存储介质，旨在解决上述问题。
6.本发明主要通过以下技术方案实现：一种高质量的焊缝及焊缝缺陷识别系统，包括数据采集模块、训练模块、检测模块，所述数据采集模块用于收集不同角度和不同场景下的焊缝图像数据，并标注出焊缝、焊缝缺陷，形成训练集；所述训练模块用于采用训练集训练网络模型，所述检测模块用于将待检测图片输入训练后的网络模型并输出焊缝或焊缝缺陷的识别结果；所述网络模型包括从前至后依次设置的编码部分网络、变形自注意力模块和解码部分网络；所述编码部分网络用于将图像样本映射至高维空间并映射成隐张量，所述变形自注意力模块用于提高隐张量内部信息相关性，所述解码部分网络用于恢复高分辨特征图，用于目标分割任务；所述编码部分网络包括从前至后依次设置的第一残差组合块、第二残差组合块、第三残差组合块、第四残差组合块，所述第四残差组合块与变形自注意力模块
连接；所述解码部分网络包括从前至后依次设置的第一对象部件特征增强模块、第二对象部件特征增强模块、第三对象部件特征增强模块；所述第一对象部件特征增强模块分别与第三残差组合块、变形自注意力模块连接，所述第二对象部件特征增强模块与第二残差组合块连接，所述第三对象部件特征增强模块与第一残差组合块连接；所述第一对象部件特征增强模块、第二对象部件特征增强模块、第三对象部件特征增强模块分别包括第一卷积层、第二卷积层、第一特征相加层、第二特征相加层、第三特征相加层、特征相乘层、特征上采样层、特征下采样层；所述第一卷积层、第二卷积层的输入分别为低分辨率特征图、高分辨率特征图；所述第一卷积层通过特征上采样层与第一特征相加层连接，所述第二卷积层与第一特征相加层连接，所述第一特征相加层通过从前至后依次设置的特征下采样层、卷积层、批归一化层、激活函数层，与第二特征相加层连接，所述第二特征相加层的输入端还与第一卷积层连接，用于将耗损区域部件与低分辨率特征图融合；所述第二特征相加层通过从前至后依次设置的卷积层、批归一化层、激活函数层、特征上采样层，与特征相乘层连接，所述特征相乘层的输入端还与核张量连接，用于增强特征的边缘信息；所述第三特征相加层分别与特征相乘层和第二卷积层连接。
7.为了更好地实现本发明，进一步地，所述第一残差组合块包括1个残差模块，所述第二残差组合块包括2个残差模块，所述第三残差组合块包括4个残差模块，所述第四残差组合块分别包括包括2个残差模块。
8.为了更好地实现本发明，进一步地，所述编码部分网络采用残差网络结构，并利用步长为2的卷积层进行下采样。
9.为了更好地实现本发明，进一步地，所述第一对象部件特征增强模块、第二对象部件特征增强模块、第三对象部件特征增强模块分别设置有1个粗边界分类损失函数；所述网络模型的任务损失函数为分割分类损失函数，用于计算预测点类别与真实点类别的差值。
10.为了更好地实现本发明，进一步地，所述粗边界分类损失函数和分割分类损失函数分别为焦点损失函数和交叉熵损失函数。
11.本发明主要通过以下技术方案实现：一种高质量的焊缝及焊缝缺陷识别方法，采用上述的系统进行，包括以下步骤：步骤s100：采用训练集训练网络模型并得到训练后的网络模型；步骤s200：采集焊缝图像，然后，输入到训练后的网络模型中开始分割任务，提取焊缝特征，并将任务获取的特征信息传输给机器人进行焊接任务；步骤s300：采集焊缝后的焊缝图像，然后，输入到训练后的网络模型，检测是否有焊缝缺陷，若检测没有焊缝缺陷，则焊缝验收成功，否则发出报警信息。
12.为了更好地实现本发明，进一步地，所述步骤s200中和步骤s300中分别采用轻量级目标检测算法对焊缝图像进行粗定位剪裁，减小样本的分辨率，然后，输入到训练后的网络模型中处理。
13.为了更好地实现本发明，进一步地，所述步骤s100中，首先，采用编码部分网络提取图像样本的深度特征信息，将样本特征编码至高维空间，映射成隐张量，通过变形自注意力模块提高隐张量内部信息相关性；然后，使用解码部分网络的对象部件特征增强模块逐步提高特征图的分辨率，先将低分辨率特征图和高分辨率特征图结合处理，模拟特征图下采样造成丢失的耗损区域部件，再把耗损区域部件作为低分辨率特征图的补充进行融合，
然后嵌入可学习的核张量，利用粗边界分类优化核张量的边缘表达能力，通过与特征相乘，增强特征的边缘信息，之后提高特征图分辨率；最后，有监督地迭代计算输出焊缝、焊缝缺陷的像素区域。
14.一种计算机可读存储介质，存储有计算机程序指令，所述程序指令被处理器执行时实现上述的方法。
15.本发明的有益效果如下：（1）本发明将焊缝和焊缝缺陷的定位识别问题看作分割任务，利用编码解码的网络结构对目标进行建模，通过增强模型的目标细节信息处理能力和表征能力，达到精确分割焊缝及焊缝缺陷的目的；（2）本发明通过对象部件特征增强模块将目标对象分解成内部、边缘以及耗损区域三个部件，并在特征级上增强各个部件，在特征层面上细化表征能力，优化模型对细节信息的表达能力，从而使焊缝目标边缘细腻，提高对小目标的分割效果；（3）本发明先使用轻量级的目标检测算法对焊缝图像样本进行粗定位裁剪，减小样本的分辨率，然后输入到分割模型中开始提取焊缝特征；解决了因图像样本分辨率过高，直接输入分割模型中，增加计算量和内存消耗的问题。
附图说明
16.图1为网络模型的结构示意图；图2为对象部件特征增强模块的结构示意图；图3为焊缝及焊缝缺陷识别的流程图。
具体实施方式
17.实施例1：一种高质量的焊缝及焊缝缺陷识别系统，包括数据采集模块、训练模块、检测模块，所述数据采集模块用于收集不同角度和不同场景下的焊缝图像数据，并标注出焊缝、焊缝缺陷，形成训练集；所述训练模块用于采用训练集训练网络模型，所述检测模块用于将待检测图片输入训练后的网络模型并输出焊缝或焊缝缺陷的识别结果。
18.如图1所示，所述网络模型包括从前至后依次设置的编码部分网络、变形自注意力模块和解码部分网络；所述编码部分网络用于将图像样本映射至高维空间并映射成隐张量，所述变形自注意力模块用于提高隐张量内部信息相关性，所述解码部分网络用于恢复高分辨特征图，用于目标分割任务；所述编码部分网络包括从前至后依次设置的第一残差组合块、第二残差组合块、第三残差组合块、第四残差组合块，所述第四残差组合块与变形自注意力模块连接；所述解码部分网络包括从前至后依次设置的第一对象部件特征增强模块、第二对象部件特征增强模块、第三对象部件特征增强模块；所述第一对象部件特征增强模块分别与第三残差组合块、变形自注意力模块连接，所述第二对象部件特征增强模块与第二残差组合块连接，所述第三对象部件特征增强模块与第一残差组合块连接。
19.如图2所示，所述第一对象部件特征增强模块、第二对象部件特征增强模块、第三对象部件特征增强模块分别包括第一卷积层、第二卷积层、第一特征相加层、第二特征相加层、第三特征相加层、特征相乘层、特征上采样层、特征下采样层；所述第一卷积层、第二卷
积层的输入分别为低分辨率特征图、高分辨率特征图；所述第一卷积层通过特征上采样层与第一特征相加层连接，所述第二卷积层与第一特征相加层连接，所述第一特征相加层通过从前至后依次设置的特征下采样层、卷积层、批归一化层、激活函数层，与第二特征相加层连接，所述第二特征相加层的输入端还与第一卷积层连接，用于将耗损区域部件与低分辨率特征图融合；所述第二特征相加层通过从前至后依次设置的卷积层、批归一化层、激活函数层、特征上采样层，与特征相乘层连接，所述特征相乘层的输入端还与核张量连接，用于增强特征的边缘信息；所述第三特征相加层分别与特征相乘层和第二卷积层连接。
20.优选地，所述第一残差组合块、第二残差组合块、第三残差组合块、第四残差组合块分别包括1、2、4、2个残差模块。
21.优选地，所述第一对象部件特征增强模块、第二对象部件特征增强模块、第三对象部件特征增强模块分别设置有1个粗边界分类损失函数；所述网络模型的任务损失函数为分割分类损失函数，用于计算预测点类别与真实点类别的差值。
22.优选地，所述粗边界分类损失函数和分割分类损失函数分别为焦点损失函数和交叉熵损失函数。
23.输入对象部件特征增强模块的低分辨率特征图f
l
和高分辨率特征图fh包含内部、边缘和耗损区域等信息，对象部件特征增强模块用于将各个部件分解出来，分部件进行加强。如图2所示，使用卷积层处理增强的是内部信息，kernel增强的是边缘信息，第二个特征相加层处理之前的是耗损区域。本发明通过对象部件特征增强模块将目标对象分解成内部、边缘以及耗损区域等三个部件，并在特征级上增强各个部件，在特征层面上细化表征能力，优化模型对细节信息的表达能力，从而使焊缝目标边缘细腻，提高了对小目标的分割效果。
24.实施例2：一种高质量的焊缝及焊缝缺陷识别方法，如图3所示，包括以下步骤：步骤s100：采用训练集训练网络模型并得到训练后的网络模型；步骤s200：采集焊缝图像，然后，输入到训练后的网络模型中开始分割任务，提取焊缝特征，并将任务获取的特征信息传输给机器人进行焊接任务；步骤s300：采集焊缝后的焊缝图像，然后，输入到训练后的网络模型，检测是否有焊缝缺陷，若检测没有焊缝缺陷，则焊缝验收成功，否则发出报警信息。
25.优选地，所述步骤s200中和步骤s300中分别采用轻量级目标检测算法对焊缝图像进行粗定位剪裁，减小样本的分辨率，然后，输入到训练后的网络模型中处理。
26.优选地，所述步骤s100中，首先，采用编码部分网络提取图像样本的深度特征信息，将样本特征编码至高维空间，映射成隐张量，通过变形自注意力模块提高隐张量内部信息相关性；然后，使用解码部分网络的对象部件特征增强模块逐步提高特征图的分辨率，先将低分辨率特征图和高分辨率特征图结合处理，模拟特征图下采样造成丢失的耗损区域部件，再把耗损区域部件作为低分辨率特征图的补充进行融合，然后嵌入可学习的核张量，利用粗边界分类优化核张量的边缘表达能力，通过与特征相乘，增强特征的边缘信息，之后提高特征图分辨率；最后，有监督地迭代计算输出焊缝、焊缝缺陷的像素区域。
27.本发明的焊缝识别的网络模型和焊缝缺陷识别的网络模型是同一个模型，就是在样本上标注出不同语义成分的像素级标签。训练集里包含焊缝的分割标签也包含焊缝缺陷
分割标签。比如这个样本上只有焊缝，则分割标签只有焊缝，而样本上有焊缝和焊缝缺陷，则分割标签上有焊缝和焊缝缺陷。焊缝的分割任务和焊缝缺陷分割任务是属于同类任务，即像素点分类任务，所以可以将焊缝和焊缝缺陷目标统一到一个模型中，而且这种做法，可以提高模型对前景背景的区分能力，增强模型的泛化性，并且减少模型的数量能减少部署成本和计算量。
28.实施例3：一种高质量的焊缝及焊缝缺陷识别系统，如图1所示，采集焊缝图像，根据焊缝特性搭建深度神经网络模型，网络模型为编码解码结构，包括编码部分网络和解码部分网络。首先利用模型的编码部分网络提取图像样本的深度特征信息，将样本特征映射至高维空间，然后添加一层变形自注意力模块提高隐张量内部信息相关性，为后续解码丰富全局特征；然后，使用解码部分网络的对象部件特征增强模块逐步提高特征图分辨率，最后有监督地迭代计算输出焊缝及焊缝缺陷的像素区域。
29.优选地，如图2所示，所述对象部件特征增强模块包括卷积层、批归一化层、激活函数层、特征上采样层、特征下采样层、特征相加层、以及特征相乘层。该模块将目标对象分解成内部、边缘以及耗损区域三个部件，内部部件是指目标内部特征信息，边缘部件是指目标高频的边界信息，耗损区域部件是指经多次下采样之后空间上损失的信息，这些信息组成完整的目标，每一部件都影响目标的分割性能。所述对象部件特征增强模块的核心处理思路是：首先将低分辨率特征图和高分辨率特征图结合处理，模拟特征图下采样造成丢失的耗损区域部件，再把耗损区域部件作为低分辨率特征图的补充进行融合，然后嵌入可学习的核张量，利用粗边界分类优化核张量的边缘表达能力，通过与特征相乘，增强特征的边缘信息，最后提高特征图分辨率，实现优化模型对细节信息的表达能力的目的。
30.优选地，所述编码部分网络采用残差网络结构，并利用步长为2的卷积层进行下采样，随着网络加深，特征图尺度逐渐减小，按尺度大小分成4个残差组合块特征提取，每一个残差组合块使用的残差模块数量分别是1、2、4、2。
31.优选地，所述的损失函数分成4部分，每个对象部件特征增强模块包含一个粗边界分类，结构中共包含3个该模块，所以总的损失函数分别是3个粗边界分类损失函数和一个分割分类损失函数，分别为焦点损失函数和交叉熵损失函数。
32.上述网络模型的训练步骤如下：收集不同角度和不同场景下的焊缝图像，人工标注出焊缝图像中的不同语义成分，并组成训练数据集和测试数据集。
33.根据焊缝特性搭建深度神经网络模型，采用训练数据集训练网络模型，随机初始化模型中相关参数，预先设置训练相关参数，并使用随机梯度下降法优化器作为优化策略，迭代训练计算，逐步优化损失值。最后用测试数据集测试网络模型，最终得到训练后的网络模型。
34.输入对象部件特征增强模块的低分辨率特征图f
l
和高分辨率特征图fh包含内部、边缘和耗损区域等信息，对象部件特征增强模块用于将各个部件分解出来，分部件进行加强。如图2所示，使用卷积层处理增强的是内部信息，kernel增强的是边缘信息，第二个特征相加层处理之前的是耗损区域。本发明通过对象部件特征增强模块将目标对象分解成内部、边缘以及耗损区域等三个部件，并在特征级上增强各个部件，在特征层面上细化表征能
力，优化模型对细节信息的表达能力，从而使焊缝目标边缘细腻，提高了对小目标的分割效果。
35.实施例4：一种高质量的焊缝及焊缝缺陷识别系统，如图1所示，网络模型采用编码解码结构，包括编码部分网络和解码部分网络。核心步骤是：首先由编码部分网络将图像样本映射至高维空间；然后添加一层变形自注意力模块提高隐张量内部信息相关性，为后续解码丰富全局特征；最后利用解码部分网络恢复高分辨特征图，用于目标分割任务。编码部分网络采用残差网络结构，并利用步长为2的卷积层进行下采样，随着网络加深，特征图尺度逐渐减小，按尺度大小分成4个残差组合块特征提取，每一个残差组合块使用的残差模块数量分别是1、2、4、2。所述解码部分网络对应设置有3个对象部件特征增强模块。
36.如图2所示，对象部件特征增强模块将目标对象分解成内部、边缘以及耗损区域等三个部件，并在特征级上增强各个部件，优化模型对细节信息的表达能力，从而使焊缝目标边缘细腻，提高对小目标的分割效果。对象部件特征增强模块的核心处理思路是：首先将低分辨率特征图f
l
、和高分辨率特征图fh结合处理，模拟特征图下采样造成丢失的耗损区域部件，特征映射变换公式如下：公式中：fd表示耗损区域部件，down表示特征下采样操作，up表示特征上采样操作，conv指卷积层处理，统一不同分辨率特征的维度。
37.再把耗损区域部件作为低分辨率特征图的补充进行融合，然后嵌入可学习的核张量kernel，利用粗边界分类优化核张量的边缘表达能力，通过与特征相乘，增强特征的边缘信息，最后提高特征图分辨率，实现优化模型对细节信息的表达能力的目的。
38.如图2所示，c1和c2卷积层用于统一低分辨率特征图和高分辨率特征图的维度，减少计算量，利于后续融合。其次up、特征相加层以及down用于模拟特征图下采样造成丢失的耗损区域，并将模拟得到的耗损区域通过相加的方式添加到原有的特征图上，达到增强耗损区域的目的。然后使用卷积层增加特征图内部的信息，即丰富语义信息和增强表征力，再嵌入可学习的核张量，增强特征图的边缘表达能力，并利用粗边界分类优化核张量的边缘表达能力，即图中以focalloss结尾的分支。最后通过特征相加层将两种特征图融合，并添加卷积组合块再次增强语义。因此，对象部件特征增强模块将目标分解成不同的部件，并针对每个部件进行增强，使模型对目标的表达能力增强，捕获细腻的目标轮廓边缘，从而提高分割精度。
39.优选地，指导网络模型训练的损失函数分成4部分，每个对象部件特征增强模块包含一个粗边界分类，结构中共包含3个该模块，所以总的损失函数分别是3个粗边界分类损失函数和一个分割分类损失函数，分别为焦点损失函数和交叉熵损失函数。焦点损失函数公式如下：
公式中表示索引为i的像素点的预测类别概率值，γ为伽马参数，设为3.0，用于调节不同重要程度的样本的损失，α为阿尔法参数，设为0.75，用于调节正样本的惩罚比例，yi是索引为i的像素点的类别真实标签，为人为标注信息。
40.交叉熵损失函数公式如下：公式中：表示索引为i的像素点的预测类别概率值。因此，总的损失函数为：将损失函数设置完成后，随机初始化模型中相关参数，预先设置训练相关参数，并使用随机梯度下降法优化器作为优化策略，迭代训练计算，逐步优化损失值。
41.优选地，待模型训练完成后，使用测试集测试模型的分割性能，选取性能最好的网络模型集成到相关设备中。如图3所示，将训练后的网络模型作为分割模型，经视觉传感器采集的焊缝图像样本分辨率过高，直接输入分割模型中，会增加计算量和内存消耗，所以本发明先使用轻量级的目标检测算法对焊缝图像样本进行粗定位裁剪，减小样本的分辨率，然后输入到分割模型中开始提取焊缝特征，再将任务获取的特征信息传输给机器人进行焊接任务，最后使用分割模型对焊缝验收，没有焊缝缺陷则验收成功，否则失败。
42.综上所述，本发明通过分部件分割目标，实现优化模型对细节信息的表达能力的目的，达到精准分割的目的。由实验可得，本发明提出的方法与已有的方法相比较，在焊接的复杂环境下抗干扰性更好，分割出的目标边缘更加细腻，能准确的区分出前景和背景。
43.以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。