一种高质量的焊缝及焊缝缺陷识别系统、方法、存储介质与流程

技术特征：
1.一种高质量的焊缝及焊缝缺陷识别系统，其特征在于，包括数据采集模块、训练模块、检测模块，所述数据采集模块用于收集不同角度和不同场景下的焊缝图像数据，并标注出焊缝、焊缝缺陷，形成训练集；所述训练模块用于采用训练集训练网络模型，所述检测模块用于将待检测图片输入训练后的网络模型并输出焊缝或焊缝缺陷的识别结果；所述网络模型包括从前至后依次设置的编码部分网络、变形自注意力模块和解码部分网络；所述编码部分网络用于将图像样本映射至高维空间并映射成隐张量，所述变形自注意力模块用于提高隐张量内部信息相关性，所述解码部分网络用于恢复高分辨特征图，用于目标分割任务；所述编码部分网络包括从前至后依次设置的第一残差组合块、第二残差组合块、第三残差组合块、第四残差组合块，所述第四残差组合块与变形自注意力模块连接；所述解码部分网络包括从前至后依次设置的第一对象部件特征增强模块、第二对象部件特征增强模块、第三对象部件特征增强模块；所述第一对象部件特征增强模块分别与第三残差组合块、变形自注意力模块连接，所述第二对象部件特征增强模块与第二残差组合块连接，所述第三对象部件特征增强模块与第一残差组合块连接；所述第一对象部件特征增强模块、第二对象部件特征增强模块、第三对象部件特征增强模块分别包括第一卷积层、第二卷积层、第一特征相加层、第二特征相加层、第三特征相加层、特征相乘层、特征上采样层、特征下采样层；所述第一卷积层、第二卷积层的输入分别为低分辨率特征图、高分辨率特征图；所述第一卷积层通过特征上采样层与第一特征相加层连接，所述第二卷积层与第一特征相加层连接，所述第一特征相加层通过从前至后依次设置的特征下采样层、卷积层、批归一化层、激活函数层，与第二特征相加层连接，所述第二特征相加层的输入端还与第一卷积层连接，用于将耗损区域部件与低分辨率特征图融合；所述第二特征相加层通过从前至后依次设置的卷积层、批归一化层、激活函数层、特征上采样层，与特征相乘层连接，所述特征相乘层的输入端还与核张量连接，用于增强特征的边缘信息；所述第三特征相加层分别与特征相乘层和第二卷积层连接。2.根据权利要求1所述的一种高质量的焊缝及焊缝缺陷识别系统，其特征在于，所述第一残差组合块包括1个残差模块，所述第二残差组合块包括2个残差模块，所述第三残差组合块包括4个残差模块，所述第四残差组合块分别包括包括2个残差模块。3.根据权利要求1所述的一种高质量的焊缝及焊缝缺陷识别系统，其特征在于，所述编码部分网络采用残差网络结构，并利用步长为2的卷积层进行下采样。4.根据权利要求1所述的一种高质量的焊缝及焊缝缺陷识别系统，其特征在于，所述第一对象部件特征增强模块、第二对象部件特征增强模块、第三对象部件特征增强模块分别设置有1个粗边界分类损失函数；所述网络模型的任务损失函数为分割分类损失函数，用于计算预测点类别与真实点类别的差值。5.根据权利要求4所述的一种高质量的焊缝及焊缝缺陷识别系统，其特征在于，所述粗边界分类损失函数和分割分类损失函数分别为焦点损失函数和交叉熵损失函数。6.一种高质量的焊缝及焊缝缺陷识别方法，采用权利要求1-5任一项所述的系统进行，其特征在于，包括以下步骤：步骤s100：采用训练集训练网络模型并得到训练后的网络模型；步骤s200：采集焊缝图像，然后，输入到训练后的网络模型中开始分割任务，提取焊缝特征，并将任务获取的特征信息传输给机器人进行焊接任务；
步骤s300：采集焊缝后的焊缝图像，然后，输入到训练后的网络模型，检测是否有焊缝缺陷，若检测没有焊缝缺陷，则焊缝验收成功，否则发出报警信息。7.根据权利要求6所述的一种高质量的焊缝及焊缝缺陷识别方法，其特征在于，所述步骤s200中和步骤s300中分别采用轻量级目标检测算法对焊缝图像进行粗定位剪裁，减小样本的分辨率，然后，输入到训练后的网络模型中处理。8.根据权利要求6所述的一种高质量的焊缝及焊缝缺陷识别方法，其特征在于，所述步骤s100中，首先，采用编码部分网络提取图像样本的深度特征信息，将样本特征编码至高维空间，映射成隐张量，通过变形自注意力模块提高隐张量内部信息相关性；然后，使用解码部分网络的对象部件特征增强模块逐步提高特征图的分辨率，先将低分辨率特征图和高分辨率特征图结合处理，模拟特征图下采样造成丢失的耗损区域部件，再把耗损区域部件作为低分辨率特征图的补充进行融合，然后嵌入可学习的核张量，利用粗边界分类优化核张量的边缘表达能力，通过与特征相乘，增强特征的边缘信息，之后提高特征图分辨率；最后，有监督地迭代计算输出焊缝、焊缝缺陷的像素区域。9.一种计算机可读存储介质，存储有计算机程序指令，其特征在于，所述程序指令被处理器执行时实现权利要求6-8任一项所述的方法。

技术总结
本发明公开了一种高质量的焊缝及焊缝缺陷识别系统、方法、存储介质，网络模型为编码解码结构，编码部分网络包括第一残差组合块、第二残差组合块、第三残差组合块、第四残差组合块，解码部分网络包括第一对象部件特征增强模块、第二对象部件特征增强模块、第三对象部件特征增强模块；对象部件特征增强模块首先将低分辨率特征图、和高分辨率特征图结合处理，模拟特征图下采样造成丢失的耗损区域部件；再把耗损区域部件作为低分辨率特征图的补充进行融合，然后嵌入核张量，利用粗边界分类优化核张量的边缘表达能力，通过与特征相乘，增强特征的边缘信息，最后提高特征图分辨率，优化网络模型对细节信息的表达能力，实现精确分割焊缝及焊缝缺陷。缝及焊缝缺陷。缝及焊缝缺陷。


技术研发人员：张晋秋 苟思鹏 叶维政 徐雨濛
受保护的技术使用者：四川川锅环保工程有限公司
技术研发日：2022.11.09
技术公布日：2022/12/6