一种基于空间变换自注意力模块的焊缝检测方法及系统与流程

1.本发明涉及三维点云分割技术领域，具体地说，是一种基于空间变换自注意力模块的焊缝检测方法及系统，用于提高焊缝的检测性能。


背景技术：

2.随着我国的智能制造业的不断发展，制造型企业也随之兴起，为了保证其在市场上的竞争力，企业必须提高产品的生产效率和确保产品的品控。工件焊接是制造业中常用的技能，是永久性连接金属中最经济适用的方法，广泛被应用于汽车、航空、建筑等各个领域中。
3.工件焊接可以根据焊接方式分为手工焊接、自动化焊接以及半自动化焊接，手工焊接和半自动化焊接方式都需要工作人员在危险的生产环境中进行工作，长时间的作业会导致工作人员的判断力下降，造成焊接失误，所以研究全自动化、高精度的焊接方式逐渐成为机器视觉领域新型的研究方向之一。基于机器视觉的焊缝自动检测方法主要分为基于传统图像处理的焊缝自动检测方法和基于深度学习的焊缝自动检测方法，前者包含的大多数方法都是以人工特征为主，在复杂环境下人工特征无法辨别前景与背景之间差异，继而出现大量的误差，存在很大的局限性，反之，后者利用深度神经网络结构将特征信息映射到高维的空间，目标判别能力大大提高，能更好的适应多变的焊接环境，推动自动化焊接技术更进一步。三维点云能更真实地反映出物体在三维空间的状态，可以更加准确地描述目标物体地位置信息，所以自动化焊接技术偏向采用三维图像作为数据来源。
4.三维点云数据存在无序性、不变性以及不规则性，这些特性给检测任务带来了不小的挑战。目前，大多数基于三维点云的深度学习焊缝自动检测方法利用深度神经网络的学习能力捕获点云特征的深度信息，进而进行特征分割或检测，但是已有的方法都存在局部特征不足，无法建立点云内的长范围依赖性，没有充分利用到点云包含的复杂信息，导致检测效果令人不满意。因此，亟需提出一种具有实时性的、易部署的焊缝位置检测方法，减少复杂的焊接环境带来的噪声干扰，提高焊接准确度。


技术实现要素：

5.本发明的目的在于提供一种基于空间变换自注意力模块的焊缝检测方法，通过构建空间变换自注意力模块减弱模型对空间变换的敏感性，确保能在学习过程中获取点云内间的空间相关性和几何信息特征，并且利用点卷积组合模块增强模型对局部的表达能力，从而提高模型的检测性能。
6.本发明通过下述技术方案实现：一种基于空间变换自注意力模块的焊缝检测方法，包括：步骤s1,对焊件进行扫描生成三维点云数据，对三维点云数据中的焊缝进行真实焊缝点标注，生成模型训练集；步骤s2,根据空间变换自注意模块捕获三维点云数据的空间结构，搭建基于空间
变换自注意模块的深度神经网络模型，用模型训练集训练深度神经网络模型，并将迭代次数和学习率预设完整；所述深度神经网络模型由依次连接的主干网络和下游分割网络构成，所述主干网络包括点卷积模块、多层感知机层模块、空间变换自注意力模块和特征聚合模块，所述下游分割网络包括多层感知机层模块和损失函数模块；步骤s3，将三维点云数据输入深度神经网络模型中对深度神经网络模型进行训练，三维点云数据输入进主干网络后利用点卷积组合模块提取三维点云数据的局部信息，与此同时下游分割网络对三维点云数据进行下采样，然后主干网络通过多层感知机层对特征信息维度进行变换，变换后交予空间变换自注意力模块处理，再由空间变换自注意力模块深度挖掘三维点云中点与点之间的空间相关性，最后下游分割网络将不同维度的特征信息聚合之后使用损失函数计算预测点类别与真实点类别的损失值，利用学习率下降法不断迭代衰减损失值，优化深度神经网络模型权重参数，直到迭代次数等于最大迭代次数，中止训练，生成训练好的深度神经网络模型；步骤s4，在实际场景下对焊件进行采集生成对应的三维点云数据，将对应的三维点云数据输入进训练好的深度神经网络模型中，通过深度挖掘分析得到焊缝特征并定位焊缝位置，将焊缝位置输送到机械臂或智能焊接设备进行焊接。
7.本发明提出了一种基于三维点云的焊缝自动检测方法，通过构建空间变换自注意力模块减弱模型对空间变换的敏感性，确保能在学习过程中获取点云内间的空间相关性和几何信息特征，并且利用点卷积组合模块增强模型对局部的表达能力，从而提高模型的检测性能。
8.为了更好地实现本发明，进一步地，所述步骤s2包括：所述主干网络由依次连接的第一点卷积组合模块、第二点卷积组合模块、第一多层感知机层模块、第一空间变换自注意力模块、第二多层感知机层模块、第二空间变换自注意力模块、第三多层感知机层模块、第三空间变换自注意力模块和特征聚合模块构成，所述第一空间变换自注意力模块和第二空间变换自注意力模块分别连接特征聚合模块；所述下游分割网络包括依次连接的第四多层感知机层模块、第五多层感知机层模块和损失函数模块。
9.为了更好地实现本发明，进一步地，所述点卷积组合模块包括第一点卷积层、第二点卷积层、第一层归一化层、第二层归一化层、第一修正线性单元层、第二第一修正线性单元层、最大值池化层和特征拼接层。
10.为了更好地实现本发明，进一步地，所述点卷积组合模块由串联的k=16的第一点卷积层、第一修正线性单元层、第一层归一化层，串联k=32的第二点卷积层和第二修正线性单元层、第二层归一化层，以及最大值池化层并行连接至特征拼接层构成，其中k为描述点卷积层的变量；所述点卷积层负责提取点云的局部信息，所述最大值池化层提取点云的全局信息。
11.为了更好地实现本发明，进一步地，所述的空间变换自注意力模块由关系感知位置嵌入模块和多头空间变换自注意力模块构成；首先利用关系感知位置嵌入模块将点云的坐标处理成相对坐标嵌入到点云特征中，即对点云特征进行位置编码，然后由多头空间变
换自注意力模块减弱模型对空间变换的敏感性，并捕获点云内间的空间相关性和几何信息特征。
12.为了更好地实现本发明，进一步地，所述关系感知位置嵌入模块由依次连接的最远点采样模块、特征相减层、第六多层感知机层模块和特征相加层构成。
13.为了更好地实现本发明，进一步地，所述多头空间变换自注意力模块包括第一l2正则化层、第二l2正则化层、特征相乘层、柔性最大值层和仿射变换层，所述第一l2正则化层和第二l2正则化层并联连接至特征相乘层、柔性最大值层和仿射变换层；所述柔性最大值层对点云特征进行加权学习，并且在高维度空间中利用仿射变换层点云特征进行空间变换。
14.为了更好地实现本发明，进一步地，所述损失函数模块采用焦点损失函数作为模型的分割损失函数，计算预测点类别与真实点类别的损失值。
15.为了更好地实现本发明，进一步地，所述步骤s3中的相关超参数包括迭代次数和学习率。
16.为了更好地实现本发明，进一步地，本发明还提供了一种基于空间变换自注意力模块的焊缝检测系统，包括采集单元、模型搭建单元、训练单元和检测单元，其中：采集单元，用于对焊件进行扫描生成三维点云数据，对三维点云数据中的焊缝进行真实焊缝点标注，生成模型训练集；模型搭建单元，用于搭建基于空间变换自注意模块的深度神经网络模型，所述深度神经网络模型由依次连接的主干网络和下游分割网络构成，所述主干网络包括点卷积模块、多层感知机层模块、空间变换自注意力模块和特征聚合模块，所述下游分割网络包括多层感知机层模块和损失函数模块；训练单元，用于将三维点云数据输入深度神经网络模型中对深度神经网络模型进行训练，三维点云数据输入进主干网络后利用点卷积组合模块提取三维点云数据的局部信息，与此同时下游分割网络对三维点云数据进行下采样，然后主干网络通过多层感知机层对特征信息维度进行变换，变换后交予空间变换自注意力模块处理，再由空间变换自注意力模块深度挖掘三维点云中点与点之间的空间相关性，最后下游分割网络将不同维度的特征信息聚合之后使用损失函数计算预测点类别与真实点类别的损失值，利用学习率下降法不断迭代衰减损失值，优化深度神经网络模型权重参数，直到迭代次数等于最大迭代次数，中止训练，生成训练好的深度神经网络模型；检测单元，用于在实际场景下对焊件进行采集生成对应的三维点云数据，将对应的三维点云数据输入进训练好的深度神经网络模型中，通过深度挖掘分析得到焊缝特征并定位焊缝位置，将焊缝位置输送到机械臂或智能焊接设备进行焊接。
17.为了更好地实现本发明，进一步地，本发明还提供一种计算机可读存储介质，其上存储有计算机程序指令，用于执行基于空间变换自注意力模块的焊缝自动检测方法。
18.本发明与现有技术相比，具有以下优点及有益效果：（1）本发明使用空间变换自注意模块捕获三维点云的空间信息，本发明构建的模型直接学习三维点云信息能最大限度地保留三维点云包含的空间特征，使得模型分割性能更优秀；（2）本发明中提出的空间变换自注意力模块由关系感知位置嵌入模块和多头空间
变换自注意力模块构成，其中，关系感知位置嵌入模块与传统的位置编码嵌入模块不同，关系感知位置嵌入模块利用点云自身的坐标信息进行编码，将绝对坐标转化成相对坐标，能更好地学习点云数据，充分挖掘点云内间的相关性，然后多头空间变换自注意力模块与传统的多头变换自注意力模块不同，多头空间变换自注意力模块添加了仿射变换层解决点云的空间变换不变形，而传统的多头变换自注意力模块不具备这样的特性；（3）本发明提出了一种空间变换自注意力模块，利用关系感知位置嵌入模块将点云的坐标处理成相对坐标嵌入到点云特征中，然后由多头空间变换自注意力模块减弱模型对空间变换的敏感性，并捕获点云内间的空间相关性和几何信息特征，从而增强模型对点云空间的感知能力，提高表征能力；（4）本发明提出了一种焊缝自动检测方法和系统，通过构建空间变换自注意力模块减弱模型对空间变换的敏感性，确保能在学习过程中获取点云内间的空间相关性和几何信息特征，并且利用点卷积组合模块增强模型对局部的表达能力，从而提高模型的检测性能。
附图说明
19.本发明结合下面附图和实施例做进一步说明，本发明所有构思创新应视为所公开内容和本发明保护范围。
20.图1为本发明提供的深度神经网络模型结构示意图。
21.图2为本发明提供的点卷积组合模块结构示意图。
22.图3为本发明提供的空间变换自注意力模块结构示意图。
23.图4为本发明提供的特征聚合模块结构示意图。
具体实施方式
24.为了更清楚地说明本发明实施例的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，应当理解，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例，因此不应被看作是对保护范围的限定。基于本发明中的实施例，本领域普通技术工作人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
25.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“设置”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；也可以是直接相连，也可以是通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
26.实施例1：本实施例的一种基于空间变换自注意力模块的焊缝检测方法，在本实施例中，采用高精度的测量仪器对焊件进行扫描生成三维点云，并凭借视觉对三维点云数据中的焊缝进行真实焊缝点标注，生成模型训练集；为了让模型的泛化性好，要将不同焊件的焊缝情况采集成训练数据。
27.根据点云特性设计搭建深度神经网络模型，首先利用主干网络部分提取焊件的全
局特征和局部特征，并分析挖掘点云内间的关联关系，然后聚合不同维度的特征信息用于后续特征分割任务，最后经多层感知机层处理后按点计算分割损失值；主干网络部分主要由点卷积组合模块和空间变换自注意力模块构成，前者用于解决点云无序性，增加局部特征，后者用于解决点云的空间变换不变性，并深度挖掘点云中点与点之间的空间相关性；采用焦点损失函数作为模型的分割损失函数，计算预测点类别与真实点类别的损失值；将迭代次数、学习率等相关超参数预设完整，利用学习率下降法不断迭代衰减损失值，优化模型权重参数，直到迭代次数等于最大迭代次数，中止训练，最后在真实场景下测试模型性能。
28.本发明提出了一种焊件焊缝检测方法，通过点卷积组合模块稠密地下采样大大减少了点云信息的丢失，并且利用注意力机制捕获点云邻近点之间的关系，增强模型对每个点的判别能力，提高模型对目标点云的几何表达能力。
29.本发明使用空间变换自注意模块捕获三维点云的空间信息，本发明构建的模型直接学习三维点云信息能最大限度地保留三维点云包含的空间特征，使得模型分割性能更优秀。
30.本发明直接对三维点云进行学习，充分利用点云数据，通过点卷积组合模块和空间变换自注意力模块解决三维点云与二维数据不一样的特性。本发明提出的空间变换自注意力模块的特征映射关系具有对称性，具备处理点云数据的条件。
31.本发明中提出的空间变换自注意力模块由关系感知位置嵌入模块和多头空间变换自注意力模块构成，其中，关系感知位置嵌入模块与传统的位置编码嵌入模块不同，关系感知位置嵌入模块利用点云自身的坐标信息进行编码，将绝对坐标转化成相对坐标，能更好地学习点云数据，充分挖掘点云内间的相关性，然后多头空间变换自注意力模块与传统的多头变换自注意力模块不同，多头空间变换自注意力模块添加了仿射变换层解决点云的空间变换不变形，而传统的多头变换自注意力模块不具备这样的特性。
32.实施例2：本实施例在实施例1的基础上做进一步优化，图1为焊缝分割检测方法的整体网络结构示意图。网络模型主要由主干部分网络和下游分割网络构成，主干网络部分由点卷积组合模块、多层感知机层、空间变换自注意力模块、特征聚合模块构成，利用点卷积组合模块增强模型对局部特征的捕获能力，与此同时稠密地对点云数据进行下采样，减少计算量，然后通过多层感知机层对特征信息维度进行变换交予空间变换自注意力模块处理，具体结构如图2所示，再由空间变换自注意力模块深度挖掘点云中点与点之间的空间相关性，最后将不同维度的特征信息聚合之后使用损失函数指导优化。图2中的点卷积层负责提取点云的局部信息，最大值池化层提取点云的全局信息，不同取样范围的点卷积层可以提高模型的抗干扰能力，增强鲁棒性。
33.本实施例的其他部分与实施例1相同，故不再赘述。
34.实施例3：本实施例在上述实施例1或2的基础上做进一步优化，图3为空间变换自注意力模块的结构示意图。空间变换自注意力模块主要由关系感知位置嵌入模块和多头空间变换自注意力模块构成，首先利用关系感知位置嵌入模块将点云的坐标处理成相对坐标嵌入到点
云特征中，即对点云特征进行位置编码，然后由多头空间变换自注意力模块减弱模型对空间变换的敏感性，并捕获点云内间的空间相关性和几何信息特征。
35.其中，关系感知位置嵌入模块由最远点采样模块、特征相减层、第六多层感知机层模块和特征相加层构成，特征相加层加完就是位置嵌入模块完成的特征，然后输入到多头空间变换自注意力模块，核心思路是通过最远点采样模块取出代表性的点，独立点云的绝对坐标与整体点云表达的语义内容关系比较薄弱，所以将原始的点坐标转换成相对坐标进行编码，这样能更好的捕获点之间的相关性，辅助后续的注意力机制模块。而多头空间变换自注意力模块主要由l2正则化层、特征相乘层、柔性最大值层、仿射变换层构成，映射公式如下：如下：如下：公式中f表示图3中的f1，即前面网络部分传输过来的特征信息，图3中的f2和f1相同，都是前面网络部分传输过来的特征信息，p表示需嵌入的位置信息，q、k、v分别表示自注意力机制中的查询特征（query）、关键信息（key）、待挖掘信息（value），q、k、v的值都等于，表示柔性最大值函数，atl是仿射变换函数，t表示计算出的变换张量，表示模块最后输出的特征信息。其中仿射变换层中特征映射公式如下：；公式中linear表示全连接层，flr表示全连接、层归一化层、修正线性单元层组成的模块层，clr表示卷积层、层归一层、修正线性单元层组成的模块层，其中卷积层的卷积核为1x1，为了保证点云数据的无序性，max表示求取最大值的函数，f为特征信息，a表示的单位矩阵，最后输出的变换张量t维度为，b表示批处理大小。多头空间变换自注意力模块核心思路是通过柔性最大值层对点云特征进行加权学习，并且在高维度空间中利用仿射变换层点云特征进行空间变换，用于解决点云的空间变换不变性。
36.本实施例的其他部分与上述实施例1或2相同，故不再赘述。
37.实施例4：本实施例在上述实施例1-3任一项的基础上做进一步优化，在进行下游分割任务之前，利用聚合模块将不同维度的特征信息拼接成一个特征块，如图4所示，f3、f4、f5表示不同维度的特征信息。因为在前传训练过程中点云信息会不断丢失，为了确保丢失造成的损失最小，最优的方法就是将低层低维度的信息与高层高维度的信息融合，而且模块中设置了插值模块，可以将特征信息进行上采样，增强边缘等细节信息，提高分割精度。
38.网络搭建完成，将迭代次数、学习率等相关超参数预设完整，每一次前向传播训练都利用损失函数计算一次损失值，然后利用学习率下降法不断迭代衰减损失值，优化模型权重参数，直到迭代次数等于最大迭代次数，中止训练，最后在真实场景下测试模型性能。
39.综上所述，本发明提出的焊缝自动检测方法，通过利用注意力机制捕获点云邻近点之间的关系，增强模型对每个点的判别能力，提高模型对目标点云的几何表达能力，达到
增强模型的点云分割精度。由实验可得，本发明提出的焊缝自动检测方法与已有的方法相比较，在工件焊接定位上表现效果更加良好，在复杂的环境下抗干扰性更好。
40.本实施例的其他部分与上述实施例1-3任一项相同，故不再赘述。
41.实施例5：本实施例在上述实施例1-4任一项的基础上做进一步优化，本实施例提出了一种基于空间变换自注意力模块的焊缝自动检测系统，包括采集单元、模型搭建单元、训练单元和检测单元，其中：采集单元，用于对焊件进行扫描生成三维点云数据，对三维点云数据中的焊缝进行真实焊缝点标注，生成模型训练集；模型搭建单元，用于搭建基于空间变换自注意模块的深度神经网络模型，一种基于空间变换自注意力模块的焊缝检测方法深度神经网络模型由依次连接的主干网络和下游分割网络构成，一种基于空间变换自注意力模块的焊缝检测方法主干网络包括点卷积模块、多层感知机层模块、空间变换自注意力模块和特征聚合模块，一种基于空间变换自注意力模块的焊缝检测方法下游分割网络包括多层感知机层模块和损失函数模块；训练单元，用于将三维点云数据输入深度神经网络模型中对深度神经网络模型进行训练，三维点云数据输入进主干网络后利用点卷积组合模块提取三维点云数据的局部信息，与此同时下游分割网络对三维点云数据进行下采样，然后主干网络通过多层感知机层对特征信息维度进行变换，变换后交予空间变换自注意力模块处理，再由空间变换自注意力模块深度挖掘三维点云中点与点之间的空间相关性，最后下游分割网络将不同维度的特征信息聚合之后使用损失函数计算预测点类别与真实点类别的损失值，利用学习率下降法不断迭代衰减损失值，优化深度神经网络模型权重参数，直到迭代次数等于最大迭代次数，中止训练，生成训练好的深度神经网络模型；检测单元，用于在实际场景下对焊件进行采集生成对应的三维点云数据，将对应的三维点云数据输入进训练好的深度神经网络模型中，通过深度挖掘分析得到焊缝特征并定位焊缝位置，将焊缝位置输送到机械臂或智能焊接设备进行焊接。
42.本实施例的其他部分与上述实施例1-3任一项相同，故不再赘述。
43.以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化，均落入本发明的保护范围之内。