一种基于空间变换自注意力模块的焊缝检测方法及系统与流程

技术特征：
1.一种基于空间变换自注意力模块的焊缝检测方法，其特征在于，包括以下步骤：步骤s1,对焊件进行扫描生成三维点云数据，对三维点云数据中的焊缝进行真实焊缝点标注，生成模型训练集；步骤s2,根据空间变换自注意模块捕获三维点云数据的空间结构，搭建基于空间变换自注意模块的深度神经网络模型，用模型训练集训练深度神经网络模型，并将迭代次数和学习率预设完整；所述深度神经网络模型由依次连接的主干网络和下游分割网络构成，所述主干网络包括点卷积模块、多层感知机层模块、空间变换自注意力模块和特征聚合模块，所述下游分割网络包括多层感知机层模块和损失函数模块；步骤s3，将三维点云数据输入深度神经网络模型中对深度神经网络模型进行训练，三维点云数据输入进主干网络后利用点卷积组合模块提取三维点云数据的局部信息，与此同时下游分割网络对三维点云数据进行下采样，然后主干网络通过多层感知机层对特征信息维度进行变换，变换后交予空间变换自注意力模块处理，再由空间变换自注意力模块深度挖掘三维点云中点与点之间的空间相关性，最后下游分割网络将不同维度的特征信息聚合之后使用损失函数计算预测点类别与真实点类别的损失值，利用学习率下降法不断迭代衰减损失值，优化深度神经网络模型权重参数，直到迭代次数等于最大迭代次数，中止训练，生成训练好的深度神经网络模型；步骤s4，在实际场景下对焊件进行采集生成对应的三维点云数据，将对应的三维点云数据输入进训练好的深度神经网络模型中，通过深度挖掘分析得到焊缝特征并定位焊缝位置，将焊缝位置输送到机械臂或智能焊接设备进行焊接。2.根据权利要求1所述的一种基于空间变换自注意力模块的焊缝检测方法，其特征在于，所述步骤s2包括：所述主干网络由依次连接的第一点卷积组合模块、第二点卷积组合模块、第一多层感知机层模块、第一空间变换自注意力模块、第二多层感知机层模块、第二空间变换自注意力模块、第三多层感知机层模块、第三空间变换自注意力模块和特征聚合模块构成，所述第一空间变换自注意力模块和第二空间变换自注意力模块分别连接特征聚合模块；所述下游分割网络包括依次连接的第四多层感知机层模块、第五多层感知机层模块和损失函数模块。3.根据权利要求1所述的一种基于空间变换自注意力模块的焊缝检测方法，其特征在于，包括：所述点卷积组合模块包括第一点卷积层、第二点卷积层、第一层归一化层、第二层归一化层、第一修正线性单元层、第二第一修正线性单元层、最大值池化层和特征拼接层；所述点卷积组合模块用于解决三维点云的无序性，增加三维点云的局部特征。4.根据权利要求3所述的一种基于空间变换自注意力模块的焊缝检测方法，其特征在于，包括：所述点卷积组合模块由串联的k=16的第一点卷积层、第一修正线性单元层、第一层归一化层，串联k=32的第二点卷积层和第二修正线性单元层、第二层归一化层，以及最大值池化层并行连接至特征拼接层构成，其中k为描述点卷积层的变量；所述点卷积层提取点云的局部信息，所述最大值池化层提取点云的全局信息。
5.根据权利要求1所述的一种基于空间变换自注意力模块的焊缝检测方法，其特征在于，包括：所述空间变换自注意力模块由关系感知位置嵌入模块和多头空间变换自注意力模块构成；首先利用关系感知位置嵌入模块将点云的坐标处理成相对坐标嵌入到点云特征中，即对点云特征进行位置编码，然后由多头空间变换自注意力模块减弱模型对空间变换的敏感性，并捕获点云内间的空间相关性和几何信息特征；所述空间变换自注意力模块用于解决三维点云的空间变换不变性，并深度挖掘三维点云中点与点之间的空间相关性。6.根据权利要求5所述的一种基于空间变换自注意力模块的焊缝检测方法，其特征在于，包括：所述关系感知位置嵌入模块由依次连接的最远点采样模块、特征相减层、第六多层感知机层模块和特征相加层构成。7.根据权利要求5所述的一种基于空间变换自注意力模块的焊缝检测方法，其特征在于，包括：所述多头空间变换自注意力模块包括第一l2正则化层、第二l2正则化层、特征相乘层、柔性最大值层和仿射变换层，所述第一l2正则化层和第二l2正则化层并联连接至特征相乘层、柔性最大值层和仿射变换层；所述柔性最大值层对点云特征进行加权学习，并且在高维度空间中利用仿射变换层点云特征进行空间变换。8.根据权利要求1所述的一种基于空间变换自注意力模块的焊缝检测方法，其特征在于，所述损失函数模块采用焦点损失函数作为模型的分割损失函数，计算预测点类别与真实点类别的损失值。9.一种基于空间变换自注意力模块的焊缝检测系统，其特征在于，包括采集单元、模型搭建单元、训练单元和检测单元，其中：采集单元，用于对焊件进行扫描生成三维点云数据，对三维点云数据中的焊缝进行真实焊缝点标注，生成模型训练集；模型搭建单元，用于搭建基于空间变换自注意模块的深度神经网络模型，所述深度神经网络模型由依次连接的主干网络和下游分割网络构成，所述主干网络包括点卷积模块、多层感知机层模块、空间变换自注意力模块和特征聚合模块，所述下游分割网络包括多层感知机层模块和损失函数模块；训练单元，用于将三维点云数据输入深度神经网络模型中对深度神经网络模型进行训练，三维点云数据输入进主干网络后利用点卷积组合模块提取三维点云数据的局部信息，与此同时下游分割网络对三维点云数据进行下采样，然后主干网络通过多层感知机层对特征信息维度进行变换，变换后交予空间变换自注意力模块处理，再由空间变换自注意力模块深度挖掘三维点云中点与点之间的空间相关性，最后下游分割网络将不同维度的特征信息聚合之后使用损失函数计算预测点类别与真实点类别的损失值，利用学习率下降法不断迭代衰减损失值，优化深度神经网络模型权重参数，直到迭代次数等于最大迭代次数，中止训练，生成训练好的深度神经网络模型；检测单元，用于在实际场景下对焊件进行采集生成对应的三维点云数据，将对应的三
维点云数据输入进训练好的深度神经网络模型中，通过深度挖掘分析得到焊缝特征并定位焊缝位置，将焊缝位置输送到机械臂或智能焊接设备进行焊接。10.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，该程序指令被处理器执行时实现权利要求1~8中任一项所述方法的步骤。

技术总结
本发明涉及三维点云分割技术领域，公开了一种基于空间变换自注意力模块的焊缝检测方法，对焊件进行扫描生成三维点云，对点云中的焊缝进行真实焊缝点标注，生成模型训练集；根据点云特性设计搭建深度神经网络模型，首先利用主干网络部分提取焊件的全局特征和局部特征，并分析挖掘点云内间的关联关系，然后聚合不同维度的特征信息用于后续特征分割任务；一种基于空间变换自注意力模块的焊缝检测方法主干网络部分主要由点卷积组合模块和空间变换自注意力模块构成，前者用于解决点云无序性，增加局部特征，后者用于解决点云的空间变换不变性，并深度挖掘点云中点与点之间的空间相关性。本发明还提供了一种基于空间变换自注意力模块的焊缝检测系统。意力模块的焊缝检测系统。意力模块的焊缝检测系统。


技术研发人员：刘杰 欧长阳 魏鹏飞 储长青 刘亮 彭通州 余贵杨 刘红成 骆俊 周彬
受保护的技术使用者：四川公路桥梁建设集团有限公司
技术研发日：2022.10.11
技术公布日：2022/11/8