一种融合投影点集分割网络对工件表面缺陷检测的方法与流程

技术特征：
1.一种融合投影点集分割网络对工件表面缺陷检测的方法，其特征在于，其检测方法包括以下步骤：步骤1：对点云网络分割分支改进，以此为基础搭建点级凹凸型缺陷分割模型，即点集分割网络；步骤2：搭建投影网络，将其与点集凹凸型缺陷分割模型融合，将二者得到的全局特征描述符聚合；步骤3：对于聚合信息引入偏置注意力机制平衡中间特征权重，再与全局特征描述符聚合，共同学习点特征，完成缺陷分割任务。2.如权利要求1所述的一种融合投影点集分割网络对工件表面缺陷检测的方法，其特征在于，所述步骤1中对搭建点级凹凸型缺陷分割模型，是对于给定的n个具有f维输入特征的曲面工件表面点云坐标，进行凹凸型缺陷分割，进而为每个点标注凹型、正常型和凸型类别标签，完成细粒度缺陷检测。3.如权利要求1所述的一种融合投影点集分割网络对工件表面缺陷检测的方法，其特征在于，所述步骤1中的点集分割网络的搭建，由两部分构成：改进后的点云网络的分割分支和分割网络模块，其中点云网络的分割分支的改进点包括：(1)、平均池化替代全局池化；(2)、融入方位信息进行多特征学习；(3)、将模型最后的交叉熵损失和softmax激活函数替换为分割网络模块。4.如权利要求3所述的一种融合投影点集分割网络对工件表面缺陷检测的方法，其特征在于，所述分割网络模块的搭建步骤为：将全局特征描述符和点云网络的分割分支中经特征转换模块特征对齐后，得到的64维局部特征进行聚合；通过结构为{512,256,128}的mlp和结构为{128,c}的mlp得到每个点云坐标的缺陷语义分割结果，此外，分割网络模块中包含输出层；每个曲面工件点云中所含点云坐标的缺陷种类c是输出层的输出数据，通过log softmax分类器输出每个点云坐标的缺陷语义分割结果；其中，模型采用cross
‑
entropy loss函数计算预测值与真实值间的误差，并通过误差反向传播来修正，进而完成模型的训练。5.如权利要求1所述的一种融合投影点集分割网络对工件表面缺陷检测的方法，其特征在于，所述投影网络由以下三个模块构成：(1)、基于法向量的镜像投影转换模块；(2)、基于密度的划分转换模块；(3)、二维卷积转换模块。6.如权利要求5所述的一种融合投影点集分割网络对工件表面缺陷检测的方法，其特征在于，所述投影转换模块的功能是将三维点云根据法向量网络学习到的法向量进行household镜像投影变换为二维点云；所述划分转换模块的功能是将二维点云根据密度划分为32
×
32的伪二维图像形式；所述二维卷积模块的功能是进行特征提取。7.如权利要求1所述的一种融合投影点集分割网络对工件表面缺陷检测的方法，其特征在于，所述步骤2的具体步骤为：
步骤21：投影网络将三维点云通过法向量镜像投影转换为二维点云，并利用密度其划分到32
×
32的网格中，然后通过二维卷积网络进行特征提取；步骤22：将投影网络和改进的点云分割网络得到的全局特征描述符聚合，得到总体全局特征描述符，并输出凹凸缺陷类别，得到融合投影点集的点云分割网络；其中，融合投影点集的点云分割网络的组成部分包括输入层、输出层、投影网络、点云分割网络和全局特征聚合模块。8.如权利要求1所述的一种融合投影点集分割网络对工件表面缺陷检测的方法，其特征在于，所述步骤3中偏置注意力机制的架构部分，抽取自投影网络的8维和点云网络分割分支的4、64维的局部特征，在特征聚合后通过偏置注意力机制进行了特征权重分配，平衡了不同层抽取的局部特征对总特征的影响。

技术总结
本发明提供一种融合投影点集分割网络对工件表面缺陷检测的方法，其检测方法包括以下步骤：对点云网络分割分支改进，以此为基础搭建点级凹凸型缺陷分割模型，即点集分割网络；搭建投影网络，将其与点集凹凸型缺陷分割模型融合，将二者得到的全局特征描述符聚合；对于聚合信息引入偏置注意力机制平衡中间特征权重，再与全局特征描述符聚合，共同学习点特征，完成缺陷分割任务。本发明提出抽取点云网络分支和投影网络中的局部中间特征与全局特征描述符进行信息聚合的方法，另外引入偏置注意力机制，提高了分割精度，这种相对简单的网络构型更易于移动端部署，在成本较低的情况下有助于实现工厂曲面工件的自动化缺陷检测。于实现工厂曲面工件的自动化缺陷检测。于实现工厂曲面工件的自动化缺陷检测。


技术研发人员：张瑞勋 李雨萌 陶思凯
受保护的技术使用者：南开大学
技术研发日：2021.07.26
技术公布日：2021/12/2