一种融合投影点集分割网络对工件表面缺陷检测的方法与流程

1.本发明属于机器视觉领域，尤其涉及一种融合投影点集分割网络对工件表面缺陷检测的方法。


背景技术：

2.我国作为制造业大国，曲面工件表面的缺陷检测多以通过质检员肉眼对比待测件与标准件的差异来判断是否存在缺陷和定义缺陷种类这种人工检测为主，这种检测方法不仅费时费力且误检率高。随着技术的发展，基于机器视觉的工件表面缺陷检测技术能适应复杂恶劣的环境且精度高效率高，所以被越来越多的用于工业智造领域。
3.鉴于铸造型曲面工件构形特殊，检测时只能从外表面进行，缺陷特征提取和缺陷检测模型的搭建变得十分关键，与平面工件可以很容易借助相关算法将三维数据拟合成平面模型进行检测不同，双曲面甚至多曲面工件本身就难以通过相关算法进行曲面拟合，且在拟合过程中精度和效率都无法得到保证，传统依靠点云配准、点云分割的缺陷检测方法费时费力，且误检率高，并且无法使用于凹凸型同质区域分割场景。
4.因此，提出一种融合投影点集分割网络对工件表面缺陷检测的方法，以解决上述问题。


技术实现要素：

5.为了解决上述技术问题，本发明提供一种融合投影点集分割网络对工件表面缺陷检测的方法，其检测方法包括以下步骤：
6.步骤1：对点云网络分割分支改进，以此为基础搭建点级凹凸型缺陷分割模型，即点集分割网络；
7.步骤2：搭建投影网络，将其与点集凹凸型缺陷分割模型融合，将二者得到的全局特征描述符聚合；
8.步骤3：对于聚合信息引入偏置注意力机制平衡中间特征权重，再与全局特征描述符聚合，共同学习点特征，完成缺陷分割任务。
9.优选的，所述步骤1中对搭建点级凹凸型缺陷分割模型，是对于给定的n个具有f维输入特征的曲面工件表面点云坐标，进行凹凸型缺陷分割，进而为每个点标注凹型、正常型和凸型类别标签，完成细粒度缺陷检测。
10.优选的，所述步骤1中的点集分割网络的搭建，由两部分构成：改进后的点云网络的分割分支和分割网络模块，其中点云网络的分割分支的改进点包括：
11.(1)、平均池化替代全局池化；
12.(2)、融入方位信息进行多特征学习；
13.(3)、将模型最后的交叉熵损失和softmax激活函数替换为分割网络模块。
14.优选的，所述分割网络模块的搭建步骤为：
15.将全局特征描述符和点云网络的分割分支中经特征转换模块特征对齐后，得到的
64维局部特征进行聚合；
16.通过结构为{512,256,128}的mlp和结构为{128,c}的mlp得到每个点云坐标的缺陷语义分割结果，此外，分割网络模块中包含输出层；
17.每个曲面工件点云中所含点云坐标的缺陷种类c是输出层的输出数据，通过log softmax分类器输出每个点云坐标的缺陷语义分割结果；
18.其中，模型采用cross
‑
entropy loss函数计算预测值与真实值间的误差，并通过误差反向传播来修正，进而完成模型的训练。
19.优选的，所述投影网络由以下三个模块构成：
20.(1)、基于法向量的镜像投影转换模块；
21.(2)、基于密度的划分转换模块；
22.(3)、二维卷积转换模块；
23.优选的，所述投影转换模块的功能是将三维点云根据法向量网络学习到的法向量进行household镜像投影变换为二维点云；所述划分转换模块的功能是将二维点云根据密度划分为32
×
32的伪二维图像形式；所述二维卷积模块的功能是进行特征提取。
24.优选的，所述步骤2的具体步骤为：
25.步骤21：投影网络将三维点云通过法向量镜像投影转换为二维点云，并利用密度其划分到32
×
32的网格中，然后通过二维卷积网络进行特征提取；
26.步骤22：将投影网络和改进的点云分割网络得到的全局特征描述符聚合，得到总体全局特征描述符，并输出凹凸缺陷类别，得到融合投影点集的点云分割网络；
27.其中，融合投影点集的点云分割网络的组成部分包括输入层、输出层、投影网络、点云分割网络和全局特征聚合模块。
28.优选的，所述步骤3中偏置注意力机制的架构部分，抽取自投影网络的8维和点云网络分割分支的4、64维的局部特征，在特征聚合后通过偏置注意力机制进行了特征权重分配，平衡了不同层抽取的局部特征对总特征的影响。
29.与现有技术相比，本发明的有益效果为：本发明针对点集分割网络忽略不同视角的方位先验知识，导致损失一部分局部特征信息的问题，提出融合投影点的分割网络，考虑到其忽略了局部信息与全局信息聚合，提出抽取点云网络分支和投影网络中的局部中间特征与全局特征描述符进行信息聚合的方法，另外引入偏置注意力机制，提高了分割精度，这种相对简单的网络构型更易于移动端部署，在成本较低的情况下有助于实现工厂曲面工件的自动化缺陷检测。
附图说明
30.图1为本发明的总体网络架构图；
31.图2为本发明的点集分割网络架构图；
32.图3为本发明的镜像投影转换模块架构图；
33.图4为本发明的划分转换模块模拟图；
34.图5为本发明的二维卷积模块架构图；
35.图6为本发明的偏置注意力机制架构图；
36.图7为本发明的缺陷凹凸型分割应用的可视化展示图。
具体实施方式
37.以下结合附图对本发明做进一步描述：
38.实施例：
39.如附图1所示，本发明选取融合投影点集的点云分割网络作为骨干网络，涵盖了三个核心的组成部分，包括输入层、改进的点集分割网络和投影网络，其中图1下方所框部分为引入的偏置注意力机制，在共同作用下提供一种融合投影点集分割网络对工件表面缺陷检测的方法，所述方法步骤如下：
40.步骤1：
41.如附图2所示，输入层以曲面工件表面点云切片的n个点作为输入，每个点包含x、y、z三维空间特征，分别代表x轴坐标、y轴坐标和z轴坐标；
42.对点云网络的分割分支进行改动，该分支的输入转换模块和特征转换模块均有核心架构t
‑
net，它是一个微点云网络，通过学习3
×
3的变换矩阵将输入点云规范化对齐，由一个结构为{64,128,1024}的共享权重的mlp、一个池化操作和一个结构为{512,256,9}的mlp组成，输出矩阵初始为单位阵，对此进行的一个改进是最大池化被替换为平均池化，综合点云信息找到缺陷的全局特征描述符；
43.另一个改动是基于点云切片构建预测数据集的基础上，标记并获取了点云切片在曲面工件点云中的方位偏移信息，在输入转换模块输出的三维特征上加上一维方向信息d进行多特征学习，具体添加策略如下：
44.(1)改变输入数据的特征维度，将其由(x,y,z)变为(x,y,z,d)，其中d表示此点云切片在曲面点云中的方位；
45.(2)为避免方位信息维度过多引起模型训练参数和计算量增加，d选用单特征维度，遵循x轴：y轴按3:2比例切分的原则，一个曲面点云被切割成s个点云切片，因此以0
‑
s来标记方位信息，以x为行，y为列，按照(x
‑
1)
×
(y
‑
1)的策略融入方位特征；
46.(3)由于输入转换模块中t
‑
net输出的转换矩阵是为了让点云转换到易于预测的角度，因此维持原输入模块不变，在其输出对齐的曲面切片点云后再融合对应方位信息进行多特征学习。
47.将点云网络分割分支的交叉熵损失函数和softmax替换为分割网络模块，将全局特征描述符和point
‑
prenet分支中经特征转换模块特征对齐后得到的64维局部特征进行聚合，然后通过结构为{512,256,128}的mlp和结构为{128,c}的mlp得到每个点云坐标的缺陷语义分割结果，此外，该模块中包含输出层。每个曲面工件点云中所含点云坐标的缺陷种类c是输出层的输出数据，通过log softmax分类器输出每个点云坐标的缺陷语义分割结果。
48.步骤2：
49.为了解决难以捕获多视角特征的问题，构造投影网络，由三个模块组成：投影镜像转换模块、划分转换模块和二维卷积模块。
50.其中，投影镜像转换模块的功能是在保持点云形状特性的同时，将三维点云镜像投影为多个二维点云，其组成结构如附图3所示，该模块通过n
‑
net学习4
×
3的法向量矩阵。其中，每个1
×
3的法向量可构成一个过原点的三维平面，4为投影面个数，矩阵公式为：
[0051][0052]
平面方程为：
[0053][0054]
原三维点云坐标为(x,y,z)，投影点坐标为(x',y',z')，三维平面方程为：
[0055]
ax by cz＝0
[0056]
利用以下方公式求解(x',y',z')：
[0057][0058]
之后对(x',y',z')进行householder变换，变换为二维点云(x”,y”,0)。
[0059]
投影网络的划分转换模块功能为基于密度的划分转换，即仅取点云密度这一特征值，通过将每个二维网格划定在长度为宽度为的空间内，取每个网格内投影二维点云坐标点的数量为此网格的密度特征，得到二维密度划分图，其中划分转换的实例如附图4所示。
[0060]
如附图5所示，最后二维卷积转换模块的输入为经过划分所确定的32
×
32
×
4的二维图像，其中4为投影面的个数，模块以4作为初始输入通道，通过两个卷积层和两个池化层得到全局特征描述符，达到特征提取的目的，如附图1所示，将投影网络和点集分割网络得到的全局特征描述符聚合，得到总体全局特征描述符，并输出缺陷分割结果。
[0061]
步骤3：
[0062]
为了考虑到不同局部特征权重对点特征的影响，引入了更适合点云学习的偏置注意力机制平衡中间特征权重，再与全局特征描述符聚合，共同学习点特征，完成缺陷分割任务。
[0063]
如附图6所示，为偏置注意力机制架构，其输入和输出均为n
×
f的特征矩阵，其中n为点云坐标的个数，f为特征维度。开关表示选择sa还是oa，虚线表示选择sa，sa先对输入特征矩阵进行线性变换，通过softmax计算每个点云坐标点不同特征的相似度，给每个特征分配权重得到新的注意力特征图。然后经过线性变换、归一化和relu激活函数变换得到新的基于sa的特征矩阵，其计算公式为：
[0064]
f
out
＝sa(f
in
)＝lbr(f
sa
) f
in
[0065]
oa的计算公式为：
[0066]
f
out
＝oa(f
in
)＝lbr(f
in
‑
f
sa
) f
in
[0067]
oa与sa的输入输出相同，在初始阶段，也是先对输入特征矩阵进行线性变换，并把得到的特征矩阵与转置的特征矩阵相乘。但不同的是，oa通过逐特征之间的减法计算sa特征和输入特征之间的偏差，并将偏移量馈送给lbr以代替sa得到注意力特征图。f
in
‑
f
sa
是隐式的拉普拉斯算子，在获取偏置注意力图时，用softmax l1
‑
norm代替了sa中的单纯归一化操作。
[0068]
如附图1所示，其中图1中的下半部分展示了偏置注意力机制，抽取自投影网络的8维和抽取自改进的点云网络分割分支的4、64维局部特征在特征聚合后通过偏置注意力机制进行了特征权重分配，平衡了不同层抽取的局部特征对总特征的影响。
[0069]
对比例1：
[0070]
为了验证本发明方法的优越性，在表面具有缺陷的转子点云数据上与其它方法进行了对比实验：
[0071]
数据选取的是一个凹凸型分布较为均匀的转子表面点云，所有实验均采用pytorch学习库在geforce gtx 1080/pcle/sse2环境中实施。
[0072]
需要特殊说明的是，为了解决表面点云数据量过大但缺陷占比小而难以直接进行缺陷分割的问题，实验在缺陷分割前引入基于点云切片的缺陷比例预测模型point
‑
prenet，该模型为本发明中点集分割网络的调整产物，二者主体一致，仅输出层用mse损失和sigmoid激活函数来代替交叉熵损失和softmax，以此来输出范围为[0,1]的缺陷比例预测值，同理fpp
‑
prenet为本发明中融合网络的调整产物，整理预测所得缺陷比例超过千分之五的点云切片作为实验输入数据，供下方缺陷分割的对照实验使用。
[0073]
如图7所示，(a)为用cloud compare软件手工基于线条为点云坐标打上凹凸型标签的待测件转子曲面点云；(b)为point
‑
prenet处理后，点集分割网络的分割结果；(c)为fpp
‑
prenet处理后，融合网络分割的结果；(d)为为fpp
‑
prenet处理后，增加了偏置注意力机制的融合网络分割的结果。
[0074]
实验表明，基于法向量的投影镜像网络的引入在保证直接以点云作为输入完成端到端学习的前提下，减少了比例预测误差，提高了分割精度，同时，偏置注意力机制的引入在一定程度上了修正了特征权重，提升了分割准度，可以准确处理曲率变化较大的表面区域。
[0075]
在本发明的描述中，需要理解的是，术语“同轴”、“底部”、“一端”、“顶部”、“中部”、“另一端”、“上”、“一侧”、“顶部”、“内”、“前部”、“中央”、“两端”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0076]
此外，术语“第一”、“第二”、“第三”、“第四”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量，由此，限定有“第一”、“第二”、“第三”、“第四”的特征可以明示或者隐含地包括至少一个该特征。
[0077]
在本发明中，除非另有明确的规定和限定，术语“安装”、“设置”、“连接”、“固定”、“旋接”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以
是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
[0078]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及等同物限定。