一种基于弱监督结构残差学习的点云缺陷分割方法及系统与流程

本发明涉及三维点云处理、工业缺陷检测和深度学习，尤其是一种基于弱监督结构残差学习的点云缺陷分割方法及系统。

背景技术：

1、三维点云能够直接表达物体表面或空间结构的几何形态，已广泛应用于工业构件检测、管道内壁检测、隧道衬砌检测、墙面结构检测以及复杂结构表面质量检测等场景。在上述场景中，点云缺陷分割的目标是从大规模三维点集中识别裂缝、剥落、凹陷、孔洞、破损、凸起或局部异常区域，并输出缺陷区域对应的点级分割结果。

2、现有点云缺陷检测方法主要包括基于几何规则的方法和基于深度学习的方法。基于几何规则的方法通常利用曲率、法向量变化、点密度、局部平面拟合误差或高度差等手工特征判断异常区域，该类方法实现简单，但对扫描噪声、点云密度变化、结构表面起伏以及不同类型缺陷的适应能力较弱，阈值依赖明显，难以在复杂工业场景中稳定获得精细的缺陷分割结果。

3、基于深度学习的方法通常采用pointnet、pointnet++、dgcnn、point transformer等点云网络对点云进行特征学习，并输出点级分类或分割结果。该类方法能够提升复杂点云场景下的特征表达能力，但通常依赖大量点级精确标注数据。在实际工业检测场景中，点云规模大、缺陷边界不规则、缺陷区域占比小，逐点标注成本高、耗时长，并且标注结果容易受到人工经验影响。因此，完全依赖点级精标注的监督学习方法难以在低成本数据条件下快速落地。

4、为降低标注成本，部分方法采用框选、区域圈选或图像级标签等弱监督标注方式。然而，弱标注框通常只能表示框内存在缺陷，并不能表示框内所有点均为缺陷点。如果直接将弱标注框内的全部点作为缺陷点训练模型，会引入大量错误标签，导致缺陷边界模糊、正常区域误检和模型训练不稳定。此外，小面积缺陷在点云中占比较低，传统pointnet++中的最远点采样主要关注空间覆盖，容易在采样阶段遗漏局部高异常区域，进一步影响缺陷分割精度。

5、因此，现有技术仍存在以下问题：一是点级精确标注成本高，难以构建大规模监督训练数据；二是传统几何规则方法对噪声和场景变化敏感，泛化能力不足；三是弱标注框内部标签不纯，直接用于训练会造成监督噪声；四是常规点云网络缺少对局部正常结构与异常结构差异的显式建模，容易漏检小面积缺陷或误检结构边界区域。

6、基于上述问题，有必要提供一种能够利用弱标注框进行训练，并结合局部结构残差、三态伪标签和结构残差感知点云网络的缺陷分割方法，以在降低点级标注成本的同时，提高点云缺陷区域分割的准确性和稳定性。

技术实现思路

1、本发明针对现有技术存在的问题，而提出了一种基于弱监督结构残差学习的点云缺陷分割方法及系统。

2、本发明采用的技术手段如下：

3、一种基于弱监督结构残差学习的点云缺陷分割方法，包括以下步骤：

4、步骤1、获取用于训练的原始训练点云文件，对所述原始训练点云文件进行解析获得原始训练点云集合，对所述原始训练点云集合进行预处理获得处理后的训练点云集合；

5、步骤2、对获得的所述原始训练点云集合中的缺陷候选区域进行人工弱标注框操作获得弱标注框，并对所述弱标注框进行归一化处理生成归一化的弱标注框，将所述归一化的弱标注框映射至所述处理后的训练点云集合中，并根据所述归一化的弱标注框与所述处理后的训练点云集合中的每个处理点的坐标关系生成每个所述处理点的弱标注区域标志；

6、步骤3、对所述处理后的训练点云集合中每个所述处理点进行结构残差计算以获得每个所述处理点的结构残差；

7、步骤4、对所述处理后的训练点云集合中的每个所述处理点，构建点云连通图；在每个所述归一化的弱标注框内筛选候选缺陷点，基于所述点云连通图对每个所述候选缺陷点进行连通域分析，获得每个候选缺陷点所属连通域内的点云数量；基于所述弱标注区域标志、所述结构残差以及所述候选缺陷点所属连通域内的点云数量对每个所述处理点进行三态弱监督伪标签判断获取三态弱监督伪标签；

8、步骤5、对所述处理后的训练点云集合进行划分获得一个或多个训练点云块，针对每个所述训练点云块中的每个所述处理点构建处理点输入特征；构建用于点云结构残差感知弱监督的pointnet++缺陷分割网络模型，并设定所述pointnet++缺陷分割网络模型的采样策略、分组策略以及三态概率输出层；其中，设定所述三态概率输出层的输出为处理点的高置信正常、高置信缺陷和不确定状态的三态概率；

9、步骤6、以每个所述处理点的三态弱监督伪标签、结构残差、16点近邻关系以及弱标注框作为监督信息，构建pointnet++缺陷分割网络模型的三态分类损失函数、框级缺陷存在损失函数、残差一致性损失函数和局部平滑损失函数；

10、步骤7、设定所述pointnet++缺陷分割网络模型的训练次数、训练数据量、学习率以及权重衰减系数，将设定数量的所述训练点云块中处理点的输入特征输入至pointnet++缺陷分割网络模型中，采用所述三态分类损失函数、所述框级缺陷存在损失函数、所述残差一致性损失函数和所述局部平滑损失函数对pointnet++缺陷分割网络模型进行训练并更新网络参数获得第一阶段pointnet++缺陷分割网络模型及所述训练点云块中每个所述处理点的三态概率；

11、步骤8、利用所述第一阶段pointnet++缺陷分割网络模型对全部训练点云块重新执行前向推理，根据所述第一阶段pointnet++缺陷分割网络模型输出的三态概率，并结合弱标注区域标志和结构残差更新全部训练处理点的三态弱监督伪标签，获得更新后的三态弱监督伪标签；

12、以所述更新后的三态弱监督伪标签替换三态分类损失函数中的原三态弱监督伪标签，并以所述第一阶段pointnet++缺陷分割网络模型的网络参数作为初始参数；设定第二阶段训练的训练次数、训练数据量、学习率以及权重衰减系数，将所述训练点云块中处理点的输入特征输入至所述第一阶段pointnet++缺陷分割网络模型，采用所述三态分类损失函数、框级缺陷存在损失函数、残差一致性损失函数和局部平滑损失函数进行训练并更新网络参数，获得第二阶段pointnet++缺陷分割网络模型；

13、步骤9、获取待检测点云文件，对所述待检测点云文件进行解析获得待检测点云集合，对所述待检测点云集合进行预处理获得处理后的待检测点云集合；

14、将所述待检测点云集合中每个所述处理点的弱标注区域标志置为0；

15、对所述处理后的待检测点云集合中每个处理点进行结构残差计算以获得每个所述处理点的结构残差；

16、对所述处理后的待检测点云集合进行划分，获得一个或多个待检测点云块，针对每个所述待检测点云块中的每个处理点构建处理点输入特征；

17、将每个所述待检测点云块中的每个处理点的输入特征输入至所述第二阶段pointnet++缺陷分割网络模型进行点云缺陷分割处理，获得点云缺陷分割结果。

18、进一步地，对所述原始训练点云集合进行预处理包括归一化处理和体素降采样处理；

19、所述归一化处理过程如下：

20、由原始训练点云文件进行解析获得原始训练点云集合：

21、

22、其中，为第个原始点；为第个原始点的三维坐标向量；为强度值；为原始点数；当原始训练点云文件中不存在强度字段时，将置为0；

23、计算原始训练点云几何中心，计算公式为：

24、

25、尺度归一化因子的计算公式为：

26、

27、其中，原始训练点云中各原始点到点云几何中心的最大欧氏距离，即尺度归一化因子；当出点云数据异常信号并停止处理；

28、对原始训练点云集合中的每个原始点的三维坐标执行归一化：

29、

30、其中，表示第个原始点经平移和尺度归一化后得到的三维坐标向量；

31、所述体素降采样处理获得处理后的训练点云集合如下：

32、

33、其中，为处理后的训练点云集合中第个处理点；为第个处理点的归一化后三维坐标向量；为第个处理点的强度值；为处理后的训练点云集合中处理点数。

34、进一步地，对所述弱标注框进行归一化处理生成归一化的弱标注框过程如下：

35、

36、

37、其中，表示采用的坐标归一化变换；表示原始坐标系中的任一三维坐标向量；表示原始坐标系中的第个弱标注框；表示归一化坐标系中的第个弱标注框；表示对坐标向量执行归一化变换所得的坐标向量；表示坐标向量位于第个原始弱标注框内；为弱标注框索引；

38、并根据所述归一化的弱标注框与所述处理后的训练点云集合中的每个处理点的坐标关系生成每个所述处理点的弱标注区域标志过程如下；

39、

40、

41、其中，表示处理后的训练点云集合中第个处理点位于至少一个弱标注框内；表示处理后的训练点云集合中第个处理点位于全部弱标注框之外。

42、进一步地，对所述处理后的训练点云集合中每个处理点进行结构残差计算以获得每个所述处理点的结构残差过程如下：

43、针对处理后的训练点云集合中的每个处理点，以其个最近邻处理点构成局部邻域，并计算局部邻域几何中心和协方差矩阵：

44、

45、

46、其中，为局部邻域几何中心，为局部邻域协方差矩阵；对局部邻域协方差矩阵执行特征值分解，获得满足的三个特征值，将最小特征值对应的单位特征向量作为局部法向量，并计算原始局部曲率：

47、

48、其中，稳定常数设定为；以和构建第个处理点的局部正常结构基面，并分别计算原始距离残差、原始法向变化残差、局部点密度及原始点密度变化残差：

49、

50、

51、

52、

53、其中，表示第个处理点相对于局部正常结构基面的原始距离残差；表示局部法向量与第个处理点相对局部邻域几何中心的位移向量的内积，外侧绝对值表示取所述内积的绝对值；表示原始法向变化残差；表示局部法向量的转置；表示局部邻域内第个处理点的局部单位法向量；表示第个处理点与其第近邻点之间的欧氏距离；表示第个处理点的第近邻点的三维坐标向量；表示欧氏范数；表示局部点密度；表示单位球体积系数, 固定取值为4.1887902；表示原始密度变化残差；表示第个处理点的局部邻域内各邻域点局部密度的中位数；

54、对原始距离残差、原始局部曲率、原始法向变化残差和原始密度变化残差分别执行中位数绝对偏差归一化；以表示上述四类原始特征中的任一类原始特征，且，计算：

55、

56、

57、

58、其中，表示原始特征在当前处理点云中的中位数；表示相应原始特征的中位数绝对偏差；表示将计算结果截断至区间；表示归一化后的相应特征；

59、得到归一化距离残差、归一化局部曲率、归一化法向变化残差和归一化密度变化残差；将局部点密度归一化为网络输入特征：

60、

61、其中，表示第个处理点的归一化局部点密度；和示当前处理点云中局部点密度的最小值和最大值；基于归一化距离残差、归一化局部曲率、归一化法向变化残差和归一化密度变化残差生成结构残差：

62、

63、

64、其中，为第个处理点相对于局部正常结构的偏离程度，为结构残差场。

65、进一步地，所述步骤4的具体过程如下：对所述处理后的训练点云集合中的每个所述处理点，基于每个所述处理点的16个最近邻关系构建点云连通图；在每个所述归一化的弱标注框内筛选的处理点作为候选缺陷点，基于所述点云连通图对每个所述候选缺陷点进行连通域分析，获得每个候选缺陷点所属连通域的点云数量；不满足且的处理点，将置为0；

66、基于所述弱标注区域标志、所述结构残差以及所述候选缺陷点所属连通域的点云数量对每个所述处理点进行三态弱监督伪标签判断获取三态弱监督伪标签如下：

67、

68、

69、

70、其中，表示高置信缺陷点；表示高置信正常点；表示不确定点。

71、进一步地，对所述处理后的训练点云集合进行划分获得一个或多个训练点云块，针对每个所述训练点云块中的每个所述处理点构建处理点输入特征具体如下：

72、对所述处理后的训练点云集合进行划分为一个或多个固定包含个处理点的训练点云块，当处理点数不少于8192时，采用最远点采样依次选择点云块中心，并针对每个块中心选取距离最近的8192个处理点构成一个点云块，直至全部处理点至少被一个点云块覆盖；相邻点云块允许重叠；当处理点数少于8192时，将全部处理点加入点云块，并按照最远点采样顺序重复取点直至补足8192个点；构建每个处理点的处理点输入特征为：

73、

74、其中，为第个处理点的局部法向量在归一化点云坐标系的轴、轴和轴方向上的分量；

75、所述pointnet++缺陷分割网络模型的采样策略为混合采样，具体如下：

76、pointnet++缺陷分割网络模型的每层集合抽象层的中心点集合由空间覆盖采样集合、高结构残差采样集合和弱标注区域采样集合组成：

77、

78、在当前层全部输入点中，按照最远点采样顺序选取；按照结构残差从大到小选取；按照弱标注区域采样评分从大到小选取；其中，弱标注区域采样评分如下：

79、

80、pointnet++缺陷分割网络模型的三层集合抽象层的中心采样点集合依次如下：第一层从8192个输入点中选取512个空间覆盖采样点、256个高结构残差采样点和256个弱标注区域采样点，得到1024个中心点；第二层从第一层的1024个中心点中分别选取128个空间覆盖采样点、64个高结构残差采样点和64个弱标注区域采样点，得到256个中心点；第三层从第二层的256个中心点中分别选取32个空间覆盖采样点、16个高结构残差采样点和16个弱标注区域采样点，得到64个中心点；每一层均先合并三类采样点并删除重复点，再按照该层最远点采样顺序从尚未入选的点中补足至设定中心点数量；

81、所述pointnet++缺陷分割网络模型的分组策略如下：

82、设置pointnet++缺陷分割网络模型的三层集合抽象层的采样点集合的查询半径依次为0.08、0.16和0.32，邻域点数量依次为32、64和128进行处理点查询；当查询半径内点数多于设定数量时，按照欧氏距离由近到远保留最近的对应数量处理点；当半径内点数不足时，继续从半径外按照欧氏距离由近到远补足处理点；针对每个查询获得的处理点集合，按照邻域点的结构残差从小到大排序；将排序靠前的一半设置成正常支撑邻域，将排序靠后的一半设置成异常候选邻域。

83、进一步地，构建pointnet++缺陷分割网络模型的三态分类损失函数、框级缺陷存在损失函数、残差一致性损失函数和局部平滑损失函数过程如下：

84、三态分类损失采用带类别权重的交叉熵：

85、

86、其中，、、，分别表示高置信正常类别、高置信缺陷类别和不确定类别的损失权重；表示三态分类损失；表示当前训练点云块包含的处理点数量；表示与第个处理点的三态弱监督伪标签对应的类别权重；表示网络将第个处理点预测为伪标签所指类别的概率，其中上标为类别索引而非乘方；、和分别为第个处理点属于高置信正常、高置信缺陷和不确定状态的概率，三者之和为1；

87、框级缺陷存在损失函数：

88、

89、其中，表示框级缺陷存在损失；为当前点云块内有效弱标注框数量；当时，将置为0；表示第个有效弱标注框的框级缺陷存在概率，其计算如下：

90、

91、其中，表示第个有效弱标注框内的处理点索引集合；表示从中选取的缺陷概率最高的个处理点的索引集合；表示集合中的处理点数量；

92、令高残差框内点集合和低残差正常点集合分别为：

93、

94、残差一致性损失函数为：

95、

96、其中，表示残差一致性损失；表示弱标注框内结构残差不小于0.60的高残差点索引集合；表示结构残差不大于0.25的低残差正常点索引集合；和分别表示相应集合中的处理点数量；

97、局部平滑损失函数为：

98、

99、其中，表示局部平滑损失；表示第个处理点与其第个邻接点之间基于空间距离和法向量差异确定的相似性权重；表示第个处理点的16近邻点索引集合；计算如下：

100、

101、其中，表示以自然常数为底的指数函数；式中距离项和法向量差异项均采用欧氏范数的平方；

102、总训练损失函数为：

103、

104、其中，表示总训练损失函数。

105、进一步地，所述步骤8还包括若某一所述处理点位于多个所述训练点云块中时，对所述处理点的三态概率通过如下公式取均值：

106、

107、其中，表示第个处理点属于第类状态的跨块平均预测概率；表示包含第个处理点的训练点云块索引集合；表示集合中的训练点云块数量；表示训练点云块索引；表示第个处理点在第个训练点云块中被预测为第类状态的概率；若第个处理点仅位于一个训练点云块中，则直接采用该训练点云块输出的三态概率；

108、根据每个所述处理点的三态概率并结合弱标注区域标志和结构残差更新三态弱监督伪标签，其中，位于多个训练点云块中的处理点采用其跨块平均预测概率，位于一个训练点云块中的处理点采用该训练点云块输出的预测概率：

109、

110、

111、

112、以更新后的三态弱监督伪标签替换三态分类损失函数中的原三态弱监督伪标签，并以第一阶段pointnet++缺陷分割网络模型的网络参数作为初始参数，继续采用所述三态分类损失函数、框级缺陷存在损失函数、残差一致性损失函数和局部平滑损失函数对训练点云块进行第二阶段训练，更新网络参数后获得第二阶段pointnet++缺陷分割网络模型。

113、进一步地，所述步骤1还包括在归一化处理的所述原始训练点云集合中针对的每个原始训练点搜索处理后的训练点云集合中的最近邻处理点，并记录映射索引：

114、

115、其中，为第个原始点对应的最近邻处理点索引；

116、所述步骤9还包括若待检测点云块中的某个处理点位于多个待检测点云块中，对所述处理点的三态概率通过如下公式取均值：

117、

118、其中，表示包含第个处理点的待检测点云块索引集合；表示集合中的待检测点云块数量；表示第个处理点在第个待检测点云块中被预测为第类状态的概率；表示融合后的第类状态预测概率；

119、根据获取的所述处理点的三态概率均值和结构残差生成初始缺陷掩码：

120、

121、

122、在基于每个所述处理点的16个最近邻关系构建点云连通图时，对满足的处理点执行连通域分析，删除点数小于20的缺陷连通域，得到最终处理点缺陷掩码；

123、根据步骤1中记录的最近邻处理点索引还原原始点云缺陷掩码：

124、

125、其中，表示第个原始点的缺陷掩码；表示与第个原始点具有最近邻映射关系的处理点的最终缺陷掩码；

126、并输出带缺陷标签字段的点云文件：

127、

128、

129、其中，表示包含原始三维坐标、原始强度值和缺陷掩码字段的输出点云集合；表示原始点云中缺陷点的数量。

130、一种基于弱监督结构残差学习的点云缺陷分割系统，用于执行本发明所述基于弱监督结构残差学习的点云缺陷分割方法。

131、与现有技术比较，本发明公开的基于弱监督结构残差学习的点云缺陷分割方法及系统具有以下有益效果：

132、（1）降低点云缺陷分割的标注成本：本技术采用人工弱标注框作为训练监督来源，无需对点云进行逐点精确标注，能够减少工业点云缺陷数据集构建过程中的人工标注工作量。

133、（2）提高弱监督条件下的训练可靠性：本技术结合结构残差、弱标注区域和连通域约束生成高置信缺陷点、高置信正常点和不确定点三态伪标签，避免直接将弱标注框内全部点作为缺陷点，从而降低错误标签对模型训练的影响。

134、（3）增强点云缺陷区域的识别能力：本技术通过局部正常结构基面、曲率、法向变化和密度变化构建结构残差场，并在pointnet++特征提取过程中引入结构残差感知采样和正常异常对比邻域分组，使模型能够更充分地学习缺陷区域相对于正常结构的偏离特征。

135、（4）提高点云缺陷分割结果的稳定性和实用性：本技术通过结构残差一致性伪标签迭代和人工复核闭环更新机制，持续优化模型参数，并输出带缺陷标签字段的点云文件、缺陷区域可视化结果和缺陷点数量统计结果，便于后续缺陷复核、质量评估和运维决策。