融合图神经网络与扩散模型的涂胶质量检测方法及系统

本发明属于工业视觉检测与智能制造，具体涉及一种融合图神经网络与扩散模型的涂胶质量检测方法及系统。

背景技术：

1、涂胶工艺是现代制造业中的关键工序之一，广泛应用于汽车制造、电子封装、航空航天以及新能源电池等领域。涂胶质量直接影响产品的密封性、结构强度、耐腐蚀性及外观品质。因此，对涂胶质量进行高效、准确的检测具有重要的工程价值与经济效益。

2、目前，涂胶质量检测主要涉及两个技术维度：一是基于物理测量的几何参数检测，二是基于视觉感知的缺陷识别检测。在物理测量维度，利用线结构光扫描获取胶缝截面的点云数据，通过分析点云的空间分布特征提取胶缝的几何参数。该过程通常包括轮廓数据预处理、有效点筛选、宏观结构分段、胶缝边界定位以及几何参数计算等步骤。所提取的参数包括胶缝宽度、胶缝高度、胶缝中心点到高度与宽度交点的距离。此外，对于贴合面涂胶场景，还需测量胶层相对于工件基体的堆积高度，该测量通过建立基体参考平面并计算胶层顶部高度与参考平面之间的高度差实现。上述物理量从几何角度定量表征了涂胶的形貌特征，为质量判定提供了客观的数值依据。在视觉检测维度，主要利用工业相机获取涂胶表面的二维图像，通过深度学习目标检测算法对图像中的缺陷进行定位与分类。该过程通常包括图像采集、数据增强、数据标注、模型训练与模型部署等环节。所检测的缺陷类型包括涂胶不均匀、涂胶不连续、存在气泡或多余物等胶缝缺陷，以及胶帽封包挤出不规则、注胶量过低、位置偏置等封包缺陷。目标检测模型通过对大量标注样本的学习，建立从图像像素到缺陷类别及空间位置的映射关系，实现对涂胶表面缺陷的自动化识别。上述两个维度分别从几何量测与视觉感知的角度对涂胶质量进行表征，二者相互补充，共同构成涂胶质量检测的完整技术体系。

3、然而，在实际工业场景中，线结构光扫描获得的原始轮廓数据常受到反光、遮挡、边缘缺失及测量异常等因素的干扰，导致有效点筛选、边界定位及参数计算等环节存在稳定性挑战。此外，离散采样点表示的轮廓曲线在局部缺失区域的插值重建以及亚像素级精度的几何参数提取方面仍有提升空间。在视觉检测层面，涂胶缺陷样本的采集与标注成本较高，且缺陷形态多样、尺度差异大，尤其是微小缺陷在复杂背景下的检测稳定性仍面临挑战。

4、因此，如何在保持物理测量精度与视觉检测效率的基础上，增强各维度方法的鲁棒性与信息表征能力，是当前涂胶质量检测技术领域亟待解决的问题。

5、发明目的

6、本发明的目的在于针对上述现有技术中的问题，提供一种融合图神经网络与扩散模型的涂胶质量检测方法及系统，通过引入图神经网络和条件潜在扩散模型，能够同时提供胶缝几何参数和涂胶表面缺陷类型，为涂胶工艺的质量评估和闭环控制提供全面、可靠的决策依据。

7、为了实现上述目的，本发明有如下的技术方案：

8、第一方面，提供一种融合图神经网络与扩散模型的涂胶质量检测方法，包括：

9、采集涂胶部位的线结构光轮廓点云和二维表面图像；

10、将线结构光轮廓点云输入预先构建的图神经网络，利用图神经网络对线结构光轮廓点云进行拓扑语义分割，以定位胶缝边界，并根据定位得到的胶缝边界计算胶缝的几何参数；

11、利用预先构建的条件潜在扩散模型生成目标缺陷类型的增强样本集，采用目标缺陷类型的增强样本集训练目标检测网络，所述目标检测网络包含小目标动态聚焦检测头；

12、将二维表面图像输入训练后的目标检测网络，通过小目标动态聚焦检测头对涂胶表面缺陷进行定位与分类，输出涂胶表面缺陷类型与位置信息；

13、根据胶缝的几何参数以及涂胶表面缺陷类型与位置信息，生成涂胶质量检测结果。

14、作为一种优选的方案，所述利用图神经网络对线结构光轮廓点云进行拓扑语义分割的步骤包括：

15、设单帧轮廓包含个有效采样点，第个采样点的空间坐标为：

16、

17、式中，为横向位置坐标，为对应高度值；；

18、为建立点间的拓扑关联，将线结构光轮廓点云建模为动态有向图；

19、其中，每个节点的初始特征由采样点的几何属性经多层感知机映射得到：

20、

21、式中，；为一阶高度差分，=；[]表示特征拼接；为初始特征维度；为初始层的特征向量；

22、构建动态邻域，边集采用k近邻k-nn策略动态构建；动态邻域根据节点特征相似度自适应调整，计算表达式如下：

23、

24、即每个节点的邻域由特征空间中的k近邻与几何空间中的k近邻共同组成。

25、作为一种优选的方案，所述图神经网络通过堆叠多层edgeconv层进行消息传递，逐层聚合邻域拓扑信息；

26、对于第层，节点的特征更新表达式为：

27、

28、式中，表示特征拼接操作，为节点

j与节点

i的相对边特征，描述节点间的相对关系，max为对称聚合函数，保证节点顺序无关性；

29、为增强关键边的重要性，引入图注意力机制对edgeconv层进行扩展，节点

i对邻居

j的注意力系数为：

30、

31、

32、式中，为线性变换矩阵，为注意力向量；为归一化后节点

i对邻居

j的注意力权重；

k表示节点

i邻域内任意邻居索引；加权后的消息传递为：

33、

34、通过l层图卷积，每个节点聚合了多跳邻域的拓扑信息，形成高阶结构感知特征。

35、作为一种优选的方案，所述根据定位得到的胶缝边界计算胶缝的几何参数包括以下步骤：

36、通过分类头实现每个节点的语义标签预测，每个节点输出属于各语义类别的概率分布：

37、

38、其中，表示给定拓扑图时，节点

i属于语义类别的预测概率；

39、语义类别包括：

40、基体平台，对应y=0；胶缝斜坡，对应y=1；上表面，对应y=2；噪声点，对应y=3；

41、根据输出的每一个点的类别提取出胶缝的边界，设节点序列的预测标签为,胶缝起点为首个满足以下条件的采样点：

42、

43、胶缝终点为首个满足以下条件的采样点：

44、

45、在确定了起点与终点之后，胶缝的几何参数按照如下方式计算：

46、胶缝宽度w，等于胶缝起点与终点之间的横向距离：

47、

48、胶缝高度b，等于胶缝起点与终点之间的垂直高度差：

49、

50、胶缝中部偏移距离d，等于胶缝中点到参考直角点之间的欧氏距离：

51、直角点的坐标，胶缝中点坐标为：

52、

53、其中，为胶缝斜坡上中点处的实际高度值，由起始点和终点之间的高度值求得；

54、胶缝中部偏移距离d为中点与参考直角点之间的欧氏距离：

55、。

56、作为一种优选的方案，所述融合图神经网络与扩散模型的涂胶质量检测方法还包括测量涂胶贴合面的堆积高度，测量涂胶贴合面的堆积高度包括以下步骤：

57、根据图神经网络的语义分割结果，分别提取基体平台区域与胶层区域；

58、根据基体平台区域内的采样点集合，采用中值法建立基体参考平面：

59、

60、式中，为基体参考高度；

61、提取胶层区域采样点集合，计算胶层区域顶部相对于基体参考平面的高度差，作为堆积高度，计算表达式如下：

62、。

63、作为一种优选的方案，所述条件潜在扩散模型为编码器-解码器结构；

64、通过变分自编码器vae将高维图像压缩至潜在空间：

65、

66、其中，为编码器，，c为潜在通道数；

67、通过解码器d将潜在表征重建为图像：

68、

69、在潜在空间中，通过t步马尔可夫链向添加高斯噪声：

70、

71、其中，，，为预设的噪声方差调度；表示高斯分布；表示单位矩阵；

72、训练去噪网络预测每一步添加的噪声，通过条件信息引导生成目标缺陷样本：

73、

74、其中，c为条件嵌入向量，，为噪声尺度；

75、设计多维度条件嵌入机制，将缺陷的语义属性、空间位置及几何形态编码为条件向量；

76、条件嵌入向量c由三部分拼接构成：

77、

78、式中，为缺陷类别嵌入，为缺陷位置嵌入，为缺陷形态嵌入；

79、缺陷类别嵌入采用可学习的类别嵌入矩阵，将离散的缺陷类型映射为稠密向量：

80、

81、式中，为类别索引，为嵌入矩阵；

82、缺陷位置嵌入是将缺陷在图像中的边界框坐标()经位置编码网络进行映射：

83、

84、缺陷形态嵌入是对缺陷掩码的轮廓进行傅里叶描述子编码，捕捉形态细节：

85、

86、式中，

m为缺陷区域二值掩码，fft提取低频系数作为形态表征；

87、采用自适应归一化将条件嵌入注入去噪网络的各层：

88、

89、式中，为条件依赖的缩放与偏置参数，由条件嵌入向量c经线性投影生成；

90、在训练阶段以概率随机将条件嵌入向量c替换为空条件，采用零向量或学习得到的无条件嵌入，训练去噪网络同时支持条件生成与无条件生成：

91、

92、其中，以概率取，以概率1-取原始条件嵌入向量c；

93、在推理阶段通过线性外推增强条件引导强度，调整后的噪声预测为：

94、

95、其中，为引导尺度，控制生成样本对条件的忠实度与多样性之间的权衡；当时为标准条件生成，时增强条件约束。

96、作为一种优选的方案，所述目标检测网络基于yolo26网络架构，所述yolo26网络架构包括主干网络、颈部网络以及检测头；其中，主干网络采用多层c3k2模块与psablock交替堆叠的结构，c3k2模块通过双分支卷积与残差连接提取多尺度局部特征，psablock引入部分自注意力机制增强全局上下文建模能力，同时控制计算开销，计算表达式如下：

97、

98、其中，为输入特征；为输出特征；proj()表示进行线性投影，attention()表示采用缩放点积注意力，对通道分组处理以降低复杂度；

99、颈部网络采用panet结构，通过自顶向下与自底向上的双向特征融合，聚合不同尺度的语义信息与空间细节，计算表达式如下：

100、

101、式中，为主干网络输出的多尺度特征，为融合后的特征金字塔；

102、yolo26采用nms-free端到端检测头，基于detr-style的集合预测思想，直接输出目标类别与边界框坐标，检测头包含分类分支与回归分支：

103、

104、其中，为类别预测，=()为边界框预测，为预设查询数量。

105、作为一种优选的方案，所述小目标动态聚焦检测头从查询生成、特征交互、损失计算三个层面增强小目标检测能力；

106、引入尺度感知查询，将查询向量按目标尺度分组：

107、

108、其中，专门负责小目标检测；为小目标查询数量，占总查询数的比例与训练集中小目标分布匹配，计算表达式如下：

109、

110、式中，为总查询数；为指示函数；为真实框面积；为小目标面积阈值；

111、在检测头的交叉注意力阶段，对小目标查询引入高分辨率特征增强；设小目标查询，对应参考点坐标为()，在层特征上以对应点为中心提取局部窗口特征：

112、

113、其中，为窗口大小，与小目标平均尺寸成正比；

114、局部特征经轻量卷积增强后注入查询：

115、

116、式中，为原始小目标查询向量；增强后的查询向量；

117、采用匈牙利匹配进行标签分配，引入小目标成本加权；对于候选预测与真实目标，匹配成本为：

118、

119、尺度权重与目标面积成反比：

120、

121、式中，、分别表示分类及回归平衡系数；为参考基准面积；为真实目标面积；

122、在边界框回归损失引入尺度归一化，消除大目标对损失的主导：

123、

124、式中，表示广义交并比；

125、分类损失采用调制focal loss，针对小目标样本的难分特性增强聚焦：

126、

127、其中，，对小目标赋予更高的聚焦强度。

128、作为一种优选的方案，所述目标检测网络的训练过程包括：

129、将增强后的查询输入检测头，通过交叉注意力与多尺度特征交互，经前馈网络输出预测集合，计算表达式如下：

130、

131、式中，()表示交叉注意力运算；表示前馈网络；为类别预测；为预测边界框；为融合后的特征金字塔；

132、采用匈牙利算法实现预测与真实标注的最优匹配：

133、

134、式中，为最优匹配映射；为单图真实缺陷总数；

135、推理时直接输出置信度高于阈值的检测结果。

136、第二方面，提供一种融合图神经网络与扩散模型的涂胶质量检测系统，包括：

137、数据采集模块，用于采集涂胶部位的线结构光轮廓点云和二维表面图像；

138、几何量测模块，用于将线结构光轮廓点云输入预先构建的图神经网络，利用图神经网络对线结构光轮廓点云进行拓扑语义分割，以定位胶缝边界，并根据定位得到的胶缝边界计算胶缝的几何参数；

139、目标检测网络训练模块，用于利用预先构建的条件潜在扩散模型生成目标缺陷类型的增强样本集，采用目标缺陷类型的增强样本集训练目标检测网络，所述目标检测网络包含小目标动态聚焦检测头；

140、视觉检测模块，用于将二维表面图像输入训练后的目标检测网络，通过小目标动态聚焦检测头对涂胶表面缺陷进行定位与分类，输出涂胶表面缺陷类型与位置信息；

141、质量判定模块，用于根据胶缝的几何参数以及涂胶表面缺陷类型与位置信息，生成涂胶质量检测结果。

142、相较于现有技术，本发明至少具有如下的有益效果：

143、通过线结构光传感器对胶缝位置进行扫描，即可获取涂胶部位的线结构光轮廓点云；通过工业相机进行图像采集，即可获取涂胶部位的二维表面图像；通过采集涂胶部位的线结构光轮廓点云和二维表面图像，分别构建图神经网络与条件潜在扩散模型驱动的目标检测网络两大处理路径。一方面，将线结构光轮廓点云输入图神经网络进行拓扑语义分割，以端到端方式定位胶缝边界并计算几何参数，克服了传统方法依赖固定阈值与滑动窗口所带来的适应性差、易受干扰的缺陷，显著提升了在反光、遮挡等复杂工业环境下胶缝边界定位及宽度、高度等几何参数测量的鲁棒性与精度；另一方面，通过条件潜在扩散模型生成目标缺陷类型的增强样本集对目标检测网络进行训练，使目标检测网络能够获得充足的缺陷样本支撑，结合小目标动态聚焦检测头，有效提升了目标检测网络对微小气泡、微裂纹等小目标缺陷的特征提取能力和检测精度；根据胶缝的几何参数以及涂胶表面缺陷类型与位置信息，生成涂胶质量检测结果，为涂胶工艺的质量评估和闭环控制提供了多维度、定量化的决策依据。

144、进一步的，本发明为建立点间的拓扑关联，将线结构光轮廓点云建模为动态有向图，并采用特征空间与几何空间混合k近邻搜索构建节点邻域，使图拓扑结构能够根据数据分布自适应调整，既保留了采样点的空间邻近性，又兼顾了特征相似性，相比固定窗口或单一空间的邻域构建方式，能够更充分地捕捉轮廓点间的复杂拓扑关系，提升语义分割的准确性。

145、进一步的，本发明的图神经网络通过堆叠多层edgeconv层进行消息传递，逐层聚合邻域拓扑信息，并在各层中引入图注意力机制，edgeconv层能够有效提取边特征所表征的节点间相对关系，多层堆叠使每个节点逐步聚合多跳邻域的结构信息，形成高阶结构感知特征；通过引入图注意力机制自适应地为不同邻居节点分配聚合权重，使网络聚焦于关键邻域信息，抑制噪声节点的干扰，提升了轮廓语义分割的精度与鲁棒性。

146、进一步的，本发明条件潜在扩散模型为编码器-解码器结构，并将缺陷的类别、位置边界框及形态掩码编码为多维条件嵌入向量。通过在低维潜在空间中进行扩散与去噪，相比像素级扩散模型显著降低了计算开销；多维度条件嵌入使模型能够精确控制生成缺陷的类型、位置和形态，生成的样本兼具真实性与多样性，有效解决了真实工业场景中缺陷样本稀缺和类别分布不平衡的问题，为目标检测网络提供了高质量的训练数据支撑。

147、进一步的，本发明的目标检测网络基于yolo26网络架构进行构建，其主干网络交替堆叠多层c3k2模块与部分自注意力模块（psablock）。其中，c3k2模块通过双分支卷积与残差连接高效提取多尺度局部特征，psablock则通过部分自注意力机制以有限的计算开销来增强全局上下文建模，两者结合使主干网络在保持实时推理效率的同时获得了更强的特征表达能力，为后续检测头提供了高质量的多尺度特征图。

148、进一步的，本发明的小目标动态聚焦检测头从查询生成、特征交互、损失计算三个层面增强小目标检测能力，引入尺度感知查询使小目标查询数量与训练集中小目标的分布相匹配，确保小目标在查询分配中获得足够的表示容量；局部窗口特征增强在交叉注意力阶段从小目标参考点周围的高分辨率特征图中提取局部细节，有效弥补了小目标在深层特征中语义信息强但空间信息弱的问题，显著增强了小目标的可检测性。

149、进一步的，目标检测网络训练过程中采用针对小目标加权的匈牙利匹配策略，以及尺度归一化的边界框回归损失。尺度权重的引入使小目标在匹配竞争中获得优势，确保其被充分分配正样本；尺度归一化的损失函数消除了大目标对总损失的主导作用，使网络训练更加关注小目标的回归精度，两者协同作用有效提升了模型对小目标缺陷的定位精度。

技术实现思路