多模态传感融合的汽车焊装焊缝缺陷智能检测预警系统的制作方法

本发明涉及焊缝智能检测的，尤其涉及多模态传感融合的汽车焊装焊缝缺陷智能检测预警系统。

背景技术：

1、汽车焊装自动化生产线广泛采用机器人焊接技术，焊接质量直接决定车身结构强度、安全性与耐久性。为实现在线质量监控，工业相机视觉检测已成为主流手段。然而，焊接电弧产生极强弧光，导致采集图像中同时存在过曝高亮区与欠曝暗区，单帧图像动态范围远超常规图像传感器能力，焊缝细节严重丢失。

2、为解决上述问题，现有技术普遍引入hdr成像技术，通过双增益或多曝光合成方式扩展动态范围，使高亮与暗区细节得以同时保留。但实际焊装产线中，焊接机器人因运动控制精度限制与机械振动等因素存在不可避免的轻微运动，hdr多帧合成与该运动相耦合后，在焊缝与母材交界、高光反射带边缘等高对比度区域将产生合成重影、边缘过冲、伪纹理等图像伪影。上述伪影在形态学特征上与微裂纹、咬边、未熔合等真实焊缝缺陷高度相似，致使传统基于边缘检测、纹理分析的缺陷识别算法将大量伪影误判为缺陷，误报率急剧上升，严重削弱在线检测系统的可靠性与工程实用性。

技术实现思路

1、为解决背景技术中存在的技术问题，本发明提出多模态传感融合的汽车焊装焊缝缺陷智能检测预警系统，具体方案如下：

2、多模态传感融合的汽车焊装焊缝缺陷智能检测预警系统，包括：

3、同步采集模块、用于同步采集焊缝区域的多模态数据，所述多模态数据包括hdr视觉图像和热成像图像；

4、多级特征模块、用于基于所述hdr视觉图像和所述热成像图像分别构建多级分辨率图像表示，并提取复合特征，所述复合特征包括表征hdr成像伪影的伪影相关性特征和表征真实物理缺陷的缺陷物理特征；

5、初始分类模块、用于基于所述复合特征生成初始分类置信图，所述初始分类置信图表征像素属于真实缺陷的初始置信度；

6、标签传播模块、用于在所述多级分辨率图像表示的最低分辨率层级，对所述初始分类置信图进行迭代标签传播，得到最低分辨率层级结构标签矩阵；

7、逐级优化模块、用于以所述最低分辨率层级结构标签矩阵为先验，对更高分辨率层级逐级进行标签优化，所述标签优化结合当前层级的初始分类置信图与复合特征，得到各层级结构标签矩阵；

8、缺陷预警模块、用于将最高分辨率层级结构标签矩阵中标识为缺陷的像素构成缺陷掩膜，进行缺陷模式识别并生成预警信号。

9、进一步的，同步采集模块中，所述hdr视觉图像由安装于焊接机器人末端执行器的hdr视觉相机采集，所述热成像图像由安装于焊接机器人末端执行器的红外热像仪采集；所述hdr视觉相机被配置为双增益模式或多曝光合成模式；

10、其中，所述hdr视觉相机与所述红外热像仪通过高精度时钟同步触发。

11、进一步的，多级特征模块中，构建多级分辨率图像表示，并提取复合特征，包括：

12、对所述hdr视觉图像和所述热成像图像分别进行高斯下采样，生成分辨率逐级降低的l层图像，l≥3，其中最低分辨率层级为顶层，最高分辨率层级为底层；

13、从各层级分辨率图像提取每一层的复合特征。

14、进一步的，所述伪影相关性特征包括以下至少一种：

15、高光邻近度，即像素点与最近饱和高光区域的距离；

16、梯度亮度非线性度，即局部梯度幅值与局部平均亮度的统计关系偏离预设自然图像统计模型的程度；

17、色度空间畸变，即边界像素相对于其邻近区域在lab色彩空间或ycrcb色彩空间中色度分量的欧氏距离；

18、所述缺陷物理特征包括热场梯度异常，即所述热成像图像对应位置检测到的温度梯度突变。

19、进一步的，初始分类模块中，基于所述复合特征生成初始分类置信图，所述初始分类置信图表征像素属于真实缺陷的初始置信度，包括：

20、获取训练样本集，所述训练样本集包括多组多级分辨率图像表示及其对应的复合特征，以及像素级标注的类别标签，所述类别标签包括真实缺陷、hdr成像伪影和正常区域；

21、基于所述训练样本集，采用微型神经网络构建初始分类模型，所述初始分类模型以所述复合特征为输入，以像素属于真实缺陷类别的置信度为输出；

22、将各层级分辨率图像对应的所述复合特征输入所述训练完成的初始分类模型，输出所述初始分类置信图。

23、进一步的，标签传播模块中，在所述多级分辨率图像表示的最低分辨率层级，对所述初始分类置信图进行迭代标签传播，得到最低分辨率层级结构标签矩阵，包括：

24、将所述初始分类置信图下采样至所述最低分辨率层级的分辨率；

25、基于下采样后的置信度，将像素的初始标签划分为背景、焊缝区域和待定异常区，形成最低分辨率层级初始标签矩阵；

26、对所述最低分辨率层级初始标签矩阵进行迭代标签传播，其中，对于标签为待定异常区的像素，若其邻域内标签为焊缝区域的像素数量大于标签为背景的像素数量，则将待定异常区的像素的标签更新为焊缝区域，否则更新为背景，迭代至收敛，得到所述最低分辨率层级结构标签矩阵。

27、进一步的，逐级优化模块中，所述标签优化通过构建能量函数并迭代最小化所述能量函数实现；

28、所述能量函数中，将像素分配为某一标签类别的总代价由数据项、上下文项、引导项和特征项加权求和构成；

29、所述数据项基于当前层级的初始分类置信图对标签分配进行约束，所述上下文项基于邻域像素标签一致性对标签分配进行约束，所述引导项基于上一层结构标签矩阵传递的先验结构信息对标签分配进行约束，所述特征项基于所述复合特征对标签分配进行约束；

30、其中，所述特征项被构造为：当该像素被分配为缺陷类别时，所述特征项的值随该像素的伪影相关性特征强度增大而增大、随缺陷物理特征强度增大而减小；

31、当像素被分配为非缺陷类别时，所述特征项的值随该像素的缺陷物理特征强度增大而增大、随伪影相关性特征强度增大而减小。

32、进一步的，所述数据项定义如下：当标签表示真实缺陷类别时，所述数据项的值随当前层级初始分类置信图中该像素属于真实缺陷的置信度增大而减小，且减小趋势呈对数关系；当标签表示非真实缺陷类别时，所述数据项的值随该像素不属于真实缺陷的置信度增大而减小，且减小趋势呈对数关系；

33、所述上下文项定义为：所述上下文项的取值等于当前像素被分配的标签与其预设邻域内各像素的标签进行比较时、标签不一致的邻域像素个数；

34、所述引导项定义为：当当前像素被分配的标签与所述上一层结构标签矩阵在该像素位置所指示的结构类别一致时，所述引导项的取值为零；当当前像素被分配的标签与所述上一层结构标签矩阵在该像素位置所指示的结构类别不一致时，所述引导项的取值为预设正常数。

35、进一步的，缺陷预警模块中，进行缺陷模式识别，包括：

36、对所述缺陷掩膜中的连通区域进行形态学后处理，得到各连通区域；

37、提取各连通区域的形态学特征，以及对应区域内所述复合特征的统计量；

38、将提取的形态学特征和统计量输入预先训练的分类器，输出各连通区域对应的缺陷模式类别；所述缺陷模式类别包括裂纹、气孔、咬边和未熔合。

39、进一步的，缺陷预警模块中，生成预警信号包括：

40、根据识别出的缺陷模式、缺陷尺寸和缺陷位置，结合预设的质量标准生成预警信号，所述预警信号用于标记缺陷位置和类型；

41、将所述预警信号反馈至生产执行系统或机器人控制器。

42、与现有技术相比，本发明至少可实现如下有益效果：

43、1、本发明通过同步采集hdr视觉图像与热成像图像并构建多级分辨率图像表示，提取伪影相关性特征与缺陷物理特征以实现伪影与真实缺陷的显式区分，在低分辨率层级经迭代标签传播确立不受伪影干扰的宏观结构先验，再将结构先验逐级传递至更高分辨率层级进行标签优化，利用复合特征在优化过程中使缺乏物理证据的伪影被修正、符合物理规律的真实缺陷被保留，从根本上解决了hdr成像与运动耦合引入的合成伪影导致焊缝缺陷误报率高的问题，显著提升了汽车焊装在线检测系统的准确性与稳定性。

44、2、本发明通过提取表征hdr成像伪影的伪影相关性特征和表征真实物理缺陷的缺陷物理特征，将伪影与缺陷从特征层面进行显式区分。伪影相关性特征捕捉合成重影、边缘过冲等伪影特有的图像统计特性，缺陷物理特征如热场梯度异常则反映真实缺陷引起的物理变化，由于hdr成像伪影仅存在于视觉图像中而不会在热成像图像中产生对应的温度异常，因此热成像提供的物理信息为区分伪影与真实缺陷提供了可靠判据；

45、通过在最低分辨率层级进行迭代标签传播确立宏观结构先验，有效抑制了伪影对结构判断的干扰，低分辨率层级中图像细节被平滑，伪影的高频特征被抑制，焊缝区域与背景区域的宏观结构更加显著，由此得到的结构标签矩阵稳定可靠；

46、通过将宏观结构先验逐级传递至更高分辨率层级进行标签优化，在优化过程中结合当前层级的初始分类置信图与复合特征，实现了由粗到精的像素级标签修正，该逐级引导机制确保了高分辨率层级的标签分配不偏离已确立的宏观结构，使得伪影区域在优化过程中因缺乏物理证据支撑而被修正为非缺陷类别，真实缺陷因符合物理规律而被保留。