一种双相机双帧交替网格结构光焊接全过程监测方法
本发明涉及焊接监测，尤其涉及一种双相机双帧交替网格结构光焊接全过程监测方法。
背景技术：
1、焊接作为航空航天、船舶制造、汽车工业、能源装备等高端制造领域的关键连接工艺，其质量直接决定构件的服役性能与安全可靠性。焊接过程中易产生焊接方向偏移、未熔透、咬边、余高异常、错边等多种缺陷，传统的人工目视检测和焊后无损检测存在效率低、主观性强、无法实时反馈等问题，难以满足现代智能制造对焊接过程全流程、高精度、实时化质量管控的需求。焊接过程在线视觉检测技术，特别是结构光三维测量技术，因其非接触、高精度、快速等优点，成为实现焊接智能化的重要方向。
2、然而，现有基于结构光的焊接检测技术仍存在以下问题：第一，实际焊接过程中的强弧光辐射、高密度飞溅遮挡、熔池镜面反光等复杂干扰会导致结构光条纹断裂、模糊甚至完全淹没，严重影响结构光特征的提取准确性和稳定性，常规单相机线结构光方案无法同时获取熔池表面的直接漫反射信息和镜面反射信息，难以实现熔池三维形貌的高精度重建及熔透状态的在线判定；第二，现有方法大多仅针对焊前坡口定位或焊后焊缝表面检测的单一环节，缺乏能够同时覆盖焊前焊接方向偏移检测、焊中熔池动态监测与熔透状态判定、焊后焊缝表面缺陷量化评估的全流程一体化检测方案；第三，近年来虽有研究将深度学习应用于焊接场景的结构光分割，但焊接场景数据集构建困难，且通用分割模型对窄条带状结构光的特征提取能力不足，推理速度难以满足实时性要求，更无法利用反射结构光信息进行熔透状态的定量判定。
技术实现思路
1、有鉴于此，本发明提出了一种双相机双帧交替网格结构光焊接全过程监测方法，通过第一相机沿漫反射光路以长短曝光交替模式采集直接结构光图像，第二相机沿镜面反射光路以长短曝光交替模式采集反射结构光图像，同时获取工件表面漫反射信息与熔池镜面反射信息，通过构建基于相机逆响应函数的双帧耦合映射模型进行融合降噪，有效抑制强弧光辐射和高密度飞溅遮挡对结构光图像的干扰，采用基于十字交叉注意力金字塔模块的分割模型对降噪图像进行推理分割，可提升窄条带状结构光特征的提取精度与推理速度，最后根据标定参数，基于第一二值掩码和直接降噪图像检测焊接方向偏移、基于第二二值掩码和反射降噪图像判定熔透状态、基于第一二值掩码和直接降噪图像识别焊缝表面缺陷，实现了焊前、焊中、焊后全流程一体化监测。
2、本发明的技术方案是这样实现的：
3、第一方面，本发明提供了一种双相机双帧交替网格结构光焊接全过程监测方法，基于测量平台实现，所述测量平台包括第一相机和第二相机，所述第一相机用于沿漫反射光路以长短曝光交替模式采集工件表面的直接结构光图像，所述第二相机用于沿镜面反射光路以长短曝光交替模式采集经熔池反射后的反射结构光图像，所述方法包括以下步骤：
4、对测量平台进行标定，获得从像素坐标到世界坐标的连续映射函数、所有网格交点构成的零位基准线集以及高度与像素偏移量之间的非线性映射模型；
5、通过第一相机与第二相机，采集直接结构光图像与反射结构光图像；
6、构建双帧耦合映射模型，分别对直接结构光图像和反射结构光图像进行融合降噪，获得直接降噪图像和反射降噪图像；
7、采用训练好的基于十字交叉注意力金字塔模块的分割模型，对直接降噪图像和反射降噪图像进行推理分割，获得第一二值掩码和第二二值掩码；
8、基于连续映射函数和第一二值掩码及直接降噪图像检测焊接方向偏移，基于连续映射函数、零位基准线集、非线性映射模型和第二二值掩码及反射降噪图像判定熔透状态，基于连续映射函数和第一二值掩码及直接降噪图像识别焊缝表面缺陷，输出方向偏移信息、熔透状态信息和焊缝表面缺陷信息。
9、在一实施例中，所述对测量平台进行标定，获得标定参数，具体包括：
10、在无弧光干扰的静态环境下分别对第一相机和第二相机进行独立标定，获取各自的内参矩阵和畸变系数；
11、利用第一相机和第二相机同时采集基准靶标，求解从第一相机坐标系和第二相机坐标系到预设世界坐标系的旋转矩阵与平移向量，完成坐标系统一；
12、控制网格结构光投射器向多个标准平面投射网格图案，由第一相机采集直接结构光图像，建立从像素坐标到世界坐标的连续映射函数；
13、将光学平面反射镜放置于工件初始平面上，模拟熔池镜面反射，由第二相机采集反射图像，提取所有网格交点构成零位基准线集；
14、将一系列不同厚度的标准量块置于工件初始平面上，由第二相机依次采集反射网格结构光图像，计算所有网格交点相对于零位基准线集的像素偏移量，拟合出高度与像素偏移量之间的非线性映射模型。
15、在一实施例中，所述构建双帧耦合映射模型，分别对直接结构光图像和反射结构光图像进行融合降噪，具体包括：
16、构建相机逆响应函数的参考图像集，通过最小化含平滑项和边缘灰度抑制权重的损失函数求解逆响应函数；
17、对每个像素位置的多帧灰度值进行加权平均，剔除饱和像素和低照度噪声像素，获得无量纲辐照度；
18、设置分段色调映射函数，对不同辐照度区间的像素进行自适应映射，其中对结构光特征所在的中照度区间采用线性映射以保留梯度细节；
19、构建双帧耦合映射查找表，存储短曝光灰度值、长曝光灰度值与映射后目标灰度值的对应关系；
20、对初始降噪结果采用边缘增强算子进行特征强化，输出保留结构光特征的降噪图像。
21、在一实施例中，所述分割模型采用编码器包含方向敏感残差模块、解码器包含十字交叉注意力金字塔模块的编码器解码器功能解耦的异质化架构；
22、所述方向敏感残差模块包含串行的第一深度可分离卷积单元和第二深度可分离卷积单元，第一深度可分离卷积单元用于初步筛选信息，第二深度可分离卷积单元采用膨胀卷积以扩大感受野，第一深度可分离卷积单元和第二深度可分离卷积单元均包含独立的水平方向卷积核与垂直方向卷积核，用于分别提取网格结构光的横向线条特征与纵向线条特征；
23、所述十字交叉注意力金字塔模块包含两级级联的并行分支，第一级并行分支采用不同膨胀率的空洞卷积提取多尺度特征，第二级并行分支对第一级输出进行特征重组，并通过十字交叉注意力机制分别对水平方向的特征和垂直方向的特征进行加权融合。
24、在一实施例中，所述基于连续映射函数和第一二值掩码及直接降噪图像检测焊接方向偏移，具体包括：
25、对第一二值掩码提取中心纵向网格线，拟合生成结构光中心线直线方程；
26、对未焊坡口区域的直接降噪图像提取坡口左右两侧边缘轮廓，拟合生成坡口中心线直线方程；
27、在未焊坡口检测区域内沿横向选取多个采样点，读取结构光中心线与坡口中心线在各采样点的横向坐标差值，计算各采样点差值的算术平均值，得到像素偏移量；
28、根据所述连续映射函数将所述像素偏移量转换为实际物理尺寸，获得焊接方向平均偏移量；
29、设置偏移判定阈值，当平均偏移量的绝对值超过阈值时判定为焊接方向偏移，并输出偏移方向。
30、在一实施例中，所述基于连续映射函数、零位基准线集、非线性映射模型和第二二值掩码及反射降噪图像判定熔透状态，具体包括：
31、以激光源在工件平面的正投影点为原点，确认激光源空间坐标及其关于熔池表面的虚拟反射焦点坐标；
32、输入第二二值掩码，提取所有网格交点的像素坐标；
33、对于每条纵向网格线，根据虚拟反射焦点与接收屏上交点的坐标计算反射光线参数方程，求解反射光线与工件平面的交点，所有边界点连接形成熔池外轮廓；
34、对于接收屏上的任意网格交点，计算其到对应零位基准线的垂直距离，结合标定得到的高度与像素偏移量非线性映射模型计算熔池表面高度；
35、将所有网格交点的坐标转换为世界坐标系下的三维点云，生成连续三角网格表面，得到熔池三维模型；
36、从熔池三维模型中提取熔池直径、中心凹陷深度及振荡频率参数，采用加权投票法判定熔透状态。
37、在一实施例中，所述基于连续映射函数和第一二值掩码及直接降噪图像识别焊缝表面缺陷，具体包括：
38、对第一二值掩码进行区域划分，提取熔池后方的已焊焊缝区域；
39、在已焊焊缝区域内提取所有网格交点的像素坐标，结合标定得到的像素坐标与世界坐标的连续映射函数计算每个网格交点的三维坐标，生成覆盖焊缝表面的面状三维点云；
40、将已焊焊缝区域划分为多个均匀小网格，对于每个小网格内无网格线覆盖的区域，利用该小网格内的网格交点高度值进行多项式拟合填充，得到全表面的稠密高度数据；
41、整合所有像素的世界坐标生成焊缝表面三维点云，采用双边滤波算法去除噪声点，通过delaunay三角剖分算法将离散点云转换为连续的三角网格表面，完成焊缝表面三维重建；
42、从重建的焊缝表面三维模型中逐截面提取余高、宽度及错边量，识别并输出咬边缺陷和余高异常缺陷的位置与量化值。
43、第二方面，本发明提供了一种双相机双帧交替网格结构光焊接全过程监测系统，用于实现上述方法，包括：
44、测量平台，包括第一相机与第二相机；
45、标定模块，用于对测量平台进行标定，获得标定参数；
46、采集模块，用于通过第一相机与第二相机采集直接结构光图像与反射结构光图像；
47、降噪模块，用于构建双帧耦合映射模型，分别对直接结构光图像和反射结构光图像进行融合降噪，获得直接降噪图像和反射降噪图像；
48、分割模块，用于采用训练好的基于十字交叉注意力金字塔模块的分割模型，对直接降噪图像和反射降噪图像进行推理分割，获得第一二值掩码和第二二值掩码；
49、检测模块，用于根据标定参数，基于第一二值掩码和直接降噪图像检测焊接方向偏移，基于第二二值掩码和反射降噪图像判定熔透状态，基于第一二值掩码和直接降噪图像识别焊缝表面缺陷，并输出方向偏移信息、熔透状态信息和焊缝表面缺陷信息。
50、第三方面，本发明提供了一种电子设备，包括处理器和存储器；所述存储器有存储计算机程序，其中，所述计算机程序在被所述处理器执行时实现上述的双相机双帧交替网格结构光焊接全过程监测方法。
51、第四方面，本发明提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述双相机双帧交替网格结构光焊接全过程监测方法的步骤。
52、本发明的双相机双帧交替网格结构光焊接全过程监测方法相对于现有技术具有以下有益效果：
53、1、通过第一相机沿漫反射光路以长短曝光交替模式采集直接结构光图像，第二相机沿镜面反射光路以长短曝光交替模式采集反射结构光图像，同时获取工件表面漫反射信息与熔池镜面反射信息，通过构建基于相机逆响应函数的双帧耦合映射模型进行融合降噪，有效抑制强弧光辐射和高密度飞溅遮挡对结构光图像的干扰，采用基于十字交叉注意力金字塔模块的分割模型对降噪图像进行推理分割，可提升窄条带状结构光特征的提取精度与推理速度，最后根据标定参数，基于第一二值掩码和直接降噪图像检测焊接方向偏移、基于第二二值掩码和反射降噪图像判定熔透状态、基于第一二值掩码和直接降噪图像识别焊缝表面缺陷，实现了焊前、焊中、焊后全流程一体化监测；
54、2、通过光学平面反射镜模拟熔池镜面反射提取零位基准线集，以及通过不同厚度标准量块拟合高度与像素偏移量之间的非线性映射模型，为后续利用反射结构光图像进行熔池三维重建和熔透状态判定提供了精确的物理基准和量化依据，使得熔池表面高度的计算误差控制在微米级，显著提升了熔透状态判定的可靠性。