基于机器视觉的焊缝跟踪与评估方法及系统与流程

本技术涉及机器视觉领域，尤其涉及基于机器视觉的焊缝跟踪与评估方法及系统。

背景技术：

1、在现代智能制造与自动化焊接领域，基于机器视觉的焊缝跟踪与评估技术已成为提升焊接质量、实现闭环控制的关键手段。当前，工业界普遍采用结构光、激光扫描或被动双目/多目视觉系统对焊缝进行在线观测，并结合图像处理或点云分析算法提取焊缝位置、轮廓及几何特征。

2、近年来，随着深度学习的发展，部分研究尝试引入卷积神经网络（cnn）或transformer模型进行焊缝分割与中心线预测，初步实现了从图像到三维形貌的端到端感知。然而，这些方法多聚焦于理想或高对比度场景，在实际焊接环境中，强弧光、烟尘、金属飞溅、表面反光及工件遮挡等因素严重干扰图像质量，导致传统视觉算法鲁棒性不足，而纯数据驱动模型则因缺乏物理约束而泛化能力有限。

3、因此本技术提供了一种基于机器视觉的焊缝跟踪与评估方法及系统。

技术实现思路

1、本技术提供基于机器视觉的焊缝跟踪与评估方法及系统，解决了现有技术无法准确重建焊缝的三维形貌和几何特征，导致对焊缝质量评估结果偏差大、误判率高的技术问题。

2、为达到上述目的，本技术采用如下技术方案：

3、第一方面，提供基于机器视觉的焊缝跟踪与评估方法，包括：

4、在焊接过程中，同步获取焊缝区域的多光谱图像序列，所述多光谱图像序列至少包括可见光波段、近红外波段和短波红外波段的图像；

5、对所述多光谱图像序列进行时空自适应加权融合，生成一幅高信噪比的融合图像；

6、将所述融合图像输入至一个经物理规律引导训练的深度学习分割网络，以分割出二维焊缝的轮廓；

7、基于所述二维焊缝的轮廓以及多视角几何信息，实时重建焊缝的三维点云模型；

8、根据所述三维点云模型和所述焊缝的精确轮廓，提取焊缝的多尺度几何特征；所述多尺度几何特征用于表征焊缝接头的结构完整性相关几何参数；

9、将所述多尺度几何特征输入至一个预训练的图神经网络，输出焊缝的缺陷指数，所述焊缝的缺陷指数用于评估焊缝的缺陷程度。

10、基于上述技术方案，在本技术提供的一种基于机器视觉的焊缝跟踪与评估方法中，在焊接质量在线评估中，传统方法受限于单一光谱成像易受强弧光、烟尘和金属反光干扰，导致焊缝轮廓提取不稳定，进而影响三维重建与缺陷识别的可靠性。为解决这一问题，本方案提出一种多光谱融合驱动的焊缝智能感知与评估框架。同步采集可见光、近红外与短波红外图像，利用各波段对热辐射、表面反射和穿透能力的互补性，通过时空自适应加权融合生成高信噪比图像，显著抑制干扰并增强焊缝边缘信息；引入物理规律（如热传导模型、熔池形貌先验）引导深度学习分割网络训练，提升轮廓分割的泛化性与鲁棒性；再结合多视角几何约束实时重建高精度三维点云，并基于焊缝走向构建多尺度各向异性邻域，提取能反映余高、宽度、曲率等关键结构参数的几何特征；通过图神经网络建模特征间的拓扑关联，输出量化缺陷指数。该方案深度融合多光谱感知、物理先验与图结构学习，实现了从强干扰环境中稳定提取焊缝几何语义，并精准评估其结构完整性，为智能制造中的焊接闭环控制提供可靠依据。

11、结合上述第一方面，在一种可能的实现方式中，所述高信噪比的融合图像的获取方法，包括：

12、对于多光谱图像序列中的每一帧图像，通过一个卷积神经网络分支生成对应的空间质量图，所述空间质量图用于表征图像中各像素区域受焊接干扰的局部可靠性；

13、对于每个波段的图像序列，通过计算当前帧与历史帧之间的结构相似性，得到表征该波段当前成像稳定性的全局时间稳定性分数；

14、将所述空间质量图与所述时间稳定性分数输入至一个非线性门控单元，时空自适应权重图；

15、利用所述时空自适应权重图，对所有波段的当前帧图像进行加权求和，生成所述高信噪比的融合图像。

16、结合上述第一方面，在一种可能的实现方式中，所述深度学习分割网络的训练过程包括构建物理一致性损失函数，所述物理一致性损失函数表征如下差异：

17、基于重建焊缝的三维模型，并计算其实际空间曲率分布；

18、基于预设的焊接工艺参数，通过热传导物理模型计算焊缝的理论空间曲率分布；

19、所述物理一致性损失函数为所述实际空间曲率分布与所述理论空间曲率分布之间的差异度量；

20、通过最小化所述物理一致性损失函数，对所述深度学习分割网络的参数进行优化，使得其预测的焊缝轮廓在三维空间中符合焊接热力学物理规律。

21、结合上述第一方面，在一种可能的实现方式中，所述理论空间曲率分布的获取方法，包括：

22、根据焊接电流、电压、焊接速度及材料热物理参数，利用rosenthal移动热源模型计算焊缝熔池的稳态温度场；

23、基于所述温度场，确定熔池边界对应的等温线，并将所述等温线拟合为焊缝横截面的理论轮廓曲线；

24、对所述理论轮廓曲线进行三维空间参数化，得到焊缝中心线的理论空间轨迹；

25、通过对所述理论空间轨迹进行微分几何运算，计算其局部曲率，从而获得所述理论空间曲率分布。

26、结合上述第一方面，在一种可能的实现方式中，计算所述三维焊缝轮廓的实际空间曲率分布，包括：

27、对于所述三维点云模型中的每个点，获取其对应的预测位置不确定性度量；基于所述预测位置不确定性度量，通过预设的映射函数动态计算该点的邻域搜索半径；其中，所述邻域搜索半径与所述预测位置不确定性正相关；

28、基于所述邻域搜索半径，在多个预设尺度下分别构建该目标点的局部邻域，并在每个尺度下通过主成分分析计算协方差矩阵的最小特征值与特征值之和的比值，得到该尺度下的局部曲率响应；

29、对多个尺度下的局部曲率响应进行加权平均，得到该目标点的初步曲率值；

30、基于该目标点与其相邻点的法向量夹角，对所述初步曲率值施加平滑约束，生成修正后的空间曲率值；

31、遍历所有点，输出与所述预测的焊缝轮廓对应的实际空间曲率分布。

32、结合上述第一方面，在一种可能的实现方式中，所述预测位置不确定性度量的获取方法，包括：

33、获取所述三维点云模型中每个点在多视角图像中的对应二维轮廓点；

34、基于所述二维轮廓点的分割置信度或边缘梯度幅值，估计其二维定位不确定性；

35、利用相机标定参数和多视角三角测量的雅可比矩阵，将所述二维定位不确定性传播至三维空间，得到该点的位置协方差矩阵；

36、所述预测位置不确定性度量为所述协方差矩阵的迹或最大特征值。

37、结合上述第一方面，在一种可能的实现方式中，所述重建焊缝的三维点云模型，包括：

38、根据所述二维焊缝的轮廓，在每一视角的图像上生成一个围绕焊缝中心线的窄带可信匹配区域；所述焊缝中心线包含多个中心线点，每个中心线点关联有对应的空间位置不确定性；

39、在进行多视角立体匹配时，对位于可信匹配区域内的像素，采用预设分辨率的视差搜索范围和增强的匹配代价计算；

40、在匹配代价聚合与优化阶段，引入一个各向异性正则化项，所述各向异性正则化项的权重由二维焊缝的轮廓确定；其中，在平行于焊缝走向的方向上具有第一平滑权重，在垂直于焊缝走向的方向上具有第二平滑权重，且所述第二平滑权重大于所述第一平滑权重，以强化焊缝边缘的几何保真度；

41、基于优化后的视差图，结合相机标定参数，三角化计算得到所述焊缝的三维点云模型。

42、结合上述第一方面，在一种可能的实现方式中，所述窄带可信匹配区域的获取方法，包括：

43、获取由人工智能模型预测的焊缝中心线，所述焊缝中心线包含多个中心线点，每个中心线点关联有对应的空间位置不确定性；

44、将所述焊缝中心线投影至每一视角的图像平面，得到各视角下的中心线像素轨迹；

45、计算每一视角中每个中心线像素点的局部图像梯度幅值，并基于所述梯度幅值确定该点的局部图像可信度；

46、根据所述空间位置不确定性和所述局部图像可信度，计算该中心线像素点处的窄带半宽；其中，所述窄带半宽随不确定性增大而增大、随图像可信度降低而减小；

47、以所述中心线像素点为中心，沿垂直于该点处中心线切线的方向，生成长度为两倍所述窄带半宽的线段；

48、剔除局部图像可信度低于预设可信度阈值的线段，将剩余线段的并集作为该视角下的窄带可信匹配区域。

49、结合上述第一方面，在一种可能的实现方式中，所述焊缝的多尺度几何特征提取方法，包括：

50、根据所述焊缝精确二维轮廓，在所述三维点云模型中拟合出焊缝中心线，并计算该中心线上每一点的切向、法向与副法向方向；

51、以所述焊缝中心线为基准，沿所述法向和切向方向分别设定多个预设尺度的椭圆柱形分析邻域，形成多尺度、各向异性的局部点云子集；

52、在每一尺度的所述局部点云子集中，分别计算沿法向方向的宽度分布特征、沿切向方向的平滑度特征，以及沿高度方向的曲率与余高统计特征，得到多组尺度相关的几何描述子；

53、对所述多组几何描述子进行跨尺度加权融合，生成多尺度几何特征向量。

54、第二方面，本技术提供基于机器视觉的焊缝跟踪与评估系统，包括：获取模块、分析模块和缺陷评估模块；其中，所述获取模块，用于获取焊接过程中焊缝区域的多光谱图像序列；所述分析模块，用于对所述多光谱图像序列进行时空自适应加权融合，生成一幅高信噪比的融合图像；将所述融合图像输入至一个经物理规律引导训练的深度学习分割网络，以分割出二维焊缝的轮廓； 基于所述二维焊缝的轮廓以及多视角几何信息，实时重建焊缝的三维点云模型；根据所述三维点云模型和所述焊缝的精确轮廓，提取焊缝的多尺度几何特征；所述缺陷评估模块，用于将所述多尺度几何特征输入至一个预训练的图神经网络，输出焊缝的缺陷指数。

55、本技术提供一种基于机器视觉的焊缝跟踪与评估方法及系统，能够有效应对焊接过程中强弧光、飞溅、烟尘及金属高反光等复杂干扰，显著提升焊缝感知的稳定性与精度。通过同步采集可见光、近红外和短波红外等多光谱图像序列，并采用时空自适应加权融合策略，充分利用不同波段在穿透性、热辐射响应和边缘对比度方面的互补优势，生成高信噪比、细节保留完整的融合图像；在此基础上，引入焊接物理规律（如熔池动力学、热传导特性）作为先验知识引导深度学习分割网络训练，使模型不仅依赖数据驱动，更具备对真实焊接形貌的物理一致性理解，从而精准分割二维焊缝轮廓；结合多视角几何约束，实现焊缝三维点云模型的实时高精度重建；进一步提取涵盖局部曲率、宽度变化、余高分布等多尺度几何特征，并输入预训练图神经网络，建模焊缝结构的空间拓扑关系，输出可量化的缺陷指数。该方法实现了从感知、重建到评估的全链条智能化，为焊接过程闭环控制、质量预测与工艺优化提供高可靠性的技术支撑，具有显著的工程应用价值。

56、应当理解的是，本技术中对技术特征、技术方案、有益效果或类似语言的描述并不是暗示在任意的单个实施例中可以实现所有的特点和优点。相反，可以理解的是对于特征或有益效果的描述意味着在至少一个实施例中包括特定的技术特征、技术方案或有益效果。因此，本说明书中对于技术特征、技术方案或有益效果的描述并不一定是指相同的实施例。进而，还可以任何适当的方式组合本实施例中所描述的技术特征、技术方案和有益效果。本领域技术人员将会理解，无需特定实施例的一个或多个特定的技术特征、技术方案或有益效果即可实现实施例。在其他实施例中，还可在没有体现所有实施例的特定实施例中识别出额外的技术特征和有益效果。