一种起重机臂焊接过程的熔池形态实时监测方法及系统与流程

本申请涉及计算机视觉领域，尤其涉及一种起重机臂焊接过程的熔池形态实时监测方法及系统。

背景技术：

1、在重机臂等大型结构的焊接过程中，电弧、激光等热源持续加热母材金属使其熔化形成液态熔池。熔池的形态可以反映当前时刻的焊接状态，为确保焊接质量，需对熔池状态进行实时监测。现有技术通常采用边缘检测与特征提取算法，通过对单帧熔池图像的边缘轮廓进行几何参数提取，并与预设的标准形态进行比对，以此判断熔池形态是否异常，进而评估焊接过程的稳定性。

2、然而，在实际焊接过程中，熔池表面易受热源冲击及保护气流影响而产生液体飞溅，飞溅的金属液滴会导致熔池边缘出现凸起或凹陷等不平整区域，当飞溅导致的轮廓异常与熔池自身结构失稳所引发的边缘形变在图像表现上具有相似性，现有的边缘检测与特征提取方法极易将飞溅误判为熔池结构失稳从而触发频繁误报警，降低熔池状态检测的准确率。

技术实现思路

1、本申请的主要目的在于提供一种起重机臂焊接过程的熔池形态实时监测方法及系统，旨在解决现有熔池状态检测中因飞溅干扰与结构失稳在图像上难以区分，导致频繁误报警且检测准确率低的技术问题。

2、为实现上述目的，本申请提供一种起重机臂焊接过程的熔池形态实时监测方法，包括：获取起重机臂焊接时熔池区域的连续多帧图像；针对所述多帧图像中的任一帧图像，提取所述帧图像中熔池区域的几何参数，并基于所述几何参数以及预设标准熔池参数，确定所述帧图像的综合形变指标，以及，基于所述综合形变指标、预设形变阈值、所述几何参数和预设几何阈值判断所述帧图像是否为异常熔池图像；在所述帧图像为异常熔池图像的情况下，基于所述帧图像、所述帧图像的相邻帧图像、所述帧图像的综合形变指标、所述帧图像的相邻帧图像的综合形变指标确定所述帧图像的异常时序参数，并基于所述异常时序参数将所述帧图像划分为飞溅异常图像或熔池失稳图像；若所述帧图像为熔池失稳图像，输出预警信号。

3、可选地，所述预警信号包括多个等级，若所述帧图像为熔池失稳图像，输出预警信号包括：基于所述帧图像的综合形变指标、所述帧图像之前预设时间窗口内各帧图像的综合形变指标和预设标准图像的综合形变指标，确定所述熔池区域的熔池形态预测偏离度；基于所述熔池形态预测偏离度确定所述熔池区域的异常程度；基于所述异常程度确定预警信号的等级并输出所述等级的预警信号。

4、可选地，所述基于所述帧图像、所述帧图像的相邻帧图像、所述帧图像的综合形变指标、所述帧图像的相邻帧图像的综合形变指标确定所述帧图像的异常时序参数，包括：基于所述帧图像的综合形变指标和所述帧图像的相邻帧图像的综合形变指标确定所述帧图像的形变偏离程度；基于所述帧图像和所述帧图像的相邻帧图像确定所述帧图像的联合判定系数；基于所述形变偏离程度和所述联合判定系数确定所述帧图像的异常时序参数。

5、可选地，所述基于所述帧图像和所述帧图像的相邻帧图像确定所述帧图像的联合判定系数，包括：基于所述帧图像中各像素点的像素值和所述帧图像的相邻帧图像中各像素点的像素值确定所述帧图像的持续相似度和异常区域集中度；基于所述持续相似度和所述异常区域集中度确定所述帧图像的联合判定系数。

6、可选地，所述基于所述帧图像的综合形变指标、所述帧图像之前预设时间窗口内各帧图像的综合形变指标和预设标准图像的综合形变指标，确定所述熔池区域的熔池形态预测偏离度，包括：基于所述帧图像的综合形变指标和所述帧图像的相邻帧图像的综合形变指标确定所述熔池区域的形变速率；基于所述帧图像之前预设时间窗口内各帧图像的综合形变指标确定所述熔池区域的前置异常程度；基于所述预设标准图像的综合形变指标确定标准形变速率和标准前置异常程度；基于所述形变速率、所述前置异常程度、所述标准形变速率和所述标准前置异常程度确定所述熔池区域的熔池形态预测偏离度。

7、可选地，所述几何参数包括：熔池面积、长宽比、轮廓平滑度、重心偏移量及灰度均匀度。

8、可选地，所述预设几何阈值包括预设全局参数和预设局部参数，所述预设全局参数由预设标准熔池面积和预设标准长宽比构成，所述预设局部参数由预设标准轮廓平滑度、预设标准重心偏移量和预设标准灰度均匀度构成。

9、可选地，在所述提取所述帧图像中熔池区域的多个几何参数之前，所述方法还包括：对所述帧图像进行裁剪，得到裁剪后图像，所述裁剪后图像中熔池区域位于图像中心，基于所述裁剪后图像得到二值图和灰度图像。

10、可选地，所述基于所述裁剪后图像得到二值图和灰度图像，包括：对所述裁剪后图像进行二值化处理得到二值图；基于二值图和所述帧图像得到灰度图像，所述二值图和所述灰度图像中熔池区域均位于图像中心。

11、此外，为实现上述目的，本申请还提供一种起重机臂焊接过程的熔池形态实时监测系统，包括：图像采集模块，用于获取起重机臂焊接时熔池区域的连续多帧图像；初步异常判断模块，用于针对所述多帧图像中的任一帧图像，提取所述帧图像中熔池区域的几何参数，并基于所述几何参数以及预设标准熔池参数，确定所述帧图像的综合形变指标，以及，基于所述综合形变指标、预设形变阈值、所述几何参数和预设几何阈值判断所述帧图像是否为异常熔池图像；异常划分模块，用于在所述帧图像为异常熔池图像的情况下，基于所述帧图像、所述帧图像的相邻帧图像、所述帧图像的综合形变指标、所述帧图像的相邻帧图像的综合形变指标确定所述帧图像的异常时序参数，并基于所述异常时序参数将所述帧图像划分为飞溅异常图像或熔池失稳图像；预警模块，用于若所述帧图像为熔池失稳图像，输出预警信号。

12、本申请提出的一种起重机臂焊接过程的熔池形态实时监测方法及系统，通过获取焊接过程中熔池区域的连续多帧图像，提取各帧图像中熔池区域的几何参数并基于预设标准熔池参数确定综合形变指标，能够对熔池的整体形态进行量化表征；在此基础上，本申请针对判定为异常熔池图像的情况，结合当前帧图像及其相邻帧图像的综合形变指标和图像差分信息确定异常时序参数，可以有效区分飞溅导致的瞬时畸变与熔池自身失稳引发的持续性形变，最终根据划分结果仅对熔池失稳图像输出预警信号，解决了现有熔池状态检测中因飞溅干扰与结构失稳在图像上难以区分，导致频繁误报警且检测准确率低的技术问题。

1.一种起重机臂焊接过程的熔池形态实时监测方法，其特征在于，所述方法包括：

2.如权利要求1所述的方法，其特征在于，所述预警信号包括多个等级，若所述帧图像为熔池失稳图像，输出预警信号包括：

3.如权利要求1所述的方法，其特征在于，所述基于所述帧图像、所述帧图像的相邻帧图像、所述帧图像的综合形变指标、所述帧图像的相邻帧图像的综合形变指标确定所述帧图像的异常时序参数，包括：

4.如权利要求3所述的方法，其特征在于，所述基于所述帧图像和所述帧图像的相邻帧图像确定所述帧图像的联合判定系数，包括：

5.如权利要求2所述的方法，其特征在于，所述基于所述帧图像的综合形变指标、所述帧图像之前预设时间窗口内各帧图像的综合形变指标和预设标准图像的综合形变指标，确定所述熔池区域的熔池形态预测偏离度，包括：

6.如权利要求1所述的方法，其特征在于，所述几何参数包括：熔池面积、长宽比、轮廓平滑度、重心偏移量及灰度均匀度。

7.如权利要求6所述的方法，其特征在于，所述预设几何阈值包括预设全局参数和预设局部参数，所述预设全局参数由预设标准熔池面积和预设标准长宽比构成，所述预设局部参数由预设标准轮廓平滑度、预设标准重心偏移量和预设标准灰度均匀度构成。

8.如权利要求1所述的方法，其特征在于，在所述提取所述帧图像中熔池区域的多个几何参数之前，所述方法还包括：

9.如权利要求8所述的方法，其特征在于，所述基于所述裁剪后图像得到二值图和灰度图像，包括：

10.一种起重机臂焊接过程的熔池形态实时监测系统，其特征在于，包括：