一种基于自适应多光谱融合的焊缝图像采集与缺陷检测方法及系统与流程
本发明属于焊接质量在线检测,特别是一种基于自适应多光谱融合的焊缝图像采集与缺陷检测方法及系统。
背景技术:
1、焊缝质量直接关系到焊接结构件的安全性,在汽车制造、管道工程、压力容器等领域具有重要应用。基于视觉的焊缝图像检测因非接触、信息丰富等优势,逐渐成为在线检测的主流方案。然而,实际焊接环境极端复杂,现有技术仍存在以下问题:
2、第一,强弧光干扰导致图像动态范围不足。焊接电弧亮度远高于焊缝本体反射光,固定曝光参数下,熔池区域容易过曝形成白斑,而远离弧光的焊缝边缘则曝光不足、细节丢失。已有方案采用固定窄带滤光片衰减弧光,但焊接过程中弧光强度动态变化,固定滤光片无法适应,难以同时获取高亮区和暗区的清晰图像。
3、第二,多曝光融合方法实时性差。多曝光融合可扩展动态范围,但现有基于小波变换的方法计算量大,在常规cpu上处理一帧需数百毫秒,且边缘保持能力有限,融合后易出现振铃效应。
4、第三,深度学习模型难以嵌入式部署。现有缺陷检测模型(如yolov8)参数量大(数百万至数千万),需高性能gpu才能实时推理,无法部署到成本敏感、功耗受限的嵌入式工业设备上。
5、第四,采集与控制系统相互割裂。多数系统仅做离线分析或报警提示,未与焊接控制器形成闭环联动,无法实时调整工艺参数抑制缺陷发展。
6、因此,亟需一种自适应采集、高效融合、轻量化检测且闭环控制的焊缝图像处理方法。
技术实现思路
1、本发明的目的在于提供一种自适应多光谱融合的焊缝图像采集与缺陷检测方法及系统,解决强弧光干扰下图像动态范围不足以及现有检测模型难以实时部署的问题。
2、实现本发明目的的技术解决方案为:一种基于自适应多光谱融合的焊缝图像采集与缺陷检测方法,所述方法包括以下步骤:
3、步骤1,根据焊接过程中实时检测到的光强信号确定弧光强度等级,并基于所述弧光强度等级控制光谱滤光组件和曝光参数进行自适应切换,连续采集多帧不同光谱与曝光参数下的原始焊缝图像;
4、步骤2,对采集到的多帧原始焊缝图像进行色彩空间转换,提取亮度分量并建立多尺度金字塔分解,采用基于局部特征的加权规则对多尺度金字塔系数进行融合,重构得到增强后的焊缝图像;
5、步骤3,将所述增强后的焊缝图像输入包含轻量化特征提取与注意力机制的缺陷检测网络中,输出焊缝缺陷的类别及位置信息;
6、步骤4,根据所述缺陷检测网络输出的缺陷检测结果,向焊接控制单元发送调整指令,对焊接工艺参数进行动态闭环控制。
7、进一步地,步骤1具体包括:通过弧光传感器实时采集焊接弧光的光强信号,并将所述光强信号划分为强弧光等级、中弧光等级和弱弧光等级这三个等级;当为强弧光等级时,控制光谱滤光组件切换至长波长窄带滤光片,并设置第一曝光时间以采集第一原始图像;当为中弧光等级时,控制光谱滤光组件切换至中波长窄带滤光片,并设置第二曝光时间以采集第二原始图像;当为弱弧光等级时,控制光谱滤光组件切换至短波长窄带滤光片,并设置第三曝光时间以采集第三原始图像;其中,第一曝光时间小于第二曝光时间,第二曝光时间小于第三曝光时间。
8、进一步地,所述长波长窄带滤光片的中心波长为650nm,第一曝光时间为0.5ms;所述中波长窄带滤光片的中心波长为550nm,第二曝光时间为2ms; 所述短波长窄带滤光片的中心波长为450nm,第三曝光时间为8ms; 所述长波长、中波长与短波长窄带滤光片的带宽均为20nm;所述光强信号为0~5v模拟量信号,其划分具体为:adc值大于3500对应强弧光等级,adc值为2000~3500对应中弧光等级,adc值小于2000对应弱弧光等级。
9、进一步地,步骤2具体包括:
10、将多帧原始焊缝图像从rgb色彩空间转换至yuv色彩空间,保留原始u、v色彩分量,仅对y亮度分量进行拉普拉斯金字塔分解,得到各帧亮度分量的多层拉普拉斯金字塔系数;
11、计算各帧图像在各金字塔分解层及像素点位置上的局部对比度,并根据所述局部对比度生成各帧图像在对应分解层的融合权重;
12、根据所述融合权重对各层的拉普拉斯金字塔系数进行加权融合,得到融合后的拉普拉斯金字塔;
13、对所述融合后的拉普拉斯金字塔进行重构得到融合后的亮度分量,并将所述融合亮度分量与u、v色彩分量合并,生成所述增强后的焊缝图像。
14、进一步地,所述拉普拉斯金字塔分解的层数为4层或5层;在计算第m帧图像在第k层、像素点处的融合权重时,根据该像素点邻域内的拉普拉斯响应绝对值之和计算局部对比度,并通过下式确定融合权重:
15、
16、式中,为防止分母为零的正数;对于拉普拉斯金字塔的最顶层低频信息,采用各帧图像的曝光质量进行加权平均融合。
17、进一步地,步骤3中的缺陷检测网络包括主干网络、颈部网络和检测头:所述主干网络采用深度可分离卷积替代标准卷积,并在c2f模块后嵌入高效通道注意力模块即eca模块;所述颈部网络采用panet结构,且在上采样环节采用空洞卷积替换标准卷积扩大感受野;所述检测头包含多个不同特征图尺寸的特征输出分支,分别用于检测不同尺寸粒度的焊缝缺陷。
18、进一步地,所述空洞卷积的扩张率为2;所述检测头包含三个检测分支,对应的特征图尺寸分别为8×8、16×16和32×32;识别的焊缝缺陷类别包括气孔、咬边、未熔合以及裂纹中的至少一种。
19、进一步地,步骤4具体包括:当检测到焊缝缺陷且置信度大于设定阈值时,向plc控制器发送控制指令,动态调整焊接速度、焊枪摆动幅度、送丝速度或电弧电压中的至少一种参数,以消除焊缝缺陷。
20、另一方面,提供了一种用于实现所述方法的基于自适应多光谱融合的焊缝图像采集与缺陷检测系统,所述系统包括:
21、第一模块,包括图像采集设备、弧光传感器、滤光片切换装置以及曝光控制器,用于根据弧光强度实时自适应采集多光谱与多曝光组合的原始焊缝图像;
22、第二模块,与所述第一模块通信连接,用于对采集的多帧图像进行多尺度金字塔融合增强,并将增强后的图像输入轻量化缺陷检测网络中进行缺陷识别;
23、第三模块,与所述第二模块及焊接执行机构通信连接,用于根据缺陷检测结果向所述焊接执行机构发送参数调节控制指令以调整焊接参数,进而实现闭环控制。
24、进一步地,所述滤光片切换装置为内置有中心波长分别为450nm、550nm和650nm的窄带滤光片轮;所述图像采集设备为彩色工业相机,安装于焊枪后方设定距离处并随焊枪同步运动。
25、本发明与现有技术相比,其显著优点为:
26、(1)采集端自适应提升动态范围。通过弧光传感器实时检测弧光强度,自动切换中心波长为450nm、550nm、650nm的窄带滤光片与0.2~10ms区间的曝光时间,可消除强弧光干扰,将动态范围由单帧的5.2bits提升至融合后的7.8bits,过曝与欠曝像素占比分别下降27%和30%。
27、(2)融合端兼顾质量与效率。采用拉普拉斯金字塔与局部对比度加权融合策略,边缘梯度保持度达到0.87,优于小波融合方法的0.76,单帧融合在gpu环境下耗时仅12ms,可有效消除振铃效应,满足25帧/秒的实时检测需求。
28、(3)检测端轻量化易部署。改进yolov8网络架构,引入深度可分离卷积、eca通道注意力模块及空洞卷积neck结构,将模型参数量大幅压缩至78万,仅为原始模型的43%,该模型在jetsonxaviernx平台上的推理速度可达45fps,且检测精度(map@0.5达93.7%)接近重型模型水平。
29、(4)控制端闭环提升合格率。打破传统离线检测或单向报警的局限,将缺陷检测结果(如气孔、咬边、裂纹等)实时反馈至plc控制器,动态调整焊接速度、摆幅及电弧电压等工艺参数,使产品焊接一次合格率提升约15%。
30、下面结合附图对本发明作进一步详细描述。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com