一种基于改进MobileNet的激光焊缝图像快速检测方法及系统
本发明涉及激光焊接过程质量监控与机器视觉缺陷检测,具体而言,涉及一种基于改进mobilenet的激光焊缝图像快速检测方法及系统。
背景技术:
1、随着智能制造的发展,激光焊接已成为薄壁不锈钢精密连接的关键工艺之一。根据缺陷检测方式可划分为传统图像处理方法与基于深度学习的语义分割方法。
2、以u-net、segnet为代表的语义分割系统,凭借编码-解码结构与跳跃连接能力,在焊缝特征表达方面达到行业领先水平。该类系统采用标准卷积构建网络,并依托标准交并比(miou)与平均像素准确率(mpa)评价分割质量;为降低参数量,亦有研究引入mobilenetv2倒残差结构,以深度可分离卷积替代标准卷积。然而,上述系统在架构上深度耦合于若干固有假设:输出层多采用softmax归一化,无法适配焊缝缺陷像素占比不足1%的极端不均衡,微小裂纹置信度被背景稀释;以固定帧率等间隔采集,而相贯焊缝为空间曲线、焊枪速度随曲率时变,导致拐点处漏检;标准miou/mpa以像素平均计算,背景像素占比极高,微小缺陷漏检被掩盖。
3、改进mobilenet结合边缘增强与sigmoid独立决策,在弱纹理、强干扰与稀疏缺陷场景下鲁棒性优于标准u-net与softmax方案,但现有技术尚无方案能在一套协同框架下打通上述技术壁垒。因此,亟需一种基于改进mobilenet的激光焊缝图像快速分割与缺陷识别方法及系统,以系统性地化解上述复合技术难题。
技术实现思路
1、本发明的目的是为了解决现有薄壁不锈钢相贯焊缝检测中缺陷细小狭长且样本极度不均衡导致微小缺陷漏检、强弧光烟尘干扰下难以实时分割、以及相贯曲线跟踪拐点处时空失配漏检且无法实时干预的问题,而提供一种基于改进mobilenet的激光焊缝图像快速检测方法及系统。
2、为了解决上述技术问题,本发明采用的技术方案为:
3、一种基于改进mobilenet的激光焊缝图像快速检测方法,包括以下步骤:
4、s1,在激光焊接过程中,采用高速激光视觉传感器按设定帧率同步采集焊缝条纹图像,所述焊缝条纹图像包含焊缝形态、熔池和缺陷类型信息;
5、s2,将采集的焊缝条纹图像输入边缘增强前置卷积层,通过多方向边缘梯度算子对输入图像进行多方向的边缘强化与噪声抑制,输出增强特征图;
6、s3,将增强特征图输入改进的mobilenet网络进行焊缝图像分割与缺陷特征提取;所述改进的mobilenet网络在保留u型编码-解码结构与跳跃连接的基础上,采用由逐通道卷积与逐点卷积组合而成的深度可分离卷积替代标准卷积块,并引入定制化倒残差结构;
7、s4,在改进的mobilenet网络输出层采用sigmoid激活函数对各像素独立输出属于焊缝或缺陷类别的置信度概率,并基于焊缝像素阈值动态修正函数将所述概率映射为二分类标签,得到像素级的焊缝缺陷分割图;
8、s5,基于所述的像素级的焊缝缺陷分割图,采用加权混淆矩阵计算焊缝缺陷加权类别平均像素准确率wmpa和加权平均交并比wmiou评价指标,所述加权混淆矩阵对纯背景、焊缝非缺陷区域、变形缺陷、烧伤缺陷和裂纹缺陷按工程失效后果赋予不同的权重系数;
9、s6,基于预先建立分割指标、缺陷类型与包括激光工艺参数之间的定量映射规则库,所述激光工艺参数包括:焊接速度,离焦量与激光功率;对当前帧的每种缺陷类型设定了三级阈值区间:在第一区间,焊接工艺参数保持当前状态;在第二区间,判定为轻度缺陷并根据缺陷类型与当前工艺参数的实际值,自动生成微调指令;在第三区间,判定为重度缺陷并立即触发停机报警及溯源缺陷全流程。
10、系统性解决了薄壁不锈钢相贯焊缝检测中缺陷细小狭长且像素占比极低导致微小裂纹易被背景淹没、强弧光烟尘干扰下难以实时分割、以及相贯曲线拐点易漏检且无法实时干预三大固有难题,实现实时主动干预。
11、所述步骤s2中,所述焊缝条纹边缘增强前置卷积层包括水平方向、垂直方向、45°方向和135°方向的sobel梯度算子模板,所述四个方向模板的卷积运算在fpga的dsp单元上并行执行,单时钟周期内完成全部梯度计算。
12、使焊缝条纹在多个空间朝向上得到同步、无偏的边缘强化,有效凸显细长曲折的焊缝轮廓并抑制各向异性噪声。
13、所述边缘增强前置卷积层采用三级流水线架构:第一级完成像素窗口缓存与边界填充,第二级执行多方向卷积乘加运算,第三级完成梯度幅值计算与通道融合。
14、从而在fpga上以"边缓存、边计算、边融合"的方式持续输出增强特征图,与"四方向sobel并行+单时钟周期梯度计算"共同保障焊缝图像单帧处理延迟稳定控制在2ms以内。
15、在所述步骤s3中,所述经定制化调整的倒残差结构针对焊缝细长缺陷的各向异性特征进行如下调整:
16、扩张系数分层差异化设置:编码器浅层采用扩张系数t1以扩展通道维度保留细长缺陷局部细节信息,解码器深层采用扩张系数t2以避免通道冗余稀释稀疏缺陷的语义响应;
17、瓶颈层通道数多尺度配置:编码器第2-4倒残差块的瓶颈层输出通道数由32/64提升至48/96以增强对细小裂纹起始端和烧伤斑边缘的微弱特征捕捉,第5-7倒残差块的瓶颈层输出通道数由160/320缩减至128/256以避免过度提取背景噪声特征;
18、非对称卷积核引入:在瓶颈层中以n×m和m×n组合的非对称卷积核替代标准3×3深度可分离卷积,使感受野沿焊缝方向拉伸以提升对细长形态缺陷的空间感知能力。
19、通过针对焊缝细长缺陷的各向异性特征对倒残差结构实施定制化调整,从而在不过度增加参数量的前提下,使网络对"细长、稀疏、低对比度"的焊缝缺陷同时具备细节保真、噪声抑制与方向敏感的空间感知能力,显著提升了微小裂纹与烧伤等狭长缺陷的分割召回率与边界定位精度。
20、在所述步骤s4中,所述sigmoid激活函数对每个像素独立输出0到1之间的概率值表示该像素属于缺陷区域的置信度,各像素的预测互不耦合,所述焊缝像素阈值动态修正函数根据当前帧图像的灰度分布特征、缺陷先验概率及激光工艺参数实时计算最优分割阈值。
21、避免softmax全局归一化对概率的强制约束而进一步压制占比极低的微小缺陷本已微弱的置信度信号,使稀疏裂纹、烧伤等小目标得以从庞大背景中有效凸显;同时限定焊缝像素阈值动态修正函数,使分割门限随焊接过程的弧光强弱、曝光均匀度与工艺工况自适应调整,当图像整体偏暗或弧光干扰较强时自动调低阈值以提高缺陷召回率,当图像质量良好时适当调高阈值以保证分割精度。
22、在所述步骤s5中,所述加权混淆矩阵对五种类别赋予不同的权重系数,遵循"稀有类别高权重、关键缺陷高权重"原则:纯背景像素权重系数设为0.05,焊缝非缺陷区域权重系数设为0.15,变形缺陷权重系数设为2.0,烧伤缺陷权重系数设为5.0,裂纹缺陷权重系数设为8.0。
23、所述加权wmiou/wmpa评价指标与模型对微小缺陷的真实召回能力具有强相关性,且在小样本场景下评价波动标准差显著低于标准miou/mpa指标。标准miou/mpa因背景像素占比过高而用高背景准确率掩盖微小缺陷漏检;该加权指标在小样本场景下提供了更稳健、敏感且与工程实际相符的评价基准,使检测系统的质量判断与真实焊接风险保持一致。
24、在所述步骤s6中,所述映射规则库采用阈值区间与趋势判定复合逻辑结构,对每种缺陷类型设定miou与mpa的合格阈值,对裂纹、烧伤和变形三类缺陷分别设定第一区间、第二区间和第三区间三级阈值;
25、当判定为轻度缺陷进入第一区间时,分割指标正常,焊接工艺参数保持当前状态,系统仅记录分割结果用于趋势分析;
26、当判定为轻度缺陷进入第二区间时,规则库根据缺陷类型自动生成微调指令:裂纹缺陷优先微调焊接速度向工艺窗口中心值靠拢或调整离焦量向正离焦方向,烧伤缺陷优先微调激光功率降低或提高焊接速度,变形缺陷优先微调光斑位置纠偏或降低焊接速度以控制热输入,微调步长根据指标偏离程度动态计算;
27、当判定为重度缺陷进入第三区间时,系统立即触发停机报警,并自动保存当前帧焊缝图像、分割结果图、缺陷类型及区域标注、当前焊接工艺参数以及机器人轨迹位姿数据以实现缺陷全流程溯源。
28、将抽象的分隔指标转化为可量化、可分级的工程决策边界,使系统不仅能判定是否存在缺陷,更能依据指标偏离方向与偏离幅度做出差异化响应;既避免单一合格线导致的误报/漏报,又为后续按缺陷类型匹配工艺参数微调策略提供结构化输入。
29、在步骤s6之后还包括三级时序同步锁相控制方法:
30、所述空间等弧长触发以机器人焊枪沿相贯线行进的等弧长位移量作为cmos相机采图触发信号,替代固定帧率等间隔采集,消除焊缝拐点降速区图像帧密集重叠和直线高速区帧间跨度大导致的采样不均匀问题;
31、所述前瞻延迟补偿根据fpga推理固有的处理延迟和当前焊接速度前向预测延迟期间机器人焊枪的位移量,对分割结果中特征点的空间坐标进行延迟补偿修正,使系统实际用于参数修正的特征点位置与机器人焊枪当前实际位置对齐;
32、所述时序锁相相位控制以相机的实际曝光时刻为时序基准相位,对fpga推理流水线和焊接激光脉冲进行相位锁定,确保每帧图像采集时序与焊接工艺时序精确同步,消除焊缝拐点曲率突变处的特征点偏移与漏检。
33、三者协同彻底消除了相贯曲线拐点曲率突变处的特征点偏移与漏检,使分割结果在时空维度上均能与真实焊接位置一一对应,为精准定向微调与全流程溯源提供可靠的时空基准。
34、一种基于改进mobilenet的激光焊缝图像快速检测系统,其特征在于,包括图像采集模块、边缘增强模块、焊缝分割与缺陷检测模块、加权评价监督模块以及闭环决策与控制模块;
35、所述图像采集模块,用于在激光焊接过程中按设定帧率同步采集焊缝条纹图像;
36、所述边缘增强模块,部署于嵌入式加速处理板卡的fpga可编程逻辑端,用于对采集的焊缝条纹图像通过多方向边缘梯度算子进行多方向的边缘强化与噪声抑制并输出增强特征图;
37、所述焊缝分割与缺陷检测模块,部署于所述嵌入式加速处理板卡;所述焊缝分割与缺陷检测模块在保留u型编码-解码结构与跳跃连接的基础上,采用由逐通道卷积与逐点卷积组合而成的深度可分离卷积替代标准卷积块,并引入定制化倒残差结构;
38、所述加权评价监督模块,用于基于所述像素级的焊缝缺陷分割图,采用加权混淆矩阵计算焊缝缺陷加权类别平均像素准确率wmpa和加权平均交并比wmiou评价指标;
39、所述闭环决策与控制模块,用于基于预先建立的分割指标、缺陷类型与激光工艺参数之间的定量映射规则库,对当前帧每种缺陷类型执行三级阈值区间的分级决策;
40、还包括时序同步模块,部署于所述嵌入式加速处理板卡的ps端,用于实现相机采集帧率、焊接机器人运动速度与fpga推理耗时三者的时序同步锁相控制;
41、所述系统还包括激光焊接工作站,由激光发生器、焊接机器人、机器人控制柜、变位机夹具及视觉跟踪控制系统组成;所述嵌入式加速处理板卡还包括存储器、ddr 存储单元、显示模块及以太网数据传输模块。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com