一种基于改进YOLOv8的焊缝识别方法和系统与流程
本发明涉及焊缝识别,尤其涉及一种基于改进yolov8的焊缝识别方法和系统。
背景技术:
1、焊接是航空航天、机械制造、船舶建造、轨道交通、能源装备、石油化工和钢结构制造等领域中的关键连接工艺。焊缝质量直接影响构件的承载能力、密封性能、疲劳寿命和服役安全。因此,焊缝识别与焊缝质量检测是焊接生产过程中的重要环节。
2、目前,焊缝识别方法主要包括人工目检、传统图像处理方法和基于深度学习的目标检测方法。人工目检方式操作直观,但检测效率低,检测结果容易受到检测人员经验、疲劳程度和主观判断的影响,难以满足工业现场连续化、自动化和在线检测的要求。传统图像处理方法通常依赖阈值分割、边缘提取、形态学处理或模板匹配等规则实现焊缝区域提取,在背景简单、光照稳定和焊缝形态较规则的条件下能够取得一定效果;但在金属反光明显、焊接烟雾遮挡、弧光干扰、焊缝边界模糊、背景纹理复杂或焊缝尺度变化较大的场景下,识别稳定性不足,容易发生漏检和误检。
3、近年来,以yolov8为代表的深度学习目标检测模型,因其检测速度快、端到端推理能力强、能同步输出类别与位置信息等优势,被逐步引入工业视觉检测领域。将yolov8直接应用于焊缝识别,虽在一定程度上提升了检测效率。但常规yolov8网络架构面向的是通用目标检测任务,并未针对焊缝目标的独有视觉特性进行设计。具体而言,焊缝呈现细长窄带状、局部断续、有效特征主要集中于熔合边缘与灰度突变区域等形态特点,而焊接场景中金属母材反光、焊渣飞溅、烟雾及夹具背景等干扰因素,又会生成与焊缝相似的高响应纹理。
4、上述特性导致常规yolov8在复杂焊接场景中主要存在以下缺陷:第一,c2f模块虽能提取局部卷积特征,但缺乏对有效焊缝通道和关键空间区域的自适应筛选能力,导致弱边界与细小特征被背景噪声淹没;第二,sppf模块虽能扩大感受野,但依赖局部连续最大池化,难以对工件整体背景结构及焊缝的全局上下文位置关系进行有效建模。从而导致容易出现焊缝定位框偏移、细长断续区域漏检、反光区误检等问题。
技术实现思路
1、针对现有基于常规目标检测网络的焊缝识别方法在复杂焊接场景下存在的焊缝定位框偏移、细长断续区域漏检、反光区误检等问题,本发明提供一种基于改进yolov8的焊缝识别方法和系统。
2、本发明通过在yolov8网络结构中引入双注意力特征增强模块和全局上下文增强sppf模块,使网络能够同时关注焊缝局部纹理、空间位置和工件整体背景关系,从而提升焊缝区域识别和定位能力。
3、第一方面,本发明提供一种基于改进yolov8的焊缝识别方法,包括:
4、采集待检测工件的焊缝图像;
5、将所述待检测工件的焊缝图像输入至训练过的基于改进yolov8的焊缝识别模型,得到初始的焊缝目标检测结果,包括焊缝目标的边界框、类别和置信度;
6、其中,所述焊缝识别模型在骨干网络引入双注意力特征增强模块和全局上下文增强sppf模块;所述双注意力特征增强模块用于对输入特征图中与焊缝有关的特征通道和空间区域进行加权增强;所述全局上下文增强sppf模块用于提取焊缝局部边缘和纹理信息、待检测工件的整体结构信息和焊缝的空间上下文关系以及显著的焊缝响应区域并进行融合,生成全局上下文增强特征;
7、采用后处理方式对所述初始的焊缝目标检测结果进行修正,得到修正后的焊缝目标检测结果。
8、进一步地,所述的采用后处理方式对所述初始的焊缝目标检测结果进行修正,包括:
9、剔除置信度小于预设阈值的检测结果,对检测结果执行非极大值抑制以融合重叠边界框,根据焊缝目标形态特征剔除不符合待检测工件结构的异常框,以及基于待检测工件的结构先验知识对检测结果进行修正中的一种或多种修正方式。
10、进一步地,所述的在骨干网络引入双注意力特征增强模块和全局上下文增强sppf模块,包括:
11、将所述双注意力特征增强模块嵌入至c2f单元的分支特征融合前和/或融合后,使用全局上下文增强sppf模块替代原有的sppf模块。
12、进一步地,所述双注意力特征增强模块包括串联的通道-空间联合注意力子模块和并行注意力增强子模块;
13、所述通道-空间联合注意力子模块包括通道注意力分支、空间注意力分支和残差融合单元;所述通道注意力分支对输入特征图执行全局池化和非线性映射以获取不同特征通道的响应强度,再对不同特征通道的响应强度进行归一化得到不同特征通道的权重,最后利用权重对输入特征图进行通道重标定;所述空间注意力分支对输入特征图执行卷积映射以生成空间权重图,使用所述空间权重图对输入特征图进行逐特征点调制;所述残差融合单元用于将输入特征图与通道重标定后的特征图、经过空间权重图调制后的特征图进行融合;
14、所述并行注意力增强子模块包括全局通道注意力分支、局部通道注意力分支、空间注意力分支和特征拼接单元;所述全局通道注意力分支对通道-空间联合注意力子模块的输出特征图执行全局池化和非线性映射以提取整个图像范围内的通道依赖关系;所述局部通道注意力分支对通道-空间联合注意力子模块的输出特征图分别执行全局池化和深度卷积以提取局部感受野内的通道交互特征;所述空间注意力分支用于对通道-空间联合注意力子模块的输出特征图执行卷积映射以强化焊缝所在空间区域的响应;所述特征拼接单元将全局通道注意力分支、局部通道注意力分支和空间注意力分支的输出特征图进行拼接;将拼接结果与通道-空间联合注意力子模块的输出特征图进行残差连接,得到最终的增强特征图。
15、进一步地,所述全局上下文增强sppf模块包括并行的局部多尺度池化分支、全局平均池化分支和全局最大池化分支,以及对三个分支的输出特征图依次进行拼接和卷积融合的特征拼接单元和卷积融合单元;
16、其中,所述局部多尺度池化分支通过多个串联的最大池化层对输入特征图进行池化处理,以提取不同感受野下的焊缝局部纹理特征和边缘特征;
17、采用所述全局平均池化分支提取待检测工件的整体结构信息和焊缝的空间上下文关系;
18、采用所述全局最大池化分支提取输入特征图中显著的焊缝响应区域。
19、第二方面,本发明提供一种基于改进yolov8的焊缝识别系统,包括:
20、图像采集单元,用于采集待检测工件的焊缝图像;
21、焊缝检测单元,用于将所述待检测工件的焊缝图像输入至训练过的基于改进yolov8的焊缝识别模型,得到初始的焊缝目标检测结果,包括焊缝目标的边界框、类别和置信度;
22、其中,所述焊缝识别模型在骨干网络引入双注意力特征增强模块和全局上下文增强sppf模块;所述双注意力特征增强模块用于对输入特征图中与焊缝有关的特征通道和空间区域进行加权增强;所述全局上下文增强sppf模块用于提取焊缝局部边缘和纹理信息、待检测工件的整体结构信息和焊缝的空间上下文关系以及显著的焊缝响应区域并进行融合,生成全局上下文增强特征;
23、修正单元,用于采用后处理方式对所述初始的焊缝目标检测结果进行修正,得到修正后的焊缝目标检测结果。
24、第三方面,本发明提供一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现如第一方面所述的方法。
25、第四方面,本发明提供一种非暂态计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面所述的方法。
26、第五方面,本发明提供一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现如第一方面所述的方法。
27、本发明的有益效果为:
28、本发明根据焊缝目标细长连续、弱边界、与母材背景相似以及易受反光烟雾干扰的成像特点,进行了以下改进:
29、首先,在c2f特征提取单元中引入双注意力特征增强模块,是因为c2f单元处于焊缝纹理和边缘特征逐级抽象的关键阶段。通道注意力能够筛选与焊缝熔合边缘、余高、纹理和缺陷响应相关的特征通道,空间注意力能够突出焊缝所在窄带区域并降低金属反光、焊接烟雾、弧光、阴影、焊渣和复杂背景纹理对模型识别结果的干扰。将该模块布置于c2f单元中分支特征的融合前和/或融合后,可以在特征进入更深层语义提取和多尺度融合之前完成有效焊缝特征增强,从而减少干扰特征在后续网络中的传播,减少复杂工况下的误检和漏检。
30、其次,在sppf模块中引入全局平均池化和全局最大池化分支,是因为焊缝位置通常与工件整体几何结构、接头形式和焊缝走向存在关联。常规sppf通过连续最大池化形成局部多尺度感受野,但对工件全局背景和焊缝整体位置关系利用不足。本发明通过全局平均池化获取整体统计背景响应,通过全局最大池化获取显著焊缝响应区域,再与局部多尺度池化特征拼接融合,使网络同时具备局部细节感知和全局结构判断能力,有利于提高细长焊缝、尺度变化焊缝和边界不清晰焊缝的定位稳定性。
31、最后,本发明在检测结果后处理中引入置信度筛选、非极大值抑制、重叠框融合、异常框剔除和可选结构先验修正机制,能够对模型多检、错检和漏检情况进行修正,使焊缝检测结果能够更稳定地转化为后续工艺处理所需的感兴趣区域,进而使整幅图像或大范围点云处理转化为局部焊缝区域处理,能够减少无关背景区域参与计算,提高后续焊缝质量检测、缺陷识别、机器人焊接路径生成和打磨路径规划的处理效率。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com