一种PCBA缺陷检测的深度感知与边缘增强方法和系统

摘要: 本公开涉及工业视觉检测与深度学习目标检测,尤其涉及一种pcba缺陷检测的深度感知与边缘增强方法和系统。背景技术:1、pcba作为电子产品中的核心功能载体,其表面...
一种PCBA缺陷检测的深度感知与边缘增强方法和系统

本公开涉及工业视觉检测与深度学习目标检测,尤其涉及一种pcba缺陷检测的深度感知与边缘增强方法和系统。

背景技术:

1、pcba作为电子产品中的核心功能载体,其表面质量直接影响电路连接稳定性、器件装配可靠性以及产品长期使用性能。随着电子制造向高集成度和小型化方向发展,pcba板表面元器件数量不断增加,焊点、引脚、丝印、基板纹理和器件边缘相互交织,使缺陷检测面临复杂背景干扰。

2、在实际检测过程中,pcba表面缺陷通常具有尺度小、形态不规则、边界模糊和外观对比度低等特点,容易受到局部反光、复杂纹理、器件遮挡和边缘结构的影响。现有基于深度学习的检测方法虽然能够自动提取图像特征并完成缺陷识别,但多数方法主要依赖单一rgb图像,难以充分表征由高度变化、焊点异常、器件偏移或局部结构变化引起的缺陷特征,容易出现漏检、误检和定位不准确等问题。

3、深度图像能够提供pcba表面的空间结构和几何形貌信息,可对rgb图像中的纹理信息形成补充。然而,深度信息在采集过程中可能存在局部噪声、边缘缺失、反光干扰和不可靠响应。如果直接将rgb特征与深度特征进行简单拼接或融合,可能会将无效深度信息引入检测网络,影响检测结果的稳定性。

4、此外,微小缺陷和弱边界缺陷的边缘轮廓及局部纹理突变不明显,在网络特征提取过程中容易被削弱。因此,如何有效利用rgb图像与深度图像之间的互补信息,同时抑制不可靠深度响应,并增强微小缺陷、弱边界缺陷和低对比度缺陷的特征表达能力,是pcba缺陷检测领域亟待解决的技术问题。

技术实现思路

1、本公开实施例提供一种pcba缺陷检测的深度感知与边缘增强方法,以解决背景技术中存在的问题,技术方案如下:

2、第一方面,本公开实施例提供了一种pcba缺陷检测的深度感知与边缘增强方法,包括:

3、s10、获取pcba表面的rgb图像和深度图像;

4、s20、分别对所述rgb图像和深度图像进行浅层卷积特征提取,得到rgb初始特征和深度浅层特征,基于所述深度浅层特征构建联合引导图,通过所述联合引导图对所述rgb初始特征进行残差式调制,得到增强特征;

5、s30、将所述增强特征作为骨干网络的初始特征进行层级特征提取,得到各层级特征,并通过局部卷积分支、多尺度池化分支和高频差分操作对所述各层级特征进行多尺度边缘信息增强处理,得到多尺度增强特征;

6、s40、通过特征融合网络和检测头依次对所述多尺度增强特征进行多尺度融合与缺陷识别,得到pcba表面缺陷的类别预测结果和位置回归结果,完成pcba缺陷检测。

7、可选地,分别对所述rgb图像和深度图像进行浅层卷积特征提取,得到rgb初始特征和深度浅层特征,表示为:

8、,

9、,

10、式中,为rgb初始特征,为深度浅层特征,表示rgb分支的前端卷积映射函数,表示深度图分支的浅层卷积映射函数,为rgb图像,为深度图像。

11、可选地,基于所述深度浅层特征构建联合引导图,包括:

12、利用所述深度浅层特征生成区域响应图和可靠性图,将所述区域响应图和所述可靠性图逐元素相乘,得到联合引导图;其中,所述区域响应图用于表征各空间位置的激活程度,所述可靠性图用于表征各空间位置的置信度。

13、可选地,通过所述联合引导图对所述rgb初始特征进行残差式调制,得到增强特征,表示为:

14、,

15、式中,为增强特征,

α表示调制强度系数,为rgb初始特征,为联合引导图。

16、可选地,所述多尺度边缘信息增强处理包括:

17、通过局部卷积分支对所述各层级特征进行卷积映射,得到局部纹理特征;

18、通过多个并行的多尺度池化分支对所述各层级特征进行自适应池化操作,得到多尺度上下文特征;

19、对所述多尺度上下文特征进行高频差分操作,得到增强后的边缘响应特征;

20、将所述增强后的边缘响应特征以残差形式叠加至所述多尺度上下文特征,得到增强后的多尺度上下文特征;

21、将所述局部纹理特征和所述增强后的多尺度上下文特征进行融合,得到多尺度增强特征。

22、可选地,对所述多尺度上下文特征进行高频差分操作,包括:

23、对所述多尺度上下文特征进行平均池化,得到低频平滑特征;

24、将所述多尺度上下文特征减去所述低频平滑特征,得到高频边缘响应;

25、对所述高频边缘响应进行卷积映射,得到增强后的边缘响应特征。

26、可选地,通过特征融合网络和检测头依次对所述多尺度增强特征进行多尺度融合与缺陷识别,得到pcba表面缺陷的类别预测结果和位置回归结果,包括:

27、通过特征融合网络对所述多尺度增强特征进行自顶向下和自底向上的多尺度特征融合,得到融合后的特征;

28、采用多分支解耦检测头对所述融合后的特征并行进行类别预测和位置回归,得到pcba表面缺陷的类别预测结果和位置回归结果。

29、第二方面,还提供了一种pcba缺陷检测的深度感知与边缘增强系统,包括:

30、图像获取模块,获取pcba表面的rgb图像和深度图像;

31、深度浅层引导调制模块,分别对所述rgb图像和深度图像进行浅层卷积特征提取,得到rgb初始特征和深度浅层特征,基于所述深度浅层特征构建联合引导图,通过所述联合引导图对所述rgb初始特征进行残差式调制,得到增强特征;

32、多尺度边缘增强模块,将所述增强特征作为骨干网络的初始特征进行层级特征提取,得到各层级特征,并通过局部卷积分支、多尺度池化分支和高频差分操作对所述各层级特征进行多尺度边缘信息增强处理,得到多尺度增强特征;

33、多尺度融合与检测模块,通过特征融合网络和检测头依次对所述多尺度增强特征进行多尺度融合与缺陷识别,得到pcba表面缺陷的类别预测结果和位置回归结果,完成pcba缺陷检测。

34、第三方面,还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述的一种pcba缺陷检测的深度感知与边缘增强方法。

35、第四方面,还提供了一种计算机可读存储介质,其上存储有计算机程序/指令和比特流,所述程序/指令被处理器执行时实现上述的一种pcba缺陷检测的深度感知与边缘增强方法生成所述比特流。

36、上述技术方案中的优点或有益效果至少包括:

37、1)本公开通过深度可靠感知浅层引导调制模块,将深度信息作为前端引导信息而非直接并入主干特征流,能够在引入可靠空间结构线索的同时,降低不可靠深度响应对检测结果的干扰。

38、2)本公开通过区域响应图和可靠性图的联合约束,对不同空间位置的深度引导强度进行调节,使模型更加关注具有可靠几何变化的缺陷区域,提高了对微小缺陷、弱边界缺陷和结构异常区域的感知能力。

39、3)本公开通过多尺度边缘信息增强模块,将局部细节、多尺度上下文信息和高频边缘响应进行融合,能够增强pcba缺陷区域的边界轮廓和局部纹理突变表达,从而提升复杂背景下pcba缺陷检测的准确性与稳定性。

40、上述概述仅仅是为了说明书的目的,并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外,通过参考附图和以下的详细描述,本公开进一步的方面、实施方式和特征将会是容易明白的。