基于图像识别的PCBA缺陷定位方法及系统与流程

本发明涉及工业机器视觉检测，具体涉及一种基于图像识别的pcba缺陷定位方法及系统。

背景技术：

1、印刷电路板组件是各类电子设备的核心承载体，其上密布着微小的焊点、引脚和走线，微小的锡珠溅射或走线裂纹都可能导致整机短路或失效。在消费电子和汽车电子的规模化生产中，出货前采用工业机器视觉检测对电路板表面进行图像识别式的缺陷检测，已成为保障产品可靠性的重要环节。

2、当前普遍采用无监督识别方法对电路板缺陷进行检测，该方法通过卷积神经网络提取深层特征以识别锡珠、裂纹这类微观异常。然而随着卷积层的堆叠，特征图的空间尺寸被逐级压缩，位置信息随之被稀释，响应区域模糊、粗糙；同时深层特征中每个通道对缺陷的响应强弱并不相同，难以衡量哪些通道真正与异常相关，稀释后的空间响应容易在复杂背景中偏离真实缺陷，将定位框落在旁边的正常焊点上。

3、因此，现有技术存在无法在保留深层语义信息的同时还原缺陷空间位置、并衡量各通道对异常响应的贡献，导致微小缺陷定位精度不足的问题。

技术实现思路

1、本发明提供了一种基于图像识别的pcba缺陷定位方法及系统，以解决现有技术中无法在保留深层语义信息的同时还原缺陷空间位置、并衡量各通道对异常响应的贡献，导致微小缺陷定位精度不足的问题。

2、第一方面，为解决上述问题，本发明提供一种基于图像识别的pcba缺陷定位方法，包括：

3、获取待检测的电路板图像，对所述电路板图像进行多层级特征提取，得到深层特征图；

4、提取所述深层特征图在空间维度上的像素分布数值，根据所述像素分布数值构建各特征通道对应的响应矩阵，根据所述响应矩阵计算各特征通道的异常响应分数，得到通道贡献分数序列；

5、将所述通道贡献分数序列中的数值与预设分数阈值进行比对，剔除不大于所述预设分数阈值的数值对应的特征通道，得到目标特征通道集合；

6、对所述目标特征通道集合进行特征重建，得到与所述深层特征图维度一致的重建特征图，计算所述深层特征图与所述重建特征图在对应空间位置上的像素差值，得到空间差异矩阵；

7、提取所述空间差异矩阵中数值大于预设差异阈值的连续像素连通区域，得到包含微小缺陷的初始位置信息，根据所述初始位置信息对所述深层特征图进行反向映射，得到位置还原后的空间定位坐标。

8、进一步地，所述对所述电路板图像进行多层级特征提取，得到深层特征图，包括：

9、对所述电路板图像进行通道合并，并进行卷积运算，得到浅层边缘特征图；

10、对所述浅层边缘特征图进行池化操作，得到降维特征图，对所述降维特征图进行非线性映射，得到高维抽象特征图；

11、对所述高维抽象特征图进行语义信息融合，得到包含语义信息的深层特征图。

12、进一步地，所述提取所述深层特征图在空间维度上的像素分布数值，根据所述像素分布数值构建各特征通道对应的响应矩阵，包括：

13、对所述深层特征图进行通道分离，得到多个独立特征通道，并根据所述独立特征通道的像素坐标提取像素分布数值；

14、对所述像素分布数值进行加权抑制，对加权抑制后的像素分布数值计算响应强度，得到灰度映射序列；

15、根据所述灰度映射序列进行矩阵构建，得到多个特征通道对应的响应矩阵。

16、进一步地，所述根据所述响应矩阵计算各特征通道的异常响应分数，得到通道贡献分数序列，包括：

17、计算所述响应矩阵的矩阵元素的离散程度，得到空间分布特征序列；

18、根据所述空间分布特征序列进行绝对偏差计算，得到异常响应分数；

19、根据预设异常判定阈值对所述异常响应分数进行加权抑制，对加权抑制后的异常响应分数进行线性归一化，得到分数分布序列；

20、根据所述分数分布序列进行权重分配计算，得到通道贡献分数序列。

21、进一步地，所述将所述通道贡献分数序列中的数值与预设分数阈值进行比对，剔除不大于所述预设分数阈值的数值对应的特征通道，得到目标特征通道集合，包括：

22、当所述通道贡献分数序列中的数值大于所述预设分数阈值时，为对应的特征通道附加保留标识；

23、剔除不大于所述预设分数阈值的数值对应的特征通道，根据带有所述保留标识的特征通道得到目标特征通道集合。

24、进一步地，所述对所述目标特征通道集合进行特征重建，得到与所述深层特征图维度一致的重建特征图，包括：

25、对所述目标特征通道集合进行降维映射，得到隐层特征向量；

26、根据所述隐层特征向量确定目标重构维度；

27、对所述隐层特征向量按所述目标重构维度进行升维还原，得到初始像素分布矩阵；

28、当所述初始像素分布矩阵的维度与所述目标重构维度不匹配时，对所述初始像素分布矩阵进行插值填充，得到与所述深层特征图维度一致的重建特征图。

29、进一步地，所述计算所述深层特征图与所述重建特征图在对应空间位置上的像素差值，得到空间差异矩阵，包括：

30、获取所述深层特征图与所述重建特征图的对齐坐标，根据所述对齐坐标计算绝对偏差；

31、对所述绝对偏差进行灰度映射，得到对应空间位置的像素差值；

32、当所述像素差值大于预设强度阈值时，提取所述像素差值对应的响应强度，得到包含异常响应强度的空间差异矩阵。

33、进一步地，所述提取所述空间差异矩阵中数值大于预设差异阈值的连续像素连通区域，得到包含微小缺陷的初始位置信息，根据所述初始位置信息对所述深层特征图进行反向映射，得到位置还原后的空间定位坐标，包括：

34、根据所述空间差异矩阵提取数值大于预设差异阈值的目标像素点，按预设邻域范围进行像素聚类，得到连续像素连通区域；

35、当所述连通区域的区域面积大于预设面积阈值时，将所述连通区域确定为候选缺陷区域，计算所述候选缺陷区域的几何中心坐标；

36、根据所述连通区域的区域面积与所述几何中心坐标进行全局坐标映射，得到包含微小缺陷的初始位置信息；

37、根据所述初始位置信息提取所述深层特征图对应的像素范围，结合网络步长比例与感受野尺寸计算所述像素范围对应的缩放因子和边界补偿数值；

38、采用所述缩放因子与所述边界补偿数值对所述像素范围进行反向映射，提取映射后的极值坐标，得到位置还原后的空间定位坐标。

39、第二方面，本发明提供一种基于图像识别的pcba缺陷定位系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的基于图像识别的pcba缺陷定位方法的步骤。

40、第三方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的基于图像识别的pcba缺陷定位方法的步骤。

41、相比于现有技术，本发明具有如下有益效果：

42、（1）本发明通过提取连续像素连通区域得到包含微小缺陷的初始位置信息，并结合网络步长比例、感受野尺寸和边界补偿数值对初始位置信息进行反向映射，得到原始电路板图像坐标系下的空间定位坐标。该方案将深层特征图坐标系下的缺陷位置精准还原至原始图像坐标系，补偿卷积下采样造成的位置信息稀释，提升微小锡珠、裂纹及虚焊等缺陷的定位精度。

43、（2）本发明通过对待检测电路板图像进行多层级特征提取得到深层特征图，并对深层特征图进行通道分离、构建各特征通道的响应矩阵、计算异常响应分数，形成通道贡献分数序列，再依据预设分数阈值剔除贡献不足的特征通道。该方案将深层特征中各通道对缺陷的响应强弱进行量化筛选，保留对锡珠、裂纹等异常具有稳定响应的敏感通道，剔除仅响应正常背景纹理的无关通道，从而降低背景干扰对缺陷定位的影响。

44、（3）本发明通过对筛选后的目标特征通道集合进行降维映射、升维还原和插值填充，获得与深层特征图维度一致的重建特征图，再计算深层特征图与重建特征图在对应空间位置上的像素差值得到空间差异矩阵，结合预设差异阈值、邻域聚类和面积阈值筛选连续像素连通区域。该方案基于目标通道重建与空间差异检测，在同一空间坐标下突出异常位置的响应偏差，区分真实缺陷的连续响应与孤立噪声的离散响应，减少误报并提高缺陷区域提取的准确性。