带背景异常提示的PCB微小缺陷检测方法与流程

本发明涉及光学检测，尤其涉及一种带背景异常提示的pcb微小缺陷检测方法。

背景技术：

1、随着电子产品向高密度、高集成方向发展，pcb线宽持续缩小，器件布局更加紧凑，生产过程中产生的断线、短路、毛刺、板面异物等缺陷尺寸持续减小、趋于微尺度。

2、目前，基于深度学习的pcb缺陷检测方法主要包括基于卷积神经网络（cnn）的目标检测和基于transformer结构的目标检测。其中yolo、faster r-cnn等经典cnn结构通过学习图像浅层和深层特征完成缺陷定位；近年来，transformer依托全局注意力机制能较好的表征新型号pcb ，在复杂板面背景下的检测任务中取得了较好效果，但现有技术仍存在以下不足：

3、（1）未针对性利用pcb规则背景信息。pcb图像线路排布规整、背景纹理重复性强，但现有方法多直接对原始图像开展特征学习，未充分利用pcb背景的先验特性。由于训练样本中正常背景占比远高于缺陷区域，网络需同步学习大量背景纹理与少量缺陷特征，易导致背景纹理掩盖微小缺陷的响应信号，最终干扰特征学习效果。

4、（2）微小缺陷特征易在深层网络中衰减‌，pcb微小缺陷通常尺寸极小（多为32×32像素以下），在整幅图像中占比极低，经过多层卷积与下采样操作后，其边缘、纹理等细节特征极易出现信息丢失，引起缺陷漏检。

5、（3）多尺度特征融合缺少背景异常信息提示，现有多尺度特征融合方法主要依靠不同尺度特征的交互来提升检测性能，却‌缺少背景异常信息的定向提示机制‌，融合后特征仍裹挟大量冗余正常背景信息，无法有效突出异常区域特征，直接削弱模型对pcb微小缺陷的识别能力。

6、有鉴于此，特提出本发明。

技术实现思路

1、为了克服上述缺陷，本发明提供了一种带背景异常提示的pcb微小缺陷检测方法，该方法充分利用pcb板面线路规则排布、背景纹理重复性强的固有特性，有效提升pcb微小缺陷的检测精度、检测稳定性，同时增强对多型号pcb的适配能力。

2、本发明为了解决其技术问题所采用的技术方案是：一种带背景异常提示的pcb微小缺陷检测方法，包括以下步骤：

3、步骤1，背景特征字典构建，为各类pcb型号建立对应的标准化背景特征参考库；

4、步骤2，通过待测pcb图像特征与特征字典中对应型号的特征差异计算，生成标注异常区域分布的异常提示图；

5、步骤3，对异常提示图进行自适应加权特征增强；

6、步骤4，通过双向加权特征融合，输出背景异常引导融合特征，且在双向加权特征融合前引入异常提示图的空间复位校准；

7、步骤5，利用步骤4输出的背景异常引导融合特征，结合步骤3的增强特征，完成pcb微小缺陷的分层解耦式缺陷检测。

8、作为本发明的进一步改进，所述步骤1具体包括以下步骤：

9、步骤11，进行pcb多尺度背景特征提取，采集各型号无缺陷的良品pcb标准背景图像，加载于dinov3预训练网络模型提取不同层级的层级特征图；

10、步骤12，基于pcb线路的周期性进行线路周期的patch划分‌；

11、步骤13，通过聚类去重构建轻量化背景图像字典‌。

12、作为本发明的进一步改进，所述步骤11中，所述层级包括1/4、1/8、1/16和1/32的下采样层级；

13、所述步骤12中，进行patch划分时，相邻两个patch的空间范围设置15%~20%的固定重叠率。

14、作为本发明的进一步改进，所述步骤2具体包括以下步骤：

15、步骤21，多尺度patch特征匹配与异常得分计算：将每个待测patch的特征向量，与特征字典内对应空间区域的背景模版执行k近邻匹配，计算待测特征与k个最邻近背景模版的平均余弦距离；

16、步骤22，异常提示图生成：对初始异常得分执行双线性上采样与全局归一化处理，将得分值域映射至0-1区间，生成与输入待测pcb图像分辨率一致的异常提示图。

17、作为本发明的进一步改进，所述步骤3具体包括以下步骤：

18、步骤31，多尺度层级特征提取：通过输入pcb待测图像，并将其划分为多个patch，输入至swin transformer主干网络进行层级化特征提取，生成四个不同分辨率的层级特征；

19、步骤32，异常提示图的对齐与引入：采用‌双线性插值将异常提示图下采样至与各层级特征相同的空间分辨率，得到对应尺度的空间权重图；

20、步骤33，异常提示图引导的特征增强：将该异常提示图作为权重，与对应尺度特征图逐位相乘，放大可疑区域特征同时抑制正常背景特征，得到加权特征、、和。

21、作为本发明的进一步改进，所述步骤33中，特别保留加权特征。

22、作为本发明的进一步改进，所述步骤4具体包括以下步骤：

23、步骤41，双向多尺度互补融合架构：输入步骤3输出的1/8、1/16和1/32的加权特征及异常提示图，依次经过自上而下路径、自下而上路径进行特征融合；

24、步骤42，前置空间校准预处理：在进行多尺度特征融合之前，将步骤2生成的异常提示图通过双线性插值，分别缩放至与1/8、1/16和1/32的尺度特征图一致的空间分辨率，以使异常先验信息映射到对应尺度的特征网格上；

25、步骤43，双向多尺度内部融合计算：通过所述步骤41后，进行同尺度特征聚合，对同一尺度下两条融合支路输出的增强特征执行逐像素相加，最终输出三级融合特征、和。

26、作为本发明的进一步改进，所述的自上而下路径是将深层特征逐级2倍上采样，与相邻浅层特征融合，为浅层特征补充全局结构语义；

27、所述自下而上路径是将浅层特征逐级2倍下采样，与相邻深层特征融合，为深层特征注入精细纹理细节。

28、作为本发明的进一步改进，所述步骤5具体包括以下步骤：

29、步骤51，分层解耦检测：输入步骤4输出的加权特征、和，以及步骤3特别保留的加权特征，并在不同尺度上分别执行检测任务，每个尺度同时输出缺陷类型与预测框位置；

30、步骤52，微小缺陷定向增强检测：将1/8尺度作为核心检测分支，同时将1/4尺度特征通过轻量卷积嵌入该分支，补充细节特征；

31、步骤53，结果后处理优化‌：将多尺度输出的检测结果统一映射回原始pcb图像坐标系，采用‌soft-nms输出每个缺陷的类别、位置与置信度。

32、作为本发明的进一步改进，所述步骤5的多尺度输出的检测结果的损失函数为：

33、

34、其中，μ为平衡超参数,s代表不同特征输出尺度；λs对应每个尺度的损失权重，并约束；代表第s个尺度上的分类损失；代表第s个尺度上的回归损失。

35、本发明的有益效果是：通过充分利用pcb板面线路规则排布、背景纹理重复性强的固有特性，首先构建正常pcb背景特征字典，通过背景特征匹配生成异常提示图；将该异常提示图作为权重，在特征提取阶段强化异常特征、在特征融合阶段调控融合过程，持续引导网络聚焦潜在异常区域，最终有效提升pcb微小缺陷的检测精度、检测稳定性，同时增强对多型号pcb的适配能力。