基于自适应感受野与电磁力约束的跨产线PCB缺陷检测方法及系统
本发明涉及机器视觉工业质检,特别涉及一种基于自适应感受野与电磁力约束的跨产线pcb缺陷检测方法及系统,应用于消费电子、汽车电子、工控设备印刷电路板(pcb)自动化缺陷检测,适用于高密度微小缺陷、多产线差异化基板的实时在线质检场景。
背景技术:
1、pcb 作为电子设备核心组件,其缺陷检测是电子制造质检关键环节。当前主流方案包括:
2、1. 传统视觉检测:依赖人工/模板匹配,对微小缺陷、复杂纹理适应性差,漏检率高;
3、2. 深度学习检测:以 yolo 系列为主,存在微小目标漏检、跨产线泛化差、物理规则利用不足三大痛点;
4、3. 域自适应方法:仅对齐高层语义,未建模基板颜色、布局密度等物理元特征,跨板型迁移效果差;
5、4. 规则约束方案:采用后处理校验,流程割裂、延迟高,无法端到端优化模型。
6、现有技术的缺陷:
7、1. 固定卷积感受野,无法根据 pcb 局部纹理疏密自适应调整采样范围,高纹理微小缺陷漏检严重,同时低纹理区域计算资源冗余;
8、2. 跨产线域偏移仅对齐全局语义,未解耦 pcb 专属物理元特征,无标注新产线泛化能力差,标注成本高昂;
9、3. pcb ipc 电气间距、焊点贴合规范仅后置校验,无法端到端嵌入模型训练,元件粘连、虚焊误检率高;
10、4. 模型精度提升依赖加宽网络,参数量大、推理帧率低,无法适配产线嵌入式边缘设备实时检测需求。
11、现有技术缺陷带来的实际生产问题:微小缺陷漏检流入市场引发电子产品短路故障;跨产线更换模型需停工标注,降低产线稼动率;大量误检增加人工复检人力成本;大模型无法搭载产线轻量化工控机。
技术实现思路
1、为解决现有 pcb 缺陷检测模型存在微小缺陷漏检、跨产线泛化能力差、物理行业规范无法端到端约束模型的问题;本发明提出一种基于自适应感受野与电磁力约束的跨产线pcb缺陷检测方法及系统,通过自适应感受野、元特征引导对抗训练与电磁力损失协同作用,有效降低 pcb 微小缺陷漏检,提升跨产线泛化能力,实现行业规范端到端约束,并满足边缘设备实时检测需求。
2、为实现上述目的,所采取的技术方案是:
3、本发明提供一种基于自适应感受野与电磁力约束的跨产线pcb缺陷检测方法,包括离线模型训练阶段与在线pcb缺陷推理阶段;
4、所述离线模型训练阶段包括:
5、构建airs-pcb网络,所述airs-pcb网络包含前置卷积层、多级串联arf自适应感受野主干模块、neck多尺度特征融合模块、检测头、mgat元特征引导对抗训练分支以及em电磁力损失模块;
6、将pcb图像输入前置卷积层得到基础特征图,送入多级串联arf自适应感受野主干模块,各arf模块通过动态空洞卷积完成差异化采样,输出多尺度pcb特征图;
7、取第一层arf模块输出的浅层共享特征,从中提取pcb物理元特征,启动mgat元特征引导对抗训练分支,利用源域、目标域样本进行跨域对抗训练,对齐源域、目标域pcb样本的物理元特征;
8、多尺度pcb特征图送入neck多尺度特征融合模块进行特征融合,特征融合结果送入检测头生成预测信息;
9、em电磁力损失模块包含排斥力损失与吸引力损失,联合分类损失、边界框回归损失、域对抗损失共同优化网络参数;
10、所述在线pcb缺陷推理阶段包括:移除mgat元特征引导对抗训练分支,将待检测pcb图像输入airs-pcb网络,输出pcb缺陷类别、像素坐标与置信度,完成pcb缺陷识别。
11、根据本发明基于自适应感受野与电磁力约束的跨产线pcb缺陷检测方法,进一步地,所述多级串联arf自适应感受野主干模块包括4层串联的arf模块以及配套下采样单元,每个arf模块输出对应尺度的自适应采样增强特征,依次记为,其中为最高分辨率浅层特征,为最低分辨率深层特征;每个arf模块输出特征经下采样单元后送入下一层arf模块,4个arf模块输出的多尺度特征全部输入neck多尺度特征融合模块完成特征融合。
12、根据本发明基于自适应感受野与电磁力约束的跨产线pcb缺陷检测方法,进一步地,所述各arf模块通过动态空洞卷积完成差异化采样具体包括:采用k×k滑动窗口遍历特征图,计算窗口内特征标准差得到纹理复杂度热力图;依据纹理复杂度热力图通过sigmoid激活函数生成像素级可变空洞率;纹理复杂度越高,对应位置空洞率越小执行高纹理细密采样,纹理复杂度越低,对应位置空洞率越大执行低纹理稀疏采样;基于得到的可变空洞率执行动态空洞卷积得到增强特征。
13、根据本发明基于自适应感受野与电磁力约束的跨产线pcb缺陷检测方法,进一步地,所述pcb物理元特征从第一层arf模块输出的浅层共享特征提取得到,所述pcb物理元特征包括元件布局密度、基板rgb均值、基板全局对比度和纹理均值四类工艺属性;通过全局平均池化与多层感知机对浅层共享特征进行处理,将得到的四类特征拼接得到物理元特征向量。
14、根据本发明基于自适应感受野与电磁力约束的跨产线pcb缺陷检测方法,进一步地,所述mgat元特征引导对抗训练分支的处理过程为:
15、将物理元特征向量与neck多尺度特征融合模块输出的全局深层缺陷语义特征经全局平均池化后的结果进行拼接,得到融合特征;
16、通过门控生成网络依据物理元特征向量生成门控权重;
17、使用门控权重对所述融合特征加权后输入域判别网络,输出域分类概率;
18、结合源域带标注样本、目标域无标注样本计算域对抗损失。
19、根据本发明基于自适应感受野与电磁力约束的跨产线pcb缺陷检测方法,进一步地,所述neck多尺度特征融合模块对多尺度pcb特征图进行尺度对齐:对高分辨率浅层特征采用卷积下采样,将全部多尺度特征统一对齐至最低分辨率深层特征尺寸,尺度对齐后沿通道维度拼接,输出全局深层缺陷语义特征。
20、根据本发明基于自适应感受野与电磁力约束的跨产线pcb缺陷检测方法,进一步地,所述排斥力损失用于抑制元件粘连误检,遍历单张图像全部预测框,计算两两预测框之间的交并比,当交并比超过粘连判定iou阈值时施加平方惩罚,反向传播驱动密集元件对应的预测框相互分离。
21、根据本发明基于自适应感受野与电磁力约束的跨产线pcb缺陷检测方法,进一步地,所述吸引力损失针对焊点、针孔类缺陷设置类别动态权重,焊点、针孔类缺陷权重取值为1.5,其余普通缺陷权重取值为1.0;基于缺陷预测框与真实标注框的交并比以及类别动态权重计算吸引力损失。
22、根据本发明基于自适应感受野与电磁力约束的跨产线pcb缺陷检测方法,进一步地,所述离线模型训练阶段的总损失函数为:,其中为分类损失,为边界框回归损失,为排斥力损失,为吸引力损失,为域对抗损失,为平衡系数;所述分类损失与边界框回归损失采用源域带标注样本计算。
23、进一步地,本发明还提供一种基于自适应感受野与电磁力约束的跨产线pcb缺陷检测系统,包括:
24、图像采集单元,用于通过线扫ccd相机连续采集流水线上pcb原始图像;
25、预处理单元,用于对采集的pcb原始图像执行裁剪、归一化及降噪处理;
26、airs-pcb推理单元,用于加载采用权利要求1至9任一项所述方法训练完成的airs-pcb网络模型,对预处理后的pcb图像执行缺陷检测,输出缺陷类别、像素坐标与置信度;所述airs-pcb推理单元在在线推理阶段移除mgat元特征引导对抗训练分支,仅保留前置卷积层、多级串联arf自适应感受野主干模块、neck多尺度特征融合模块与检测头;
27、后处理与输出单元,用于对检测结果执行非极大值抑制,根据预设置信度阈值判定当前pcb为良品或不良品,输出缺陷位置及判定指令;
28、工业执行单元,用于接收判定指令,驱动工业机器人对不良品执行分拣移出动作,或驱动标记机构对缺陷区域进行标记。
29、采用上述技术方案,所取得的有益效果是:
30、1、本发明依托多级串联arf自适应感受野主干模块逐像素计算pcb图像纹理复杂度并生成动态可变空洞率,在走线、焊盘密集等高纹理区域采用小空洞细密采样捕捉毛刺、针孔等微小缺陷,在大面积绿油低纹理区域采用大空洞稀疏采样降低冗余计算,由此解决pcb微小缺陷漏检问题,实现高低纹理区域差异化自适应特征提取。
31、2、本发明通过mgat元特征引导对抗训练分支从第一层arf模块输出的浅层共享特征提取pcb物理元特征,开展元特征门控的域对抗训练,剥离基板底色、布局等工艺差异带来的干扰,保留缺陷语义特征,提升跨产线/跨板型泛化能力,实现源域标注知识向无标注目标产线迁移,省去新产线大量图像标注工作,降低无标注数据迁移成本。
32、3、本发明将pcb行业ipc物理间距规范转化为包含排斥力损失、吸引力损失的em电磁力损失函数并端到端嵌入网络联合训练;通过排斥力损失对交并比超阈值的预测框施加平方惩罚,约束密集元件预测框相互分离,有效抑制元件粘连误检;吸引力损失对焊点、针孔类缺陷设置类别动态权重,强化预测框与真实标注框的匹配精度,以此降低虚焊缺陷误报。
33、4、本发明在提升检测精度的同时,依靠自适应感受野动态采样策略、推理阶段裁除mgat元特征引导对抗训练分支实现模型轻量化,降低推理算力开销,满足工业边缘设备实时部署要求。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com