基于迁移学习的电子元器件外观缺陷跨类别快速识别方法与流程

摘要: 本发明涉及机器视觉缺陷检测,具体为基于迁移学习的电子元器件外观缺陷跨类别快速识别方法。背景技术:1、电子元器件是电子装备与信息系统的核心基础器件,其外观缺陷如划...
基于迁移学习的电子元器件外观缺陷跨类别快速识别方法与流程

本发明涉及机器视觉缺陷检测,具体为基于迁移学习的电子元器件外观缺陷跨类别快速识别方法。

背景技术:

1、电子元器件是电子装备与信息系统的核心基础器件,其外观缺陷如划痕、凹坑、引脚形变、镀层不均等,直接影响器件的电气性能、焊接可靠性与服役寿命,随着电子制造产业向高精度、高吞吐量方向发展,传统人工目视检测存在效率低、一致性差、易疲劳漏检等局限,基于机器视觉的自动化缺陷识别技术已成为产线质量管控的核心手段;与此同时,电子元器件品类繁多、封装形态各异,产线换型频繁,单一品类的缺陷检测模型难以快速适配新器件品类,跨类别快速识别能力成为制约检测设备柔性部署的关键瓶颈。

2、现有电子元器件外观缺陷识别方法多以深度学习模型为核心,通过标注样本监督训练实现缺陷分类与定位,但该类方法高度依赖目标品类的大规模标注数据,面对新增元器件品类时需重新采集标注样本并全量训练模型,部署周期长、落地成本高,为降低数据依赖,部分研究引入迁移学习与域对抗技术实现跨域缺陷识别,然而现有方案大多直接在空间域特征层面执行域对齐,未充分利用电子元器件表面普遍存在的周期纹理的频域分布规律,基底周期纹理易与弱缺陷特征发生混叠,导致域对齐过程中缺陷细节特征被湮灭,识别精度下降;另一方面,频域分解类方法可实现纹理与缺陷的频带分离,但传统变分模态分解的模态数量、惩罚系数等核心参数依赖人工经验设定,跨品类换型时需反复调试参数,无法与深度网络的迁移过程形成联动优化,难以兼顾缺陷增强效果与跨品类适配效率。

技术实现思路

1、(一)解决的技术问题

2、针对现有技术的不足,本发明提供了基于迁移学习的电子元器件外观缺陷跨类别快速识别方法,通过构建基准频带尺度映射先验表与通用周期纹理基元库建立频域先验,采用引入周期正交惩罚项的尺度自适应变分模态分解实现基底周期纹理与缺陷特征的频带解耦,结合带频域相位保护的域对抗训练避免缺陷细节特征在域对齐中湮灭,并通过可微分变分模态分解模块实现分解参数与迁移训练过程的联动优化,解决了现有跨类别缺陷识别方案中周期纹理与弱缺陷特征混叠、域对齐易湮灭缺陷细节导致识别精度不足,以及传统频域分解参数依赖人工调试、无法与深度网络迁移过程协同优化,难以兼顾缺陷增强效果与跨品类快速适配效率的技术问题。

3、(二)技术方案

4、为实现以上目的,本发明通过以下技术方案予以实现:基于迁移学习的电子元器件外观缺陷跨类别快速识别方法,包括:

5、对源域已标注的多品类电子元器件灰度图像开展频域分析,构建基准频带尺度映射先验表与通用周期纹理基元库,结合缺陷样本的频域差值特征,确定变分模态分解的初始模态总数量、缺陷敏感模态序号范围及初始惩罚系数;

6、对输入的目标域电子元器件灰度图像进行主频匹配,计算尺度映射系数并调整变分模态分解的对应参数,生成同频周期参考分量,构建由保真项、带宽约束项与周期正交惩罚项构成的变分模态分解优化目标,迭代求解得到多个独立模态分量,筛选缺陷敏感模态融合生成缺陷增强特征图;

7、将源域与目标域的缺陷增强特征图输入预训练主干特征提取网络提取深度特征,构建域判别器开展带频域相位保护的域对抗训练,同时通过可微分变分模态分解模块联动优化尺度映射系数与正交惩罚系数,经交替迭代得到训练完成的主干特征提取网络与优化后的分解参数;

8、冻结主干特征提取网络的全部参数,在输出端新增轻量化分类头,采用目标域标注缺陷样本对分类头执行监督微调,对待检测图像生成缺陷增强特征图后,经训练完成的主干特征提取网络与分类头输出缺陷类别及对应置信度。

9、进一步的,构建基准频带尺度映射先验表,具体包括:选取源域中已标注为无缺陷的多品类电子元器件灰度图像,依次缩放至预设标准像素尺寸、将灰度值归一化至0至1的数值区间完成图像预处理;逐张对预处理后图像执行二维快速傅里叶变换,剔除频谱中的零频直流分量点得到全局幅度频谱,按电子元器件品类分别统计该品类下所有无缺陷样本的全局幅度频谱最大幅值对应频率的算术平均值,作为对应品类的基准主频;以各品类的基准主频为中心,按照预设的相对带宽比例向高低频两侧对称扩展,确定对应基准频带区间;将各品类的基准主频、标称外形封装长边尺寸、对应基准频带区间一一对应存储,生成基准频带尺度映射先验表。

10、进一步的,构建通用周期纹理基元库,具体包括:针对源域每一类无缺陷电子元器件灰度图像,分别对其对应的全局幅度频谱进行局部峰值检测,提取所有幅值高于预设峰值阈值的局部频率峰值作为候选周期分量;逐一计算每个候选周期分量对应的空间重复度、相位波动值、能量占比;筛选出空间重复度高于预设重复度阈值、相位波动值低于预设相位阈值的候选周期分量,作为有效周期纹理基元;对每个有效周期纹理基元对应的频域区域执行二维快速傅里叶逆变换,生成对应空间域的单周期纹理块作为标准周期纹理模板,同时记录该基元的主频值、相位均值与相位标准差作为相位特征参数;按照预设的主频区间步长对所有品类的有效周期纹理基元进行区间划分与分类存储,构建通用周期纹理基元库。

11、进一步的,基于源域已标注缺陷的电子元器件灰度图像,逐一截取各缺陷对应的局部图像区域,对每个缺陷局部图像区域执行二维快速傅里叶变换,得到缺陷区域幅度频谱,将缺陷区域幅度频谱与对应品类无缺陷样本的全局幅度频谱做差值计算,得到差值幅度频谱,统计差值幅度频谱中缺陷能量占比超过预设缺陷能量阈值的频率区间;以基准主频为参照基准,将该频率区间转换为以频率比值表示的相对分布区间,确定为缺陷敏感模态对应的相对频带范围;结合基准频带尺度映射先验表中的基准主频参数,按照模态中心频率近似均分全频带的原则,预设变分模态分解的初始模态总数量;所有模态按中心频率从低到高依次排序并分配连续序号,根据缺陷敏感相对频带范围对应的绝对频率区间,匹配对应中心频率的模态,确定缺陷敏感模态的序号范围。

12、进一步的,输入单张目标域电子元器件灰度图像,经预处理后执行二维快速傅里叶变换,将零频位置幅值置零得到去除直流分量的全局幅度频谱,取全局幅度频谱非零频区域最大幅值对应点的径向空间频率作为实测主频;计算实测主频与基准频带尺度映射先验表中各品类基准主频的差值绝对值,选取差值绝对值最小的基准主频作为匹配基准,计算尺度映射系数;以预设初始模态总数量为基准,均分归一化径向全频带得到各模态初始中心频率,结合尺度映射系数调整得到适配目标域物理尺度的模态初始中心频率与初始惩罚系数。

13、进一步的,将目标域图像的实测主频与通用周期纹理基元库中各有效周期纹理基元的主频进行比对,计算主频差值的绝对值,选取差值绝对值最小的有效周期纹理基元作为匹配基元;基于该匹配基元的标准周期纹理模板,按目标域图像尺寸进行空间周期延拓,生成与当前目标域图像像素尺寸一致、灰度值归一化的同频周期参考分量。

14、进一步的,生成缺陷增强特征图,具体包括:构建以最小化为目标的变分模态分解优化目标,优化目标由保真项、带宽约束项与周期正交惩罚项相加构成;采用交替方向乘子法迭代求解该优化目标,迭代过程中依次更新各模态分量、各模态中心频率与拉格朗日乘子,当迭代次数达到预设最大迭代次数,或相邻两次迭代的所有模态中心频率绝对差值的最大值小于预设收敛阈值时终止迭代,得到与初始模态总数量一致的多个独立模态分量;根据缺陷敏感模态的序号范围筛选对应模态分量,采用权重均等的逐像素灰度值相加运算,将相加后的像素值截断至0至1的数值区间,融合生成缺陷增强特征图。

15、进一步的,开展带频域相位保护的域对抗训练,具体包括:获取源域与目标域缺陷增强特征图,按单批次内两类样本数量相等的规则输入同一预训练主干特征提取网络,分别得到源域缺陷深度特征图与目标域缺陷深度特征图;构建二分类域判别器网络,采用二元交叉熵函数分别计算域判别器损失与域对抗特征损失,域判别器与主干特征提取网络分别以最小化对应损失为优化目标,形成对抗训练关系;对两类深度特征图的每个通道分别执行二维快速傅里叶变换,分离得到各通道对应的特征幅值分量与特征相位分量;前向传播时仅特征幅值分量参与域对齐更新,特征相位分量保持原始数值不变,组合后执行二维快速傅里叶逆变换得到空间域特征图,再输入域判别器计算域对抗损失;反向传播过程中,梯度经逆变换反向运算映射至频域,对特征相位分量对应的梯度乘以相位特征保护系数。

16、进一步的,构建可微分变分模态分解前向计算模块,基于变分模态分解的交替方向乘子法迭代求解过程,移除收敛判定逻辑并展开固定步数迭代,将每步迭代运算映射为可微分计算节点,构成完整的可微分计算图,将尺度映射系数与正交惩罚系数设置为该模块的可微分参数;将域对抗特征损失经主干特征提取网络反向传导至缺陷增强特征图,按模态融合规则将梯度分配至各参与融合的模态分量,再经可微分计算图逐层反向传导,得到尺度映射系数与正交惩罚系数对应的梯度;采用梯度下降法微调尺度映射系数与正交惩罚系数的取值,与主干特征提取网络同步执行参数更新,以最小化域对抗特征损失为优化目标。

17、进一步的,执行交替迭代优化,每轮迭代中先基于域判别器损失、采用梯度下降法更新1次域判别器网络参数,再基于域对抗特征损失、采用梯度下降法同步更新1次主干特征提取网络参数、尺度映射系数与正交惩罚系数;当迭代次数达到预设总迭代轮次,或连续预设轮次内损失波动满足收敛阈值时终止迭代,得到训练完成的主干特征提取网络与优化后的尺度映射系数、正交惩罚数;冻结训练完成的主干网络全部参数,在输出端新增并初始化轻量化分类头,仅保留分类头为可训练状态,轻量化分类头依次由全局平均池化层、单层全连接层与softmax激活层构成,全连接层输出维度与预设缺陷类别数量一致;获取目标域标注缺陷样本,采用优化后的尺度映射系数与正交惩罚系数生成缺陷增强特征图,输入冻结后的主干特征提取网络提取缺陷深度特征图后输入轻量化分类头,采用交叉熵损失函数执行监督微调,达到迭代轮次或满足收敛条件时终止微调,完成跨元器件品类适配;输入待检测电子元器件灰度图像,采用优化后的分解参数生成缺陷增强特征图,经训练完成的主干特征提取网络提取缺陷深度特征图后,由轻量化分类头输出缺陷类别标签及对应分类置信度。

18、(三)有益效果

19、本发明提供了基于迁移学习的电子元器件外观缺陷跨类别快速识别方法,具备以下有益效果:

20、(1)依托源域多品类元器件灰度图像完成频域分析,搭建基准频带尺度映射先验表与通用周期纹理基元库,再结合缺陷样本频域差值特征确定变分模态分解各项初始参数,构建起跨品类通用频域先验体系,为后续尺度自适应频域分解、周期纹理与缺陷特征解耦提供统一基准,摆脱传统分解方法人工反复调参的弊端,为缺陷特征增强、跨域迁移训练提供频域基础。

21、(2)对目标域图像完成主频匹配求取尺度映射系数,自适应适配不同器件物理尺度并校正分解参数,依托纹理基元库生成同频周期参考分量,新增周期正交惩罚项优化变分模态分解,筛取缺陷敏感模态融合得到增强特征图,能有效剥离元器件基底周期纹理干扰,解决纹理与微弱缺陷频带混叠难题,显著放大缺陷特征差异。

22、(3)引入带频域相位保护的域对抗训练,仅对特征幅值做域对齐、保留缺陷相位细节,避免弱缺陷特征在跨域适配中丢失,搭建可微分变分模态分解模块实现频域分解参数与主干网络同步联动优化,交替迭代更新网络与分解参数,同步缩小源域、目标域特征分布差异,打通频域预处理与深度迁移学习的协同链路,大幅提升模型对不同品类元器件缺陷的跨域泛化能力。

23、(4)锁定已完成跨域优化的主干网络权重不变,仅搭建简易轻量化分类头开展微调训练,只需目标域少量标注样本即可完成新品类适配,完整复用前期训练得到的通用缺陷特征提取能力,大幅削减新品类模型训练的数据需求与算力消耗,缩短产线换型调试周期,推理阶段可高效输出缺陷类别与置信度,兼顾缺陷识别精度与产线快速落地的效率需求。