一种工业检测模型在线自纠偏方法、系统、电子设备及程序产品与流程
本技术涉及图像处理,具体涉及一种工业检测模型在线自纠偏方法、系统、电子设备及程序产品。
背景技术:
1、在高端制造(如半导体、精密电子等)的自动化视觉检测场景中,会利用相机对3c产品外壳、pcb板等进行拍摄,然后利用工业检测模型对拍摄得到的图像进行检测,以识别拍摄到的图像是否为与产品存在缺陷所对应的缺陷图像。并且,工业检测模型已被广泛部署于边缘端设备。
2、可知,产线在实际运行过程中,光照条件、材料批次、相机老化、工位切换等环境变化会导致相机拍摄到的检测图的数据分布发生漂移,使原先与旧环境匹配的模型在当前环境中出现误判或漏检。
3、比如,对于一个不存在缺陷的pcb板,在未老化前拍摄得到检测图a,与当前环境匹配的工业检测模型为模型b,此时模型b对检测图a识别为非缺陷图像。但是,相机老化后感光出现偏差,得到的检测图像相对老化前发生数据分布漂移,导致利用与老化前的检测图所对应的模型进行判断时,会误识别检测图为缺陷图像,产生系统性的“误判”。即在老化后拍摄得到检测图a’,此时,利用与老化前拍摄到的检测图匹配的模型b对检测图a’进行识别时,此时模型b对检测图a’则极有可能识别为缺陷图像,即会“误判”,该检测图a’即为误判图像。
4、针对数据漂移所导致的工业检测模型在检测时误判的问题,相关技术中,通常采用全局阈值调整、周期性离线重训或者测试时自适应的方案来调整。
5、但是,对于全局阈值调整,即在软件系统中直接调高检测算子的判定置信度阈值是一种“一刀切”的妥协,在降低误判率的同时,会不可避免地导致真实缺陷的漏检率大幅上升。
6、对于周期性离线重训,即收集产线误判图像,人工标注后,在中心服务器端混合历史数据进行全量重训,随后将新模型下发产线,其时滞性长,同时生产线数据上传至中心服务器存在隐私合规风险,且全量重训依赖昂贵的 gpu 集群算力。
7、对于测试时自适应,即在推理阶段对困难样本分配更多算力或进行多次变换推理以获得更稳定的结果,由于测试时自适应并未持久化地改变模型的内部权重参数,只解决了“当次推理”的准确性,当模型再次遇到同类漂移特征时,仍会消耗大量额外算力,且无法根治系统性的认知偏差。
技术实现思路
1、本技术提供一种工业检测模型在线自纠偏方法、系统、电子设备及程序产品,用以解决现有技术中工业检测模型因产线环境数据分布漂移而产生误判时,采用全局阈值调整会导致漏检率上升、采用周期性离线重训存在时滞长与灾难性遗忘、采用测试时自适应无法持久修正且算力开销大的技术问题。
2、本技术提供了一种工业检测模型在线自纠偏方法,方法包括:采集误判图像,在所述误判图像满足预设触发条件的情况下,启动在线纠偏流程;获取对应第一阶段的旧工业检测模型并冻结以及获取与误判图像所对应的基准图像;将所述误判图像和所述基准图像输入冻结的所述旧工业检测模型中,沿由所述基准图像至所述误判图像的积分路径,计算所有目标网络层中各神经元簇对误判结果的误判贡献度,其中,所述目标网络层为包括激活操作的网络层;根据各目标网络层中神经元簇所对应的误判贡献度,得到各目标网络层的层敏感度;根据各目标网络层的层敏感度,以第一筛选条件为目标,从所有目标网络层中确定出满足所述第一筛选条件的目标网络层,得到k个敏感层;所述第一筛选条件包括:所述k个敏感层的层敏感度之和在所有目标网络层的层敏感度总和中的占比,大于层敏感度阈值系数,且所述k个敏感层为所有目标网络层中层敏感度高的前k个目标网络层;根据第二筛选条件,确定每个敏感层中需进行权重增量偏移的目标神经元簇;所述第二筛选条件包括:在所述敏感层内各神经元簇的误判贡献度的高低排序中,将排序靠前的预设比例所对应的神经元簇作为所述目标神经元簇;将所述旧工业检测模型中所述目标神经元簇的权重矩阵进行权重增量偏移,得到对应第二阶段的、待训练的初始新工业检测模型;根据带标注的误判图像,锚点集以及带标注的对应第二阶段的检测图像得到训练样本集,并对所述初始新工业检测模型进行训练,得到推理阶段使用的新工业检测模型,其中,所述锚点集包括真实缺陷样本及其对应任务标签。
3、在一些实施例中,所述神经元簇为通道,并且,所述将所述误判图像和所述基准图像输入冻结的所述旧工业检测模型中,沿由所述基准图像至所述误判图像的积分路径,计算所有目标网络层中各所述神经元簇对误判结果的误判贡献度,其中,所述目标网络层为包括激活操作的网络层,包括:
4、将所述基准图像至所述误判图像的积分路径离散为所述基准图像至所述误判图像的多个过渡图像;计算各所述过渡图像输入所述旧工业检测模型后,每个目标网络层内各通道输出的过渡图像特征在各空间位置处的激活值相对于所述旧工业检测模型的输出结果的梯度值;以及将所述基准图像输入所述旧工业检测模型得到每个目标网络层内各通道输出的基准图像特征,以及将误判图像输入所述旧工业检测模型得到每个目标网络层内各通道输出的误判图像特征;以及计算所述基准图像特征与所述误判图像特征之间的相对图像特征偏差,得到各通道的相对图像特征偏差。
5、可以理解的,对于每个通道,计算所有采样图像输入所述旧工业检测模型后在该通道所对应的梯度值之和的梯度平均值;并将该通道的相对图像特征偏差与该通道的梯度平均值相乘,得到所述通道对误判结果的误判贡献度。
6、在一些实施例中,所述目标网络层包括多个隐藏层,并且,所述根据各目标网络层中神经元簇所对应的误判贡献度,得到各目标网络层的层敏感度,包括:将每个所述目标网络层中各神经元簇所对应的误判贡献度进行全局归一化,得到各神经元簇的敏感度评分;将每个所述目标网络层中各神经元簇的敏感度评分求和,得到所述目标网络层的层敏感度。
7、在一些实施例中,所述将所述旧工业检测模型中所述目标神经元簇的权重矩阵进行权重增量偏移,得到对应第二阶段的、待训练的初始新工业检测模型,包括:对于每个敏感层,生成可学习的低秩偏移矩阵;根据每个敏感层需要进行权重增量偏移的所述目标神经元簇,生成门控掩码向量ml,其中,所述门控掩码向量中,与所述目标神经元簇对应的掩码值为1,其余所述神经元簇对应的掩码值为0;基于所述门控掩码向量以及所述低秩偏移矩阵得到增量偏移矩阵;在所述旧工业检测模型对应的敏感层中添加所述增量偏移矩阵,得到所述初始新工业检测模型。
8、在一些实施例中,所述低秩偏移矩阵的秩的取值范围为2至8。
9、在一些实施例中,所述将误判图像以及对应第二阶段所采集到的检测图像作为训练样本,对所述初始新工业检测模型进行训练,得到推理阶段使用的新工业检测模型,包括:根据所述误判图像以及第二阶段的检测图像得到所述初始新工业检测模型的模型输入样本;将所述模型输入样本输入到所述初始新工业检测模型,得到模型输出结果;基于所述模型输出结果以及预测标签计算所述纠偏损失,其中,所述预测标签是基于所述误判图像以及所述第二阶段的检测图像分别所对应的标注得到的;基于所述锚点集计算知识保留损失;基于低秩偏移矩阵计算正则项;根据纠偏损失、知识保留损失以及正则项以及分别所对应的纠偏损失系数、知识保留损失系数、正则项系数进行加权计算得到联合损失,其中,所述纠偏损失,用于强制新工业检测模型将所述误判图像重新预测为非缺陷类别;以及所述知识保留损失,用于限制新工业检测模型对既有真实缺陷知识的偏移;以及所述正则项,用于限制参数改变量大小;基于所述联合损失更新所述低秩偏移矩阵中的参数;基于更新后的所述低秩偏移矩阵以及旧工业检测模型,得到所述新工业检测模型。
10、在一些实施例中,所述知识保留损失为:锚点样本集上的kl散度约束,表示为:
11、;
12、其中,为知识保留损失,n为锚点样本数量,为所述旧工业检测模型在第j个锚点样本上的输出概率分布,为所述初始新工业检测模型在同一锚点样本上的输出概率分布;并且,所述知识保留损失系数为:
13、;
14、其中,为基础权重常数,为所述旧工业检测模型在标准缺陷历史验证集上的f1-score综合得分,为所述误判图像被所述旧工业检测模型错误预测为缺陷类别时的输出置信度。
15、在一些实施例中,所述正则项为:
16、;
17、其中,为正则项;与为低秩适配器的两个可学习增量矩阵;为范数的平方;所述正则项系数为:
18、;
19、其中,为基础正则系数,为所述低秩偏移矩阵的秩,k为所述敏感层总数。
20、在一些实施例中,所述预设触发条件包括以下任一种或多种的组合:单个所述误判图像经确认后立即触发;同类型的所述误判图像在预定时间窗内累计达到阈值后触发;某工位或某批次的误报率超过预设阈值后触发。
21、在一些实施例中,所述基准图像为以下任意一种:全零图像;前产线正常样本均值图像;与误判图像在亮度、纹理统计上接近的正常参考图像;低频模糊图像,或背景模板图像。
22、在一些实施例中,所述目标网络层包括以下至少一种:主干网络的卷积层;以及特征金字塔融合层;以及检测头分类分支;以及分割头语义分类分支;以及最易受环境变化影响的后段特征映射层。
23、本技术还提供一种工业检测模型在线自纠偏系统,包括:采集与触发模块,用于采集误判图像,并在所述误判图像满足预设触发条件时启动纠偏流程。
24、在一些实施例中,还包括:显著性分析模块,用于获取对应第一阶段的旧工业检测模型并冻结以及获取与所述误判图像所对应的基准图像;将所述误判图像和所述基准图像输入冻结的所述旧工业检测模型中,沿由所述基准图像至所述误判图像的积分路径,计算所有目标网络层中各神经元簇对误判结果的误判贡献度,其中,所述目标网络层为包括激活操作的网络层;根据各目标网络层中神经元簇所对应的误判贡献度,得到各目标网络层的层敏感度;根据各目标网络层的层敏感度,以第一筛选条件为目标,从所有目标网络层中确定出k个敏感层;并根据第二筛选条件,确定每个敏感层中需进行权重增量偏移的目标神经元簇。
25、在一些实施例中,还包括:局部微调模块,用于基于可学习的低秩偏移矩阵将所述旧工业检测模型中所述目标神经元簇的权重矩阵进行权重增量偏移,得到对应第二阶段的、待训练的初始新工业检测模型。
26、在一些实施例中,还包括:联合优化模块,用于将所述误判图像以及对应第二阶段所采集到的检测图像作为训练样本,对所述初始新工业检测模型进行训练,得到推理阶段使用的新工业检测模型。
27、本技术还提供一种电子设备,包括处理器和存储器,所述存储器存储有计算机程序/指令,当所述计算机程序/指令被所述处理器执行时,实现所述工业检测模型在线自纠偏方法。
28、本技术还提供一种计算机程序产品,包括计算机程序/指令,所述计算机程序/指令被处理器执行时,实现所述工业检测模型在线自纠偏方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com