一种AOI图像相似度学习训练与阈值标定方法及系统与流程

摘要: 本发明涉及工业视觉检测与智能制造,特别是涉及一种aoi图像相似度学习训练与阈值标定方法及系统。背景技术:1、在工业自动光学检测(aoi)质检场景中,检测设备通常...
一种AOI图像相似度学习训练与阈值标定方法及系统与流程

本发明涉及工业视觉检测与智能制造,特别是涉及一种aoi图像相似度学习训练与阈值标定方法及系统。

背景技术:

1、在工业自动光学检测(aoi)质检场景中,检测设备通常首先对生产图像进行自动筛查,将疑似异常区域输出为待复判对象。由于生产现场存在光照波动、器件姿态偏差、成像噪声、局部遮挡、背景纹理复杂以及同型号器件间细粒度外观差异等因素,aoi初检结果中往往会包含较多误报。在现有生产流程中,企业通常需要安排人工对候选图像进行二次复判,以确认该候选图像对应目标是否真正异常。

2、在高节拍生产线中,人工需要持续对大量候选图像逐张进行比对判断,耗费较多人力,且难以随着产量增长同步扩展。同时,不同复判人员对候选图像与标准图像是否一致的理解存在偏差,且容易受经验、疲劳和班次差异影响,导致复判结果一致性不足。

3、现有技术中,部分方案采用单图分类模型对候选图像进行孤立类别判断。然而,aoi复判的核心并非孤立判断某一张图像属于哪一类别,而是判断候选图像与其对应标准图像之间是否足够相似。现有单图分类模型未显式利用标准图信息,在多器件、多角度、细微差异识别场景下适配性不足。

4、在阈值设定方面,现有方案通常基于经验阈值或以整体准确率最优方式确定判定门限,缺乏以异常漏失率为核心约束的阈值标定机制,容易出现总体指标较高但异常样本漏放不可控的问题。

5、在数据集划分方面,若同一器件、同一目录、同一局部结构或高度近似样本同时进入训练集和验证集或校准集,会导致离线评估结果虚高,进而影响模型上线后的真实可靠性。

6、此外,工业aoi场景中产品批次、工艺参数、光照环境、治具状态及器件供应来源会随时间变化,现有模型部署后难以持续利用最新的人工复判确认结果进行优化,模型性能易随生产环境变化而下降。

技术实现思路

1、本发明的目的在于提出一种aoi图像相似度学习训练与阈值标定方法及系统,能够降低工业aoi复判场景中的异常漏判风险并提高复判标准一致性。

2、为解决上述技术问题,本发明提供一种aoi图像相似度学习训练与阈值标定方法,具体包括如下:

3、获取候选图像与对应标准图像,配对形成样本对,并为每个样本对赋予正常或异常类别标签,得到样本对集合;

4、基于样本来源信息为所述样本对集合生成组标识,并基于所述组标识将所述样本对集合划分为多个数据子集,使具有同一组标识的样本进入同一个数据子集中;

5、对其中一个所述数据子集中的候选图像与标准图像进行嵌入向量提取,并基于所述嵌入向量和对应的类别标签得到相似度计算模型;

6、基于所述相似度计算模型计算另一个所述数据子集中样本对的相似度分数,并根据所述相似度分数生成多个候选阈值,结合约束条件从多个候选阈值中筛选得到最终判定阈值;

7、输出所述相似度计算模型和所述最终判定阈值。

8、进一步的,所述得到样本对集合的过程,具体包括:

9、遍历候选图像目录中的图像文件,按照相对路径在标准图像目录中查找对应标准图像;

10、当相对路径匹配成功时,构建一条样本对记录,对正常样本对赋予正常类别标签,对异常样本对赋予异常类别标签;将匹配成功的样本对记录汇总为样本对集合;

11、当未匹配到标准图像时,将该候选图像记录为缺失样本并剔除。

12、进一步的,所述基于样本来源信息为所述样本对集合生成组标识,并基于所述组标识将所述样本对集合划分为多个数据子集,使具有同一组标识的样本进入同一个数据子集中,具体包括:

13、在存在业务元数据时,基于样本的业务属性信息生成组标识;在缺少业务元数据时,基于文件路径信息生成组标识;

14、将所述样本对集合按类别标签分别聚合为正常样本组和异常样本组;

15、在正常样本组和异常样本组内部,分别以组为最小切分单位,执行组标识去重、随机打散与比例分配,按照预设比例划分为多个数据子集,所述数据子集包括训练集、验证集和校准集,使同一组标识的样本仅进入同一个数据子集;其中,所述训练集作为所述其中一个数据子集用于训练所述相似度计算模型,所述校准集作为所述另一个数据子集用于标定所述最终判定阈值。

16、进一步的,切分前统计每组的样本数量与标签分布,在正常样本组与异常样本组内分别执行分层组切分;

17、当组的总数量不足时,对验证集和校准集的最小组数进行约束调整,并优先保证训练集存在可用的组;切分完成后保存随机种子、分组列表与数据版本号。

18、进一步的,在所述样本对集合划分为多个数据子集之后,所述嵌入向量提取之前,还包括:

19、对训练集、验证集和校准集中的候选图像与标准图像,均执行统一尺寸缩放、张量化与归一化处理,得到可输入神经网络的图像张量;

20、对候选图像与标准图像执行几何对齐处理,将对齐置信度低于预设阈值的样本标记为低置信度样本,对所述低置信度样本执行复核或剔除;

21、统计训练样本中不同标签类别的样本数量,基于类别数量与异常增强系数分配采样权重,构建加权随机采样器以生成训练数据加载器,并生成验证数据加载器与校准数据加载器。

22、进一步的,所述对其中一个所述数据子集中的候选图像与标准图像进行嵌入向量提取,具体包括:

23、将候选图像与标准图像分别输入双分支共享权重网络,两个分支采用相同的主干特征提取网络、相同的归一化参数和相同的嵌入头部网络,将两张图像映射到同一特征空间;

24、对两个分支输出的特征图执行特征对齐处理;

25、通过嵌入头部网络将对齐后的特征映射为固定维度的特征向量,并执行归一化处理,分别得到候选图像与标准图像对应的嵌入向量。

26、进一步的,所述基于所述嵌入向量和对应的类别标签得到相似度计算模型,具体包括:

27、计算每对样本中候选图像嵌入向量与标准图像嵌入向量之间的距离或相似度;

28、采用加权对比损失训练网络:正常样本对缩小特征距离,异常样本对拉大特征距离至预设间隔以上,且异常样本的损失权重高于正常样本;

29、对距离小于预设间隔的异常样本,或相似度高于预设相似度阈值的异常样本进行强化挖掘,动态调整训练参数,得到相似度计算模型。

30、进一步的,所述基于所述相似度计算模型计算另一个所述数据子集中样本对的相似度分数,并根据所述相似度分数生成多个候选阈值,结合约束条件从多个候选阈值中筛选得到最终判定阈值,具体包括:

31、将另一数据子集中的各样本对输入相似度计算模型,得到每个样本对对应的相似度分数及对应真实类别标签;

32、基于相似度分数的取值范围,生成多个候选阈值;针对每个候选阈值,计算对应的异常漏失率与正常通过率,以预设的目标异常漏失率为约束条件,选取满足约束条件且正常通过率最高的候选阈值,作为最终判定阈值;

33、当不存在满足约束的候选阈值时,选择异常漏失率最低的候选阈值作为临时保护阈值,并触发预设流程来重新标定出满足目标异常漏失率约束的判定阈值,以替换所述临时保护阈值。

34、进一步的,还包括:

35、将所述相似度计算模型的模型参数、所述最终判定阈值及相关配置信息统一保存,形成可部署版本;

36、将所述可部署版本发布至自动光学检测复判服务并执行在线复判判定,采集在线复判结果及人工确认结果,将对应样本沉淀至闭环样本池;

37、基于所述闭环样本池中的样本数据及数据漂移指标,触发模型迭代更新、阈值再标定或模型轻量化部署。

38、此外,本发明还提出一种aoi图像相似度学习训练与阈值标定系统,包括样本构建模块、分组切分模块、特征提取与训练模块、分数计算与阈值标定模块和模型发布模块;

39、所述样本构建模块用于获取候选图像与对应标准图像,配对形成样本对,并为每个样本对赋予正常或异常类别标签,得到样本对集合;

40、所述分组切分模块用于基于样本来源信息为所述样本对集合生成组标识,并基于所述组标识将所述样本对集合划分为多个数据子集,使具有同一组标识的样本进入同一个数据子集中;

41、所述特征提取与训练模块用于对其中一个所述数据子集中的候选图像与标准图像进行嵌入向量提取,并基于所述嵌入向量和对应的类别标签得到相似度计算模型;

42、所述分数计算与阈值标定模块用于基于所述相似度计算模型计算另一个所述数据子集中样本对的相似度分数,并根据所述相似度分数生成多个候选阈值,结合约束条件从多个候选阈值中筛选得到最终判定阈值;

43、所述模型发布模块用于输出所述相似度计算模型和所述最终判定阈值。

44、通过上述技术方案,本发明具有如下有益效果:

45、通过将候选图像与对应标准图像构造成成对样本,并基于组标识进行防泄漏数据切分,能够提高aoi复判任务与模型训练目标的一致性,减少因样本泄漏导致的离线评估失真;通过以满足目标异常漏失率为约束条件筛选判定阈值,能够在控制异常漏判风险的同时兼顾正常样本通过率,提高复判标准的一致性;通过输出可部署的相似度计算模型与最终判定阈值,能够为aoi自动复判替代人工提供统一的模型基础。