一种AOI历史数据复判样本构建系统及方法与流程
本发明涉及自动光学检测、工业图像数据处理和机器学习训练数据构建,具体为一种aoi历史数据复判样本构建系统及方法。
背景技术:
1、在印制电路板组装、半导体封装、显示面板及其他工业制造过程中,自动光学检测(automaticopticalinspection,aoi)设备通常对被测对象进行多光源或多角度成像,并依据检测程序、元件库、阈值和图像算法生成缺件、偏移、少锡、多锡、虚焊、错件、极性错误等报警。由于光照反射、元件批次差异、板面污染、程序阈值和图像配准误差等因素,aoi报警中包含一定比例的误报,通常需要维修站或复判工位进行人工确认。
2、现有技术已经涉及对aoi图像进行缺陷分类、将成对正常图像与缺陷图像用于深度学习以及通过复判工具对检测结果进行人工核实。例如,cn113591965a公开了对已有aoi图像进行元件本体、引脚和缺陷类型标注后训练深度学习模型的方案;cn109959661a公开了利用无瑕图像与瑕疵图像的成对影像训练深度学习网络的方案;cn111024708b公开了包含模型复判工具和人工核实功能的产品缺陷检测数据处理方案。
3、然而,上述方案通常假设训练图片及标签已经整理完成,或者侧重模型训练与在线复判,未充分解决大规模aoi历史目录中的描述记录、检测事件、标准图像和多光源报警图像之间的自动关联问题,也未系统处理aoi原始报警与人工真实标签不一致、同板近重复样本造成训练验证泄漏、全量复制历史图片造成输入输出开销以及重新扫描后人工标签丢失等问题。
4、因此,需要一种aoi历史数据复判样本构建系统及方法来解决上述问题。
技术实现思路
1、针对现有技术的不足,本发明提供了一种aoi历史数据复判样本构建系统及方法,将历史检测描述记录和图像文件自动规范化并建立稳定关联,利用标准图像与检测图像对照提高复判效率,通过双标签机制、质量门控和分组划分构建可追溯、高一致性的aoi复判训练数据集。
2、为实现上述目的,本发明提供如下技术方案:一种aoi历史数据复判样本构建方法,由计算设备执行,包括:
3、1)以只读方式访问aoi历史数据源目录,递归建立检测描述文件、标准图像文件和检测图像文件的文件索引;
4、2)依据与aoi数据格式对应的字段映射规则解析所述检测描述文件,获得板卡标识、检测时间、元件位号、元件角度、检测步骤或引脚标识、aoi原始缺陷代码、aoi原始缺陷类型、图像通道标识以及图像引用信息中的至少一部分;
5、3)基于所述板卡标识、检测时间、元件位号、检测步骤或引脚标识以及aoi原始缺陷代码生成检测事件标识,并依据所述图像引用信息、描述节点父子关系、规范化文件名和图像所在目录范围中的至少两项,将所述检测事件与对应的多通道检测图像以及可选的多通道标准图像关联,形成候选复判样本;
6、4)对所述候选复判样本执行图像通道完整性、图像可解码性、图像尺寸一致性、图像重复性、检测事件唯一性和描述记录与图像引用一致性中的至少两项质量校验,得到样本质量状态;
7、5)针对满足预设质量条件的候选复判样本,保留所述aoi原始缺陷类型并接收人工复判结果,所述人工复判结果包括ok、ng、忽略和缺陷类型修正中的至少一种,由此形成包含aoi原始标签和人工复判标签的双标签样本;以及
8、6)根据人工复判结果和样本质量状态筛选所述双标签样本,按照产品、批次或板卡中的至少一种分组单位划分训练集、验证集和测试集,并生成包含关联图像及元数据的aoi复判训练数据集。
9、进一步,所述字段映射规则包括多个aoi厂商格式适配器,每一格式适配器包括描述文件类型、节点路径或属性名称、图像通道别名、文件名规范化规则及目录范围规则;当历史数据源目录中存在多种aoi数据格式时,基于目录特征、文件签名、根节点名称或配置文件中的至少一种选择相应的格式适配器。
10、进一步,所述检测事件标识通过对项目标识、板卡标识、检测时间、元件位号、元件角度、检测步骤或引脚标识以及aoi原始缺陷代码进行规范化拼接并计算哈希值生成,所述规范化拼接包括去除首尾空格、统一大小写、统一路径分隔符、去除厂商前缀和统一角度表达;当部分字段缺失时,以文件相对路径、描述节点序号或图像引用作为补充字段,以使同一历史数据源目录重新扫描时保持样本标识稳定。
11、进一步,所述图像关联按照以下优先级依次执行:第一优先级为检测描述文件中记载的显式图像路径或图像名称;第二优先级为检测步骤节点与元件图像节点之间的父子或同级关系;第三优先级为去除扩展名、大小写、分隔符和厂商前缀后的规范化基名;第四优先级为检测事件所在目录或其限定子目录内的光源通道后缀;并在获得多个候选图像时依据位号、角度、时间片、图像尺寸或文件哈希进行评分消歧,选择得分最高且超过预设阈值的候选图像,否则将该通道标记为未确认;
12、所述多通道检测图像包括c、h、l、m、u、i和v通道中的至少两种;所述多通道标准图像与多通道检测图像按元件位号、元件角度和光源通道一一配对,并对尺寸不一致的成对图像执行中心补边、等比例缩放或基于特征点的配准;当历史项目不包含标准图像时,仅根据多通道检测图像构建复判样本;当仅包含单一通道时,将通道完整性标记为低并在配置阈值满足时允许进入人工复判。
13、进一步,所述质量校验还包括:基于文件哈希识别完全重复图像,基于感知哈希识别近重复图像;基于检测事件标识识别重复检测记录;识别缺失图像通道、空白图像、过暗图像、过曝图像或尺寸异常图像;以及在aoi原始缺陷类型与人工观察到的缺陷类型不一致时将候选复判样本标记为标签矛盾样本;
14、所述质量校验还包括为每个候选复判样本计算质量分数q,所述质量分数q由通道完整性、引用唯一性、图像可解码性、尺寸合理性和重复风险的加权结果构成;质量分数低于第一阈值的样本自动进入忽略列表,处于第一阈值与第二阈值之间的样本需经人工确认,高于第二阈值的样本进入普通复判队列。
15、进一步,所述人工复判结果包括:表示aoi报警为误报的ok状态;表示存在真实缺陷并可选择一个或多个真实缺陷类型的ng状态;表示图像缺失、图像错配、报警类型与图像内容无法建立有效训练关系或其他不可用情况的忽略状态;以及在aoi原始缺陷类型与人工确认的真实缺陷类型不一致时保存人工真实缺陷类型并设置标签矛盾标记的缺陷类型修正状态;在缺陷类型修正状态下不覆盖aoi原始缺陷类型,而是同时保存aoi原始缺陷类型与人工真实缺陷类型。
16、进一步,划分训练集、验证集和测试集时,以产品、aoi程序版本、生产批次、板卡标识或检测时间窗口作为分组键,使属于同一分组键的样本仅进入训练集、验证集和测试集中的一个,以降低同板或近重复图像引起的数据泄漏;
17、在建立文件索引和候选复判样本阶段不复制全部历史图像,仅保存源图像路径、文件特征和关联关系;在样本被人工确认或请求导出训练数据集时,才将对应图像按需复制、硬链接或打包至目标数据集目录;在再次扫描历史数据源目录时,依据稳定的检测事件标识合并新旧记录,对已存在的检测事件标识保留已有人工复判结果,对新出现的检测事件标识添加待确认记录,对源文件失效的样本标记为源文件缺失而不删除历史标注。
18、进一步,还包括基于标准图像与检测图像的差异特征、元件本体覆盖率、焊盘区域响应、模板匹配分数或预训练视觉模型,对aoi原始缺陷类型与图像内容的一致性进行辅助评分,在辅助评分低于预设阈值时提示复判人员选择缺陷类型修正或忽略状态;以及每次人工复判操作均记录操作人、操作时间、旧状态、新状态、真实缺陷类型和备注,数据集导出时生成版本标识、导出时间、样本数量、过滤规则和分组规则。
19、一种用于所述方法的aoi历史数据复判样本构建系统,其特征在于,包括:
20、目录索引模块,用于以只读方式递归索引aoi历史数据源目录中的检测描述文件、标准图像文件和检测图像文件;
21、格式适配模块,用于依据与aoi数据格式对应的字段映射规则解析不同aoi数据格式并输出规范化检测元数据;
22、事件关联模块,用于基于板卡标识、检测时间、元件位号、检测步骤或引脚标识以及aoi原始缺陷代码生成检测事件标识,并将检测描述记录与多通道检测图像及可选的多通道标准图像关联;
23、质量门控模块,用于对候选复判样本执行通道完整性、可解码性、尺寸一致性、重复性、事件唯一性和引用一致性校验并输出样本质量状态;
24、复判标注模块,用于在保留aoi原始标签的同时接收ok、ng、忽略或缺陷类型修正结果以形成双标签样本;以及
25、数据集构建模块,用于根据人工复判结果和样本质量状态筛选样本,按照产品、批次或板卡分组并按需生成aoi复判训练数据集。
26、进一步,所述复判标注模块配置为并排或叠加显示同一光源通道的标准图像和检测图像,突出显示检测描述文件中实际使用的图像通道,并记录复判人、复判时间、备注、aoi原始缺陷类型和人工真实缺陷类型;所述系统还包括元数据存储模块和复判结果存储模块,分别存储检测事件关联关系和人工复判标签及变更历史。
27、与现有技术相比,本技术的技术方案具备以下有益效果:
28、1、本发明通过显式引用、描述节点关系、规范化文件名和目录范围的多级关联策略,提高检测记录与多光源图像配对的准确性,降低因厂商格式差异导致的错误配对率;通过基于规范化字段哈希的稳定检测事件标识,在重复扫描、增量导入或软件升级后保留人工复判结果,实现样本可追溯更新,避免标签丢失;
29、2、本发明通过aoi原始标签与人工复判标签并存的双标签机制,既可训练ok/ng复判模型,也可识别和纠正aoi报警类型与真实缺陷类型不一致的样本,支持报警类型纠错模型训练;通过通道完整性、图像可解码性、尺寸一致性、重复图像、路径引用和标签一致性等多维质量校验及质量分数分级,减少错误图像和错误标签进入训练集,提高样本质量;
30、3、本发明通过按产品、批次、程序版本或板卡分组划分数据集,使同一组键的样本仅进入训练集、验证集或测试集中的一个,有效降低近重复样本导致的训练验证数据泄漏;通过源目录只读索引和按需物化机制,避免导入数千至数万历史样本时立即复制全部图片,显著降低存储占用及输入输出阻塞,提升大规模历史数据处理效率;利用历史数据在设备进场前完成大部分样本整理和复判,缩短现场数据采集和模型冷启动时间,降低对客户现场资源的依赖。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com