一种基于AI模型迁移的封装缺陷检测方法、设备及介质与流程
本发明涉及图像检测,特别是一种基于ai模型迁移的封装缺陷检测方法、设备及介质。
背景技术:
1、半导体封装产品在焊点、引脚、封装边缘、角部以及标识周边等封装结构区域中,可能形成表面破损、污染、缺料、偏移等外观异常,封装缺陷检测通常依托自动光学检测设备采集封装灰度图像,并对封装灰度图像依次执行封装外轮廓提取、角点定位、旋转校正以及尺度归一,再按照封装结构区域裁取图像块,结合人工复核标注训练目标检测模型,输出缺陷类型、检测框以及置信度,用于封装产品质量筛查与复核管理。
2、然而,在跨型号或跨批次封装产品导入检测时,常规方法仍有进一步精细化空间,一方面,源域结构区域与目标域结构区域之间通常依据位置关系或外形近似关系建立对应,难以同时反映结构边界和正常灰度差异;另一方面,目标域缺陷样本通常需要通过新增人工复核标注形成,源域缺陷信息不易转化为可用于目标域迁移训练的图像和标注数据。
技术实现思路
1、鉴于上述现有存在的问题,提出了本发明。
2、因此,本发明提供了一种基于ai模型迁移的封装缺陷检测方法解决现有技术存在的目标域缺陷样本构建依赖人工标注以及源域与目标域结构区域对应不精确问题。
3、为解决上述技术问题,本发明提供如下技术方案:
4、第一方面,本发明提供了一种基于ai模型迁移的封装缺陷检测方法,其包括:采集源域封装图像和目标域封装图像,生成封装图像记录,提取封装结构区域,绑定源域人工复核缺陷标注与源域封装结构区域,生成源域结构区域缺陷标注记录,获取源域封装缺陷检测模型;基于源域封装结构区域记录和目标域封装结构区域记录,筛选候选源域结构区域,生成候选源域结构区域子集,获取源域正常结构参考图像和目标域正常结构参考图像,计算结构边界重合比例和正常灰度差异量,生成源域结构区域对应记录和目标域无对应结构区域记录;根据源域结构区域对应记录,生成源域缺陷灰度差分图像,将源域缺陷灰度差分图像映射至目标域结构区域并叠加至目标域封装正常图像,生成目标域迁移训练图像,获取目标域迁移训练标注,将源域封装缺陷检测模型作为迁移训练的初始模型,执行目标域封装缺陷检测模型迁移训练,生成训练完成的目标域封装缺陷检测模型;读取目标域待检测封装图像,提取目标域待检测结构图像块,调用训练完成的目标域封装缺陷检测模型,生成目标域缺陷候选结果,回查目标域无对应结构区域记录、源域结构区域对应记录以及训练样本来源记录,生成目标域封装缺陷检测记录或复核清单。
5、作为本发明所述基于ai模型迁移的封装缺陷检测方法的一种优选方案,其中,所述获取源域封装缺陷检测模型包括:建立封装图像采集任务,采集源域封装图像和目标域封装图像,登记图像采集条件、灰度位深、灰度取值范围以及人工复核状态,生成封装图像记录;根据封装图像记录,对源域封装图像和目标域封装图像执行外轮廓提取、角点定位、旋转校正、尺度归一以及封装结构区域提取,生成源域封装结构区域记录和目标域封装结构区域记录;读取源域封装结构区域记录和人工复核缺陷标注,绑定源域人工复核缺陷标注与源域封装结构区域,生成源域结构区域缺陷标注记录,基于源域封装图像训练源域封装缺陷检测模型。
6、作为本发明所述基于ai模型迁移的封装缺陷检测方法的一种优选方案,其中,所述生成候选源域结构区域子集包括:按照结构区域类型、结构区域排序编号、行列位置以及相邻结构区域编号,对目标域封装结构区域记录与源域封装结构区域记录进行位置关系匹配,生成目标域结构区域处理清单,基于目标域结构区域处理清单,生成候选源域结构区域集合;基于源域结构区域缺陷标注记录,保留人工复核结论为真实缺陷的候选源域结构区域,按照缺陷类型对候选源域结构区域集合进行分组,生成目标域结构区域在每一种缺陷类型下的候选源域结构区域子集。
7、作为本发明所述基于ai模型迁移的封装缺陷检测方法的一种优选方案,其中,所述生成源域结构区域对应记录和目标域无对应结构区域记录包括:对候选源域结构区域子集对应的源域封装正常图像和目标域封装正常图像进行结构区域图像块裁取、局部坐标对齐以及逐像素灰度中位值处理,生成源域正常结构参考图像和目标域正常结构参考图像;将候选源域结构区域轮廓和源域正常结构参考图像映射至目标域结构区域局部坐标网格,结合目标域结构区域轮廓和目标域正常结构参考图像,计算结构边界重合比例和正常灰度差异量;按照迁移训练样本选择规则,以结构边界重合比例、正常灰度差异量、人工复核缺陷标注数量、源域封装正常图像数量以及图像采集时间作为逐级排序指标,确定目标域结构区域在每一种缺陷类型下的源域结构区域,生成源域结构区域对应记录和目标域无对应结构区域记录。
8、作为本发明所述基于ai模型迁移的封装缺陷检测方法的一种优选方案,其中,所述生成目标域迁移训练图像包括:根据源域结构区域对应记录,限定目标域结构区域、缺陷类型以及源域结构区域,从源域封装缺陷图像裁取源域缺陷结构图像块,结合源域正常结构参考图像,生成源域缺陷灰度差分图像;将源域缺陷灰度差分图像按照源域封装结构区域记录和目标域封装结构区域记录执行尺度变换、平移对齐以及轮廓裁切,生成映射后的源域缺陷灰度差分图像;基于目标域正常结构参考图像,从目标域封装正常图像中确定目标域正常承载图像,将映射后的源域缺陷灰度差分图像叠加至目标域结构区域,生成目标域迁移训练图像。
9、作为本发明所述基于ai模型迁移的封装缺陷检测方法的一种优选方案,其中,所述执行目标域封装缺陷检测模型迁移训练,生成训练完成的目标域封装缺陷检测模型包括:按照源域结构区域与目标域结构区域的位置对应关系,将源域结构区域缺陷标注记录中的缺陷检测框或者缺陷分割区域映射至目标域迁移训练图像,生成目标域迁移训练标注;将源域封装缺陷检测模型作为迁移训练的初始模型,采用目标域迁移训练图像和目标域迁移训练标注,结合目标域正常结构图像块和空缺陷标注,执行目标域封装缺陷检测模型迁移训练,保存训练完成的目标域模型参数,生成训练完成的目标域封装缺陷检测模型。
10、作为本发明所述基于ai模型迁移的封装缺陷检测方法的一种优选方案,其中,所述读取目标域待检测封装图像,提取目标域待检测结构图像块包括:基于封装图像记录处理目标域待检测封装图像,执行封装外轮廓提取、封装角点定位、旋转校正以及尺度归一,生成目标域待检测坐标统一图像;根据目标域封装结构区域记录,在目标域待检测坐标统一图像中按照目标域结构区域外接矩形裁取图像块,按照目标域结构区域轮廓保留结构区域像素,生成目标域待检测结构图像块。
11、作为本发明所述基于ai模型迁移的封装缺陷检测方法的一种优选方案,其中,所述生成目标域封装缺陷检测记录或复核清单包括:调用训练完成的目标域封装缺陷检测模型,对目标域待检测结构图像块执行缺陷检测,输出缺陷类型、缺陷检测框以及缺陷置信度,将缺陷检测框转换至目标域待检测坐标统一图像局部坐标,生成目标域缺陷候选结果;基于目标域缺陷候选结果,依次回查目标域无对应结构区域记录、源域结构区域对应记录以及训练样本来源记录,分流生成目标域封装缺陷检测记录、目标域新增缺陷复核清单以及目标域无对应结构区域缺陷复核清单。
12、第二方面,本发明提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其中,所述计算机程序被处理器执行时实现如本发明第一方面所述的基于ai模型迁移的封装缺陷检测方法的任一步骤。
13、第三方面,本发明提供了一种计算机可读存储介质,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现如本发明第一方面所述的基于ai模型迁移的封装缺陷检测方法的任一步骤。
14、本发明有益效果为:通过生成源域结构区域对应记录和目标域无对应结构区域记录,以结构边界重合比例和正常灰度差异量约束源域结构区域与目标域结构区域的对应关系,限定缺陷迁移对象的来源;通过生成源域缺陷灰度差分图像、目标域迁移训练图像以及目标域迁移训练标注,将源域缺陷表现转换为目标域结构区域可训练样本,结合训练样本来源记录回查完成检测结果分流,提高迁移训练样本可用性、检测结果可追溯性以及复核处理针对性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com