基于尺度自适应路由与跨片缝合的芯片裂纹缺陷智能检测方法

摘要: 本发明涉及人工智能缺陷检测领域,特别是基于尺度自适应路由与跨片缝合的芯片裂纹缺陷智能检测方法。背景技术:1、在半导体制造、封装测试和质量筛查过程中,芯片表面裂纹...
基于尺度自适应路由与跨片缝合的芯片裂纹缺陷智能检测方法

本发明涉及人工智能缺陷检测领域,特别是基于尺度自适应路由与跨片缝合的芯片裂纹缺陷智能检测方法。

背景技术:

1、在半导体制造、封装测试和质量筛查过程中,芯片表面裂纹是可能导致器件失效的关键缺陷。裂纹可由热应力失配、机械加工损伤、搬运碰撞及工艺缺陷等因素诱发,并可能在后续应力作用下扩展。

2、自动光学检测设备采集的芯片图像通常来源于不同检测机台和放大倍率,图像分辨率及裂纹尺度跨度大。若将整图缩放至固定输入尺寸,微裂纹容易因像素尺度被压缩而漏检;若仅采用普通滑窗推理,跨越切片边界的裂纹容易被分割为多个实例,且超大图像的后处理耗时较高。因此,需要一种兼顾微裂纹召回、宏观裂纹合并和超大图像推理效率的检测方案。

技术实现思路

1、本发明所要解决的技术问题是提供基于尺度自适应路由与跨片缝合的芯片裂纹缺陷智能检测方法,通过固定切片尺度统一训练与推理输入、微裂纹复制粘贴增强、尺度自适应路由及掩码级跨片缝合,实现了对跨尺度芯片图像中裂纹缺陷的高召回、低碎片化和高效检测。

2、为解决上述技术问题,本发明所采用的技术方案是:

3、基于尺度自适应路由与跨片缝合的芯片裂纹缺陷智能检测方法,包括以下步骤:

4、s1:获取训练芯片图像及其裂纹实例标注,并将训练芯片图像读取为灰度图像;

5、s2:以固定切片边长对训练芯片图像和裂纹实例标注进行重叠滑窗切片,构建固定尺度训练切片;

6、s3:从裂纹实例标注中构建微裂纹素材池,并在固定尺度训练切片生成过程中执行微裂纹复制粘贴增强;

7、s4:利用固定尺度训练切片及其增强后的实例标注训练裂纹实例分割模型;

8、s5:获取待检测芯片图像,计算待检测芯片图像的图像长边,并根据图像长边执行尺度自适应路由;

9、s6:当图像长边不大于直接推理阈值时,直接推理或上采样后推理;当图像长边大于直接推理阈值时,以固定切片边长和自适应重叠量进行滑窗切片及批量推理;

10、s7:将各切片预测掩码映射回原图坐标系,执行整图掩码融合、形态学连接和连通域分析,以合并跨切片裂纹实例;

11、s8:输出合并后的裂纹实例边界框、置信度、裂纹类别标签和实例掩码编码。

12、s2包括:

13、令训练切片边长为,推理切片边长为,统一固定切片边长为,重叠量为,切片步长为,训练切片与推理切片的尺度对齐关系满足:

14、;

15、;

16、式中:为训练阶段切片边长,为推理阶段切片边长,为统一固定切片边长,为滑窗切片步长,为重叠量,满足;

17、基于切片步长,对训练芯片图像和裂纹实例标注同步执行重叠滑窗切片,得到固定尺度训练切片。

18、s3包括:

19、令为裂纹实例二值掩码,为紧致外接框面积,为前景像素面积,为微裂纹素材池,按如下双面积筛选公式构建微裂纹素材池:

20、;

21、;

22、;

23、式中:为第个裂纹实例的紧致外接框面积;、为该裂纹实例紧致外接框左上角在裂纹实例所属图像中的横坐标和纵坐标;、为该裂纹实例紧致外接框右下角在裂纹实例所属图像中的横坐标和纵坐标;为外接框的宽度;为外接框的高度;为第个裂纹实例的前景像素面积,即二值掩码中取值为1的像素总数;为裂纹实例二值掩码在图像坐标处的取值,取值为或;当表示该像素属于裂纹前景;表示该像素为背景;、为裂纹实例所属图像中的像素横坐标和纵坐标;为裂纹实例所属图像的宽度;为裂纹实例所属图像的高度;为微裂纹素材池,由满足双面积筛选条件的裂纹实例组成的集合;为第个裂纹实例,为裂纹实例的索引编号;为第个裂纹实例的紧致外接框面积;为第个裂纹实例的前景像素面积;为外接框面积阈值,用于限定微裂纹实例的紧致外接框面积上限;为前景像素面积阈值,用于限定微裂纹实例的前景像素面积上限;

24、在固定尺度训练切片生成过程中,从微裂纹素材池中随机选取至少一个微裂纹实例,并将所选取的微裂纹实例的灰度像素和实例掩码复制粘贴至当前训练切片中,同时更新当前训练切片的实例标注,以实现微裂纹复制粘贴增强。

25、s5包括:

26、令待检测芯片图像的高度和宽度分别为和,图像长边为,直接推理阈值为,按如下公式计算图像长边:

27、;

28、根据图像长边执行尺度自适应路由,路由关系表示为:

29、;

30、式中:为小图直接推理分支,为大图滑窗切片推理分支。

31、s6中,当图像长边不大于直接推理阈值时,采用的小图直接推理分支包括:

32、令小图上采样阈值为,上采样比例为,上采样坐标系中的预测掩码为,原图坐标系中的预测掩码为,上采样比例满足:

33、;

34、式中:为上采样比例;为小图上采样阈值;为图像长边;为模型在上采样后的图像上推理得到的预测掩码;

35、预测掩码回映关系满足:

36、;

37、式中:为将恢复至原图坐标系后的预测掩码;

38、当时,对待检测芯片图像按比例进行上采样,预测完成后采用最近邻插值将预测掩码恢复至原图的尺寸。

39、s6中,当图像长边大于直接推理阈值时,采用的大图滑窗切片推理分支包括:

40、令大图切换阈值为,常规大图重叠量为,超大图重叠量为,推理重叠量的自适应选择公式为:

41、;

42、推理步长的计算公式为:

43、;

44、式中:为随图像长边变化的自适应重叠量;为常规大图重叠量;为超大图重叠量;为待检测芯片图像的图像长边;为直接推理阈值;当时走小图直接推理分支;当时走大图滑窗切片推理分支;为大图切换阈值;,为随图像长边变化的推理滑窗步长;为固定切片边长;

45、以固定切片边长和推理步长对待检测芯片图像执行重叠滑窗切片,并对去重后的切片进行批量模型推理。

46、批量模型推理包括:

47、令当前待检测芯片图像产生的去重切片总数为,切片批量大小为,批次数量按如下公式计算:

48、;

49、其中:最后一个推理批次允许包含少于个切片。

50、s7中的将各切片预测掩码映射回原图坐标系并执行整图掩码融合包括:

51、令第个切片中第个裂纹实例的预测掩码为,第个切片左上角在原图坐标系中的偏移量为和,该预测掩码的原图坐标映射公式为:

52、;

53、式中:为第个切片中第个裂纹实例的预测掩码映射至原图坐标系的切片实例掩码,映射范围以切片实际宽度和高度为边界;为第个切片左上角在原图坐标系中的横向偏移量;为第个切片左上角在原图坐标系中的纵向偏移量;为原图全局坐标系中的像素坐标;

54、令为整图二值画布,为整图分数图,为第个切片中第个裂纹实例的置信度,二值画布和分数图按逐像素最大值进行融合,融合公式为:

55、;

56、;

57、式中:的取值为0或1,记录像素位置处的最高裂纹置信度。

58、s7中的形态学连接包括:

59、令为形态学结构元素,对融合后的整图二值画布执行形态学闭运算,得到用于连通域分析的连接画布c',闭运算公式为:

60、;

61、式中:c'为用于连通域分析的连接画布;表示膨胀运算,表示腐蚀运算;为整图二值画布;

62、令缝合降采样阈值为,降采样比例为,降采样画布高度和宽度为和,降采样结构元素尺寸为,按如下公式计算:

63、;

64、;

65、;

66、式中:为图像长边;为全分辨率下的基础结构元素尺寸;当时先在降采样画布上执行闭运算和连通域分组,再将连通域范围映射回全分辨率画布。

67、s7中的连通域分析包括:

68、令cc表示连通域标记函数,第个裂纹实例像素集合为,按如下公式计算:

69、;

70、式中:像素集合同时满足连接画布c'属于第个连通域以及原始融合画布为裂纹前景,从而排除闭运算新增的桥接像素;

71、计算第个裂纹实例的紧致边界框和实例置信度,公式为:

72、;

73、;

74、式中:为第个裂纹实例的紧致边界框;第个裂纹实例的像素集合;为中所有像素横坐标的最小值,即裂纹最左端的坐标;为中所有像素纵坐标的最小值,即裂纹最上端的坐标;为中所有像素横坐标的最大值,即裂纹最右端的坐标;为中所有像素纵坐标的最大值,即裂纹最下端的坐标;为整图分数图。

75、本发明提供基于尺度自适应路由与跨片缝合的芯片裂纹缺陷智能检测方法,具有以下技术效果:

76、1)、通过采用固定切片边长对训练图像和待检测大图进行切片,使模型输入端的裂纹尺度保持相对稳定,避免了将整幅芯片图像直接缩放至固定尺寸时微小裂纹因像素压缩而丢失的问题,有利于提升微裂纹的检出能力和检测稳定性。

77、2)、通过从已有标注中筛选微裂纹实例构建素材池,并在训练切片生成过程中执行复制粘贴增强,增加了微小裂纹样本的数量和位置多样性。该方法无需额外人工标注即可丰富微裂纹训练数据,使模型能够更好地学习到微小裂纹的形态和灰度特征,进而提升微裂纹的召回能力。

78、3)、对于小尺寸芯片图像直接推理或适当上采样后推理,以保留细节;对于大尺寸芯片图像采用固定尺度滑窗切片推理;对于超大图像进一步降低切片重叠量,减少切片冗余。该自适应的路由策略能够在保证裂纹检测精度的同时,有效控制切片数量和推理耗时,适应不同分辨率和机台来源的芯片图像。

79、4)、通过将各切片的预测掩码映射回原图坐标系,在整图二值画布上进行逐像素最大值融合,并利用形态学闭运算连接因切片边界造成的细小断裂,再通过连通域分析将属于同一裂纹的像素合并为单个整图实例。由此避免了同一条宏观裂纹被分割成多个实例或重复检测的问题,提高了裂纹实例的完整性和检测结果的可读性。

80、5)、对于超大图像,在进行形态学连接和连通域分析前先对融合画布进行降采样,在低分辨率下完成连通域粗分组,再映射回全分辨率画布提取精确的边界框和掩码。该处理方式显著减少了超大图像后处理阶段的运算量和内存占用,同时保留了原图分辨率下的裂纹几何精度,兼顾了效率与精度。

81、6)、整体方案将训练、增强、路由、推理和后处理各环节有机衔接,能够兼容不同尺寸、不同放大倍率和不同来源的芯片图像,对微裂纹、细线状裂纹和宏观分叉裂纹均具有较好的检测能力。该方案不依赖于特定的分割模型主干,易于在现有深度学习检测框架中实现和部署,具有较高的工程适用性和推广价值。