基于图像识别的芯片外观缺陷检测方法与流程

摘要: 本发明公开了基于图像识别的芯片外观缺陷检测方法,属于机器视觉检测。背景技术:1、在半导体封装测试领域,芯片外观缺陷检测是保证产品质量的关键环节。传统的人工目视检...
基于图像识别的芯片外观缺陷检测方法与流程

本发明公开了基于图像识别的芯片外观缺陷检测方法,属于机器视觉检测。

背景技术:

1、在半导体封装测试领域,芯片外观缺陷检测是保证产品质量的关键环节。传统的人工目视检测方式效率低下且易受主观因素影响,难以满足大规模量产需求。随着机器视觉技术的普及,基于图像处理的自动光学检测系统已被广泛引入芯片制造产线,这类系统通常通过采集芯片表面图像,利用灰度阈值分割、边缘检测或模板匹配等手段识别划痕、污渍、崩边、异物等表面缺陷。然而,现有自动光学检测方法普遍采用全局统一的检测参数和固定的检测流程,对不同功能区域的光学反射特性差异缺乏自适应性,例如核心逻辑区表面较为平坦而接口区存在金属引脚导致局部反光强烈,采用同一套分割阈值和几何属性筛选标准往往造成漏检率与误报率之间的严重失衡。

2、现有芯片外观检测技术中,基于模板比较的方法通常将待测芯片图像与无缺陷参考图像逐像素相减,根据差值图像判断缺陷存在与否,但该方法对芯片姿态偏移、光照波动和噪声干扰极为敏感,容易将正常的工艺纹理波动误判为缺陷。

3、另有一些方案通过提取缺陷候选区域的形状、面积、周长等几何特征进行筛选,但单一几何属性难以区分真实缺陷与伪缺陷,尤其是划痕与引脚反光条纹的几何外观高度相似,单纯依靠面积或长宽比无法有效甄别。此外,多数现有方法在判定缺陷时未充分利用芯片表面的局部纹理方向信息,即梯度方向分布特征,导致对方向性缺陷与非方向性伪缺陷的分辨能力不足,最终影响缺陷检测的准确性和重复性。

技术实现思路

1、针对上述问题,本技术提出一种基于图像识别的芯片外观缺陷检测方法,通过以芯片角点为基准建立图像坐标系并结合功能区分布图进行分区检测,使各区域的检测参数与其表面特征相匹配;在此基础上,引入结构相似性度量生成差异图像,并利用候选缺陷区域的梯度方向分布与参考图像的梯度方向分布进行匹配判定,从方向一致性角度甄别真实缺陷与伪缺陷。该方法有效克服了全局统一检测造成的适应性差问题,同时通过梯度方向匹配弥补了几何特征筛选在方向性缺陷识别上的不足,能够显著降低误报率并提高检测结果的可靠性,为芯片外观质量检测提供一种更为精确和稳定的技术手段。

2、为实现上述目的,本技术提供如下技术方案:

3、一种基于图像识别的芯片外观缺陷检测方法,应用于芯片检测系统,所述芯片检测系统配置图像采集装置和图像处理器,所述方法由以下步骤组成:

4、获取待测芯片的芯片图像,以所述芯片图像中芯片边缘的角点为定位基准建立图像坐标系;

5、依据所述图像坐标系以及预设的芯片功能区分布图,将所述芯片图像分割成多个检测单元,并为每个检测单元分配基准单元,所述基准单元取自无缺陷参考芯片的参考图像中相同坐标位置的单元;

6、针对每个检测单元,计算所述检测单元的图像与对应基准单元之间的结构相似性度量,根据所述结构相似性度量生成结构差异图像,并对所述结构差异图像执行阈值分割,获得二值差异图像;

7、对所述二值差异图像执行连通区域分析,得到候选缺陷区域,按照候选缺陷区域的几何属性从所述候选缺陷区域中筛选出疑似缺陷区域;

8、对每个疑似缺陷区域,从所述芯片图像和所述参考图像中分别提取边界框内的梯度方向分布,将所述梯度方向分布进行匹配,根据匹配结果判定所述疑似缺陷区域是否为真实缺陷;

9、将判定为真实缺陷的疑似缺陷区域的位置和缺陷类型记录为检测结果。

10、进一步地,所述阈值分割采用局部自适应分割方式,针对每个检测单元,统计该检测单元在结构差异图像中的灰度均值和灰度标准差,将分割阈值设定为灰度均值加上灰度标准差的预定倍数;

11、若该检测单元内结构差异图像的灰度分布呈现双峰分布,则选取双峰之间的谷底灰度值作为分割阈值;

12、若灰度分布呈现单峰分布,则采用灰度均值加上灰度标准差的预定倍数作为分割阈值;

13、将结构差异图像中灰度值大于分割阈值的像素置为高值,灰度值小于等于分割阈值的像素置为低值,由高值像素构成二值差异图像的前景区域,由低值像素构成二值差异图像的背景区域。

14、进一步地,所述连通区域分析采用以下操作:

15、对二值差异图像中高值像素执行八连通标记,获得初始连通区域;

16、对初始连通区域执行形态学膨胀操作,膨胀结构元素尺寸依据检测单元尺寸设定;

17、将膨胀后发生重叠的初始连通区域合并为同一区域;

18、对合并后区域执行形态学腐蚀操作,腐蚀结构元素尺寸与膨胀结构元素尺寸相同;

19、将腐蚀后区域作为候选缺陷区域;若候选缺陷区域的面积小于预设面积下限,则将该候选缺陷区域作为噪声区域剔除。

20、进一步地,所述计算所述检测单元的图像与对应基准单元之间的结构相似性度量,包括:

21、对检测单元的图像中每个像素位置,以该像素位置为中心取预定尺寸的窗口,并从对应基准单元的图像中相同像素位置取相同预定尺寸的窗口;

22、从检测窗口内提取检测灰度值序列,从基准窗口内提取基准灰度值序列;

23、计算检测灰度值序列的均值与基准灰度值序列的均值之差,作为亮度因子;

24、计算检测灰度值序列的标准差与基准灰度值序列的标准差的比值,作为对比度因子;

25、计算检测灰度值序列与基准灰度值序列之间的协方差,并将该协方差除以检测灰度值序列的标准差与基准灰度值序列的标准差的乘积,作为结构因子;

26、将亮度因子、对比度因子与结构因子相乘,得到该像素位置的结构相似性度量;

27、若亮度因子小于预设亮度阈值,则将该像素位置的结构相似性度量设置为零,若对比度因子小于预设对比度阈值,则将该像素位置的结构相似性度量乘以预设折扣系数;

28、以预定步长滑动窗口遍历检测单元的全部像素位置,得到每个像素位置的结构相似性度量,并将每个像素位置的结构相似性度量按照像素位置排列,生成结构差异图像。

29、进一步地,所述按照候选缺陷区域的几何属性从所述候选缺陷区域中筛选出疑似缺陷区域,包括:

30、提取每个候选缺陷区域的面积、周长、外接矩形长宽比、圆形度和凸包比,分别将面积与预设面积区间比较、周长与预设周长区间比较、长宽比与预设长宽比区间比较、圆形度与预设圆形度区间比较、凸包比与预设凸包比区间比较;

31、若候选缺陷区域的面积、周长、长宽比、圆形度和凸包比均落入各自对应的预设区间,则将该候选缺陷区域标记为疑似缺陷区域;否则,将该候选缺陷区域标记为伪缺陷区域。

32、进一步地,所述将所述梯度方向分布进行匹配,根据匹配结果判定所述疑似缺陷区域是否为真实缺陷,包括:

33、分别生成疑似缺陷区域在芯片图像中的检测梯度方向直方图和参考图像中的参考梯度方向直方图;

34、计算检测梯度方向直方图与参考梯度方向直方图的互相关值,并记录互相关值取最大时的偏移量;

35、若互相关值大于预设相关阈值且偏移量小于预设偏移阈值,则判定该疑似缺陷区域为真实缺陷;

36、若互相关值小于等于预设相关阈值,则直接判定该疑似缺陷区域为伪缺陷;

37、若互相关值大于预设相关阈值但偏移量大于等于预设偏移阈值,则比较两个直方图的峰值位置差和峰值幅度差,若峰值位置差小于预设位置差阈值且峰值幅度差小于预设幅度差阈值,则判定该疑似缺陷区域为真实缺陷,否则判定为伪缺陷。

38、进一步地,所述将所述梯度方向分布进行匹配,根据匹配结果判定所述疑似缺陷区域是否为真实缺陷还包括:

39、对每个疑似缺陷区域,在芯片图像中确定该疑似缺陷区域的最小外接矩形,并将最小外接矩形向外扩展预设像素数,得到检测边界框,在参考图像中对应位置确定相同尺寸的参考边界框;

40、分别计算检测边界框内每个像素在水平方向的灰度变化率和垂直方向的灰度变化率,由水平方向的灰度变化率和垂直方向的灰度变化率合成梯度幅值和梯度方向,得到检测边界框内所有像素的检测梯度方向集合和检测梯度幅值集合;

41、计算参考边界框内所有像素的参考梯度方向集合和参考梯度幅值集合;

42、按预设角度区间数将检测梯度方向集合量化为多个方向区间,针对每个方向区间,统计该方向区间内所有像素的检测梯度幅值之和,得到检测方向直方图,按相同方式得到参考方向直方图;

43、采用预设窗口长度的滑动平均滤波器对检测方向直方图和参考方向直方图分别进行平滑处理,得到检测平滑直方图和参考平滑直方图;

44、将参考平滑直方图循环移位不同位移量,并计算每个位移量下参考平滑直方图与检测平滑直方图的点积,将点积最大值对应的位移量作为匹配偏移量;

45、若匹配偏移量小于预设匹配偏移阈值,则判定该疑似缺陷区域为真实缺陷,若匹配偏移量大于等于预设匹配偏移阈值,则比较检测平滑直方图与参考平滑直方图的峰值方向位置差和峰值幅度比;

46、若峰值方向位置差小于预设位置差阈值且峰值幅度比处于预设幅度比范围内,则判定该疑似缺陷区域为真实缺陷,否则判定为伪缺陷。

47、进一步地,所述缺陷类型的分类方式为:

48、针对判定为真实缺陷的疑似缺陷区域,从该区域的梯度方向分布中提取主峰值方向、次峰值方向以及主峰值与次峰值的幅度比值;

49、将主峰值方向、次峰值方向和幅度比值分别与划痕缺陷模板、污渍缺陷模板、崩边缺陷模板和异物缺陷模板对应的方向特征和幅度比值特征进行匹配;

50、选择匹配度最高的缺陷模板对应的缺陷类型作为该真实缺陷区域的缺陷类型;

51、若匹配度最高的缺陷模板的匹配度低于预设匹配度阈值,则将该真实缺陷区域标记为其他缺陷类型。

52、进一步地,所述依据所述图像坐标系以及预设的芯片功能区分布图,将所述芯片图像分割成多个检测单元,具体为:

53、芯片功能区分布图包含核心逻辑区、存储区、接口区和保护环区的边界线,以边界线为分割线将芯片图像划分为多个检测单元,使每个检测单元对应功能区域;

54、对于核心逻辑区和存储区对应的检测单元,采用较小的结构相似性计算窗口尺寸和较严格的几何属性筛选阈值;

55、对于接口区和保护环区对应的检测单元,采用较大的结构相似性计算窗口尺寸和较宽松的几何属性筛选阈值。

56、进一步地,所述将判定为真实缺陷的疑似缺陷区域的位置和缺陷类型记录为检测结果,包括:

57、将每个真实缺陷区域在芯片图像坐标系中的最小外接矩形的左上角坐标和右下角坐标作为位置信息,将位置信息和对应的缺陷类型写入检测结果文件;

58、统计所有真实缺陷区域的总数以及每种缺陷类型的数量,一并写入检测结果文件;

59、将每个真实缺陷区域的最小外接矩形轮廓叠加绘制到芯片图像上,不同缺陷类型采用不同颜色标识,生成带有缺陷标记的检测图像。

60、本发明公开了基于图像识别的芯片外观缺陷检测方法,属于机器视觉检测技术领域。建立图像坐标系,并依据芯片功能区分布图将芯片图像分割为多个检测单元,从无缺陷参考图像中获取各单元对应的基准单元,生成结构差异图像,再执行阈值分割得到二值差异图像,通过连通区域分析获得候选缺陷区域,并按照候选区域的几何属性筛选出疑似缺陷区域,对每个疑似缺陷区域,分别从芯片图像和参考图像中提取梯度方向分布,判定该疑似缺陷区域是否为真实缺陷,并将真实缺陷的位置和类型记录为检测结果。本发明有效克服全局统一阈值造成的适应性不足问题,显著提升方向性缺陷与伪缺陷的分辨能力,能够有效降低误报率和漏检率,提高检测结果的稳定性和可靠性。