基于分级的芯片外观缺陷识别方法、系统、设备及介质与流程

本发明涉及半导体制造，尤其涉及一种基于分级的芯片外观缺陷识别方法、系统、设备及介质。

背景技术：

1、目前，芯片外观质量检测主要依赖传统自动光学检测与人工目检相结合的方式。传统自动光学检测采用模板匹配、阈值分割及边缘检测等图像处理算法，通过预设规则对芯片图像进行缺陷判定，人工目检则作为复判手段对疑似缺陷进行二次确认。

2、然而，该模式在实际工业应用中存在明显缺陷：模板匹配与阈值分割对光照变化和表面反光极为敏感，参数调试繁琐且需针对不同芯片型号人工调整大量阈值，适应性差；传统方案大多仅能输出合格或不合格的二元判定结果，无法实现缺陷轻重程度的精细区分，导致良率管理粗放；此外，传统检测算法难以准确表征引脚弯曲、不规则划痕等形态多变的复杂缺陷，且对低对比度油墨污染等边界模糊缺陷的定位精度不足，导致误报率和漏检率居高不下，仍需大量人工复判，严重制约了芯片外观质检的自动化水平与识别精度的提升。

技术实现思路

1、本发明提供一种基于分级的芯片外观缺陷识别方法、系统、设备及介质，其主要目的在于提高芯片外观缺陷检测的精度。

2、为实现上述目的，本发明提供的一种基于分级的芯片外观缺陷识别方法，包括：

3、获取芯片原始图像，对所述芯片原始图像进行预处理和目标区域提取，得到待检测芯片图像；

4、提取所述待检测芯片图像的多尺度特征，得到多尺度缺陷特征图，对所述多尺度缺陷特征图进行特征增强，得到缺陷增强多尺度特征图；

5、对所述缺陷增强多尺度特征图进行频率感知融合，得到高低频分离特征，对所述高低频分离特征进行重采样校准，得到频率融合特征；

6、对所述频率融合特征进行任务域对齐，得到任务对齐预测集；

7、对所述任务对齐预测集进行置信度校准和重标定，得到校准预测集，对所述校准预测集中的候选框进行动态交并比阈值筛选，得到筛选检测结果；

8、基于预设的相机标定参数，将所述筛选检测结果的边界框映射为物理尺寸，得到缺陷映射尺寸；

9、根据预设阈值为所述缺陷映射尺寸划分缺陷等级，得到缺陷等级判定结果，根据所述缺陷等级判定结果生成结构化缺陷报告。

10、可选地，所述对所述频率融合特征进行任务域对齐，得到任务对齐预测集，包括：

11、对所述频率融合特征进行任务特征解耦，得到分类任务特征和定位任务特征；

12、根据所述分类任务特征和所述定位任务特征进行跨任务通道注意力计算，得到任务对齐特征；

13、对所述任务对齐特征进行深度卷积，得到任务对齐预测集。

14、可选地，所述根据所述分类任务特征和所述定位任务特征进行跨任务通道注意力计算，得到任务对齐特征，包括：

15、将所述定位任务特征作为查询条件投影为查询矩阵，将所述分类任务特征与所述定位任务特征分别投影后拼接为键矩阵和值矩阵；

16、将所述查询矩阵与所述键矩阵进行相似度计算并归一化，得到注意力权重；

17、根据所述注意力权重对所述值矩阵进行加权聚合，以所述定位任务特征引导所述分类任务特征进行学习，得到任务对齐特征。

18、可选地，所述提取所述待检测芯片图像的多尺度特征，得到多尺度缺陷特征图，包括：

19、利用预设目标检测模型提取所述待检测芯片图像中的层次化特征，得到多层特征图；

20、对所述多层特征图中的各层特征分别进行跨阶段局部特征编码，得到多尺度局部增强特征；

21、对所述多尺度局部增强特征进行空间金字塔池化，得到多尺度缺陷特征图。

22、可选地，所述对所述多尺度缺陷特征图进行特征增强，得到缺陷增强多尺度特征图，包括：

23、获取所述多尺度缺陷特征图的卷积采样点，对所述多尺度缺陷特征图的卷积采样点进行自适应位置偏移，得到形变自适应特征图；

24、基于预设的全局感知注意力在通道维度、高度维度和宽度维度，对所述形变自适应特征图同步建模空间上下文依赖关系，得到缺陷增强多尺度特征图。

25、可选地，所对所述缺陷增强多尺度特征图进行频率感知融合，得到高低频分离特征，对所述高低频分离特征进行重采样校准，得到频率融合特征，包括：

26、提取所述缺陷增强多尺度特征图中的高层语义特征和低层细节特征；

27、对所述高层语义特征进行自适应低通滤波，得到语义低频增强特征，对所述低层细节特征进行自适应高通滤波，得到细节高频增强特征；

28、根据语义低频增强特征和所述细节高频增强特征获取初始融合特征，并计算所述初始融合特征中各像素与相邻像素的相似性，根据所述相似性预测偏移量和偏移大小，得到偏移量数据；

29、根据所述偏移量数据对所述语义低频增强特征进行重采样，得到重采样校准特征，将所述重采样校准特征中低相似度区域的特征替换为高相似度区域的特征，得到一致性校准特征；

30、将所述一致性校准特征与所述细节高频增强特征逐像素相加，得到频率融合特征。

31、可选地，所述对所述任务对齐预测集进行置信度校准和重标定，得到校准预测集，对所述校准预测集中的候选框进行动态交并比阈值筛选，得到筛选检测结果，包括：

32、对所述任务对齐预测集中的多个候选预测进行置信度校准，得到多个候选预测的对齐程度，将所述多个候选预测的对齐程度进行置信度重标定，得到校准预测集；

33、获取所述校准预测集中的各个候选框，对所述各个候选框进行动态交并比阈值筛选，得到筛选检测结果。

34、为了解决上述问题，本发明还提供一种基于分级的芯片外观缺陷识别系统，所述系统包括：

35、特征融合模块，用于提取所述待检测芯片图像的多尺度特征，得到多尺度缺陷特征图，对所述多尺度缺陷特征图进行特征增强，得到缺陷增强多尺度特征图；

36、对所述缺陷增强多尺度特征图进行频率感知融合，得到高低频分离特征，对所述高低频分离特征进行重采样校准，得到频率融合特征；

37、校准预测模块，用于对所述频率融合特征进行任务域对齐，得到任务对齐预测集；

38、对所述任务对齐预测集进行置信度校准和重标定，得到校准预测集，对所述校准预测集中的候选框进行动态交并比阈值筛选，得到筛选检测结果；

39、缺陷检测模块，用于基于预设的相机标定参数，将所述筛选检测结果的边界框映射为物理尺寸，得到缺陷映射尺寸；

40、根据预设阈值为所述缺陷映射尺寸划分缺陷等级，得到缺陷等级判定结果，根据所述缺陷等级判定结果生成结构化缺陷报告。

41、为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：

42、至少一个处理器；以及，

43、与所述至少一个处理器通信连接的存储器；其中，

44、所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的基于分级的芯片外观缺陷识别方法。

45、为了解决上述问题，本发明还提供一种计算机可读存储介质，包括存储数据区和存储程序区，存储数据区存储创建的数据，存储程序区存储有计算机程序；其中，所述计算机程序被处理器执行时实现如上所述的基于分级的芯片外观缺陷识别方法。

46、本发明实施例获取芯片原始图像，经预处理和目标区域提取，得到待检测芯片图像；经多尺度特征提取和特征增强，得到缺陷增强多尺度特征图；经频率感知融合与重采样校准，得到频率融合特征；将频率融合特征经频率域增强与任务域对齐，得到任务对齐预测集；经置信度校准与动态交并比阈值筛选，得到筛选检测结果；基于相机标定参数将边界框映射为物理尺寸，得到缺陷映射尺寸；按预设阈值划分缺陷等级，生成结构化缺陷报告。因此本发明提出的基于分级的芯片外观缺陷识别方法、系统、电子设备及计算机可读存储介质，通过设计多尺度特征提取、频率感知融合与任务域对齐策略，在不依赖人工特征设计的情况下，使系统能够自适应地完成缺陷提取、边界定位与分类定位协同优化，解决了复杂缺陷难表征、边界模糊、预测错位及误报率高的问题；并通过物理尺寸映射与等级化判定，解决了传统二元结论导致良率管理粗放的问题，提升了芯片外观质检的自动化水平、识别精度与精细化管理能力。