一种基于改进YOLO11的晶圆缺陷模式区域粗定位方法

摘要: 本发明属于晶圆缺陷检测技,特别是涉及一种基于改进yolo11的晶圆缺陷模式区域粗定位方法。背景技术:1、随着集成电路制造工艺向微纳尺度持续演进,晶圆表面缺陷检测...
一种基于改进YOLO11的晶圆缺陷模式区域粗定位方法

本发明属于晶圆缺陷检测技,特别是涉及一种基于改进yolo11的晶圆缺陷模式区域粗定位方法。

背景技术:

1、随着集成电路制造工艺向微纳尺度持续演进,晶圆表面缺陷检测是保障芯片成品良率、降低生产管控成本的核心环节。当前基于 yolo 系列的目标检测方法广泛应用于晶圆缺陷粗定位场景,该类方法依托主干网络的多层步长卷积完成特征图下采样与语义信息聚合,可在通用检测场景下兼顾检测效率与识别精度。

2、然而上述通用检测架构应用于晶圆二值图缺陷检测场景时,存在细粒度缺陷特征表征能力不足的核心问题。晶圆缺陷以离散分布的晶粒为基本构成单元,部分缺陷仅由少量晶粒组成,细长划痕类缺陷宽度仅达单晶粒尺度,其判别核心在于细粒度拓扑结构而非大尺度连续纹理。传统步长为 2 的卷积下采样通过局部邻域加权聚合压缩分辨率,会天然平滑掉离散细节信息,每经过一级下采样,异常区域的有效特征响应便会出现大幅衰减。

3、持续的特征平滑作用会引发微小缺陷特征丢失与细长结构断裂问题。仅由少量晶粒构成的微小缺陷经多层下采样后,特征响应被周围正常区域逐步稀释,在深层特征图中失去可区分性,直接造成检测召回率下降;细长划痕的连续结构被拆解为零散的微弱响应点,易出现定位边界偏移、缺陷区域截断等问题,无法为后续精定位环节提供可靠的候选区域输入,难以满足工业级晶圆缺陷粗定位的性能要求;因此,针对以上问题,提出下列方案。

技术实现思路

1、为解决上述技术问题,本发明是通过以下技术方案实现的:

2、本发明为一种基于改进yolo11的晶圆缺陷模式区域粗定位方法,包括以下步骤:

3、步骤s1:构建改进的yolo11目标检测网络,将主干网络中关键下采样阶段的步长为2的卷积下采样层替换为spd-conv模块,保留网络其余原有结构不变;

4、步骤s2:采用动态非单调聚焦损失作为边界框回归损失,结合分类损失与分布焦点损失构建总损失函数,使用带有弱监督伪框标注的晶圆缺陷数据集对改进后的yolo11网络进行训练,得到晶圆缺陷检测模型;

5、步骤s3:将待检测晶圆二值图输入训练完成的晶圆缺陷检测模型进行推理,输出所有置信度高于预设阈值的缺陷预测框;

6、步骤s4:基于空间邻接图连通分量分析对所有缺陷预测框进行聚类聚合,生成各缺陷簇的基础感兴趣区域,经尺度自适应扩展与双重边界约束处理后,输出最终的缺陷候选区域,完成晶圆缺陷模式区域的粗定位。

7、进一步地,所述步骤s1中spd-conv模块的处理过程包括以下步骤:

8、步骤s11:对输入特征图执行空间到深度重排操作,以2为下采样因子将特征图按奇偶索引切分为四个子特征图,并沿通道维度进行拼接,使原始局部空间单元的全部信息完整保留至通道维度;

9、步骤s12:采用步长为1的卷积层对重排后的特征图进行特征融合,依次经过批归一化处理与激活函数激活后输出下采样特征图,输出特征图的空间尺寸与通道数和原步长为2的卷积层输出尺寸一致。

10、进一步地,所述步骤s1中,仅对yolo11主干网络的p3、p4两个下采样阶段执行spd-conv替换,主干网络的其余卷积模块、sppf模块、c2psa模块,以及颈部网络与检测头结构均保持原有结构不变。

11、进一步地,所述步骤s2中动态非单调聚焦损失的构建过程包括以下步骤:

12、步骤s21:构建一级注意力回归损失,计算预测框与真实标注框的交并比损失,并基于两框中心距离与最小外接矩形的宽高尺寸构建中心距离注意力因子,将注意力因子与交并比损失相乘,得到仅保留中心对齐约束的基础回归损失;

13、步骤s22:构建样本异常度度量,采用指数滑动平均策略实时更新训练过程中的交并比损失历史均值,将当前样本的交并比损失与所述历史均值的比值作为样本异常度,用于表征当前样本的标注质量;

14、步骤s23:构建非单调聚焦机制,基于样本异常度构建非单调聚焦系数,所述聚焦系数随异常度增大先升高后降低,在中等困难样本处达到权重峰值,对异常度过高的低质量伪标签样本主动衰减其梯度权重;将聚焦系数与基础回归损失相乘,得到最终的动态非单调聚焦损失。

15、进一步地,所述步骤s2中,总损失函数的计算公式为:

16、

17、式中,为动态非单调聚焦边界框回归损失,为基于二元交叉熵的分类损失,为分布焦点损失;、、分别为对应损失项的平衡权重系数。

18、进一步地,所述步骤s4中感兴趣区域的自适应生成过程包括以下步骤:

19、步骤s41:预测框邻接聚类,对置信度高于预设阈值的预测框集合,定义两框的空间间隔度量为水平间隔与垂直间隔之和;当两框的交并比大于0,或空间间隔度量小于预设拓扑邻接阈值时,判定两框属于同一缺陷簇;

20、步骤s42:连通分量提取与基础感兴趣区域生成,以各预测框为顶点、邻接关系为边构建无向空间邻接图,提取图中的所有连通分量;对每个连通分量对应的所有预测框,求取其最小外接矩形,作为该缺陷簇的基础感兴趣区域;

21、步骤s43:尺度自适应扩展,引入扩展系数,以基础感兴趣区域的中心为基准,对其宽度与高度进行等比例扩展,保留缺陷边界周边的上下文信息;

22、步骤s44:双重边界约束,先施加图像边界约束,避免扩展后的感兴趣区域超出图像范围;再施加晶圆圆形有效域约束,以晶圆圆心与半径为基准,仅保留圆形有效域内的区域,排除晶圆外无效背景,得到最终的缺陷候选感兴趣区域。

23、进一步地,所述步骤s4之后还包括粗定位结果的die索引映射步骤,具体为:

24、根据晶圆图像像素尺寸与die矩阵尺寸的比例系数,将像素坐标系下的最终候选感兴趣区域坐标映射至die矩阵坐标系;采用左上坐标向下取整、右下坐标向上取整的保守包络策略,得到缺陷覆盖的die索引范围;同时施加晶圆圆形有效域约束对索引范围进行校验,最终封装为包含缺陷类别、die索引范围、区域中心坐标、区域面积与置信度的粗定位结果输出。

25、进一步地,所述步骤s2中,带有弱监督伪框标注的晶圆缺陷数据集通过以下方式构建:

26、以wm-811k公开晶圆数据集为基础,剔除无缺陷样本后,保留中心型、圆环型、边缘局部型、边环型、局部型、近满型、随机型、划痕型共8类典型缺陷模式的样本;基于图级缺陷标签经连通域分析与边界自适应扩展,自动生成实例级伪标注框,作为网络训练的监督信息。

27、本发明具有以下有益效果:

28、1、本发明通过对主干网络下采样结构的改进,有效提升了细粒度缺陷特征的保留能力。传统步长卷积下采样在压缩特征图空间尺寸的过程中,会通过卷积聚合对局部区域信息进行平滑,易造成离散分布的细小缺陷结构信息丢失,甚至导致细长型缺陷的特征响应发生断裂。本方法采用空间到深度重排与非步长卷积结合的下采样方式,在实现同等尺寸压缩的前提下,将局部空间单元的信息完整映射至通道维度,避免了聚合过程中的细节损耗,充分保留了晶圆缺陷的离散拓扑结构特征,强化了网络对微小、细长类缺陷模式的感知能力。

29、2、本发明通过动态非单调聚焦损失的设计,提升了弱监督标注场景下模型训练的鲁棒性与回归精度。传统边界框回归损失对标注偏差较为敏感,在采用规则自动生成的伪框进行弱监督训练时,损失函数的长宽比约束与单调梯度机制会驱使网络拟合伪框的噪声偏差,产生大量有害梯度,干扰训练过程的收敛方向,降低最终的边界框回归精度。本方法基于样本异常度构建非单调权重分配机制,重点强化中等质量样本的监督作用,主动衰减低质量伪标签的梯度贡献,有效规避了伪标注噪声带来的负面干扰。

30、3、本发明通过自适应候选区域生成机制,有效提升了粗定位输出的完整性与后续环节适配性。采用单一检测框直接截取缺陷区域的方式,对于离散分布的缺陷模式易出现边缘截断、上下文信息缺失的问题,且矩形截取会引入大量晶圆外的无效背景,降低后续精定位环节的输入质量。本方法通过空间邻接图的连通分量分析整合碎片化的检测结果,将同属一个缺陷模式的分散预测框聚合为统一的候选区域,结合尺度扩展与晶圆物理边界约束,既完整覆盖缺陷区域并保留周边上下文信息,又有效剔除无效背景区域,输出的候选区域可直接适配后续精定位环节。

31、当然,实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。