一种基于MaskR-CNN与图卷积的晶圆表面缺陷提取方法

本发明涉及半导体晶圆缺陷检测，具体涉及一种基于mask r-cnn与图卷积推理网络的晶圆表面缺陷分割提取方法。

背景技术：

1、晶圆表面缺陷检测是半导体制造过程中良率控制的核心环节之一，颗粒、划痕、凹坑、沾污、图形缺失等表面缺陷的形态、尺寸、数量及空间分布直接决定了芯片制造的良品率与可靠性。随着集成电路制程节点不断缩小，晶圆表面缺陷的尺寸已进入亚微米乃至纳米量级，且缺陷在晶圆上的分布呈现随机性强、密度不均、与工艺波动相关联等特点，给缺陷的准确检测与定量分析带来了极大挑战。准确地分割提取并统计晶圆表面缺陷，对良率分析、工艺改进和失效溯源具有重要的科学意义和工程价值。在传统的晶圆缺陷检测方法中，通常采用人工目检结合显微镜复核的方式进行缺陷甄别与统计，存在效率低、主观性强、易漏检等问题。近年来，研究者陆续引入了阈值分割、模板匹配、差分对比等传统图像处理技术用于缺陷提取，但这些方法对纳米级微小缺陷、低对比度缺陷以及复杂电路图形背景的干扰缺乏鲁棒性，难以实现自动化、高精度的缺陷分割。随着深度学习技术的发展，faster r-cnn、yolo、mask r-cnn等目标检测与实例分割网络在通用视觉场景中取得了显著成效，并被逐步引入到工业表面缺陷检测中。但晶圆表面缺陷具有尺度微小、类间形态相似、同视野内缺陷存在空间聚集与工艺关联等特点，单一结构的检测或分割网络仍存在以下不足：（1）微小缺陷的特征在深层下采样过程中极易丢失，导致小目标缺陷漏检率高；（2）检测过程将各缺陷实例孤立处理，未利用同视野内缺陷实例间的空间与工艺关联信息，形态相似类别的缺陷易相互混淆；（3）缺陷像素在整幅图像中占比极低，正负样本严重失衡，导致掩膜边界不精确。因此，亟需一种针对晶圆表面缺陷特点的、具有多尺度小目标表达与实例关联推理能力的自动分割提取方法。

技术实现思路

1、为解决现有技术无法克服晶圆图像中电路图形背景干扰、微小缺陷特征丢失、形态相似缺陷易混淆等问题，难以对晶圆表面缺陷进行自动化、高精度分割提取的技术问题，本发明的目的在于提供一种基于mask r-cnn与图卷积推理网络的晶圆表面缺陷分割提取方法，所采用的技术方案具体如下：一种基于mask r-cnn与图卷积推理网络的晶圆表面缺陷分割提取方法，所述方法包括：对晶圆进行表面清洗与真空吸附装片，利用明场与暗场复合照明的晶圆缺陷检测显微镜采集晶圆表面高分辨率光学图像；根据晶圆表面反射特性对采集的图像进行自适应gamma校正与非局部均值去噪数据增强；沿缺陷边界对增强后的图像进行实例级人工标注，获得参考图像数据集；对参考图像数据集进行多尺度切块与归一化处理获得数据集；基于resnet-101与特征金字塔网络设计多尺度特征提取主干，将输入图像信息转换成张量以提取缺陷多尺度特征；基于区域建议网络设计候选缺陷区域生成模块，用于生成缺陷候选框；基于roialign设计缺陷实例特征对齐模块；设计缺陷关联图卷积推理模块，包括图节点构建子模块与图卷积推理子模块，用于建模缺陷实例间的空间与工艺关联；基于全卷积网络设计像素级掩膜生成模块，用于输出缺陷实例掩膜；融合获得mg-net融合模型；针对小目标缺陷占比低、类别形态相似的特点设计小目标加权损失函数，获得小目标缺陷的损失函数权重；根据损失函数权重进行多任务监督计算，获得模型反馈；根据mg-net融合模型进行训练获得训练好的模型；利用训练好的模型对晶圆表面光学图像进行缺陷实例分割提取；对分割提取结果进行掩膜融合与连通域分析，获得缺陷图像结果；对缺陷图像结果进行缺陷计数、尺寸分布统计及晶圆图分布数据分析。

2、进一步地，所述晶圆制备与图像采集方法包括：选取8英寸或12英寸晶圆样品，采用氨水-过氧化氢-去离子水混合标准清洗液进行超声清洗不少于10分钟，氮气吹干后置于真空吸附载物台上完成装片；采用明场与暗场复合照明的自动化晶圆缺陷检测显微镜，在20倍至100倍物镜放大倍率下逐视野扫描采集像素分辨率不低于4096×3000像素的晶圆表面光学图像，相邻视野重叠率不低于10%以用于图像拼接。

3、进一步地，所述数据增强与标注方法包括：对采集图像按自适应gamma校正公式进行数据增强，gamma校正公式如下所示：i_out(x,y) = 255×(i_in(x,y)/255)^γ，γ =log(0.5)/log(i_mean/255)，式中，i_out(x,y)表示数据增强后的图像灰度值；i_in(x,y)表示输入图像在(x,y)处的像素灰度值；i_mean表示输入图像的平均灰度值；γ表示自适应校正的gamma系数；采用非局部均值滤波对增强后的图像进行去噪处理；沿缺陷边界对去噪后的图像中每个缺陷实例进行人工像素级标注，生成实例级参考图像数据；将参考图像进行1024×1024像素的多尺度滑动切块，并将像素值线性映射至[0,1]区间，获得标准数据集。

4、进一步地，所述mg-net融合模型获得方法，包括：采用在imagenet上预训练的resnet-101作为主干网络，接入特征金字塔网络，将输入图像重塑为1024×1024×3的张量，自底向上提取p2至p6共5个尺度的缺陷特征图；区域建议网络在各尺度特征图上滑动生成不同长宽比的锚框，经前景分类与边框回归获得候选缺陷区域；采用roialign将候选缺陷区域的特征对齐为14×14的固定尺寸特征；设计缺陷关联图卷积推理模块，将同一视野内的候选缺陷实例作为图节点，以实例间空间距离与特征相似度构建邻接矩阵，经两层图卷积在节点间传播关联信息，实现缺陷类别的关联推理；基于全卷积网络构建像素级掩膜生成模块，对对齐特征依次进行4次3×3卷积与1次反卷积上采样，输出28×28的缺陷实例掩膜；将多尺度特征提取主干、候选缺陷区域生成模块、缺陷实例特征对齐模块、缺陷关联图卷积推理模块与像素级掩膜生成模块融合，获得mg-net融合模型。

5、进一步地，所述小目标加权损失函数获得方法，包括：针对小目标缺陷像素占比极低、缺陷类别形态相似、正负样本严重失衡的问题，在focal损失基础上引入小目标尺度加权因子，并结合掩膜边界损失，得到小目标加权损失函数，计算公式如下所示：l_cls = -σw_s·(1-p_t)^γ_f·log(p_t)，w_s = 1 + log(s_max/s_i)，l_box = smoothl1(b_pred,b_gt)，l_mask = bce(m_pred, m_gt)，l_edge = bce(|sobel(m_pred)|, |sobel(m_gt)|)，l = λ1·l_cls + λ2·l_box + λ3·l_mask + λ4·l_edge，式中，p_t为缺陷实例的预测类别概率；(1-p_t)^γ_f为focal调制因子，γ_f取值为2；w_s为小目标尺度加权因子；s_i为第i个缺陷实例的面积；s_max为数据集中缺陷实例面积的上限；b_pred、b_gt为预测与真值边界框；l_box为边框回归smooth l1损失；m_pred为预测缺陷掩膜；m_gt为缺陷真值掩膜；sobel(·)为可微sobel边缘提取操作；l_edge为掩膜边界损失；λ1、λ2、λ3、λ4为多任务平衡系数；利用损失函数对mg-net融合模型进行多任务监督计算，获得模型反馈。

6、进一步地，所述模型训练获得方法，包括：将缺陷区域像素作为前景目标，将晶圆正常表面区域像素作为背景；采用在imagenet上预训练的resnet-101权重初始化多尺度特征提取主干，进行迁移学习；训练时先冻结主干网络浅层阶段进行预热训练，再解冻全部参数进行微调；初始学习率设置为1×10^-3，并按阶梯衰减策略进行动态调整；批量大小设置为4，迭代训练不少于150个epoch；当验证集平均精度均值连续15个epoch不再上升时停止训练，保存最佳模型权重。

7、进一步地，所述掩膜融合与连通域分析方法，包括：将模型输出的缺陷实例掩膜按置信度阈值进行过滤并融合映射至整幅视野图像；使用形态学闭运算填充掩膜内部细小孔洞并平滑缺陷边界；根据连通域分析对每个缺陷实例进行标记，去除面积小于预设阈值的伪缺陷区域；计算每个缺陷实例的等效圆直径、长宽比与形心坐标；将缺陷形心映射至晶圆坐标系生成晶圆缺陷分布图，统计缺陷总数、尺寸分布与空间聚集特征，获得最终的缺陷图像结果与统计参数。

8、本发明具有如下优异效果：本发明通过对晶圆进行标准清洗与真空吸附装片，利用明场与暗场复合照明的检测显微镜采集晶圆表面光学图像，样品视野具有丰富的缺陷形态与尺度变化，能够为深度学习模型提供充足的样本；由于采集的晶圆图像受表面反射特性影响存在亮度不均，故采用自适应gamma校正与非局部均值去噪对图像进行数据增强，在提高模型泛化能力的同时丰富数据多样性；将图像沿缺陷边界进行实例级像素标注，转换成实例级参考图像；对图像数据进行多尺度切块与归一化处理以减少运算量并提升训练效率，获得标准数据集；由于晶圆表面缺陷具有尺度微小、形态多样的特点，故采用resnet-101与特征金字塔网络构建多尺度特征提取主干，强化微小缺陷的浅层细节表达；通过区域建议网络与roialign获得候选缺陷区域的对齐特征；由于同视野内缺陷实例间存在空间聚集与工艺关联，故设计缺陷关联图卷积推理模块，以缺陷实例为图节点、以空间距离与特征相似度构建邻接矩阵，通过图卷积传播关联信息，提升形态相似缺陷的区分能力；采用全卷积掩膜生成模块输出像素级缺陷掩膜；由于小目标缺陷占比极低、正负样本严重失衡，故设计小目标加权损失函数，引入focal调制因子与尺度加权因子并结合掩膜边界损失进行多任务监督，在不损失召回率的前提下提升小目标检出率与掩膜边界精度；利用训练好的模型对晶圆表面光学图像进行实例分割；由于模型分割结果可能存在细小噪声和孔洞，故采用形态学闭运算与连通域分析进行后处理，获得完整的缺陷图像结果；最后对缺陷图像进行缺陷计数、尺寸分布与晶圆图分布的统计与数据分析。本发明充分考虑了晶圆表面缺陷在尺度、形态、分布关联上的复杂性，设计了独特的多尺度特征提取主干、候选区域生成、实例特征对齐与缺陷关联图卷积推理模块，增强了深度学习分割模型的小目标表达能力与实例关联推理能力，提升了缺陷分割的完整度、准确度和类别判别可靠性，为半导体制造良率分析与工艺改进提供了可靠的技术手段。