基于全景分割的半导体自动分区方法与流程

1.本发明属于半导体缺陷检测与图像处理技术领域，具体涉及一种基于全景分割的半导体自动分区方法。


背景技术：

2.随着物联网、5g产业、智能可穿戴设备的兴起，半导体行业在产业政策的加持下迎来了迅猛发展，市场需求急剧扩大。但是半导体制造业在生产速度和生产质量上需要解决很多问题，其中缺陷检测是半导体制造过程中的重要流程之一。目前，大多数半导体的生产厂商都采用人工质检的方式进行缺陷检测，不同工艺流程都需要经验丰富的操作员进行全神贯注的用肉眼检测缺陷。这种人工质检的方式耗时、效率低，往往带有很强的主观判断。为了提升缺陷检测的效率和准确率，基于机器视觉的自动光学检测（aoi）系统应运而生。
3.半导体在生产制造中往往是批量性的，因此具有结构重复性的特点。这一特点也是一个很重要的先验知识，常常被各大aoi厂商应用于缺陷检测流程中。目前市面上针对半导体缺陷检测的aoi设备，大部分都是采用先分区建模，后在线检测的流程，分区流程是半导体缺陷检测建模流程中的关键一步，分区结果的优劣直接影响到后续缺陷检测的准确率。而分区建模也是最耗时的一个阶段，这个阶段需要操作人员操作鼠标对半导体绘制多个多边形roi，并对每个roi设置类别、提取参数以及检测参数等复杂的操作。并且分区建模往往不是一次成功，需要不断调整参数达到最佳效果，一般每种产品的平均建模时间需要2小时。这就要求现场操作人员对各种半导体结构足够熟悉，并且要拥有一定的图像处理知识，提高了aoi软件使用门槛。结合上述分析，目前半导体缺陷检测的分区流程存在如下亟待解决的问题：第一，传统aoi设备分区方法操作复杂，需要手动设置精细的选区，并不断调整提取值，人机交互和软件开发复杂度高；第二，传统分区方案对产品结构变化的适应性较低，需要有经验的操作人员对着图纸去逐步操作；第三，有些传统方案分区方案采用更为先进的自动二值化算法，但是该方案通用性较差，需要人为设定材质的类型和数量，并且对光照变化和不均匀的场景往往会失效（由于成像不稳定和物料表面不平整导致的图像灰度均匀性差）；第四，传统分区方案耗时太久，通常经验丰富的操作工需要10-20分钟才能完成一个产品的分区操作，这对产品结构高频切换的生产线来说是不够友好的。


技术实现要素：

4.本发明的目的在于提供一种基于全景分割的半导体自动分区方法，该方法可以解决传统分区方案中调参繁琐、结构适应性弱、分区耗时等问题。
5.为实现上述目的，本发明提供如下技术方案：一种基于全景分割的半导体自动分区方法，本方法基于全景分割网络，其特征在
于：收集若干产品的模板数据作为全景分割网络的训练数据，模板数据包含模板图片和mask图片；将mask图片中材质定义为stuff，在模板图片上任意位置生成随机大小的颜色块，并将颜色块映射到mask图片上定义为things；采用训练数据训练全景分割网络，得到可以进行半导体自动分区建模的全景分割网络。
6.进一步地，将模板数据拆分成若干张颗粒图片作为训练数据，所述训练数据划分成全景分割网络的训练集、验证集和测试集。
7.进一步地，所述模板数据的拆分包括：策略一：通过阵列裁切的方式将模板图片和mask图片切割成相同大小的颗粒图；策略二：在策略一阵列区域的基础上，以单个颗粒图的区域中心为基准，随机缩放生成切割区域，通过切割区域模板图片和mask图片生成策略二对应的颗粒图；策略三：在模板图片的随机位置生成随机切割框，通过随机切割框切割模板图片和mask图片生成策略三对应的颗粒图；策略四：对策略一、二和三中至少一种颗粒图进行透视变换，生成策略四的颗粒图；其中，训练集和验证集采用策略一、二、三和四中的至少一种颗粒图，测试集只采用策略一的颗粒图。
8.进一步地，将所有作为训练集和验证集的颗粒图对应的模板图片和mask图片随机打乱，并按照一定的比例划分训练集和验证集。
9.进一步地，该方法还包括双分支推理再融合，其中：分支一：将待分区图片整图输入到全景分割网络，得到分区结果一；分支二：将待分区图片进行阵列裁切得到若干颗粒图片，并输入到全景分割网络，得到每张颗粒图片的分区结果二；将结果一和结果二进行融合得到最终的分区模板。
10.进一步地，当待分区图片由多个block组成时，通过阵列裁切的方式得到拆分后的block图像，再将block图像进行所述双分支推理再融合。
11.进一步地，所述颗粒图片通过对待分区图片进行阵列裁切得到。
12.进一步地，融合前，将分支一中的待分区图片下采样到1024x1024大小，将分支二中的所有颗粒图片都通过双线性插值法变换到512x512大小，再输入到全景分割网络。
13.进一步地，融合时，将结果一上采样返回到原始大小；将每张颗粒图片的结果二插值到原始大小，并按分割的顺序拼接回原始待分区图片大小；将结果一和结果二进行像素点对齐进行融合。
14.进一步地，根据原始颗粒图片的大小和阵列裁切的步长，生成宽度为n像素的网格状颗粒图片边缘，将n像素的图片边缘进行膨胀，生成宽度为m像素的网格状roi区域，其中，n≥1，m＞n；将结果一和结果二进行像素点对齐进行融合时，并采用一定权重进行加权平均再取整进行融合，而对网格状roi区域内的结果则采用与上述权重相反的权重进行融合。
15.与现有技术相比，本发明的有益效果如下：本发明具有分区结果精细、结构通用性强、操作友好、时间效率高等优点，可以解决传统分区方案中调参繁琐、结构适应性弱、分区
耗时等问题。本发明还用于解决传统基于灰度的二值化算法分区方案受环境光照影响容易失效的问题，而本发明提出的方法不受环境光照影响：（1）本发明的自动分区方法，采用了当前精度领先的深度学习算法，在数据集自动生成的过程中搭配多种图像增强策略，引入了更多的产品结构变化，降低了算法模型对背景结构的依赖性，使得本发明所使用的panoptic fcn（全景分割）具有更强的泛化性；（2）本发明提出的自动分区方法是一种完全端到端的自动化分区方法，数据集的生成和网络的训练以及推理过程都可以通过程序自动实现，无需调参，无需人工干预。省去了大量的人机交互操作，可大大缩减软件开发周期；（3）本发明在生成数据集的过程中，组合使用了多种数据增强策略，提供了更加丰富的数据分布，结合panoptic fcn全景分割算法，可以学到更加多样化的结构信息，提高了神经网络的泛化能力。通过本发明采用的策略和训练方法得到的模型，可应用在不同结构的半导体产品上，分区结果不依赖于产品图纸；（4）本发明提出的自动分区方案除了具有更强的泛化能力外，还具有较高的鲁棒性，分区结果不受打光均匀性和图像噪点影响。而传统图像算法对光照均匀性和亮度的容忍性较差，需要不断调参来优化分区结果，而且常常会失效，需要调整光源等硬件设备才能解决；（5）本发明提出的半导体自动分区方案简单高效。使用传统图像算法进行分区需要操作人员具有一定的图像处理知识，并且需要不断的调参和界面进行频繁的交互，平均一个半导体产品的分区耗时约20分钟。而本发明所提出的方法，模型训练可以一次性离线进行。在线推理时，以一张大图包含1000张颗粒图为例，本算法利用gpu进行批量化推理，可在10秒内完成自动分区，节省了大量的时间成本；（6）本发明的自动分区方法采用双分支推理的策略，在保证图像材质表面稳定分割的基础上保留了精细的材质边缘分割结果。
附图说明
16.图1为实施例中数据集自动生成流程图。
17.图2为实施例中模板数据的局部展示图，其中a为模板图片，b为mask图片。
18.图3为实施例中策略一对应的数据增强策略示意图，其中a为模板图片，b为mask图片。
19.图4为实施例中策略二对应的数据增强策略示意图，其中a为模板图片，b为mask图片。
20.图5为实施例中策略三对应的数据增强策略示意图，其中a为模板图片，b为mask图片。
21.图6为实施例中策略四对应的数据增强策略示意图，其中a为模板图片，b为mask图片。
22.图7为实施例中采用的panoptic fcn网络结构结合实际图片分区结果示意图。
23.图8 为实施例中的双分支推理再融合的流程图。
24.图9为实施例中网格状roi区域示意图。
25.图10为图9中网格状roi区域的放大示意图。
具体实施方式
26.下面将结合具体实施例对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
27.分区建模流程是采用aoi半导体缺陷检测建模流程中的关键一步，分区结果的优劣直接影响到后续缺陷检测的准确率。本方案所提出一种基于全景分割的半导体自动分区方法，可以解决传统分区方案中调参繁琐、结构适应性弱、分区耗时等问题。本方案可以包括数据集自动生成、全景分割网络训练和双分支前向推理三个主要步骤，具体实现步骤如下。
28.步骤一：数据集自动生成，算法流程如图1所示；在本方案所提出的基于全景分割的半导体自动分区方法中，全景分割需要同时对可数目标things（目标物）和不可数目标stuff（材质）进行分割。在本方案中，定义m类things包括污渍、划伤、异物、随机噪声等；定义n类stuff包含亮铜、暗铜、银、镍钯金、镂空区等。明确类型定义后详细的实施如下。
29.a、传统aoi设备在工厂车间内运行一段时间后，会积累很多半导体产品的模板数据，这些模板数据通常会包含模板图片和不同材质的mask图片，模板图片和mask图片具有相同的大小，且像素位置一一对应的关系。在mask图片上不同的材质具有不同的颜色标签，并且每种材质有独特的类别id；如图2所示，图片左半边是模板图片，右半边是mask图片。为了便于可视化展示，mask图片用不同色彩区分things和stuff，其中绿色、黑色和蓝色区域分别对应三种stuff（根据产品材质种类而定），红色区域对应一个things类标签；随机读取其中20个产品的模板数据作为训练集和验证集的原始数据，读取10个产品的模板数据作为测试集的原始数据。
30.b、常规全景分割网络需要things类的数据和标签，但是对于模板图片来说，模板图片是一张干净的ok片，其上不存在任何缺陷。为了实现自动化的数据集生成，利用随机色块代替目标物（缺陷图案），在模板图片上任意位置生成随机4x4到640x640大小的颜色块，并同时修改模板图片对应的mask图片；因为最终的应用场景是对没有缺陷的新产品模板图进行分区，本方案采用的随机色块替换things类的方法是数据集自动生成中的关键一步，具有诸多优势：（1）可以免去ng图像采集的时间成本（随机生成了，不需要特别去采集）；（2）可以节省大量的人力标注成本（ng图像的标注通常需要30分钟一张）；（3）可以很方便的控制things类和stuff类在数据集中的分布比例，从而优化全景分割网络的训练过程。
31.c、由于gpu显存的限制，训练网络的输入图片尺寸不能过大，常规训练尺寸控制在640x640以内，并且为32的整数倍。而模板图片和mask图片的尺寸一般都在8000x8000以上，因此，本方案采用多种策略将模板数据拆分成多张颗粒图片，进行数据增强；策略一：如图3所示，通过阵列裁切的方式，将模板图片和mask图片切割成相同大小的颗粒图；
策略二：如图4所示，在策略一阵列区域的基础上，以单个颗粒图的区域中心为基准，随机缩放生成切割区域，通过切割区域模板图片和mask图片生成策略二对应的颗粒图；策略三：如图5所示，在模板图片的随机位置生成宽高在[120, 1024]区间内的随机切割框，通过随机切割框切割模板图片和mask图片生成策略三对应的颗粒图；策略四：如图6所示，对策略一、二和三中至少一种颗粒图（包括模板图片和mask图片）采用0.25的概率进行透视变换，生成策略四的颗粒图；其中最优的方案是尽可能获取更多种类的图，及对策略一、二和三都进行透视变换；其中，训练集和验证集需要尽可能多种类的图，因此可以同时采用上述全部策略（单一策略或者任一组合策略也都可以被采用）的颗粒图，以提高网络的准确性，测试集只需要采用策略一即可。
[0032]
d、将所有作为训练集和验证集的颗粒图对应的模板图片和mask图片随机打乱，并按照7:3的比例划分训练集和验证集，测试集的数据则不进行划分。
[0033]
步骤二：全景分割网络训练，网络结构如图7所示：a）选择全景分割网络：本方案使用现有的panoptic fcn网络进行全景分割任务，如图7所示，panoptic fcn网络主要由骨干网络、卷积核生成器、特征描述子融合以及特征编码三个部分组成。常规全景分割网络通常将things和stuff使用两个分支来分别预测，这样做需要在后处理进行复杂的信息融合，提高了算法流程的复杂度。而本方案采用panoptic fcn网络，利用特征描述子k来统一things和stuff分支的权重信息，无需进行算法内部things和stuff的后处理融合操作，从而实现了端到端的全景分割；b）本方案中的骨干网络使用resnet50-fpn网络，该网络中的fpn结构可以提取并保留多尺度的特征，给stuff分割提供更大的感受野。fpn中的p3到p7被抽取出来作为每个单阶段特征供卷积核生成器使用；p2到p5被用来生成高分辨率的特征；c）卷积核生成器由卷积核头和位置头两个分支构成。位置头负责预测things的中心和stuff所在的区域，卷积核头通过多层卷积得到与单阶段特征具有相同维度的卷积核权重向量。接着，根据位置头预测的things中心和stuff区域从权重向量中抽取对应的卷积核权重；d）特征描述子融合模块将c)产品的多级卷积核权重，通过平均池化的方式对齐到相同的尺度，并通过阈值来去除相似的卷积核权重，最后融合得到m个things的卷积核权重图和n个stuff的卷积核权图。其中，m代表things的类别数量，n代表stuff的类别数量；e）特征编码模块通过三个的卷积运算对高分辨率特征进行编码，利用高分辨率特征图进行编码可以保留分割结果的细节信息。最后，利用d）生成的卷积核权重对编码后的高分辨率特征图进行卷积得到通道数为m n的输出特征图，其中每个通道表示一种things或者stuff的分割结果；f）对输出的多通道特征图，进行逐像素点的argmax操作，可以加快模型的推理速度并保证了每个像素点只能预测一个类别标签，免去了复杂的nms操作；g）利用步骤一自动生成的数据集进行全景分割网络的训练。网络训练的损失函数采用weighteddiceloss（wdl），如公式
①
所示；其中l代表损失函数数值，代表第个通道的预测结果，代表第类的真值标签：
网络训练设定为迭代100个周期，每个周期完整迭代一次数据集，并且会在10个产品组成的验证集上进行算法精度像素准确率pa评估，如公式
②
所示。当pa精度大于设定的95%时，认为模型收敛，保存最优模型，采用最优模型进行产品的分区建模：其中，代表像素真实类别为被预测为类的像素数量，代表像素真实类别为被预测为的像素数量；换言之，分子代表预测正确的像素数量，分母为像素总量。
[0034]
步骤三：双分支推理再融合，如图8所示。
[0035]
本方案所提出的自动分区方法，为了对分区结果进行进一步的优化，采用全新的双分支推理再融合方式，content分支（分支一）主要负责对图像表面内容（材质表面纹理）的分割，texture分支（分支二）主要负责对图像纹理和边缘信息（材质边缘细节）的分割。具体实施如下：a）采集待分割的大图，大图通常由多个block组成。通过阵列裁切的方式得到拆分后的block图像（即待分区图片），再在block图像内部进行阵列裁切得到单block图像内部所有的颗粒图片；b）因为图像采集的相机分辨率是固定的，将block图像下采样8倍到1024x1024大小，有利于panoptic fcn对图像content分割，若图像分辨率变化，可调整下采样倍数，使图片保持在1024x1024大小附近。对block图像内的颗粒图片进行双线性插值到512x512大小，便于多张图片同时推理，加速运算。由于颗粒图片的尺寸一般都小于512x512，所以统一到该尺寸相当于对图像进行了放大，有利于网络对图像texture信息的分割；c）将下采样的block图像和插值后的颗粒图片都经过全景分割网络进行推理；d）对c）中的两种分割结果进行融合；首先，将block图像的分割结果上采样相同的倍数，返回到原始大小；接着，将每张颗粒图片的分割结果插值到颗粒图的原始大小，并按照阵列裁切的顺序拼接回原始block图像大小；然后，根据原始颗粒图片的大小和阵列裁切的步长，生成网格状的颗粒图片边缘，并将宽度为1像素的颗粒图片边缘进行膨胀，生成宽度为9像素的网格状roi区域（如图9、10所示，图中黑色实线之间形成区域）；最后，将block图像的分割结果和颗粒图片的分割结果进行像素点对齐，并采用2:8的权重进行加权平均再取整（2对应block图的分割结果，8对应颗粒图片的分割结果），而对网格状roi区域内的分割结果，则采用相反的权重进行融合；e）循环所有的block图像进行步骤a-d的操作，当所有的block图像都完成分割时，可以得到大图（待分割大图）对应的所有材质精细的分割结果；
f）至e）已经完成了所有材质的自动分区过程。而在半导体结构内部除了对不同材质有不同的检测要求外，对统一材质的不同区域也会有不同的质量把控标准。因此，步骤三得到的自动分区结果也可由用户根据现场生产需求进行随意拆分和自定义组合。
[0036]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。