通过累积预测进行机器学习变量选择和根本原因发现的制作方法

通过累积预测进行机器学习变量选择和根本原因发现
1.交叉引用
2.本技术要求2019年10月16日提交的名称为machine learning variable selection and root cause discovery by cumulative prediction的美国临时申请号62/916171的优先权，所述申请全文以引用方式并入本文。
技术领域
3.本技术涉及半导体制造过程，并且更具体地涉及一种用于由机器学习模型利用累积预测来标识关键过程变量的方案。


背景技术：

4.在机器学习和建模用于半导体制造过程方面的两个基本目标是准确良率(或连续参数值)预测以及根本原因发现。根本原因发现涉及量化模型中每个变量对所选择良率(或连续参数值)的重要性并且量化每个变量对每次预测观察的重要程度。
5.遗憾的是，这两个目标通常是相互对立的。利用简单模型，诸如线性回归，在总体上和针对每次观察确定最重要变量相对容易；然而，这些模型通常不准确。利用复杂机器学习方法，预测可准确得多；然而，仍然很难既在总体上又针对每次观察确定每个变量的重要性。
6.期望利用机器学习模型的固有能力来帮助量化特定过程变量的重要性。


技术实现要素：

7.呈现了一种用于标识特定过程变量的重要性的方法。一系列模型累加增加数量的变量的r平方值，以便量化每个变量对预测目标良率或参数响应的重要性。
8.初始地，机器学习模型被配置来基于作为所述机器学习模型的输入提供的多个过程参数预测目标特征。选择所述处理参数中的第一处理参数并且将其用于确定用于预测所述目标特征的第一r平方值。然后选择所述过程参数中的第二过程参数并且将其用于确定用于基于所选择的第二过程参数预测所述目标特征的第二r平方值。如有需要，选择所述过程参数中的另外的过程参数并且将其用于确定用于基于所选择的另外的过程参数预测所述目标特征的对应的另外的r平方值，直到所述第一r平方值、所述第二r平方值和所述另外的r平方值的累加增加小于阈值为止。然后可根据参数的影响对所述参数进行排名并且将所述参数标识为机器学习模型的关键输入。
9.附图描述
10.图1是示出由于所选择过程参数而对良率预测的增量和累积贡献的表。
11.图2是示出基于图1中标识的过程参数，多个晶圆样品的预测良率与实际良率之间的晶圆级相关性的图形绘图。
12.图3是示出对于来自图2的晶圆样品中的两个晶圆样品，所选择过程参数对良率的相对影响的条形图。
13.图4是示出来自仅使用最重要的输入变量建立的模型的实际良率与预测良率之间的晶圆级相关性的图形绘图。
14.图5是示出所选择过程参数对来自图2的晶圆样品中的两个晶圆样品的良率的相对影响的平均值的条形图。
15.图6是示出在基于单个参数观察之后用于来自图2的晶圆样品中的两个晶圆样品的预测空间模式和实际空间模式的热图。
16.图7是示出在基于两个参数观察之后用于来自图2的晶圆样品中的两个晶圆样品的预测空间模式和实际空间模式的热图。
17.图8是示出用于标识过程参数的累积影响的方法的流程图。
具体实施方式
18.机器学习(ml)在对半导体工艺进行建模中发挥着越来越积极的作用，尤其是在预测和根本原因分析方面。逐步回归的原理中的一些可用于优化任何复杂ml方法(例如，神经网络、极限梯度提升等)并且特别地基于交叉验证r平方方法的ml模型的输入参数，以删除不会改进对训练数据的预测的变量并且仅保留对预测重要的那些变量。
19.然而，可通过首先构建可能的最佳单变量模型来进一步采用所述概念。接着，构建可能的最佳双变量模型，所述可能的最佳双变量模型根据定义必须包括来自最佳单变量模型的变量；并且然后构建可能的最佳三变量模型，所述最佳三变量模型根据定义必须包括来自最佳双变量模型的变量。重复此过程，直到所有变量按照“最重要”到“最不重要”完成排序为止，或者直到最佳n变量模型预测到通过逐步变量选择过程选择的所有变量的交叉验证r平方值的期望或可接受百分比为止。
20.因此，模型的累积序列可用于基于交叉验证r平方值的改进来量化每个变量对目标良率(或连续参数)响应的总体预测的重要性。
21.例如，图1示出表100，其中数个过程参数列出了条目以便通过使用r平方值作为量度来展示如何产生良率性能的累积改进。在表100中，行111、112、113列出所选择的晶圆参数，其中晶圆分组标识符列出在列121中，晶圆参数的源列出在列122中，累积交叉验证r平方百分比值列出在列123中，所述参数的增量交叉验证r平方百分比值列出在列124中，并且参数编号(例如，按增量影响的参数排名)列出在列125中。
22.行111中列出的第一参数是pcm-32，其源(列122)是第一物理测试结构对晶圆的连续参数测量，并且其对标识方差或偏移的增量贡献(列124)基于来自统计分析的r平方值为15.4％。添加第二参数pcm-1(行112)(第二不同测试结构对同一晶圆的连续参数测量)具有12.4％的增量影响并且将所解释累积方差增加到27.8％，而添加第三个参数pe-1(行113)(晶圆设备历史(weh)中标识的过程工具)(其增量影响为9.9％)将累积方差总计升高到37.7％。基于此交叉验证r平方统计分析，这些参数是足以包括在机器学习模型中仅有的三个重要的变量，例如在此实例中，对方差的增量贡献大近似10％。
23.理解每个参数对总体模型的重要程度是有价值的，但可能不如理解每个参数对特定观察的重要程度那样有价值。例如，可能通过接触电阻变化来最佳地预测数个低良率晶圆，从而给予用户允许更快地诊断根本原因的信息。考虑这对于简单的示例性数据集是如何工作的。
24.图2示出对于图1中考虑的参数(即，pcm-1、pcm-2和pe-1)，基于机器学习模型预测的数百个晶圆的实际良率与预测良率的相关性绘图200。来自不同批次(批次134_w06和批次143_w09)的两个随机地选择的晶圆210、220两者在最终模型中得到了很好的预测，但问题是哪些参数对每个晶圆重要。
25.首先，定义准确度的量度。由于此特定模型专注于预测芯片和晶圆良率，因此两个准确度量度是(i)预测晶圆良率与实际晶圆良率之间的差异，以及(ii)跨晶圆的预测良率和实际良率的芯片级相关性中的r平方值。对于芯片级相关性，通过对每个芯片与紧邻的芯片求平均值来将数据平滑处理，如由线230表示，以得到良率和良率预测的更平滑表示。对于图1中标识的三个累积预测中的每一个，考虑了晶圆预测的准确度。
26.每个累积模型的晶圆级预测误差在图3中以条形图300中示出。晶圆210(批次134_w06)的预测误差示出在左侧条形图310上，并且晶圆220(批次143_w09)的预测误差示出在右侧条形图320上。条形图310表明当预测仅取决于单个参数pcm-2时晶圆210具有非常大的误差312。然而，一旦参数pcm-1被包括在预测中，预测误差314就会好得多(即，更低)。这暗指与其他参数相比，晶圆210(批次134_w06)的良率更多受pcm-1影响，因为当考虑其他参数时预测误差不会显著地变化(316、318)。这可通过查看第一累积模型对实际良率的晶圆级预测绘图而得到证实。
27.类似地，晶圆220(批次143_w09)的预测误差主要受pcm-2影响，因为当也考虑其他参数(324、326、328)时预测误差322变化不大。
28.图4是对于pcm-2，良率与平均值的晶圆级绘图400，并且证实无法从使用仅pcm-2的模型预测晶圆220(批次143_w09)的良率损失，因为所述点离平均线太远。然而，此模型在预测晶圆210(批次134_w06)方面做得很好，因为所述点非常接近平均线，这表明此晶圆良率主要受pcm-2影响。这可通过查看使用仅pcm-2的第一模型和使用pcm-2和pcm-1两者的第二累积模型的空间相关性而进一步得到证实。
29.图5是示出用于两个示例性晶圆(左侧图510上的晶圆210(批次134_w06)和右侧图520上的晶圆220(批次143_w06))的累积模型中的每一个的空间r平方值的条形图500。根据图510，晶圆良率预测表明，晶圆210(批次134_w06)主要由参数pcm-1预测，因为一旦在绘图512处将pcm-1添加到模型，空间r平方的绘图就会好得多，这与晶圆良率预测一致。根据图520，晶圆良率预测表明，晶圆220(批次143_w09)主要由参数pcm-2预测，如由第一绘图521指示，并且所有四个累积预测的空间r平方值非常类似。
30.如图6所示，这些相同空间模式匹配可容易地从实际良率和累积模型预测的晶圆图观察到。例如，基于单个参数pcm-2，窗口600在左侧面板610中示出晶圆210(批次134_w06)的预测图空间模式并且在右侧面板620中示出晶圆220(批次143_w09)的预测图空间模式。窗口601在左侧面板611中示出晶圆210(批次134_w06)的实际图空间模式并且在右侧面板621中示出晶圆220(批次143_w09)的实际图空间模式。
31.对于晶圆220(批次143_w09)，面板620所示的第一累积预测模型与面板621所示的实际图显然匹配得相当好。然而，面板610中晶圆210(批次134_w06)的预测模式与面板611所示的实际模式匹配得不太好
32.图7进一步证实了上述基于r平方的观察，即第二累积模型不会显著地影响晶圆220(批次143_w09)的预测，但现在面板710中晶圆210(批次134_w06)的预测与面板711所示
的实际图匹配得相当好，从而表明参数pcm-1是此晶圆的起因(并且对晶圆220没有显著影响，如从面板720和721中的类似图所见)。
33.在此实例中，此方法可用于芯片级良率预测，如本文所述，或者用于任何复杂的多变量机器学习问题，前提条件是存在可分离的可标识根本原因。
34.流程图在图8中呈现以描述用于关于关键变量的累积确定的一般方法。在步骤802中，机器学习模型被配置来预测目标特征。在步骤804中，选择过程参数，并且在步骤806中，确定用于基于所选择过程参数来预测目标特征的r平方值。将r平方值累加，并且如果在步骤808中累积总计继续增加超过阈值量，则在步骤810中选取另一过程参数，并且用于基于下一个所选择过程参数来预测目标特征的r平方值得以确定。
35.一旦在步骤808中累积总计不再显著地增加，即增加量小于阈值，则在步骤812中将按照r平方值对过程参数进行排名。最后，在步骤814中，将最高排名的过程参数(即通过交叉验证r平方值方法对目标特征具有显示出的影响的那些参数)标识为ml模型的关键变量。