用于对制造缺陷进行分类的系统和方法与流程

用于对制造缺陷进行分类的系统和方法
1.相关申请的交叉引用
2.本技术要求2021年4月1日提交的标题为“利用基于两阶段拒绝的方法识别制造显示图像缺陷类型”的美国临时申请第63/169,621号的优先权和权益，通过引用将该申请的全部内容合并于此。
技术领域
3.根据本公开的实施例的一个或多个方面涉及分类器，并且更具体地涉及用于识别制造缺陷的机器学习(ml)分类器，其使用两阶段方法来过滤掉低置信数据样本。


背景技术：

4.移动显示产业近年来发展迅速。随着新型显示面板模块和生产方法被部署，仅使用传统机制已经难以检查表面缺陷。期望采用人工智能(ai)来自动预测制造的显示面板模块是否有缺陷。事实上，期望采用ai来预测其他硬件产品的缺陷，而不仅仅是显示面板模块。
5.在该背景技术部分中公开的上述信息仅用于增强对本公开的背景的理解，并且因此其可能包含不构成现有技术的信息。


技术实现要素：

6.本公开的实施例涉及用于对制造缺陷进行分类的方法。在一个实施例中，从训练数据集中识别满足第一标准的第一数据样本，并且从训练数据集中移除第一数据样本。输出包括第二数据样本的过滤后的训练数据集。利用过滤后的训练数据集训练第一机器学习模型。基于第一数据样本和第二数据样本中的至少一个训练第二机器学习模型。接收与制造产品相关联的产品数据，并调用第二机器学习模型来预测产品数据的置信度。响应于预测产品数据的置信度，第一机器学习模型被调用，以产生基于分类的产品数据。
7.根据一个实施例，第一标准是低于设定阈值的置信水平。
8.根据一个实施例，第二数据样本与高于设定阈值的置信水平相关联。
9.根据一个实施例，训练第二机器学习模型包括基于第二数据样本调用无监督学习，其中第二数据样本与特定类别相关联。
10.根据一个实施例，训练第二机器学习模型包括：识别与特定类别相关联的聚类；以及基于调整阈值对聚类的边界进行调整，其中响应于确定产品数据在聚类的边界内，第一机器学习模型被调用，以产生分类。
11.根据一个实施例，训练第二机器学习模型包括基于第一数据样本和第二数据样本调用有监督学习，其中第一数据样本被识别为第一类型的数据，并且第二数据样本被识别为第二类型的数据。
12.根据一个实施例，训练第二机器学习模型包括：识别用于将第一类型的数据与第二类型的数据分开的决策边界；以及基于调整阈值对决策边界进行调整，其中响应于确定
产品数据属于第二类型的数据，第一机器学习模型被调用，以产生分类。
13.根据一个实施例，用于对制造缺陷进行分类的方法包括：识别与第二制造产品相关联的第二产品数据；调用第二机器学习模型来预测第二产品数据的置信度；以及基于第二产品数据的置信度拒绝第二产品数据。
14.根据一个实施例，用于对制造缺陷进行分类的方法进一步包括基于分类产生信号，其中信号用于触发动作。
15.本公开的实施例还涉及用于对制造缺陷进行分类的系统。该系统包括处理器和存储器。在存储器中存储有指令，当指令由处理器执行时使处理器：从训练数据集中识别满足第一标准的第一数据样本；从训练数据集中移除第一数据样本，并输出包括第二数据样本的过滤后的训练数据集；利用过滤后的训练数据集训练第一机器学习模型；基于第一数据样本和第二数据样本中的至少一个训练第二机器学习模型；接收与制造产品相关联的产品数据；调用第二机器学习模型来预测产品数据的置信度；以及响应于预测产品数据的置信度，调用第一机器学习模型来产生基于分类的产品数据。
16.本公开的实施例进一步涉及用于对制造缺陷进行分类的系统。该系统包括被配置为收集输入数据集的数据收集电路以及耦接到数据收集电路的处理电路。处理电路具有用于以下操作的逻辑：从训练数据集中识别满足第一标准的第一数据样本；从训练数据集中移除第一数据样本，并输出包括第二数据样本的过滤后的训练数据集；利用过滤后的训练数据集训练第一机器学习模型；基于第一数据样本和第二数据样本中的至少一个训练第二机器学习模型；接收与制造产品相关联的产品数据；调用第二机器学习模型来预测产品数据的置信度；以及响应于预测产品数据的置信度，调用第一机器学习模型来产生基于分类的产品数据。
17.如本领域技术人员应认识到的，要求保护的在训练和推理期间过滤掉低置信数据样本的系统和方法有助于在最小化分布外样本的影响的同时，增大对覆盖的数据样本的预测准确度。
18.当关于以下具体实施方式、所附权利要求书和附图考虑时，将更加充分地理解本公开的实施例的这些及其他特征、方面和优点。当然，本发明的实际范围由所附权利要求书限定。
附图说明
19.参考下面的附图描述本实施例的非限制性和非穷举性实施例，其中，除非另有指定，否则遍及各个视图，相同的附图标记指代相同的部件。
20.图1是根据一个实施例的用于进行与通过制造工艺制造的产品有关的预测的系统的框图。
21.图2是根据一个实施例的用于进行与通过制造工艺制造的产品有关的预测的过程的流程图。
22.图3是根据一个实施例的置信学习过程的更详细的流程图。
23.图4是根据一个实施例的示例混淆矩阵。
24.图5是根据一个实施例的被实现为联合融合模型的缺陷检测模型的框图。
25.图6是根据一个实施例的在预测阶段期间由离群值过滤器过滤的数据的概念布局
图。
26.图7是根据一个实施例的在选择调整阈值时准确度与覆盖范围之间的权衡的曲线图。
27.图8是根据一个实施例的可以根据覆盖范围和准确度计算的示例调整阈值的曲线图。
具体实施方式
28.下文中，将参考附图更详细描述示例实施例，其中相同的附图标记遍及全文指代相同的元件。然而，本公开可以以各种不同形式来体现，并且不应理解为仅限于本文中所示的实施例。相反，提供这些实施例作为示例，使得本公开将是全面和完整的，并且将向本领域技术人员充分传达本公开的方面和特征。因此，可以不描述对于本领域普通技术人员完全理解本公开的方面和特征并非必要的工艺、元件和技术。除非另被注明，否则在整个附图和书面描述中，相同的附图标记表示相同的元件，并且因此，可以不重复其描述。此外，在附图中，为了清楚起见，可以夸大和/或简化元件、层和区域的相对尺寸。
29.随着新型显示模块和产品方法被部署，以及随着产品规格变严格，可能期望加强设备和质量控制方法以保持产品质量。例如，可能期望在生产期间监测制造缺陷。
30.监测制造缺陷的一种方式是雇佣具有识别缺陷的专业知识的人类检查员。就此而言，可以在缺陷区域周围获取高分辨率(亚微米级)的图像。人类检查员然后可以查看获取的图像，以根据缺陷的类型以及缺陷如何可能影响产品产量而将缺陷分类为各类别。更具体地，人类检查员可以对大量缺陷图像进行采样，并花费大量时间搜索特征，以将未分类的缺陷图像分成各类别。然而，培训人类检查员需要时间。即使在经过培训时，人类检查员也可能需要几周时间在当前批图像中识别制造缺陷，使得很难将人类检查员的工作一次扩展到多个实例。
31.机器学习(ml)模型可以用于更快地检测制造缺陷，其可以一次扩展到多个实例。然而，为了使这样的ml模型有用，它们的预测应该是准确的。另外，模型应当通用，使得即使对以前没有遇到过的新数据集也可以进行准确的预测。
32.然而，各种因素可能降低ml模型的性能。一个这样的因素可能是训练数据的错误标记，被称为标记噪声。例如，错误标记可能是由于人为错误。例如，用于训练的图像可能被标记为描述制造缺陷的类型(当实际上不存在这样的缺陷时，或者即使存在该缺陷，由人识别的缺陷类型也是错误的)。当使用错误标记训练ml模型时，ml模型的预测准确度降低。
33.在使用ml模型中可能出现的另一问题是由于为了训练模型通常所使用的小的数据集而导致的。相对于数据的高维数，稀疏的训练数据集可能导致模型的过拟合。当模型被过拟合时，错误标记的数据可能不被拒绝，而是被模型学习。这可能导致在部署期间基于错误标记的数据进行预测，从而使模型对新的、未见过的数据表现不佳。
34.概括地，本公开的实施例涉及使用深度学习ml模型识别制造缺陷。在一个实施例中，使用两阶段方法来过滤掉不可信的(也称为有噪声的)数据。就此而言，可以移除训练数据集中的具有噪声标记的数据样本来训练第一ml模型(被称为缺陷检测模型)，使得使用可信的(也被称为干净的)训练数据样本训练缺陷检测模型。然后可以使用干净的数据和有噪声的数据来训练在部署期间使用的第二深度学习ml模型(被称为离群值检测模型或离群值
过滤器)，以过滤掉不可信/有噪声的数据样本。这可以确保由缺陷检测模型预测的数据落在高置信预测区域中，从而增大缺陷检测模型的预测准确度。
35.在一个实施例中，使用调整阈值超参数来调整由离群值过滤器使用以过滤掉不可信数据的边界。可以考虑拒绝率(或数据的覆盖范围的量)与缺陷检测模型的预测准确度之间的权衡而确定阈值超参数。在一个实施例中，当覆盖范围减小时，预测准确度增大。就此而言，可以基于对在准确度和/或覆盖范围方面的当前要求的识别来选择阈值超参数。
36.图1是根据一个实施例的用于进行与通过制造工艺制造的产品有关的预测的系统的框图。该系统包括但不限于一个或多个数据收集电路100和分析系统102。例如，数据收集电路100可以包括被配置为在制造工艺期间获取产品的图像数据的一个或多个成像系统，诸如，例如，x射线机、磁共振成像(mri)机、透射电子显微镜(tem)机和/或扫描电子显微镜(sem)机等。例如，由数据收集电路100产生的图像数据可以是诸如能量色散x射线光谱(eds)图像和/或高角度环形暗场(haadf)图像的光谱图像、诸如透射电子显微镜(tem)图像的显微图像和/或热图像等。所获取的数据样本可以不限于静态图像，而是也可以包括视频、文本、激光雷达数据、雷达数据、图像融合数据、温度数据和/或压力数据等。
37.例如，数据收集电路100可以被放置于在生产期间运载产品的传送带的顶部上。数据收集电路100可以被配置为在一段制造时间内多次(例如，每秒或每几秒)获取产品的数据样本(例如，图像数据)。
38.分析系统102可以包括训练模块106和推断模块108。尽管训练模块106和推断模块108被描述为分离的功能单元，但本领域技术人员将认识到，模块106和108的功能可以被组合或整合到单个模块中，或者可以被进一步细分为另外的子模块，而不脱离本发明构思的精神和范围。分析系统102的部件可以由具有相关联的存储器(例如，图1中的存储器103)的一个或多个处理器(例如，图1中的处理器101)实现，处理器包括例如专用集成电路(asic)、通用或专用中央处理单元(cpu)、数字信号处理器(dsp)、图形处理单元(gpu)以及诸如现场可编程门阵列(fpga)的可编程逻辑器件。尽管在图1中，存储器103被示出为在处理器101的外部，但本领域技术人员将认识到，存储器103可以是处理器101的子部件。
39.训练模块106可以被配置为产生并训练多个机器学习模型，以用于对产品制造缺陷进行分类。可以基于由数据收集电路100提供的训练数据来产生并训练多个机器学习模型。在一个实施例中，在两个单独的阶段中训练两个机器学习模型。在第一阶段中，可以仅使用干净的训练数据集训练缺陷检测模型。就此而言，从测试数据集中移除携带被识别为错误的标记的有噪声/不可信的数据，以产生干净的训练数据集。
40.在一个实施例中，缺陷检测模型是使用来自不同类型的数据收集电路100的已经被整合在一起并在一起被训练的干净的测试数据集训练的联合融合模型。缺陷检测模型不必是联合融合模型，而是本领域已知的使用来自单一源的信息而训练的任何深度神经网络。
41.在第二阶段中，可以在部署期间训练离群值过滤器，以过滤掉不可信/有噪声的数据样本。在一个实施例中，基于在第一阶段中识别的干净的训练数据样本，使用无监督学习来训练离群值过滤器。在一个实施例中，基于在第一阶段中被标记为有噪声/不可信的数据样本，使用有监督学习来训练离群值过滤器。分类聚类的大小或决策边界可以取决于所识别的调整阈值超参数。
42.推断模块108可以被配置为在推断阶段期间将在部署期间的产品制造缺陷进行分类。就此而言，由数据收集电路100获取的数据样本可以被提供到离群值过滤器以识别数据样本的置信度。在一个实施例中，离群值过滤器被配置为确定数据样本是否是离群值。例如，如果数据样本不能被聚类到基于干净的训练数据产生的分类聚类中的一种中，则该数据样本可以被识别为离群值。在另一示例中，如果数据样本匹配被标记为有噪声/不可信的数据的特征，则该数据样本可以被认为是离群值。
43.在一个实施例中，被识别为离群值的数据样本被移除。就此而言，移除的数据样本不被提供到进行预测的缺陷检测模型。因此，被提供到缺陷检测模型的数据是被认为是可信数据的数据，从而增大了由缺陷检测模型的分类的准确度。由缺陷检测模型进行的分类可以包括将产品分类为有缺陷的或无缺陷的、和/或将有缺陷的产品分类为各缺陷类别等。在一个实施例中，分析系统102可以基于分类结果产生信号。例如，该信号可以响应于将产品分类为有缺陷的产品而提示人类检查员的动作。该动作可以是为了复检的目的而将产品从生产线移除。
44.图2是根据一个实施例的用于进行与通过制造工艺制造的产品有关的预测的过程的流程图。应当理解，该过程的步骤的顺序不是固定的，而是可以改变成本领域技术人员所认识到的任何期望的顺序。
45.在框200处，由数据收集电路100中的一个或多个捕获在制造工艺期间制造的产品的数据。捕获的数据可以是例如图像数据。在一个实施例中，由两个或更多个不同的数据收集电路100并发地捕获特定产品的图像数据。例如，第一数据收集电路100可以捕获产品的tem图像，并且第二数据收集电路100可以捕获同一产品的haadf图像。
46.由数据收集电路100捕获的数据可以用于训练ml模型。就此而言，由数据收集电路100获取的位于产品的缺陷区域周围的图像可以由人类检查员查看并标记以识别缺陷。然而，人易于出错，并且贴在图像上的标记有时可能是错误的。标记错误可能是一个问题，因为模型的准确度取决于训练数据的准确度。
47.在一个实施例中，训练模块106在框202处进行置信学习，以识别并移除训练数据集中的有噪声的数据样本。有噪声的数据样本可以包括被预测为被人类检查员错误标记的图像数据。在一个实施例中，置信学习基于有噪声的(给定的)标记与未损坏的(真实的)标记之间的联合分布的估计，如在https://arxiv.org/abs/1911.00068v4可获得的northcutt等人的“confident learning:estimating uncertainty in dataset labels(置信学习：估计数据集标记中的不确定性)”(2021)中进一步详细描述的，其内容通过引用合并于此。
48.在一个实施例中，响应于在框202处的置信学习，训练模块106识别训练数据集中被预测为有噪声的数据样本，将所识别的数据样本标记为有噪声，并从训练数据集中移除这些数据样本。
49.在框204处，训练模块106基于过滤后的训练数据集中的干净的数据样本来训练缺陷检测模型。例如，训练的缺陷检测模型可以是联合融合模型，如在2020年7月24日提交的、标题为“image-based defects identification and semi-supervised localization(基于图像的缺陷识别和半监督定位)”的序列号为16/938,812的美国专利申请或在2020年7月24日提交的、标题为“fusion model training using distance metrics(使用距离度量的
融合模型训练)”的序列号为16/938,857的美国专利申请中描述的，两者的内容通过引用合并于此。在一些实施例中，缺陷检测模型是被配置有诸如以随机森林、极限梯度提升(xgboost)、支持向量机(svm)、深度神经网络(dnn)等为例的机器学习算法的单个机器学习模型(而不是联合融合模型)。
50.在框206处，训练模块106使用来自置信学习框202的有噪声和/或干净的数据样本来训练离群值过滤器。可以使用有监督学习和无监督学习中的一种来训练离群值过滤器。在使用有监督学习的实施例中，已经被如此标记的干净和有噪声的数据样本可以用于教导离群值过滤器将数据分类为有噪声的/不可信的、或者干净的/可信的。可以在训练期间识别决策边界，来确定将有噪声的数据与干净的数据分开的边界。诸如以逻辑回归为例的机器学习算法可以用于识别决策边界。
51.在使用无监督学习的实施例中，训练模块106调用聚类算法以在训练数据样本中寻找相似性，并将相似的数据样本分组到聚类中。诸如k均值聚类算法的聚类算法可以用于产生聚类。
52.在一个实施例中，训练模块106进一步被配置成基于调整阈值超参数来调整决策边界的放置或聚类的边界。调整阈值可以控制决策边界或聚类与未被过滤掉的有噪声的数据的接近程度。边界越接近有噪声的数据，用于缺陷预测的目的的数据样本的覆盖范围就越大。然而，预测准确度可随着覆盖范围的增大而降低。在一个实施例中，期望的覆盖范围和/或准确度作为输入被输入，并且训练模块106根据所输入的输入来选择合适的调整阈值。
53.在框208处，在部署时使用训练后的离群值过滤器和训练后的缺陷检测模型来识别产品(诸如以显示面板为例)中的缺陷。在一个实施例中，在制造工艺期间，推断模块108调用离群值过滤器来预测由数据收集电路100捕获的数据样本的置信度。在一个实施例中，离群值过滤器识别不能被可信地聚类到已知分类类别中的一种中(如果过滤器已经使用无监督学习被训练)和/或具有使数据被分类为有噪声/不可信的特征/参数(如果过滤器已经使用有监督学习被训练)的数据样本，并从捕获的数据集中移除这样的数据样本。移除的不可信的数据样本可以被认为是可能是在制造工艺中使用的机器中的劣化结果的离群值数据。
54.在一个实施例中，推断模块108调用缺陷检测模型，以在干净的、高置信度的数据样本中进行预测。以这种方式，该缺陷检测模型的预测准确度在与当前技术的缺陷检测模型相比时可以增大。
55.图3是根据一个实施例的在框202处的置信学习的更详细的流程图。在框300处，训练模块106计算测试数据集中的预测的(真实的/正确的)标记与(由人)给定的标记之间的混淆矩阵。可以调用深度学习模型来预测测试数据集中的数据样本的真实的/正确的标记。可以基于预测的标记与给定的标记的比较来产生混淆矩阵。针对每个预测的标记，混淆矩阵可以是预测的标记与给定的标记之间的联合分布。例如，给定三种可能的标记类别：苹果、梨和橙子，混淆矩阵中的第一条目识别被预测为苹果的数据样本实际被标记为苹果的概率，第二条目可以识别被预测为苹果的数据样本实际被标记为梨的概率，并且第三条目可以识别被预测为苹果的数据样本实际被标记为橙子的概率。可以针对梨预测和橙子预测计算类似的联合分布。
56.在框302处，针对每个预测的标记，训练模块106基于混淆矩阵计算阈值。在一个实施例中，联合概率值被用作阈值。在一些实施例中，阈值可以基于预测类别的峰值信噪比(psnr)，该峰值信噪比可以是基于预测类别的联合概率分布计算出的。在一个实施例中，特定预测类别的阈值可以基于预测的真实标记的概率与类别的概率之间的差。用于计算阈值的示例伪代码可以如下：
[0057][0058]
在框304处，训练模块106基于计算出的阈值识别训练数据集中的有噪声的、不可信的数据。例如，假设苹果被标记为梨的联合概率分布为14％，则训练模块106可以将被标记为梨的具有最大概率为苹果的数据样本中的14％识别为有噪声的数据。在一些实施例中，其中预测的真实标记的概率与类别的概率之间的差值小于针对该类别设置的阈值的样本被识别为有噪声的数据样本。
[0059]
在框306处，训练模块106标记并从训练数据集中过滤掉有噪声的数据。例如，训练模块106可以将有噪声的数据标记为“有噪声的”等。
[0060]
图4是根据一个实施例的示例混淆矩阵。在图4的示例中，被预测为苹果、实际被标记为苹果的数据样本的联合概率400为0.25。此外，被预测为苹果但实际被标记为梨的数据样本的联合概率402为0.14。
[0061]
图5是根据一个实施例的被实现为联合融合模型的缺陷检测模型的框图。联合融合模型包括被配置为接收已经经过置信学习的第一组干净的数据的第一神经网络分支(以下也称为第一分支)500以及被配置为接收也已经经过置信学习的第二组干净的数据的第二神经网络分支(以下也称为第二分支)502。在一个实施例中，训练模块106独立于其他分支训练每个分支，并且通过卷积层将第一分支500和第二分支502联合到联合融合模型504中。第一组数据可以是内部对齐的，第二组数据可以是内部对齐的，并且第一组数据和第二组数据可以相对于彼此不对齐。在一个实施例中，第一组数据可以包括诸如与高角环形暗场(haadf)图像一起使用的能量色散x射线光谱(eds)图像的光谱图像，并且第二组数据可以包括诸如透射电子显微镜(tem)图像的显微镜图像。
[0062]
在一个实施例中，第一分支500和第二分支502中的每个包括相应的注意力模块。神经网络分支(例如，第一神经网络分支500或第二神经网络分支502)的注意力模块可以被配置为将空间注意力覆盖在由神经网络分支接收的图像上，以突出缺陷可能出现的区域。例如，第一分支500的第一注意力模块可以将第一空间注意力热图覆盖在由第一分支500接收的第一组数据上，并且第二分支502的第二注意力模块可以将第二空间注意力热图覆盖在由第二分支502接收的第二组数据上。注意力模块可以包括基于输入图像的最终预测标记(错误类型/无错误)被调整的空间映射网络(例如，与空间注意力热图相对应)。空间映射网络可以表示输入图像与最终预测标记之间的空间关系。
[0063]
可以是一组光谱图像的第一组数据可以进入多个通道(在该示例中为x个通道)，每个通道表示与特定化学元素或成分有关的数据。每个神经网络分支可以包括采用(下面描述的)卷积块注意力模块(cbam)形式的通道注意力模块和空间注意力模块。另外，使用多图像源的分支(诸如第一分支500)可以包括额外的通道注意力模块。额外的通道注意力模块可以指示要集中于哪些元素输入通道。在一个实施例中，联合融合模型允许从不同的数据收集电路100获得的产品信息被整合在一起并在一起被训练，使得信息可以相互补充以进行与产品制造缺陷有关的预测。
[0064]
在一个实施例中，空间注意力模块和通道注意力模块是以半监督方式训练的网络，以促使更大的神经网络(例如，相应的神经网络分支)将更大的权重赋予来自所选通道或空间区域的数据。在训练中，空间/通道注意力模块学习哪些特征与错误相关联，并且反过来通过相关联的特征而学习哪些空间区域或通道与错误相关联。一旦被训练，这些模块在更大的神经网络结构内运行，以促使神经网络将“更多注意力”放在选择区域/通道(例如，通过设置与区域/通道相关联的一个或多个权重)。在一些实施例中，注意力模块可以包含在cbam中，cbam是用于前馈卷积神经网络的有效注意力模块。光谱分支和显微镜分支两者都可以包括提供空间和通道注意力的cbam。空间注意力可以是与误差位置有关的空间热图，并且通道注意力可以与数据的颜色/灰度通道有关。
[0065]
如上所述，在第一分支500内，除cbam之外，还可以存在额外的通道注意力模块。cbam提供了空间热图和颜色通道注意力特征。因此，额外的通道注意力模块可以将注意力集中于与对特定缺陷类型感兴趣的目标元素相关联的通道上。
[0066]
图6是根据一个实施例的在预测阶段208期间由离群值过滤器602过滤的数据的概念布局图。在图6的实施例中，由数据收集电路100获取的用于制造的产品的数据样本600被提供到离群值过滤器602，以预测数据样本的置信度604。数据样本可以包括第一类型的(例如，干净的/可信的)数据样本600a-600d以及第二类型的(例如，有噪声的/不可信的)数据样本600e。
[0067]
在一个实施例中，离群值过滤器602是基于相关联的数据参数识别数据样本所属的类别的无监督学习过滤器602a。在图6的示例中，第一类型的数据样本600a-600d被聚类到合适的类别606a-606d中。可以基于调整阈值来设置类别606a-606d的边界608a-608d。如果数据样本被预测为处于所识别的类别的边界内，则数据样本可以被认为是可信数据，并且可以被缺陷检测模型用来进行缺陷预测。
[0068]
在图6的示例中，第二类型的数据样本600e不属于聚类中的任一种，并且因此，可以被认为是有噪声的/不可信的数据。在一个实施例中，第二类型的数据样本600e被拒绝，而不被缺陷检测模型用来进行缺陷预测。
[0069]
在一个实施例中，离群值过滤器602是被配置为将数据样本600分类为干净的/可信的数据样本610或者有噪声的/不可信的数据样本612的有监督学习过滤器602b。与无监督学习过滤器602a一样，可以基于调整阈值设置将可信数据与不可信数据分开的决策边界614。在一个实施例中，如果数据样本被预测为有噪声的/不可信的，则该数据样本被缺陷检测模型拒绝，并且不被缺陷检测模型用来进行缺陷预测。
[0070]
图7是根据一个实施例的在选择调整阈值时准确度与覆盖范围之间的权衡的曲线图。该曲线图表明，缺陷检测模型的预测准确度随着覆盖范围降低(即，更多的数据样本被
过滤掉)而增大。
[0071]
图8是根据一个实施例的可以根据覆盖范围和准确度计算的示例调整阈值的曲线图。该曲线图包括具有处于95％准确度的准确度截止线802的准确度曲线800。95％的准确度点出现在交点804处。在95％的准确度处与交点804相交的覆盖范围截止线806也在大约65％的覆盖范围处与覆盖范围曲线808相交，并且具有大约0.17的调整阈值。因此，在该示例中，0.17的调整阈值产生95％的预测准确度和65％的覆盖范围。另一方面，如通过覆盖范围截止线810所描绘的，将覆盖范围降低到50％(交点812)将预测准确度增大到了大约97％(交点814)。相关联的调整阈值也增大到了大约0.57。在一个实施例中，训练模块106被配置为运行基于期望的准确度值和/或覆盖范围值的输入而输出调整阈值的函数。
[0072]
在一些实施例中，在一个或多个处理器中实现上面讨论的用于识别制造缺陷的系统和方法。术语“处理器”可以指一个或多个处理器和/或一个或多个处理核。一个或多个处理器可以被托管在单个装置中或分布在多个装置上(例如，在云系统上)。处理器可以包括例如专用集成电路(asic)、通用或专用中央处理单元(cpu)、数字信号处理器(dsp)、图形处理单元(gpu)以及诸如现场可编程门阵列(fpga)的可编程逻辑器件。在处理器中，如本文中使用的，每个功能由被配置(即，被硬布线)为执行该功能的硬件或者由被配置为执行存储在非暂时性存储介质(例如，存储器)中的指令的更通用硬件(诸如cpu)执行。处理器可以被制作在单个印刷电路板(pcb)上或分布在若干个互连的pcb上。处理器可以包含其他处理电路；例如，处理电路可以包括在pcb上互连的两个处理电路(fpga和cpu)。
[0073]
将理解，虽然术语“第一”、“第二”、“第三”等可以在本文中用来描述各种元件、部件、区域、层和/或部分，但是这些元件、部件、区域、层和/或部分不应该受这些术语的限制。这些术语仅用于将一个元件、部件、区域、层或部分与另一元件、部件、区域、层或部分相区分。因此，本文中讨论的第一元件、部件、区域、层或部分可以被称为第二元件、部件、区域、层或部分，而不脱离本发明构思的精神和范围。
[0074]
本文中使用的术语仅用于描述特定的实施例，而并不旨在限制本发明构思。如本文中使用的，术语“基本”、“大约”和类似术语用作近似的术语而非程度的术语，并且意在考虑本领域普通技术人员将认识到的测量或计算的值中的固有偏差。
[0075]
如本文中使用的，单数形式的“一”旨在也包括复数形式，除非上下文另有明确指示。将进一步理解，术语“包括”和/或“包含”在本说明书中使用时指定存在所陈述的特征、整体、步骤、操作、元件和/或部件，但不排除一个或多个其他特征、整体、步骤、操作、元件、部件和/或其组合的存在或附加。如本文中使用的，术语“和/或”包括所关联列出的项目中的一个或多个的任意和全部组合。诸如“中的至少一个”的表述在位于一列元件之后时，修饰整列元件而不是修饰该列中的个别元件。此外，在描述本发明构思的实施例时，“可以”的使用指“本公开的一个或多个实施例”。此外，术语“示例性”意指示例或例示。如本文中使用的，术语“使用”及其变体可以被认为与术语“利用”及其变体同义。
[0076]
尽管在本文中已经具体描述和说明了用于识别制造缺陷的系统和方法的示例性实施例，但许多修改和变化对于本领域的技术人员而言将是显而易见的。因此，应理解，根据本公开的原理构造的用于识别制造缺陷的系统和方法可以以不同于本文中具体描述的方式体现。本公开也在所附权利要求书及其等同中被限定。