关于经制造过程制造的产品进行预测的系统和其训练方法与流程

关于经制造过程制造的产品进行预测的系统和其训练方法
1.相关申请的交叉引用
2.本技术要求2021年4月23日提交的名称为“用于缺陷可见度回归的重新分配聚类”的美国临时申请第63/179,117号的优先权和权益，该申请的全部内容通过引用并入本文。
3.本技术还涉及2020年12月18日提交的名称为“用于执行基于树的多模态回归的系统和方法”的、要求2020年9月18日提交的名称为“用于显示器缺陷可见度的基于树的多模态回归”的美国临时申请第63/080,558号的优先权和权益的美国申请第17/127,778号，该申请的全部内容通过引用并入本文。
技术领域
4.根据本公开的实施例的一个或多个方面涉及用于预测制造缺陷水平的机器学习系统。


背景技术：

5.近年来，显示行业发展迅速。随着新型显示面板模块和生产方法的部署，并且随着产品规格收紧，可能期望增强设备和质量控制方法以维持生产质量。例如，可能期望具有用于检测不同的制造缺陷水平的措施。相应地，期望一种用于自动预测制造缺陷的水平以对制造过程进行调整的系统和方法。
6.在本背景技术部分中公开的以上信息仅用于增强对本公开的背景的理解，并且因此，其可能包含不构成现有技术的信息。


技术实现要素：

7.本公开的实施例的方面针对一种用于关于经制造过程制造的产品进行预测的系统和方法。在一些实施例中，该系统利用聚类分类器将制造数据聚类成多个聚类，每个聚类对应于制造数据的不同模态。该系统还针对聚类中的每一个生成并应用机器学习模型，以基于制造数据对缺陷可见度水平进行预测。在一些实施例中，该系统应用聚类重新分配过程来改善系统的预测结果。
8.根据一些实施例，提供一种训练用于关于经制造过程制造的产品进行预测的系统的方法，该方法包括：由系统的处理器接收多个输入向量以及与多个输入向量相对应的多个缺陷值；由处理器基于缺陷值识别与多个输入向量相对应的多个第一聚类标签；由处理器基于输入向量和对应的第一聚类标签来训练聚类分类器；由处理器基于聚类分类器的输出将输入向量重新分配到多个第二聚类标签；由处理器基于输入向量和第二聚类标签重新训练聚类分类器；以及由处理器训练与第二聚类标签相对应的多个机器学习模型。
9.在一些实施例中，识别多个第一聚类标签包括：针对多个输入向量中的每个输入向量以及多个缺陷值中的与该输入向量相对应的缺陷值，识别与该缺陷值相对应的缺陷值分位数；以及基于缺陷值分位数将该输入向量分配到多个第一聚类标签中的聚类标签。
10.在一些实施例中，输入向量包括来自制造过程的跟踪数据。
11.在一些实施例中，跟踪数据包括来自在制造过程中使用的多个传感器的多元传感器数据。
12.在一些实施例中，缺陷值包括经制造过程制造的产品的与跟踪数据相对应的缺陷可见度水平。
13.在一些实施例中，将输入向量重新分配到多个第二聚类标签包括：将输入向量输入到聚类分类器；从聚类分类器接收作为响应于输入向量的输入的输出的多个第二聚类标签；以及将输入向量分配到多个第二聚类标签中的对应的第二聚类标签。
14.在一些实施例中，该方法进一步包括：由处理器通过以下步骤确定将输入向量重新分配到多个第二聚类标签：保持输入向量重新分配的数量的计数；确定该计数小于或等于阈值；以及确定重新分配输入向量。
15.在一些实施例中，该方法进一步包括：由处理器通过以下步骤确定将输入向量重新分配到多个第二聚类标签：确定重新分配的、第一聚类标签中的对应的第一聚类标签与第二聚类标签中的对应的第二聚类标签不同的输入向量的数量；计算重新分配的数量与输入向量的总数量的比率；确定该比率大于阈值；以及确定重新分配输入向量。
16.在一些实施例中，训练聚类分类器包括：由处理器将输入向量和对应的第一聚类标签作为训练数据输入到聚类分类器；以及由处理器训练聚类分类器，以使用有监督的机器学习算法来识别赋予输入向量的第一聚类标签。
17.在一些实施例中，重新训练聚类分类器包括：由处理器将输入向量和对应的第二聚类标签作为训练数据输入到聚类分类器；以及由处理器训练聚类分类器，以使用有监督的机器学习算法来识别赋予输入向量的第二聚类标签。
18.在一些实施例中，训练多个机器学习模型包括：基于输入向量中的在第二聚类标签中的同一聚类标签内的输入向量和缺陷值中的对应的缺陷值来训练多个机器学习模型中的一个。
19.在一些实施例中，多个第一聚类标签中的聚类标签与多个第二聚类标签中的对应的聚类标签不同。
20.根据一些实施例，提供一种训练用于关于经制造过程制造的产品进行预测的预测系统的方法，该方法包括：由预测系统的处理器接收多个输入向量以及与多个输入向量相对应的多个缺陷值；由处理器基于缺陷值识别与多个输入向量相对应的多个第一聚类标签；由处理器基于输入向量和对应的第一聚类标签来训练聚类分类器；由处理器训练与第一聚类标签相对应的多个第一机器学习模型；基于聚类分类器的输出将输入向量重新分配到多个第二聚类标签；基于输入向量和第二聚类标签重新训练聚类分类器；以及训练与第二聚类标签相对应的多个第二机器学习模型。
21.在一些实施例中，识别多个第一聚类标签包括：针对多个输入向量中的每个输入向量以及多个缺陷值中的与该输入向量相对应的缺陷值，识别与该缺陷值相对应的缺陷值分位数；以及基于缺陷值分位数将该输入向量分配到多个第一聚类标签中的聚类标签。
22.在一些实施例中，输入向量包括来自制造过程的跟踪数据，并且缺陷值包括经制造过程制造的产品的与跟踪数据相对应的缺陷可见度水平。
23.在一些实施例中，训练多个第一机器学习模型包括：基于输入向量中的在第一聚类标签中的同一聚类标签内的输入向量和缺陷值中的对应的缺陷值来训练多个第一机器
学习模型中的一个。
24.在一些实施例中，该方法进一步包括：由处理器通过以下步骤确定将输入向量重新分配到多个第二聚类标签：保持输入向量重新分配的数量的计数；确定该计数小于或等于阈值；以及确定重新分配输入向量。
25.在一些实施例中，该方法进一步包括：由处理器通过以下步骤确定将输入向量重新分配到多个第二聚类标签：确定缺陷值与由多个第一机器学习模型生成的预测的缺陷值之间的平均百分比绝对误差(mape)；确定mape大于阈值；以及确定重新分配输入向量。
26.在一些实施例中，将输入向量重新分配到多个第二聚类标签包括：将输入向量输入到聚类分类器；从聚类分类器接收作为响应于输入向量的输入的输出的多个第二聚类标签；以及将输入向量分配到多个第二聚类标签中的对应的第二聚类标签。
27.根据一些实施例，提供一种关于经制造过程制造的产品进行预测的系统，该系统包括：处理器；和存储器，其中，存储器包括指令，指令在由处理器执行时使处理器执行以下步骤：接收多个输入向量以及与多个输入向量相对应的多个缺陷值；基于缺陷值识别与多个输入向量相对应的多个第一聚类标签；基于输入向量和对应的第一聚类标签训练聚类分类器；基于聚类分类器的输出将输入向量重新分配到多个第二聚类标签；基于输入向量和第二聚类标签重新训练聚类分类器；以及训练与第二聚类标签相对应的多个机器学习模型。
28.当参考以下详细描述、所附权利要求和附图考虑时，将更加充分地理解本公开的实施例的这些和其他特征、方面和优点。当然，本发明的实际范围由所附权利要求来限定。
附图说明
29.参照以下附图描述目前实施例的非限制性且非穷尽性的实施例，在附图中，除非另外指明，否则贯穿各个视图，相同的附图标记指代相同的部件。
30.图1图示出根据本公开的一些实施例的用于关于经制造过程制造的产品进行预测的分析系统的框图。
31.图2图示出根据本公开的一些实施例的分析系统的推断模块的框图。
32.图3是根据本公开的一些实施例的由分析系统的训练模块执行的用于训练聚类分类器和用于生成多个机器学习模型的过程的流程图。
33.图4是根据本公开的一些实施例的由训练模块执行的用于训练聚类分类器和用于生成多个机器学习模型的过程的流程图。
具体实施方式
34.在下文中，将参照附图更详细地描述示例实施例，在附图中，相同的附图标记始终指代相同的元件。然而，本公开可以以各种不同的形式体现，并且不应被解释为仅限于在本文中图示的实施例。相反，提供这些实施例作为示例，使得本公开透彻且完整，并且向本领域技术人员充分传达本公开的方面和特征。相应地，可以不描述对于本领域普通技术人员完全理解本公开的方面和特征而言不是必需的过程、元件和技术。除非另有注明，否则贯穿附图和书面描述，相同的附图标记表示相同的元件，并且因此，可以不重复其描述。进一步，在附图中，为了清楚起见，可能夸大和/或简化元件、层和区的相对尺寸。
35.诸如显示器制造过程的制造过程可以在显示器产品的制造期间获取数字跟踪数据。尽管显示器产品被用作示例，但是本领域技术人员应当认识到，本公开的实施例可以适用于其他玻璃和非玻璃产品的制造过程，包括例如半导体晶片、显示器玻璃和/或聚酰亚胺基板等的制造。
36.跟踪数据可以经一个或多个传感器收集，这些传感器可以被放置在例如在生产期间运送产品的传送带上。传感器可以被配置成将感测到的活动记录为跟踪数据。例如，传感器可以是被配置成捕获制造过程中随时间变化的温度和压力的测量值的多个温度和压力传感器。每个传感器可以被采样多次(例如，在多玻璃制造时间的周期内，每秒或每几秒对每个传感器采样一次以监测每块玻璃)。
37.可以对跟踪数据进行分析以了解导致特定制造缺陷的制造条件。随着制造条件随时间改变，所收集的跟踪数据以及跟踪数据与制造缺陷的关系也可能改变。当机器学习被用于基于输入的跟踪数据而预测制造缺陷时，如果跟踪数据与制造缺陷之间的关系已经由于制造条件的改变而改变，则基于先前了解的关系所训练的模型可能不再能够准确地预测缺陷。因此，期望一种使用机器学习来对制造缺陷进行预测的系统和方法，其中该系统和方法在进行预测时还将跟踪数据与制造缺陷之间的不同关系/改变的关系考虑在内。
38.总体而言，本公开的实施例旨在分析制造过程的跟踪数据，以用于预测制造过程的缺陷程度/缺陷水平(也称为缺陷可见度水平)。有缺陷的制造过程可能导致有缺陷/有缺点的制造部件。识别制造过程的潜在缺陷可以帮助改善过程的质量控制、降低制造成本和/或改善设备的正常运行时间。
39.在一些实施例中，跟踪数据由一个或多个传感器随时间而产生。跟踪数据被提供给用于预测缺陷可见度水平的分析系统。在一些实施例中，输入的跟踪数据由多个传感器提供为多元输入数据。在一些示例中，可以使用先前获得的跟踪数据的统计信息来扩充输入的跟踪数据，并且扩充的数据可以被提供给用于从多个机器学习模型中选择机器学习模型(例如，回归模型)的聚类分类器。机器学习模型的选择可以依赖于由分类器分配给扩充的数据的类别/聚类标签。
40.在一些实施例中，分析系统对付可能随时间而导致的变化的制造条件，这可以创建输入数据(例如，跟踪数据)到输出数据(例如，缺陷可见度水平)的多个单一分布(也称为多模态分布)。
41.在一个实施例中，分析系统提供树型结构多模态回归器设计以帮助对付数据的多模态分布。就这一点而言，分析系统可以提供多个机器学习模型，其中第一机器学习模型与可由第一聚类标签标识的第一聚类/模态(例如，第一正态分布)相关联，并且第二机器学习模型与不同于第一聚类/模态的、可由第二聚类标签标识的第二聚类/模态(例如，第二正态分布)相关联。在一些实施例中，聚类分类器基于针对输入数据而预测的聚类标签来选择多个机器学习模型中的一个。实验表明，使用多个回归器来预测缺陷可见度水平的树型结构多模态回归器设计比使用单个回归器的模型实现了更高的预测准确性。
42.图1图示出根据本公开的一些实施例的用于关于经制造过程制造的产品进行预测的系统的框图。
43.参照图1，该系统包括一个或多个数据收集电路100、分析系统102和一个或多个设备/过程控制器104。数据收集电路100可以包括例如被配置成在制造过程期间收集跟踪数
据的传感器、放大器和/或模数转换器。传感器可以被放置在例如在生产期间运送产品的传送带上。传感器可以被配置成将任何感测到的活动记录为跟踪数据。例如，传感器可以是被配置成捕获制造过程中随时间变化的温度和压力的测量值的多个温度和压力传感器。每个传感器可以被采样多次(例如，在多玻璃制造时间的周期内，每秒或每几秒对每个传感器进行采样以监测每块玻璃)。
44.分析系统102可以包括训练模块106和推断模块108。尽管训练模块106和推断模块108在图1中被图示为分离的功能单元，但是本领域技术人员将认识到，各模块的功能可以组合或集成在单个模块中，或者进一步细分为进一步的子模块，而不脱离本发明构思的精神和范围。例如，在一些实施方式中，训练模块106对应于一个或多个处理单元(也被称为处理器)101和所关联的存储器103。推断模块108可以与训练模块106对应于相同的一个或多个处理单元，或者对应于不同的一个或多个处理单元。处理单元的示例包括中央处理单元(cpu)、图形处理单元(gpu)、专用集成电路(asic)、现场可编程门阵列(fpga)等。
45.训练模块106可以被配置成生成和训练多个机器学习模型以供推断模块108使用。多个机器学习模型可以基于由数据收集电路100提供的训练数据来生成和训练。在一些实施例中，训练模块106在生成和训练多个机器学习模型时使用树型结构多模态回归器设计。
46.根据一些实施例，训练模块106还被配置成训练基于输入数据(例如，跟踪数据)选择多个机器学习模型中的一个的聚类分类器。就这一点而言，多个机器学习模型可以与不同的聚类标签相关联。在一些实施例中，聚类分类器被训练为学习跟踪数据与聚类标签之间的关系，该关系被用于识别要在推断阶段期间应用的合适的机器学习模型。
47.推断模块108可以被配置成在推断阶段期间基于由数据收集电路100提供的跟踪数据来预测缺陷可见度水平。就这一点而言，推断模块108可以从训练的多个机器学习模型中选择机器学习模型以进行预测。机器学习模型的选择可以依赖于接收到的跟踪数据的分类(即类别/聚类标签)。可以基于不同的分类来调用不同的机器学习模型。
48.在一些实施例中，预测的缺陷可见度水平被用于对制造过程进行调整。例如，如果预测的缺陷可见度水平高于特定阈值水平，则可以将用于调整被用于制造过程的制造设备的参数的信号传输到设备/过程控制器104。被调整的参数可以是例如制造设备的操作速度或内部温度。在一些实施例中，可以响应于检测到预测的缺陷可见度水平高于特定阈值水平而重新初始化或重新校准制造设备。
49.图2图示出根据本公开的一些实施例的推断模块108的框图。
50.在一些实施例中，推断模块108包括聚类分类器引擎(在下文中，聚类分类器)204和多个机器学习模型(也称为聚类回归器)206。
51.在一些实施例中，跟踪数据由数据收集电路100从各个传感器收集，并且作为多元输入数据x被提供给聚类分类器204。在一些示例中，推断模块108可以获取多元跟踪数据，并且使用统计数据扩充跟踪数据。统计数据可以是例如根据由数据收集电路100收集的先前样本计算出的平均值。平均值可以与所收集的跟踪数据并置以产生扩充的数据集。扩充的数据集可以由缩放模块进一步处理。因为由各个传感器提供的值的范围可能依赖于传感器的类型而变化很大，所以可以进一步缩放/归一化扩充的数据集以产生归一化的数据集。然后，归一化的数据集可以被喂送到聚类分类器204。在下文中，被提供给聚类分类器204的输入数据x可以是直接来自制造过程的跟踪数据或如上所述经过处理的跟踪数据(例如，扩
充的和/或归一化的跟踪数据)。
52.聚类分类器204可以被配置成运行诸如例如随机森林、极端梯度提升(xgboost)、支持向量机(svm)和/或深度神经网络(dnn)等的机器学习算法。在一个实施例中，聚类分类器204被训练为预测输入数据x的聚类标签。就这一点而言，聚类分类器204可以从包括聚类1、聚类2、
…
、聚类n的多个预设聚类标签中预测聚类标签，其中n是预设聚类标签的数量，并且是正整数。然后，预测的聚类标签可以被用于从包括聚类回归器1、聚类回归器2、
…
、聚类回归器n的多个机器学习模型206中选择机器学习模型。选择的机器学习模型生成经制造过程制造的产品的缺陷可见度水平的预测208(包括ypred1、ypred2、
…
、ypredn的ypred)。
53.在一些实施例中，多个机器学习模型206中的每个机器学习模型与不同的聚类/模态相关联。每个聚类/模态可以反映导致跟踪数据到预测的缺陷可见度水平的特定分布的特定制造条件。使用多模态机器学习模型206来预测缺陷可见度水平可以允许分析系统102对付制造条件的改变，同时提供期望水平的预测准确度。在与使用单个模型进行预测的系统相比时，多模态机器学习模型206的使用还可以帮助控制模型复杂度并节省计算能力。
54.图3是根据本公开的一些实施例的由训练模块106执行的用于训练聚类分类器204和用于生成多个机器学习模型206的过程300的流程图。应当理解，如本领域技术人员认识到的，过程的步骤的顺序不是固定的，而是可以被修改、在顺序上被改变、被不同地执行、被顺序地、并发地或同时地执行、或者被改变成任何期望的顺序。
55.在块302处，训练模块106接收包括多元输入数据x和多个缺陷值y的输入训练数据集。多元输入数据x可以是多个输入向量的形式，并且多个缺陷值y可以是缺陷可见度水平，缺陷可见度水平中的每一个对应于输入向量x中的一个。在一些示例中，每个缺陷值y可以是预定范围内的数字(例如，1到100之间的实数，其中1指示最低缺陷可见度水平并且100指示最高缺陷可见度水平)。
56.在块304处，训练模块106基于缺陷值y识别与多个输入向量x相对应的第一聚类标签(例如，初始聚类标签)。训练模块106可以基于输入向量x的关联的缺陷值分位数对输入向量x进行聚类。例如，输入向量x中的与缺陷值y的第一分位数相对应的输入向量x可以被标记为聚类1，输入向量x中的与缺陷值y的第二分位数相对应的那些输入向量x可以被标记为聚类2，等等。在一些示例中，聚类标签可以是自动生成的数字(例如，序列号)。第一聚类标签可以用作输入向量x到聚类的分配的初始估计，并且可能不一定表示输入向量x与缺陷值y之间的关系的最佳分布或模态。
57.如本领域普通技术人员认识到的，本公开的实施例不限于基于分位数的聚类初始分配，并且可以使用任何合适的方法基于输入向量x的对应的缺陷值y来识别输入向量x的聚类。
58.在块306处，训练模块106基于输入向量x和对应的第一聚类标签(例如，聚类1、聚类2等)来训练聚类分类器204以学习输入向量x与所关联的聚类标签之间的关系。例如，聚类分类器204的训练可以经由诸如分类算法的有监督的机器学习算法来完成。
59.在块308处，训练模块106确定是否将输入向量x重新分配到第二聚类标签。当确定重新分配输入向量x时，在块310处，训练模块106在被提供有输入向量x时基于聚类分类器204的分类将输入向量x重新分配到第二聚类标签。例如，当第一输入向量的第一聚类标签是聚类1，但聚类分类器204将它分类为聚类2时，训练模块106可以将第一输入向量重新分
配到聚类2。这里，尽管用输入向量x和先前的聚类标签(例如，第一聚类标签)训练聚类分类器204，但是当被输入有输入向量x时，聚类分类器204可能不在其输出处恰好产生第一聚类标签。因此，由于第二聚类标签是聚类分类器204在被提供有输入向量x时的输出，因此第二聚类标签中的每一个可以与第一聚类标签中的对应的一个聚类标签相同或不同。
60.在块312处，训练模块106基于输入向量x和第二聚类标签重新训练聚类分类器204。例如，聚类分类器204的重新训练可以经由诸如分类算法的有监督的机器学习算法来完成。然后，该过程循环回到块308，在块308处，训练模块106重新评估是否将输入向量x重新分配到不同的聚类标签。当确定不重新分配输入向量x时，在块314处，训练模块106针对聚类标签中的每一个训练机器学习模型。在这样做时，训练模块106使用与特定聚类标签相对应的输入向量x的子集和所关联的缺陷值y的子集来生成与该特定聚类标签相对应的机器学习模型206。
61.根据一些实施例，在确定是否将输入向量x重新分配到新的聚类标签时，训练模块106保持输入向量x已经被重新分配的次数的计数。当该计数小于或等于第一阈值(例如，100)时，训练模块106继续重新分配输入向量x。根据一些实施例，第一阈值大于1。一旦该计数达到第一阈值，训练模块106就停止重新分配输入向量x。因此，在一些实施例中，训练模块106可以重新训练聚类分类器204等于第一阈值的次数(例如，100次)。在一些实施例中，训练模块106通过将要重新分配的输入向量x的数量与输入向量x的总数量的比率和第二阈值进行比较来确定是否将输入向量x重新分配到不同的聚类标签。训练模块106在该比率大于第二阈值时继续重新分配输入向量x，并且在该比率达到或低于第二阈值(例如，1％)时停止重新分配。换句话说，在一些实施例中，当第一聚类标签和第二聚类标签的数量之差与输入向量的总数量(或第一聚类标签/第二聚类标签中的标签的总数量)的比率大于第二阈值时，训练模块106重新训练聚类分类器204。通过迭代地将输入向量x从先前分配的聚类标签重新分配到聚类分类器204预测它们所属于的那些聚类标签，由聚类分类器204产生的聚类标签最终稳定(或接近稳定)到更能表示输入向量x与缺陷值y之间的关系的实际聚类/模态的特定值。这允许训练模块106在块314处进行增强的回归建模，这可以导致改善的预测结果。
62.根据一些实施例，由训练模块106执行的用于生成多个机器学习模型206的过程可以被描述为树算法，树算法迭代地分割输入训练数据集(即输入向量x、缺陷值y和聚类标签)，并且依赖于误差分析，(通过遍历到树的左子分支)用聚类标签来标记分割的数据集，或者应用一个或多个新的中间基线回归器(例如，过程的第一次迭代期间的中间回归器或过程的第二次迭代期间的中间回归器)以(通过遍历到树的右子分支)再次执行误差分析。在一个实施例中，可以限制树的深度(例如，将其限制为由训练模块106确定的聚类标签的总数量)以限制实现复杂度。生成多个机器学习模型206的过程在2020年12月18日提交的名称为“用于执行基于树的多模态回归的系统和方法”的美国申请第17/127,778号中进一步详细地描述，该申请的全部内容以引用方式并入本文。
63.然而，本公开的实施例不限于此，并且可以利用用于基于输入向量x、缺陷值y和聚类标签生成机器学习模型206的任何合适的算法。
64.在块316处，处理器101保存训练的聚类分类器204和多个机器学习模型206以供推断模块108稍后使用。
65.图4是根据本公开的一些实施例的由训练模块106执行的用于训练聚类分类器204和用于生成多个机器学习模型206的过程400的流程图。除了块314-1和块308-1之外，过程400与图3的过程300基本相同。为了描述清楚的目的，这里不重复在(图3和图4的)过程300和过程400之间共同的那些元素。
66.参照图4，在一些实施例中，训练模块106在检查是否重新分配聚类标签(在块308-1处)之前针对聚类标签中的每一个训练机器学习模型(在块314-1处)。这样做时，训练模块106针对第一聚类标签中的每一个生成机器学习模型。也就是说，训练模块106使用与第一聚类标签中的特定一个第一聚类标签相对应的输入向量x的子集和所关联的缺陷值y的子集来生成与第一聚类标签中的那个特定的一个聚类标签相对应的机器学习模型206。除此之外，生成机器学习模型的过程可以与上面关于图3描述的过程相同，并且因此这里不重复其详细描述。
67.根据一些实施例，在确定是否将输入向量x重新分配到不同的聚类标签(在块308-1处)时，训练模块106保持输入向量x已经被重新分配的次数的计数。当该计数小于或等于第一阈值(例如，100)时，训练模块106继续重新分配输入向量x。根据一些实施例，第一阈值大于1。一旦该计数达到第一阈值，训练模块106就停止重新分配输入向量x。在一些实施例中，训练模块106通过首先确定缺陷值y与来自多个机器学习模型206的预测的缺陷值ypred之间的平均百分比绝对误差(mape)来确定是否将输入向量x重新分配到不同的聚类标签。当表示回归误差的mape大于第二阈值时，训练模块106确定重新分配输入向量x，并且当mape处于或低于第二阈值时停止重新分配。因此，输入向量x不断地重新分配到不同的聚类标签，直到回归误差下降到期望的水平(即第二阈值)。在一些示例中，第二阈值可以是约1％(误差)。
68.与输入向量x到聚类标签的初始分配相比，迭代的重新分配方法实现了更优化的分布，这允许推断模块108对缺陷可见度水平做出更好的预测。如下面的表1中所示，在一些示例中，与相关技术的输入向量x聚类方法(诸如高斯方法的混合)相比，迭代的重新分配提供了改善的(例如，较小的)平均百分比绝对误差(mape)，并且因此提供了更准确的缺陷可见度水平预测：
69.误差(mape)x-聚类
*
迭代的聚类重新分配数据集18.08％5.79％数据集23.63％2.49％
70.相应地，如上所描述，在一些实施例中，分析系统102根据多元输入数据出现时的制造条件对多元输入数据进行聚类，以便为最终回归使用拟合较好的模型。在一些实施例中，由于(1)输入-输出空间中的聚类和(2)在不同的聚类中迭代地重新分配难以分类的输入向量x，直到系统稳定或接近稳定到合适的聚类，因此分析系统102找到向量在不同聚类中的更优化的分布，这能够改善缺陷可见度水平预测能力。
71.在一些实施例中，以上所描述的各个模块和引擎在一个或多个处理器中实现。术语处理器可以指代一个或多个处理器和/或一个或多个处理核。一个或多个处理器可以托管在单个装置中或分布在多个装置上(例如，分布在云系统上)。处理器可以包括例如专用集成电路(asic)、通用或专用中央处理单元(cpu)、数字信号处理器(dsp)、图形处理单元(gpu)和诸如现场可编程门阵列(fpga)的可编程逻辑器件。在处理器中，如本文中所使用，
每个功能由被配置(即被硬接线)成执行该功能的硬件来执行，或者由被配置成执行存储在非暂时性存储介质(例如，存储器)中的指令的诸如cpu的更通用的硬件来执行。处理器可以制造在单个印刷电路板(pcb)上或分布在多个互连的pcb上。处理器可以包含其他处理电路；例如，处理电路可以包括pcb上的互连的两个处理电路fpga和cpu。
72.应理解，虽然术语“第一”、“第二”、“第三”等可在本文中用于描述各种元件、组件、区、层和/或部分，但是这些元件、组件、区、层和/或部分不应受这些术语的限制。这些术语仅用于将一个元件、组件、区、层或部分与另一元件、组件、区、层或部分区分开。因此，本文中讨论的第一元件、组件、区、层或部分可以被称为第二元件、组件、区、层或部分，而不脱离本发明构思的精神和范围。
73.本文中使用的术语仅出于描述特定实施例的目的，并且不旨在限制本发明构思。如本文中所使用，术语“基本”、“约”和类似术语被用作近似术语而不是程度术语，并且旨在考虑本领域技术人员将认识到的测量值或计算值的固有偏差。
74.如本文中所使用，除非上下文另有明确指示，否则单数形式“一”旨在也包括复数形式。应进一步理解，当术语“包括”和/或“包含”在本说明书中使用时，指明所陈述的特征、整体、步骤、操作、元件和/或组件的存在，但不排除一个或多个其他特征、整体、步骤、操作、元件、组件和/或其组的存在或添加。如本文中所使用，术语“和/或”包括关联的列出项目中的一个或多个的任意和所有组合。当诸如“中的至少一个”的表达在元件列表之后时修饰整个元件列表而不修饰列表的单个元件。进一步，当描述本发明构思的实施例时，“可以”的使用指“本公开的一个或多个实施例”。此外，术语“示例性”旨在指示例或例示。如本文中所使用，术语“使用”、“使用中”和“被使用”可以被认为分别与术语“利用”、“利用中”和“被利用”同义。
75.本文中记载的任何数值范围旨在包括包含在所记载的范围内的相同数值精度的所有子范围。例如，“1.0至10.0”的范围旨在包括所记载的最小值1.0与所记载的最大值10.0之间(并且包括所记载的最小值1.0和所记载的最大值10.0)的所有子范围，即具有等于或大于1.0的最小值以及等于或小于10.0的最大值的所有子范围，诸如例如2.4至7.6。本文中记载的任何最大数值限制旨在包括包含在内的所有较低数值限制，并且本说明书中记载的任何最小数值限制旨在包括包含在内的所有较高数值限制。
76.尽管在本文中已经具体描述和例示了用于检测制造缺陷水平的系统和方法的示例性实施例，但是许多修改和变化对于本领域技术人员来说将是显而易见的。因此，应当理解，根据本公开的原理构造的用于检测制造缺陷水平的系统和方法可以以除了本文中具体描述的方式以外的其他方式来体现。本公开还在所附权利要求及其等同中限定。