关于经由制造过程制造的产品进行预测的系统和方法与流程

关于经由制造过程制造的产品进行预测的系统和方法
1.相关申请的交叉引用
2.本技术要求于2020年9月18日提交的题为“用于显示器缺陷可见度的基于树的多模态回归”的美国临时申请第63/080,558号的优先权和权益，其全部内容通过引用并入本文。
技术领域
3.根据本公开的实施例的一个或多个方面涉及机器学习系统，并且更具体地，涉及经由树型结构多模态回归器来预测制造缺陷水平。


背景技术：

4.近年来，移动显示产业发展迅速。随着新型显示面板模块和生产方法的部署，并且随着产品规格收紧，可能期望加强设备和质量控制方法以维持生产质量。例如，可能期望一种用于检测不同的制造缺陷水平的措施。因此，期望一种用于自动预测制造缺陷的水平以用于对制造过程进行调整的系统和方法。
5.在该背景技术部分中公开的上述信息仅用于增强对本公开的背景的理解，因此它可能包含不形成现有技术的信息。


技术实现要素：

6.本公开的实施例针对一种关于经由制造过程制造的产品进行预测的方法。处理器接收输入数据并且基于输入数据进行第一预测。处理器基于第一预测从多个机器学习模型中识别第一机器学习模型。处理器进一步基于输入数据和第一机器学习模型进行第二预测，并且基于第二预测发送用于调整产品的制造的信号。
7.根据一个实施例，输入数据包括来自多个传感器的多元传感器数据。
8.根据一个实施例，第一机器学习模型与第一制造条件所关联的第一正态分布相关联，并且多个机器学习模型中的第二机器学习模型与第二制造条件所关联的第二正态分布相关联。
9.根据一个实施例，第二预测是对与产品相关联的缺陷水平的预测。
10.根据一个实施例，该方法进一步包括由处理器生成多个机器学习模型，包括：将第一基线机器学习模型应用于训练数据集；响应于应用第一基线机器学习模型而进行误差分析过程，其中，误差分析过程识别训练数据集的在误差阈值范围之内的第一部分和训练数据集的在误差阈值范围之外的第二部分；使用第一标签来标记训练数据集的第一部分；以及使用新的基线机器学习模型针对训练数据集的第二部分进行误差分析过程。
11.根据一个实施例，误差分析过程被执行特定次数，该特定次数基于标签的预设数量。
12.根据一个实施例，在误差分析过程的每次执行中，不同的标签被分配给训练数据集中的在误差阈值范围之内的数据。
13.根据一个实施例，第一预测包括预测的标签，并且关于经由制造过程制造的产品进行预测的方法进一步包括：基于训练数据集和由误差分析过程生成的标签来训练分类器，其中进行第一预测包括将分类器应用于输入数据。
14.根据一个实施例，该方法进一步包括使用附加数据来增强输入数据，其中，附加数据基于在先前时间段生成的数据的统计信息。
15.根据一个实施例，制造设备的温度和操作速度中的至少一个响应于该信号被调整。
16.本公开的实施例还针对一种关于经由制造过程制造的产品进行预测的系统。该系统包括处理器和存储器。存储器包括指令，指令在由处理器执行时使处理器：接收输入数据；基于输入数据进行第一预测；基于第一预测从多个机器学习模型中识别第一机器学习模型；基于输入数据和第一机器学习模型进行第二预测；并且基于第二预测发送用于调整产品的制造的信号。
17.如本领域技术人员应认识到的，所要求保护的关于经由制造过程制造的产品进行预测的系统和方法有助于对付可能导致输入数据与预测之间的关系改变的制造条件改变，同时控制以期望的准确度进行预测时的模型复杂度和计算能力。
18.当参考以下详细描述、所附权利要求和附图考虑时，将更加充分地理解本公开的实施例的这些和其他特征、方面和优点。当然，本发明的实际范围由所附权利要求来限定。
附图说明
19.参考以下附图描述现有实施例的非限制性和非穷举性实施例，附图中，除非另外指明，否则贯穿各个视图，相同的附图标记指代相同的部件。
20.图1是根据一个实施例的关于经由制造过程制造的产品进行预测的系统的框图；
21.图2是根据一个实施例的推断模块的框图；
22.图3a是根据一个实施例的由训练模块执行的用于生成多个机器学习模型的过程的流程图；
23.图3b是在执行图3a的流程图时生成的示例回归器；
24.图4是根据一个实施例的用于训练分类器引擎的过程的更详细的流程图；并且
25.图5是根据一个实施例的由数据增强模块执行的用于在推断阶段期间增强收集的跟踪数据的过程的流程图。
具体实施方式
26.下文中，将参照附图更详细地描述示例实施例，在附图中，相同的附图标记始终指代相同的元件。然而，本公开可以以各种不同的形式体现，并且不应该被解释为仅限于本文所示的实施例。相反，这些实施例作为示例而提供，使得本公开全面且完整，并且向本领域技术人员充分传达本公开的方面和特征。所以，可能不描述对于本领域普通技术人员完全理解本公开的方面和特征来说不必要的过程、元件和技术。除非另有注明，否则在整个附图和书面描述中，相同的附图标记表示相同的元件，并且因此可能不重复其描述。进一步，在附图中，为了清楚起见，可能夸大和/或简化元件、层和区域的相对尺寸。
27.诸如移动显示器制造过程的制造过程可以在移动显示产品的制造期间获取数字
跟踪数据。尽管将移动显示产品用作示例，但是本领域技术人员应该认识到，本公开的实施例可以应用于其他玻璃和非玻璃产品的制造过程，包括例如半导体晶片、显示器玻璃和/或聚酰亚胺基板等的制造。
28.跟踪数据可以经由一个或多个传感器收集，这些传感器可以放置在例如在生产期间运送产品的传送带上。传感器可以被配置为将感测到的活动记录为跟踪数据。传感器可以是例如多个温度和压力传感器，其被配置为捕获制造过程中的随时间变化的温度和压力的测量值。每个传感器可以被采样多次(例如，在多玻璃制造时间的时段内，每秒钟或每几秒钟对每个传感器进行采样以用于监视每块玻璃)。
29.可以对跟踪数据进行分析以了解导致特定制造缺陷的制造条件。随着制造条件随时间改变，所收集的跟踪数据以及跟踪数据与制造缺陷的关系也可能改变。当机器学习被用于基于输入的跟踪数据而预测制造缺陷时，如果跟踪数据与制造缺陷之间的关系已经由于制造条件的改变而改变，则基于先前了解的关系所训练的模型可能不再能准确预测缺陷。因此，期望一种使用机器学习来对制造缺陷进行预测的系统和方法，其中该系统和方法在进行预测时还将跟踪数据与制造缺陷之间的不同关系/改变的关系考虑在内。
30.总体而言，本公开的实施例旨在分析制造过程的跟踪数据，以用于预测制造过程的缺陷程度/缺陷水平(也称为缺陷可见度水平)。有缺陷的制造过程可能导致有缺陷/有缺点的制造零件。识别制造过程的潜在缺陷可以帮助改善过程的质量控制、降低制造成本和/或改善设备的正常运行时间。
31.在一个实施例中，跟踪数据由一个或多个传感器随时间而产生。跟踪数据被提供给分析系统以用于预测缺陷可见度水平。在一个实施例中，输入的跟踪数据由多个传感器提供为多元输入数据。输入的跟踪数据可以使用先前获得的跟踪数据的统计信息来增强，并且增强后数据可以提供给分类器以用于从多个机器学习模型中选择机器学习模型(例如，回归模型)。机器学习模型的选择可以依赖于由分类器分配给增强后数据的诸如类别标签的标签。
32.在一个实施例中，分析系统对付可能随时间而导致的、可造成输入数据(例如，跟踪数据)到输出数据(例如，缺陷可见度水平)的多个单一分布(也称为多模态分布)的变化的制造条件。在一个实施例中，分析系统提供了树型结构多模态回归器设计以帮助对付数据的多模态分布。就这一点而言，分析系统可以提供多个机器学习模型，其中第一机器学习模型与可由第一类别标签标识的第一模态(例如，第一正态分布)相关联，并且第二机器学习模型与不同于第一模态的、可由第二类别标签标识的第二模态(例如，第二正态分布)相关联。在一个实施例中，分类器基于针对增强后输入数据而预测的类别标签来选择多个机器学习模型中的一个。实验表明，与使用单个回归器的模型相比，使用用于预测缺陷可见度水平的多个回归器的树型结构多模态回归器设计实现了更高的预测准确度。
33.图1是根据一个实施例的关于经由制造过程制造的产品进行预测的系统的框图。该系统包括一个或多个数据收集电路100、分析系统102和一个或多个设备/过程控制器104。数据收集电路100可以包括例如被配置为在制造过程期间收集跟踪数据的传感器、放大器和/或模数转换器。传感器可以被放置在例如在生产期间运送产品的传送带上。传感器可以被配置为将任何感测到的活动记录为跟踪数据。例如，传感器可以是多个温度和压力传感器，其被配置为捕获制造过程中的随时间变化的温度和压力的测量值。每个传感器可
以被采样多次(例如，在多玻璃制造时间的时段内，每秒钟或每几秒钟对每个传感器进行采样以用于监视每块玻璃)。
34.分析系统102可以包括训练模块106和推断模块108。尽管训练模块106和推断模块108在图1中被示为分离的功能单元，但是本领域技术人员应认识到，在不脱离本发明构思的精神和范围的情况下，各模块的功能可以组合或集成在单个模块中，或者进一步细分为进一步的子模块。例如，在一些实施方式中，训练模块106对应于一个或多个处理单元(也称为处理器)101和相关联的存储器103。推断模块108可以对应于与训练模块106相同的一个或多个处理单元，或者对应于不同的一个或多个处理单元。处理单元的示例包括中央处理单元(cpu)、图形处理单元(gpu)、专用集成电路(asic)、现场可编程门阵列(fpga)等。
35.训练模块106可以被配置为生成和训练供推断模块108使用的多个机器学习模型。多个机器学习模型可以基于由数据收集电路100提供的训练数据来生成和训练。在一个实施例中，训练模块106在生成和训练多个机器学习模型时使用树型结构多模态回归器设计。
36.训练模块106还可以被配置为训练用于选择多个机器学习模型中的一个的分类器。就这一点而言，多个机器学习模型可以与不同的类别标签相关联。在一个实施例中，分类器被训练为学习跟踪数据和类别标签之间的关系，以识别要在推断阶段期间使用的适合的机器学习模型。
37.推断模块108可以被配置为基于在推断阶段期间由数据收集电路100提供的跟踪数据来预测缺陷可见度水平。就这一点而言，推断模块108可以从训练的多个机器学习模型中选择机器学习模型以进行预测。机器学习模型的选择可以依赖于接收到的跟踪数据的分类。可以基于不同的分类来调用不同的机器学习模型。
38.在一个实施例中，预测的缺陷可见度水平被用于对制造过程进行调整。例如，如果预测的缺陷可见度水平高于特定阈值水平，则可以将用于调整被用于制造过程的制造设备的参数的信号发送到设备/过程控制器104。被调整的参数可以是例如制造设备的操作速度或内部温度。在一个实施例中，制造设备可以响应于检测到预测的缺陷可见度水平高于特定阈值水平而重新初始化或重新校准。
39.图2是根据一个实施例的推断模块108的框图。在一个实施例中，推断模块108包括数据增强模块200、缩放模块202、分类器引擎(也称为分类器)204和多个机器学习模型(也称为类别回归器)206。
40.在一个实施例中，跟踪数据x由数据收集电路100从各个传感器收集，并且作为多元输入数据提供给数据增强模块200。数据增强模块200可以获取多元跟踪数据x，并且使用统计数据来增强跟踪数据x。统计数据可以是例如根据由数据收集电路100收集的先前样本计算出的平均值。平均值可以与所收集的跟踪数据x并置以产生增强后数据集xe。
41.在一个实施例中，增强后数据集xe可以由缩放模块202进一步处理。因为由各个传感器提供的值的范围可能依赖于传感器的类型而差异很大，所以缩放模块202可以被配置为将特征缩放/归一化应用于增强后数据集xe以产生归一化的数据集xes。数据归一化可以经由特征标准化算法或最小-最大归一化等来实现。然后归一化的数据集xes可以被喂送到分类器引擎204。
42.分类器引擎204可以被配置为运行机器学习算法，诸如，举例来说，随机森林、极值梯度增强(xgboost)、支持向量机(svm)和/或深度神经网络(dnn)等。在一个实施例中，分类
器引擎204被训练为预测输入数据的类别标签。就这一点而言，分类器引擎204可以从多个预设类别标签xes1、xes2、
…
、xesn中预测类别标签，其中n是类别标签的预设数量并且是自然数。然后，预测的类别标签可以被用于从包括类别回归器#1、类别回归器#2、
…
、类别回归器#n的多个机器学习模型206中选择机器学习模型。选择的机器学习模型生成经由制造过程制造的产品的缺陷可见度水平的预测208(包括ypred1、ypred2、
…
、ypredn的ypred)。
43.在一个实施例中，多个机器学习模型206中的每个机器学习模型与不同的模态相关联。每个模态可以反映导致跟踪数据x到预测的缺陷可见度水平的特定分布的特定制造条件。使用多模态机器学习模型206预测缺陷可见度水平可以允许分析系统102对付制造条件的改变，同时提供期望水平的预测准确度。在与使用单个模型进行预测的系统相比时，多模态机器学习模型206的使用还可以帮助控制模型复杂度并且节省计算能力。
44.图3a是根据一个实施例的由训练模块106执行的用于生成多个机器学习模型206的过程的流程图。应当理解，如本领域技术人员认识到的，该过程的步骤次序不是固定的，而是可以被修改、在顺序上被改变、被不同地进行、被顺序地、并发地或同时地执行、或被改变成任何期望的次序。图3b是在执行图3a的流程图时生成的示例回归器。
45.在框300处，训练模块106构建基线回归器330，并且在框302处，将基线回归器330应用于用于预测缺陷可见度水平的输入训练数据集304。基线回归器330可以是任何可容易建立的机器学习模型，诸如，举例来说，线性回归模型。在一个实施例中，使用所有训练数据构建基线回归器330以识别输入训练数据集304的主要分布。输入训练数据集304可以包括跟踪数据x和相关的缺陷可见度水平y。
46.在框306处，训练模块106迭代地进行误差分析过程，以识别输入训练数据集304的在误差阈值范围之内的子集。误差可以是指示预测的缺陷可见度水平与输入训练数据集304中提供的作为基本事实的缺陷可见度水平之间的差的值。就这一点而言，在框308处，训练模块106进行误差分析查询，以确定与基本事实缺陷可见度水平相比，基线回归器330在框302处针对输入训练数据集304的第一子集的预测是在误差阈值范围之内还是之外。如果输入训练数据集304的第一子集在误差阈值范围之内，则在框310处识别出这样的子集。
47.在框312处，训练模块106使用类别标签来标记识别出的第一子集。类别标签可以是例如自动生成的数字(例如，顺序数)。例如，生成的第一类别标签可以是类别“0”，并且所应用的基线回归器330可以被设置为针对类别0的回归器332。在框314处，训练模块106使用一个或多个机器学习模型来训练用于学习识别出的第一子集和所分配的类别标签之间的关系的分类器引擎204。
48.再次参考框308处，如果输入训练数据集304的任何第二子集在误差阈值范围之外(例如，如框316处识别的大于正阈值，或者如框318处识别的小于负阈值，然而其他值也是可能的)，则在适合的框316或318处识别出第二子集。在框320或322处，训练模块106继续构建和训练新的基线回归器(例如，第一中间回归器334)，并且在将新的基线回归器应用于第二子集时就再次在框306a或306b处进行误差分析过程。如果通过运行误差分析过程306a、306b确定当应用新的基线回归器时输入训练数据集304的第二子集在误差阈值范围之内，则在框312中使用新的类别标签来标记第二子集。例如，第二子集的类别标签可以是类别“1”，并且所应用的第一中间回归器334可以被设置为针对类别1的回归器338。
49.在一个实施例中，误差分析过程306a、306b重复，直到输入训练数据集304中的所
有数据都在误差阈值范围之内，或者直到达到最大深度值。最大深度值可以基于训练模块106所识别的类别标签的预设数量。例如，如果类别标签的预设数量为五(类别0-4)，则误差分析过程重复最大值五次，以识别最大数量的五个回归器(例如，回归器332、338、340、342和344)和类别中的每一个所关联的数据集子集。根据一个实施例，如果在最后一次重复之后，输入训练数据集304中仍然有在误差阈值范围之外的数据，则剩余数据可以与先前重复中的数据合并，并且被分配先前重复的类别标签。
50.在一个实施例中，训练模块106执行的用于生成多个机器学习模型206的过程可以被描述为一种树算法，该树算法迭代地分割输入训练数据集304，并且依赖于误差分析(通过遍历到树的左子分支)使用类别标签来标记分割的数据集，或者应用一个或多个新的中间基线回归器(例如，在过程的第一次迭代期间应用中间回归器334或336，或者在过程的第二次迭代期间应用中间回归器346或348)以(通过遍历到树的右子分支)再次执行误差分析。在一个实施例中，可以限制树的深度(例如，可以将树的深度限制为由训练模块106确定的类别标签的总数)以限制实施复杂度。
51.图4是根据一个实施例的用于训练分类器引擎204的框314的更详细的流程图。在已经使用对应的类别标签来标记输入训练数据集304之后，分类器引擎204可以准备进行训练。就这一点而言，在框400处，包括训练跟踪数据x和相关联的类别标签的输入数据被用于训练分类器引擎204，以学习跟踪数据x与相关联的类别标签之间的关系。举例来说，可以经由诸如分类算法的有监督的机器学习算法来完成训练。一旦训练好，分类器引擎204就可以在框402处保存。训练好的分类器引擎204可以准备好供推断模块108使用。
52.图5是根据一个实施例的由数据增强模块200执行的用于在推断阶段期间增强所收集的跟踪数据x的过程的流程图。在一个实施例中，基于先前样本的统计信息来增强跟踪数据x。统计信息可以是平均值、标准偏差或矩等。使用统计信息来增强跟踪数据x可以帮助向输入数据提供时间背景，诸如，举例来说，数据的值随时间在增大或在减小的信息。
53.在一个实施例中，用于数据增强的过程开始，并且在框500处，数据增强模块200识别从所收集的跟踪数据x生成的原始输入向量。
54.在框502处，确定是否可以与原始输入向量相对应地识别出预设数量(例如100)的先前样本。如果可以识别出多于预设数量的先前样本，则数据增强模块200在框504中确定当前样本和先前样本的统计信息。统计信息可以是例如先前样本的平均值。
55.再次参考框502，如果识别出少于预设数量的先前样本，则在框506处基于当前样本和先前样本的可用数量来确定统计信息。
56.在框508处，将基于所确定的统计信息而生成的统计信息向量(例如，平均值向量)与原始输入向量并置起来。统计信息还可以包括标准偏差、中位数或模等。
57.在一些实施例中，在一个或多个处理器中实现上述各个模块和引擎。术语处理器可以指一个或多个处理器和/或一个或多个处理核。一个或多个处理器可以托管在单个装置中或分布在多个装置上(例如，通过云系统)。处理器可以包括例如专用集成电路(asic)、通用或专用中央处理单元(cpu)、数字信号处理器(dsp)、图形处理单元(gpu)和诸如现场可编程门阵列(fpga)的可编程逻辑器件。在处理器中，如本文使用的，每个功能由被配置(即被硬接线)为执行该功能的硬件来执行或者由被配置为执行存储在非暂时性存储介质(例如，存储器)中的指令的更通用硬件(诸如cpu)来执行。处理器可以被制造在单个印制电路
板(pcb)上或分布在若干互连的pcb上。处理器可以包含其他处理电路；例如，处理电路可以包括在pcb上互连的两个处理电路fpga和cpu。
58.应理解，虽然术语“第一”、“第二”、“第三”等可在本文中用于描述各种元件、部件、区域、层和/或部分，但是这些元件、部件、区域、层和/或部分不应该受这些术语限制。这些术语仅用于将一个元件、部件、区域、层或部分与另一元件、部件、区域、层或部分区分开。因此，本文讨论的第一元件、部件、区域、层或部分可以被称为第二元件、部件、区域、层或部分，而不脱离本发明构思的精神和范围。
59.本文使用的术语仅用于描述特定实施例的目的，并不旨在限制本发明构思。如本文中使用的，术语“基本上”、“大约”以及类似术语被用作近似的术语而不用作程度的术语，并且旨在考虑会被本领域普通技术人员所认识到的测量或计算的值的固有偏差。
60.如本文中使用的，除非上下文另有明确指示，否则单数形式“一”旨在也包括复数形式。应进一步理解，术语“包括”和/或“包含”当在本说明书中使用时指明存在所陈述的特征、整体、步骤、操作、元件和/或部件，但不排除一个或多个其他特征、整体、步骤、操作、元件、部件和/或其组合的存在或附加。如本文所使用的，术语“和/或”包括相关联列出的项目中的一个或多个的任意和所有组合。诸如“中的至少一个”的表达当在元件列表之后时，修饰整个元件列表而不修饰该列表中的个别元件。进一步，在描述本发明构思的实施例时，“可以”的使用指的是“本公开的一个或多个实施例”。而且，术语“示例性”意指示例或例示。如本文中使用的，术语“使用”、“使用中”和“被使用”可被认为分别与术语“利用”、“利用中”和“被利用”同义。
61.应理解，当元件或层被称为位于另一元件或层“上”、“连接到”、“耦接到”或“邻近于”另一元件或层时，该元件或层可直接位于另一元件或层上、直接连接到、耦接到或邻近于另一元件或层，或者可存在一个或多个中间元件或层。相反，当元件或层被称为“直接位于”另一元件或层“上”、“直接连接到”、“直接耦接到”或“直接邻近于”另一元件或层时，则不存在中间元件或层。
62.本文记载的任意数值范围旨在包括包含在所记载的范围内的相同数值精度的所有子范围。例如，“1.0至10.0”的范围旨在包括所记载的最小值1.0与所记载的最大值10.0之间(并且包括两者)的所有子范围，即具有等于或大于1.0的最小值和等于或小于10.0的最大值的所有子范围(诸如，举例来说，2.4至7.6)。本文所记载的任意最大数值限制旨在包括包含在内的所有较小数值限制，并且本说明书中所记载的任意最小数值限制旨在包括包含在内的所有较大数值限制。
63.尽管本文已经具体描述和例示了用于检测制造缺陷水平的系统和方法的示例性实施例，但是许多修改和变化对于本领域技术人员将是显而易见的。因此，应理解，根据本公开的原理构造的用于检测制造缺陷水平的系统和方法可以以除了本文具体描述的以外的其他方式来体现。本公开还在所附权利要求书及其等同物中进行限定。