校正离子注入半导体制造工具中的部件故障的制作方法

1.本公开内容涉及校正部件故障，并且更具体地，涉及校正半导体制造工具中的部件故障。
2.背景
3.制造装备的不中断性能的限制因素之一是部件故障。例如，淹没枪和源枪的故障可能中断离子注入工具的性能。部件故障导致计划外的停机时间，这对用户而言是高成本。
4.概述
5.以下是本公开内容的简化概述，以提供对本公开内容的一些方面的基本理解。该概述不是本公开内容的广泛概述。概述既不旨在识别本公开内容的关键或重要元件，也不旨在描绘本公开内容的特定实施方式的任何范围或权利要求的任何范围。概述的唯一目的是以简化的形式呈现本公开内容的一些概念，作为稍后呈现的更详细描述的序言。
6.在本公开内容的方面中，一种方法可包括：从与离子注入工具相关联的复数个传感器接收与复数个特征相对应的当前传感器数据。所述方法可进一步包括：执行特征分析，以生成针对当前传感器数据的复数个附加特征。所述方法可进一步包括：提供复数个附加特征作为到经训练机器学习模型的输入。所述方法可进一步包括：从经训练机器学习模型获得一个或多个输出。所述一个或多个输出可指示所预测窗口的置信水平。所述方法可进一步包括：基于所预测窗口的置信水平，来预测离子注入工具的一个或多个部件是否在故障前窗口内。所述方法可进一步包括：响应于预测到一个或多个部件是在故障前窗口内，执行与离子注入工具相关联的校正动作。
7.在本公开内容另外的方面中，一种方法可包括：从与离子注入工具相关联的复数个传感器接收与复数个特征相对应的历史传感器数据。所述方法可进一步包括：确定复数个窗口，所述复数个窗口包括针对历史传感器数据的第一子集的正常操作窗口和针对历史传感器数据的第二子集的故障前窗口。所述方法可进一步包括：执行特征分析，以生成针对历史传感器数据的复数个附加特征。所述方法可进一步包括：使用包括复数个附加特征的训练数据和包括复数个窗口的目标输出，来训练机器学习模型，以生成经训练机器学习模型。所述经训练机器学习模型可以能够生成指示一个或多个离子注入工具部件是否在故障前窗口内的一个或多个输出。
8.在本公开内容另外的方面中，一种系统可包括存储器和耦合到存储器的处理装置。所述处理装置可进行以下操作：从与离子注入工具相关联的复数个传感器接收与复数个特征相对应的当前传感器数据。所述处理装置可进一步进行以下操作：执行特征分析，以生成针对当前传感器数据的复数个附加特征。所述处理装置可进一步进行以下操作：提供复数个附加特征作为到经训练机器学习模型的输入。所述处理装置可进一步进行以下操作：从经训练机器学习模型获得一个或多个输出。所述一个或多个输出可指示所预测窗口的置信水平。所述处理装置可进一步进行以下操作：基于所预测窗口的置信水平，来预测离子注入工具的一个或多个部件是否在故障前窗口内。所述处理装置可进一步进行以下操作：响应于预测到一个或多个部件是在故障前窗口内，来执行与离子注入工具相关联的校
正动作。
9.附图简要说明
10.在附图的图中，通过示例而非限制的方式图示本公开内容。
11.图1是图示根据某些实施方式的示例性系统架构的方框图。
12.图2是根据某些实施方式的创建用于机器学习模型的数据集合的示例数据集合生成器。
13.图3是图示根据某些实施方式的用于预测部件故障的系统的方框图。
14.图4至图6是图示根据某些实施方式的用于预测部件故障的示例方法的流程图。
15.图7a至图7b是图示根据某些实施方式的用于预测部件故障的系统的方框图。
16.图8a至图8b是图示根据某些实施方式的预测部件故障的图表。
17.图9是图示根据某些实施方式的计算机系统的方框图。
18.具体说明
19.本文描述的是针对校正半导体制造工具中的部件故障的技术。部件故障会中断制造装备的性能。例如，淹没枪(flood gun)和源枪的故障中断离子注入半导体制造工具的性能。部件故障可导致计划外停机时间、高用户成本、装备和产品损坏等等。过早更换部件可导致高维护成本、部件的浪费和不必要的花费时间的更换部件。
20.本文公开的装置、系统和方法提供校正半导体制造工具中的部件故障(例如，用于离子注入半导体制造工具中的等离子体源枪的寿命终止预测)。本文公开的装置、系统和方法可(例如，通过使用深度学习模型)针对使用所得到的传感器读数的离子注入工具提供关键部件故障预测。处理装置可从与制造装备(例如，离子注入工具)相关联的复数个传感器接收与特征相对应的当前传感器数据(例如，压力、温度、流量、功率等)。处理装置可进一步执行特征分析，以生成针对当前传感器数据的附加特征。可基于一个或多个特征来生成附加特征。例如，附加特征可包括以下项目中的一个或多个：比率、范围、增量、最大值等。处理装置可进一步将附加特征作为输入提供给经训练机器学习模型，并且随后从经训练机器学习模型获得一个或多个输出。一个或多个输出可指示所预测窗口的置信水平。处理装置可基于所预测窗口的置信水平，来预测离子注入工具的一个或多个部件是否在故障前窗口内。故障前窗口可以是在预测发生部件的故障之前的时间窗口(例如，24小时、48小时)。处理装置可进一步响应于预测到一个或多个部件是在故障前窗口内，来执行与离子注入工具相关联的校正动作。校正动作(例如，校正和/或抢先校正部件故障)可包括提供警报、中断制造装备的操作和/或使得一个或多个部件被更换。
21.本文公开的装置、系统和方法还提供用于预测部件故障的机器学习模型的训练。在一些实施方式中，处理装置可从与制造装备(例如，离子注入工具)相关联的传感器接收与特征相对应的历史传感器数据(例如，传感器的历史值、压力、流量、功率等数据)。处理装置可进一步确定与历史传感器数据相对应的窗口。窗口可包括针对历史传感器数据的第一子集的正常操作窗口和针对历史传感器数据的第二子集的故障前窗口。处理装置可进一步执行特征分析，以生成针对历史传感器数据的附加特征(例如，比率、范围、增量、最大值等)。处理装置可进一步使用包括附加特征的训练数据和包括窗口的目标输出，来训练机器学习模型，以生成经训练机器学习模型。经训练机器学习模型可以能够生成一个或多个输出，所述一个或多个输出指示一个或多个部件(例如，离子注入工具部件)是否在故障前窗
口内(例如，以执行与离子注入工具的一个或多个部件相关联的校正动作)。可使用与第一制造装备相关联的历史传感器数据来训练机器学习模型，并且可使用机器学习模型来预测其他制造装备的部件故障。
22.本公开内容的方面还带来技术优势。常规地，使用部件直到出现故障，或过早地更换部件。通过处理装置对一个或多个部件预测故障前窗口(例如，寿命终止、24小时、48小时)，所述处理装置可产生校正动作，以便在故障之前更换一个或多个部件。在故障之前更换部件(例如，而不是在故障之后)减少停机时间、减少对制造装备和产品的损坏、减少计划外维护、减少更换部件的紧急运送等。在故障前窗口内更换部件(例如，而不是过早地随意更换部件)，减少仍可使用的当前部件的浪费、减少与太频繁更换部件相关联的成本、减少维护等。与分析所有传感器数据(例如，包括噪声和所有特征)相比，(在使用经训练机器学习模型来预测一个或多个部件是否在故障前窗口内之前)接收传感器数据、减少噪声和执行特征分析()提供能量消耗(例如，电池消耗)、带宽、延迟等的显著降低。
23.图1是图示根据某些实施方式的示例性系统架构100的方框图。系统架构100包括客户端装置120、故障预测服务器130和数据储存140。故障预测服务器130可以是故障预测系统110的部分。
24.客户端装置120、故障预测服务器130、数据储存140、服务器机器170、服务器机器180、制造装备124(例如，离子注入工具等)和传感器126可经由网络160彼此耦合，以供故障预测。在一些实施方式中，网络160是公共网络，所述公共网络向客户端装置120提供对故障预测服务器130、数据储存140和其他公共可用计算装置的访问。在一些实施方式中，网络160是私有网络，所述私有网络向客户端装置120提供对故障预测服务器130、数据储存140和其他私有可用计算装置的访问。网络160可包括一个或多个广域网(wan)、局域网(lan)、有线网络(例如，以太网)、无线网络(例如，802.11网络或wi
‑
fi网络)、蜂窝网络(例如，长期演进(lte)网络)、路由器、集线器、交换机、服务器计算机和/或上述项的组合。
25.制造装备124可用于半导体处理。制造装备124可包括离子注入工具。离子注入工具可将原子插入到半导体装置中，以控制通过半导体装置的电力流(例如，以制造晶体管等)。制造装备124(例如，离子注入工具)可包括部件，诸如淹没枪124a、源枪124b等。淹没枪124a可以是向目标(例如，淹没区域，绝缘体或半导体上的区域)提供稳定的低能量电子流的机电装置。源枪124b(例如，等离子体源枪)可以是用于在半导体装置上沉积等离子体的等离子体源(例如，以可观的流动速度喷射等离子体，以在半导体装置上具有等离子体的高能沉积)。
26.制造装备124(例如，离子注入工具)的不中断性能的限制因素可能是一个或多个部件(例如，淹没枪124a、源枪124b等)的故障，这可造成计划外停机时间。传感器126可捕获与制造装备124相关联的传感器数据(例如，原始传感器数据、温度、压力、功率、流量等)。例如，可使离子注入器工具装配有数百个传感器，具有数千赫兹的获取速度。给定传感器的数量、传感器数据的获取速度和部件的预期寿命(例如，六个月等)，捕获的传感器数据(例如，原始传感器数据)的数量可能会非常大。可将来自传感器126的传感器数据142储存在数据储存140中。
27.如本文描述，半导体处理可包括以下项目中的一个或多个：针对晶片的半导体制造或显示器制造(例如，平板显示器制造)。故障预测可与半导体制造装备的一个或多个部
件相关联(例如，预测用于针对晶片的半导体制造的部件的故障)，或与显示器制造的一个或多个部件相关联(例如，预测用于显示器制造的部件的故障)。
28.客户端装置120可包括计算装置，诸如个人计算机(pc)、膝上型计算机、移动电话、智能手机、平板电脑、上网本计算机、网络连接的电视(“智能电视”)、网络连接的媒体播放器(例如，蓝光播放器)、机顶盒、过顶(over
‑
the
‑
top；ott)流媒体装置(streaming device)、操作器盒等。客户端装置120可以能够经由网络160传输信息(例如，用于故障预测的制造装备124的选择)，并且经由网络160接收与所预测的故障相关联的指示(例如，所预测窗口的置信水平、执行校正动作的指令等)。与所预测的故障相关联的指令可指定制造装备124的一个或多个部件当前与时间的所预测窗口156b(例如，正常操作窗口、故障前窗口、故障窗口等)相关联。与所预测故障相关联的指令可指示以下项目中的一个或多个：直到故障的时间量、待更换的部件、如何更换部件、制造装备124的操作是否已中断(例如，已关闭)或制造装备124的操作是否应中断。客户端装置120可响应于接收与所预测的故障相关联的指示，来经由图形用户界面(gui)显示警报。每个客户端装置120可包括允许用户生成、观看和编辑信息并且观看警报的操作系统。
29.客户端装置120可包括校正动作部件122。校正动作部件122可接收用户输入(例如，经由gui，所述gui经由客户端装置120显示)，并且可基于用户输入，来生成要对制造装备124执行故障预测的指示。校正动作部件122可将指示发送到故障预测服务器130。在一些实施方式中，校正动作部件122将传感器数据142(例如，来自与制造装备124耦合的传感器126)传输到故障预测服务器130。校正动作部件122可从故障预测服务器130接收与所预测的故障相关联的指示(例如，响应于故障预测服务器130确定故障前窗口)。校正动作部件122可使得执行校正动作。校正动作可指的是校正和/或抢先校正部件故障(例如，基于预测故障前窗口)。例如，为了使得执行校正动作，校正动作部件122可提供警报(例如，经由客户端装置120的gui、经由制造装备124等)、可中断制造装备124的操作(例如，关闭制造装备124的一个或多个部分)并且/或者可使得更换一个或多个部件。
30.故障预测服务器130可包括一个或多个计算装置，诸如机架式安装的服务器、路由器计算机、服务器计算机、个人计算机、大型计算机(mainframe computer)、膝上型计算机、平板电脑、桌面计算机等。故障预测服务器130可包括故障预测部件132。在一些实施方式中，故障预测部件132可接收传感器数据142(例如，来自耦合到制造装备124的传感器126)。传感器数据142可包括随着时间的记录值和针对每个值的对应时间戳(例如，在第一时间点的第一记录温度、在第二时间点的第二记录温度等)。传感器数据142可以是原始追踪数据(例如，没有任何特征工程)。故障预测部件132可从当前传感器数据150去除噪声、执行特征分析以生成针对当前传感器数据150的附加特征、预测制造装备124的一个或多个部件是否在故障前窗口内、和响应于预测到一个或多个部件是在故障前窗口内而执行与制造装备124相关联的校正动作。
31.为了预测部件是否在故障前窗口内，故障预测部件132可将当前传感器数据150(例如，当前附加特征154)提供给模型190(例如，卷积长短期记忆(lstm)(convlstm)模型、深度学习模型、随机森林模型等)，以供故障预测。故障预测部件132可基于当前传感器数据150从模型190接收针对所预测窗口156b的置信水平158。
32.传感器数据150的每个特征(例如，历史特征146、当前特征152等)可以包括序列
(例如，第一值、第二值等)、时间戳(例如，在第一值的时间、在第二值的时间等)、和哪个传感器126对应到序列的指示。可通过对特征中的一个或多个执行一个或多个操作，来生成每个附加特征(例如，历史附加特征148、当前附加特征154)。一个或多个操作可包括来自复数个传感器126中的一个或多个传感器的特征(例如，对应传感器数据)的比率、范围、增量或最大值中的一个或多个()。例如，第一特征可以是从传感器126的压力传感器接收的压力测量结果的序列，第二特征可以是从传感器126的温度传感器接收的温度测量结果的序列，并且第一附加特征可以是压力测量结果的序列除以每个对应温度测量结果的比率(例如，第一附加特征可以是包括在第一时间点处的第一压力值除以在第一时间点处的第一温度值、在第二时间点处的第二压力值除以在第二时间点处的第二温度值等的序列)。
33.数据储存140可以是存储器(例如，随机存取存储器)、驱动(例如，硬盘驱动、闪存驱动)、数据库系统或能够储存数据的另一类型的部件或装置。数据储存140可包括可跨越多个计算装置(例如，多个服务器计算机)的多个存储部件(例如，多个驱动或多个数据库)。数据储存140可储存以下项目中的一项或多项：传感器数据142(例如，历史传感器数据144、历史特征146、历史附加特征148、当前传感器数据150、当前特征152、当前附加特征154等)、窗口156(例如，历史窗口156a、所预测窗口156b)、置信水平158等。
34.在一些实施方式中，故障预测系统110进一步包括服务器机器170和服务器机器180。服务器机器170和服务器机器180可以是一个或多个计算装置(诸如机架式安装的服务器、路由器计算机、服务器计算机、个人计算机、大型计算机、膝上型计算机、平板电脑、桌面计算机等)、数据储存(例如，硬盘、存储器数据库)、网络、软件部件或硬件部件。
35.服务器机器170包括数据集合生成器172，数据集合生成器172能够生成一个或多个数据集合(例如，图2中的数据输入210的集合和目标输出220的集合)，以训练、验证或测试机器学习模型190。下文参照图2和图6详细描述数据集合生成器172的一些操作。在一些实施方式中，数据集合生成器172可将历史传感器数据144划分成训练集合(例如，历史传感器数据144的百分之六十)、验证集合(例如，历史传感器数据144的百分之二十)和测试集合(例如，历史传感器数据144的百分之二十)。服务器机器180包括训练引擎182。在一些实施方式中，服务器机器180包括训练引擎182、验证引擎184和测试引擎186。训练引擎182可以能够使用来自数据集合生成器172的训练集合，来训练机器学习模型190。训练引擎182可生成一个或多个经训练机器学习模型190。
36.验证引擎184可以能够使用来自数据集合生成器172的验证集合，来验证经训练机器学习模型190。验证引擎184可基于验证集合，来确定每个经训练机器学习模型190的准确度。验证引擎184可舍弃具有不满足阈值准确度的准确度的经训练机器学习模型190。
37.测试引擎186可以能够使用来自数据集合生成器172的测试集合，来测试经训练机器学习模型190。测试引擎186可基于测试集合，来确定在所有经训练机器学习模型中准确度最高的经训练机器学习模型190。
38.机器学习模型190可指的是，由训练引擎182使用训练集合创建的模型人工产物，所述训练集合包括数据输入和对应目标输出(相应训练输入的正确答案)。可找到数据集合中的模式，这些模式将数据输入映射到目标输出(正确答案)，并且为机器学习模型190提供捕获这些模式的映射。在一些实施方式中，机器学习模型190可使用一个或多个lstm层和softmax层(参见图7a至图7b)。
39.在一些实施方式中，故障预测部件132可将历史传感器数据144和历史窗口156a提供给数据集合生成器172。数据集合生成器172可将历史传感器数据144作为输入而将历史窗口156作为输出提供给训练引擎182、验证引擎184和/或测试引擎186中的一个或多个，以进行以下项目中的一项或多项：训练、验证或测试机器学习模型190。
40.在一些实施方式中，故障预测系统110可基于以下项目中的一项或多项来生成不同模型190：不同超参数(hyperparameter)(例如，不同数量的lstm层)、机器学习模型的不同类型、历史附加特征148的不同集合等。故障预测系统110可进行以下项目中的一项或多项：训练、验证或测试不同模型190，并且选择最准确的模型190。
41.在一些实施方式中，故障预测部件132可将当前传感器数据150作为输入提供给经训练机器学习模型190，并且用输入来运行经训练机器学习模型190，以获得一个或多个输出。如下文相对于图4详细描述的，故障预测部件132可以能够确定所预测窗口156b(例如，基于经训练机器学习模型190的输出，通过从输出提取所预测窗口156b的置信水平等)。故障预测部件132还可基于输出，来确定置信数据。置信数据可指示所预测窗口156b对应到制造装备124的置信水平。故障预测部件132可使用置信水平158，来选择所预测窗口156b。
42.置信数据可包括或指示与制造装备124的一个或多个部件的未来故障相对应的所预测窗口156b的置信水平158。在一个示例中，置信水平是在0与1之间包括的实数，其中0指示对与制造装备124的一个或多个部件的未来故障相对应的所预测窗口156b没有信心，而1指示对与制造装备124的一个或多个部件的未来故障相对应的所预测窗口156b有绝对的信心。
43.故障预测部件132可基于模型190的输出，来确定多个所预测窗口156b和对应置信水平158(例如，正常操作窗口的10％置信水平和故障前操作窗口的90％置信水平)。在一些实施方式中，故障预测部件132选择具有最高置信水平的预测窗口。在一些实施方式中，故障预测部件132选择具有超过50％的置信水平的预测窗口。
44.出于说明而非限制的目的，本公开内容的方面描述训练机器学习模型和使用经训练学习模型，使用经训练学习模型使用当前传感器数据150来确定所预测窗口156b。在其他实施方式中，使用启发式模型或基于规则的模型，来确定基于传感器数据142(例如，历史传感器数据144、当前传感器数据150等)的所预测窗口156。可在启发式或基于规则的模型中监控或以其他方式使用相对于图2的数据输入210描述的任何信息。
45.在一些实施方式中，可由更少数量的机器来提供客户端装置120、故障预测服务器130、服务器机器170和服务器机器180的功能。例如，在一些实施方式中，可将服务器机器170和服务器机器180整合到单个机器中。在一些其他实施方式中，可将服务器机器170、服务器机器180和故障预测服务器130整合到单个机器中。
46.通常，在一个实施方式中描述为由客户端装置120、服务器机器170和服务器机器180执行的功能，如果合适的话，也可以在其他实施方式中的故障预测服务器130上来执行。另外，归属于特定部件的功能可由一起操作的不同的或多个部件来执行。例如，在一些实施方式中，故障预测服务器130可接收指示用于故障预测的制造装备124(例如，半导体处理工具)的用户输入，并且故障预测服务器130可基于所预测窗口156b的置信水平158，来提供警报、关闭制造装备124等。在另一示例中，客户端装置120可进行以下项目中的一项或多项：从传感器数据142去除噪声、对传感器数据142执行特征分析、确定所预测窗口156b的置信
水平158、预测一个或多个部件是否在故障前窗口内、或执行校正动作。在另一示例中，数据集合生成器172可从历史传感器数据144去除噪声，并且对历史传感器数据144执行特征分析。
47.另外，特定部件的功能可由一起操作的不同的或多个部件来执行。故障预测服务器130、服务器机器170或服务器机器180中的一个或多个可通过适当的应用程序编程接口(api)作为提供给其他系统或装置的服务来访问。
48.在实施方式中，“用户”可表示为单一个体。然而，本公开内容的其他实施方式涵盖“用户”为由复数个用户和/或自动源控制的实体。例如，可将联合为管理员群组的个别用户的集合视为“用户”。
49.尽管就从耦合到制造装备124的传感器126接收的传感器数据150讨论本公开内容的实施方式，但是实施方式通常也可应用于随着时间接收的数据(例如，不规则的时间序列数据等)。实施方式通常可应用于优化随着时间而生成数据的工艺。用于晶片或显示器制造的制造装备124的示例为物理气相沉积(pvd)装备、化学气相沉积(cvd)装备、原子层沉积(ald)装备、化学机械抛光(cmp)装备和蚀刻装备。
50.图2是根据某些实施方式的示例数据集合生成器272(例如，图1的数据集合生成器172)，用于使用历史传感器数据244(例如，图1的历史传感器数据144)，为机器学习模型290(例如，图1的模型190)创建数据集合。图2的系统200示出数据集合生成器272、数据输入210和目标输出220。
51.在一些实施方式中，数据集合生成器272生成包括一个或多个数据输入210(例如，训练输入、验证输入、测试输入)和一个或多个目标输出220的数据集合(例如，训练集合、验证集合、测试集合)。数据集合还可包括将数据输入210映射到目标输出220的映射数据。数据输入210还可称为“特征”、“属性”或“信息”。在一些实施方式中，数据集合生成器272可将数据集合提供给训练引擎182、验证引擎184或测试引擎186中的一个或多个，其中数据集合用于训练、验证或测试机器学习模型190。生成训练集合的一些实施方式可相对于图6来进一步描述。
52.在一些实施方式中，数据输入210可包括针对历史传感器数据244的一个或多个特征集合212a。每个特征集合212可包括以下项目中的至少一项：历史特征246(例如，图1的历史特征146)或历史附加特征248(例如，图1的历史附加特征148)。例如，特征集合212可包括一个或多个历史附加特征248。
53.在一些实施方式中，数据集合生成器272可生成与第一特征集合212a相对应的第一数据输入210a，以训练、验证或测试第一机器学习模型，并且数据集合生成器272可生成与第二特征集合212b相对应的第二数据输入210b，以训练、验证或测试第二机器学习模型。
54.在一些实施方式中，数据集合生成器272可离散化目标输出220(例如，以用于回归问题的分类算法)。目标输出220的离散化可将变量的连续值转换成离散值。在一些实施方式中，用于目标输出220的离散值指示历史窗口256(例如，正常操作窗口、故障前窗口、故障窗口等)。在一些实施方式中，用于目标输出220的离散值指示从安装起多少时间一个或多个部件发生故障(例如，天、小时等)。
55.用于训练、验证或测试机器学习模型的数据输入210和目标输出220可包括来自特定设施(例如，来自特定半导体制造设施)的信息。例如，历史传感器数据244可与图1的当前
传感器数据150来自相同制造设施。在一些实施方式中，用于训练机器学习模型的信息可来自具有特定特性的制造设施的特定部件群组(例如，来自特定时间范围(timeframe)的部件、用于特定类型的制造装备的部件等)，并且允许经训练机器学习模型基于与共享特定群组的特性的一个或多个部件相关联的历史传感器数据，来预测用于特定部件群组的故障前窗口。在一些实施方式中，用于训练机器学习模型的信息可用于来自两个或更多个制造设施的部件，并且可允许经训练机器学习模型基于来自一个制造设施的输入，来确定部件的结果。在一些实施方式中，用于训练机器学习模型的信息可与一个或多个第一离子注入工具相关联，并且经训练机器学习模型可用于预测与一个或多个第一离子注入工具不同的一个或多个第二离子注入工具的部件故障。
56.在一些实施方式中，在生成数据输入210和使用数据集合来训练、验证或测试机器学习模型190之后，可进一步使用来自一个或多个制造设施的附加历史传感器数据和对应历史窗口，来训练、验证或测试或调整机器学习模型190(例如，调整与机器学习模型190的输入数据相关联的权重，诸如神经网络中的连接权重、调整超参数等)。
57.图3是图示用于确定所预测窗口356b(例如，图1的所预测窗口156b)的置信水平358(例如，图1的置信水平158)的系统300的方框图。系统300可提供用于半导体制造工具的故障预测(例如，用于离子注入半导体制造工具中的等离子体源枪的寿命终止预测)。
58.在方框310处，系统300(例如，图1的故障预测系统110)执行历史传感器数据344(例如，图1的历史传感器数据144)的数据划分(例如，经由图1的服务器机器170的数据集合生成器172)，以生成训练集合302、验证集合304和测试集合306。在一些实施方式中，系统300生成与每个数据集合相对应的复数个特征集合。
59.在方框312处，系统300使用训练集合302，来执行模型训练(例如，经由图1的训练引擎182)。系统300可使用训练集合302的多个特征集合(例如，训练集合302的第一特征集合、训练集合302的第二特征集合等)，来训练多个模型。
60.在方框314处，系统300使用验证集合304，来执行模型验证(例如，经由图1的验证引擎184)。系统300可使用验证集合304的对应特征集合，来验证每个经训练模型。在方框314处，系统可确定一个或多个经训练模型中的每一个经训练模型的准确度，并且可确定经训练模型中的一个或多个经训练模型是否具有满足阈值准确度的准确度。响应于确定任何经训练模型都不具有满足阈值准确度的准确度，流程返回到方框312，在方框312系统300使用训练集合的不同特征集合来执行模型训练。响应于确定经训练模型中的一个或多个经训练模型具有满足阈值准确度的准确度，流程继续到方框316。
61.在方框316处，系统300执行模型选择，以确定满足阈值准确度的一个或多个经训练模型中的哪个具有最高准确度(例如，所选择的模型308)。响应于确定满足阈值准确度的经训练模型中的两个或更多个经训练模型具有相同准确度，流程可返回到方框312，在方框312系统300使用进一步细化(refine)的训练集合来执行模型训练，所述进一步细化的训练集合对应于进一步细化的特征集合，以确定具有最高准确度的经训练模型。
62.在方框318处，系统300使用测试集合306来执行模型测试(例如，经由图1的测试引擎186)，以测试所选择的模型308。在方框318处，系统300可使用测试集合306来确定所选择的模型308的准确度是否满足阈值准确度。响应于所选择的模型308的准确度不满足阈值准确度(例如，所选择的模型308过拟合于(overly fit to)验证集合304)，流程继续到方框
312，在方框312系统300使用对应于不同特征集合的不同训练集合来执行模型训练。响应于基于测试集合306确定所选择的模型308具有满足阈值准确度的准确度，流程继续到方框320。在至少方框312中，模型可学习历史传感器数据中的模式，以进行预测，并且在方框318中，系统300可将模型应用于其余数据(例如，测试集合306)上，以测试预测。
63.在一些实施方式中，除了针对不同模型的训练、验证或测试中的一个或多个使用不同特征集合(例如，历史附加特征148的不同组合)之外，系统300还可包括不同模型中的不同超参数，以确定哪些特征和哪些超参数提供最高准确度。在一些实施方式中，代替针对不同模型的训练、验证或测试中的一个或多个使用不同特征集合，系统300使用不同模型中的不同超参数(例如，其中每个模型使用相同的历史附加特征148集合)，以确定哪些超参数提供最高准确度。
64.在方框320处，系统300使用经训练模型(例如，所选择的模型308)，来接收当前传感器数据350(例如，图1的当前传感器数据150)并且输出所预测窗口356b的置信水平358(例如，图1的所预测窗口156b的置信水平158)。
65.响应于接收附加传感器数据，可将附加传感器数据输入到方框312中，以经由模型再训练来更新经训练模型。
66.图4至图6是图示根据某些实施方式的与故障预测相关联的示例方法400、500和600的流程图。方法400、500和600可由处理逻辑来执行，处理逻辑可包括硬件(例如，电路、专用逻辑、可编程逻辑、微码、处理装置等)、软件(诸如在处理装置、通用计算机系统或专用机器上运行的指令)、固件、微码或上述项的组合。在一个实施方式中，方法400、500和600可部分地由故障预测系统110来执行。在一些实施方式中，方法400、500和600可由故障预测服务器130来执行。在一些实施方式中，非暂时性计算机可读存储介质储存指令，这些指令在由处理装置(例如，故障预测系统110的处理装置)执行时使得处理装置执行方法400、500和600。
67.为简化说明，将方法400、500和600描绘和描述为一系列动作。然而，根据本公开内容的动作可以各种顺序和/或同时发生并且与本文未呈现和描述的其他动作一起发生。此外，根据所公开的主题，可以并不执行所有图示的动作来实现方法400、500和600。另外，本领域技术人员将理解并且认识的是，可将方法400、500和600替代地经由状态图或事件表示为一系列相互关联的状态。
68.图4是根据某些实施方式的用于预测部件故障的方法400的流程图。在一些实施方式中，方法400由故障预测服务器130的故障预测部件132的处理逻辑来执行。
69.在方框402处，处理逻辑从与制造装备(例如，制造装备124，离子注入工具)相关联的传感器(例如，传感器126)接收与特征相对应的当前传感器数据(例如，当前传感器数据150)。特征可以是当前传感器数据的序列，其中当前传感器数据的每个序列由对应传感器捕获。在一些实施方式中，使当前传感器数据流到处理逻辑。处理逻辑可以数据集合、矩阵等中的一个或多个的形式接收传感器数据。在一些实施方式中，将传感器数据保存和聚集在数据储存140中。
70.在一些实施方式中，在方框404处，处理逻辑从当前传感器数据去除噪声。在一些实施方式中，处理逻辑通过对时间间隔内的当前传感器数据进行平均(例如，对10秒时间段内的传感器数据值进行平均等)来从当前传感器数据去除噪声。在一些实施方式中，处理逻
辑通过从当前传感器数据去除异常值(outlier)来去除噪声。
71.在方框406处，处理逻辑执行特征分析，以生成用于当前传感器数据的附加特征(例如，当前附加特征154)。附加特征可包括来自复数个传感器中的一个或多个传感器的对应传感器数据的比率、范围、增量或最大值中的一个或多个。在一些实施方式中，附加特征可包括关键传感器的统计特征(例如，平均值、标准差等)。
72.在一些实施方式中，处理逻辑通过接收指示待计算的附加特征的用户输入来执行特征分析。在一些实施方式中，(参见图5，基于附加特征的用户输入、基于其他参数的用户输入、在没有用户输入的情况下)生成用于特征分析(例如，特征工程)的模型()。用于特征分析的模型可以是卷积神经网络(cnn)(例如，执行一维卷积的cnn)。cnn可擅长学习传感器数据142中的时间结构，并且可确定用于故障和正常数据的不变特征(invariant feature)(例如，用于确定正常操作窗口、故障前窗口等)。
73.处理逻辑可通过在矩阵中接收当前传感器数据和经由一维卷积处理矩阵以输出复数个附加特征，来执行分析。
74.在方框408处，(例如在去除噪声之后)处理逻辑提供附加特征()作为经训练机器学习模型的输入。经训练机器学习模型可包括一个或多个lstm层和softmax层。经训练机器学习模型可以已经通过一个或多个lstm层将空间特征学习为序列。可将时间序列结构建置到预测中。可对经训练机器学习模型进行加权，以惩罚误分类(例如，以避免生成假正(false positive))。由方法400生成的当前预测可基于当前传感器数据150的先前时间步骤。
75.可基于来自第二复数个传感器的历史传感器数据来生成经训练机器学习模型，第二复数个传感器与不同于方框402的制造装备(例如，离子注入工具)的制造装备(例如，第二离子注入工具)相关联。
76.在方框410处，处理逻辑从经训练机器学习模型获得一个或多个输出。在一些实施方式中，一个或多个输出指示所预测窗口(例如，所预测窗口156b)的置信水平(例如，置信水平158)。在一些实施方式中，处理逻辑从一个或多个输出提取所预测窗口的置信水平。在一些实施方式中，处理逻辑确定多个所预测窗口和对应置信水平(例如，正常操作窗口的置信水平为10％，并且故障前窗口的置信水平为90％)。
77.在方框412处，处理逻辑基于所预测窗口的置信水平，来预测制造装备的一个或多个部件(例如，离子注入工具)是否在故障前窗口内。处理逻辑可通过确定所预测窗口的置信水平指示故障前窗口的大于50％置信度，来预测一个或多个部件是在故障前窗口内。
78.在方框414处，处理逻辑确定所预测窗口的置信水平是否指示离子注入工具的一个或多个部件是在故障前窗口内。响应于所预测窗口的置信水平指示一个或多个部件不在故障前窗口内，流程继续到方框402，在方框402接收附加传感器数据(例如，方法400的循环)。响应于所预测窗口的置信水平指示一个或多个部件是在故障前窗口内，流程继续到方框416。一个或多个部件可以是离子注入工具的部件，诸如淹没枪或源枪中的至少一个。
79.在方框416处，处理逻辑执行与离子注入工具相关联的校正动作(例如，响应于预测到一个或多个部件是在故障前窗口内)。校正动作可包括以下项目中的一个或多个：使得图形用户界面显示警报、中断制造装备(例如，离子注入工具)的操作(例如，关闭、降速、停止特定工艺等)、或使得一个或多个部件被更换。
80.图5是根据某些实施方式的用于训练机器学习模型以供预测部件故障的方法500的流程图。在一些实施方式中，方法500由图1的故障预测系统110的处理逻辑来执行。在一些实施方式中，方法500由图1的服务器机器180的处理逻辑来执行。在一些实施方式中，方法500由图1的服务器机器180的训练引擎182来执行。
81.在方框502处，处理逻辑从与制造装备124(例如，离子注入工具)相关联的传感器(例如，传感器126)接收与特征(例如，从与制造装备124相关联的传感器126接收的测量值和对应时间戳)相对应的历史传感器数据(例如，历史传感器数据144)。
82.在一些实施方式中，在方框504处，处理逻辑从历史传感器数据去除噪声。处理逻辑可通过以下项目中的一个或多个，来从历史传感器数据去除噪声：对时间间隔内的历史传感器数据进行平均、或去除异常值。
83.在方框506处，处理逻辑确定包括针对历史传感器数据的第一子集的正常操作窗口和针对历史传感器数据的第二子集的故障前窗口的窗口(例如，历史窗口156a)。处理逻辑可通过确定故障时间，来确定窗口(例如，基于传感器数据值的峰值、基于健康指数值的峰值，诸如在图8b中)。处理逻辑可确定在故障时间对应到正常操作窗口之前的大于设定时间量(例如，24小时、48小时)捕获的传感器数据、在故障时间与故障对应到故障前窗口之前的设定时间量之间捕获的传感器数据、和在故障时间对应到故障窗口之后捕获的传感器数据。
84.在方框508处，处理逻辑执行特征分析，以生成用于历史传感器数据的附加特征(例如，历史附加特征148)。附加特征可包括来自复数个传感器中的一个或多个传感器的对应传感器数据的比率、范围、增量或最大值中的一个或多个。处理逻辑可通过接收矩阵中的历史传感器数据和经由一维卷积而处理矩阵以输出复数个附加特征，来执行特征分析。
85.在一些实施方式中，处理逻辑接收与附加特征相对应的用户输入(例如，与附加特征相关联的操作和特定传感器)。处理逻辑可训练cnn(例如，基于附加特征的用户输入、利用参数的用户输入、在没有用户输入的情况下等)，并且可在方法400中使用经训练cnn，来确定附加特征(例如，当前附加特征154)以供使用经训练机器学习模型。
86.在方框510处，处理逻辑使用包括附加特征的训练数据(例如，在去除噪声之后)和包括窗口的目标输出，来训练机器学习模型(例如，机器学习模型包括一个或多个lstm层和softmax层)，以生成经训练机器学习模型。经训练机器学习模型可以能够生成指示一个或多个离子注入工具部件(例如，来自一个或多个离子注入工具、来自一个或多个制造装备124等)是否在故障前窗口内()的一个或多个输出(参见图4的方法400)。
87.在一些实施方式中，处理逻辑使用不同特征(例如，历史特征146、历史附加特征148)或不同超参数中的一个或多个，来训练多个模型。处理逻辑可进行以下项目中的一个或多个：训练、验证或测试不同模型(例如，评估模型)，以选择给出最高准确度的模型。
88.在一些实施方式中，处理逻辑部署经训练机器学习模型，以预测制造装备的一个或多个部件(例如，离子注入工具的淹没枪、源枪等)是否在故障前窗口内，()以供执行校正动作(例如，校正动作与一个或多个离子注入工具相关联)。在一些实施方式中，经训练机器学习模型将基于来自与第二离子注入工具(例如，不同于用于训练机器学习模型的离子注入工具)相关联的第二复数个传感器的当前传感器数据来接收输入，以供预测一个或多个部件是否在故障前窗口内。
89.图6是根据某些实施方式的用于生成用于机器学习模型的数据集合以供预测部件故障的方法600的流程图。根据本公开内容的实施方式，故障预测系统110可使用方法600来进行以下项目中的至少一个：训练、验证或测试机器学习模型。在一些实施方式中，方法600的一个或多个操作可由如相对于图1和图2描述的服务器机器170的数据集合生成器172来执行。可注意到，可使用相对于图1和图2描述的部件，来说明图6的方面。
90.参照图6，在方框602处，处理逻辑将数据集合t初始化为空集合。
91.在方框604处，处理逻辑生成第一数据输入(例如，第一训练输入、第一验证输入)，所述第一数据输入包括用于历史传感器数据的第一特征集合(如相对于图2描述的)。第一数据输入可包括历史传感器数据(例如，历史传感器数据144)的一个或多个特征(例如，历史特征146)和/或一个或多个附加特征(例如，历史附加特征148)。
92.在方框606处，处理逻辑针对数据输入中的一个或多个数据输入(例如，第一数据输入)生成第一目标输出。第一目标输出提供历史窗口(例如，历史窗口156a)的指示。
93.在方框608处，处理逻辑可选地生成指示输入/输出映射的映射数据。输入/输出映射(或映射数据)可指的是数据输入(例如，本文描述的数据输入中的一个或多个)、针对数据输入的目标输出(例如，其中目标输出识别所预测窗口)、和数据输入与目标输出之间的关联。
94.在方框610处，处理逻辑将在方框610处生成的映射数据添加到数据集合t。
95.在方框612处，处理逻辑基于数据集合t是否足够进行以下项目中的至少一个来分支：训练、验证或测试机器学习模型190。如果足够，则执行进行到方框614，否则，执行继续回到方框604。应注意的是，在一些实施方式中，可仅基于数据集合中的输入/输出映射的数量来确定数据集合t的足够性，而同时在一些其他实施方式中，除了输入/输出映射的数量之外或代替输入/输出映射的数量，可基于一个或多个其他标准(例如，数据示例的多样性的测量、准确度等)来确定数据集合t的足够性。
96.在方框614处，处理逻辑提供数据集合t，以训练、验证或测试机器学习模型190。在一些实施方式中，数据集合t是训练集合，并且被提供给服务器机器180的训练引擎182以执行训练。在一些实施方式中，数据集合t是验证集合，并且被提供给服务器机器180的验证引擎184以执行验证。在一些实施方式中，数据集合t是测试集合，并且被提供给服务器机器180的测试引擎186以执行测试。在一些实施方式中，可将数据集合t划分为训练集合、验证集合和测试集合(例如，训练集合可以为60％，验证集合可以为20％，并且验证集合可以为20％)。响应于被训练(例如，并且被验证、被测试并且满足阈值准确度)的机器学习模型，经训练机器学习模型(例如，通过故障预测部件132)可用于故障预测(参见图3至图4)。
97.在神经网络的情况下，例如，将给定输入/输出映射的输入值(例如，与数据输入210相关联的数值)输入到神经网络，并且将输入/输出映射的输出值(例如，与目标输出220相关联的数值)储存在神经网络的输出节点中。然后根据学习算法(例如，反向传播等)来调整神经网络中的连接权重，并且针对数据集合t中的其他输入/输出映射重复所述过程。可由故障预测部件132(故障预测服务器130的故障预测部件)实施经训练机器学习模型，以预测针对一个或多个部件的故障窗口。
98.图7a至图7b是图示根据某些实施方式的用于故障预测的系统700a和系统700b的方框图。
99.参照图7a，系统700a可接收输入数据710。输入数据710可以是矩阵中的传感器数据。可从传感器数据去除噪声(例如，通过对时间间隔内的原始数据进行平均以生成传感器数据、通过从传感器数据去除异常值)。
100.系统700a可对输入数据710执行一维卷积720(例如，经训练cnn的一维卷积)。在一些实施方式中，基于与附加特征相关联的用户输入(例如，指示用于生成附加特征的操作)，来训练cnn(例如，所述cnn执行一维卷积)。系统700a可对输入数据710执行一维卷积720(例如，在去除噪声之后)，以执行特征分析，以生成用于输入数据的附加特征。附加特征可包括对应传感器数据的比率、范围、增量、最大值等中的一个或多个。
101.系统700a可将附加特征输入到机器学习模型的lstm层730中。lstm层的数量可以是通过基于传感器数据来训练和再训练机器学习模型来调整的超参数。
102.系统700a可将lstm层730的输出传输到softmax层740，并且softmax层740可对一个或多个所预测窗口(例如，类别)生成对应置信水平。
103.参照图7b，系统700b包括可基于输入数据710接收附加特征的lstm层730。可将lstm层730的输出传输到softmax层740。softmax层可生成一个或多个输出。一个或多个输出可包括针对一个或多个所预测窗口的对应置信水平。例如，softmax层可生成正常操作窗口的第一置信水平、用于故障前窗口的第二置信窗口、和用于故障窗口的第三置信水平。置信水平可总计为100％。可使用对应到大于50％的置信水平的窗口。
104.图8a至图8b是图示根据某些实施方式的故障预测的图表800a和800b。
105.参照图8a，图表800a显示随着时间的特征值(例如，历史附加特征148、当前附加特征154等)。第一时间窗口可对应到类别0(例如，正常操作窗口)。第二时间窗口可对应到类别1(例如，故障前窗口)。第三时间窗口可对应到类别2(例如，故障窗口)。类别0可结束而类别1可开始在故障日期(例如，历史故障日期、预测故障日期)之前的设定的时间量(例如，24小时、48小时等)。类别1可结束而类别2可开始在一个或多个部件故障的时间处。可根据对应窗口(例如，类别0、1或2)来标记历史传感器数据。
106.参照图8b，图表800b显示随时间绘制的健康指数(例如，所述健康指数具有对应时间戳)。健康指数可基于卷积lstm、传感器数据、附加特征等的结果中的一个或多个。
107.健康指数可在正常操作窗口内大体上稳定。在故障前窗口期间，健康指数可达到峰值，并且大体上在故障发生的时间处，健康指数可下降。传感器数据的第一子集可对应到正常操作窗口中的时间戳，传感器数据的第二子集可对应到故障前窗口中的时间戳，并且传感器数据的第三子集可对应到故障窗口中的时间戳。传感器数据的每个子集可根据对应窗口(例如，类别)来标记。
108.图9是示出根据某些实施方式的计算机系统900的方框图。在一些实施方式中，计算机系统900可(例如，经由网络，诸如局域网(lan)、内联网络、外联网络或互联网)连接到其他计算机系统。计算机系统900可在客户端
‑
服务器环境中作为服务器或客户端计算机而操作，或者在对等或分布式网络环境中作为对等计算机操作。计算机系统900可由个人计算机(pc)、平板pc、机顶盒(stb)、个人数字助理(pda)、手机、网络设备、服务器、网络路由器、交换机或桥接器、或能够执行指定装置要执行的动作的指令集合(顺序的或其他)的装置来提供。此外，术语“计算机”应包括单独或共同执行指令集合(或多个指令集合)以执行本文描述的方法中的任一个或多个的任何计算机集合。
109.在进一步方面中，计算机系统900可包括处理装置902、易失性存储器904(例如，随机存取存储器(ram))、非易失性存储器906(例如，只读存储器(rom)或电可擦可编程rom(eeprom))、和数据存储装置916，这些装置可经由总线908彼此通信。
110.处理装置902可由一个或多个处理器来提供，诸如通用处理器(诸如，复杂指令集计算(cisc)微处理器、精简指令集计算(risc)微处理器、超长指令字(vliw)微处理器、实施其他类型指令集的微处理器、或实施组合类型指令集的微处理器)或专用处理器(诸如，专用集成电路(asic)、现场可编程逻辑门阵列(fpga)、数字信号处理器(dsp)、或网络处理器)。
111.计算机系统900可进一步包括网络接口装置922。计算机系统900还可包括视频显示单元910(例如，lcd)、字母数字输入装置912(例如，键盘)、光标控制装置914(例如，鼠标)、和信号生成装置920。
112.在一些实施方式中，数据存储装置916可包括非暂时性计算机可读存储介质924，在所述非暂时性计算机可读存储介质上可储存对本文描述的方法或功能中的任一个或多个进行编码的指令926，包括对图1的故障预测部件132或校正动作部件122进行编码的指令和用于实施本文描述的方法的指令。
113.在由计算机系统900执行指令926期间，指令926还可全部或部分地存留在易失性存储器904内和/或处理装置902内，因此，易失性存储器904和处理装置902也可构成机器可读存储介质。
114.尽管在示例性示例中将计算机可读存储介质924示为单个介质，但是术语“计算机可读存储介质”应包括单个介质或多个介质(例如，集中式或分布式数据库和/或相关联的高速缓存和服务器)，所述单个或多个介质储存可执行的指令的一个或多个集合。术语“计算机可读存储介质”还应包括能够储存或编码指令集合以供计算机执行的任何有形介质，所述指令集合使计算机执行本文描述的方法中的任一个或多个。术语“计算机可读存储介质”应包括但不限于固态存储器、光学介质和磁性介质。
115.本文描述的方法、部件和特征可由离散的硬件部件来实施，或者可整合在其他硬件部件(例如，asics、fpga、dsp或类似装置)的功能中。另外，方法、部件和特征可由硬件装置内的固件模块或功能电路来实施。此外，方法、部件和特征可以硬件装置和计算机程序部件的任何组合或以计算机程序来实施。
116.除非另有明确陈述，否则诸如“接收”、“执行”、“提供”、“获得”、“提取”、“预测”、“去除”、“使得”、“中断”、“确定”、“训练”、“部署”或类似术语的术语指的是由计算机系统执行或实施的动作和工艺，所述计算机系统将表示为计算机系统寄存器和存储器内的物理(电子)量的数据操纵和转换为类似地表示为计算机系统存储器或寄存器或其他这样的信息存储、传输或显示装置内的物理量的其他数据。另外，本文所用的术语“第一”、“第二”、“第三”、“第四”等意味着用于在不同元件之间进行区别的标签，并且可不具有根据这些术语数字表示的次序意义。
117.本文描述的示例还涉及用于执行本文描述的方法的设备。可将此设备特别构造为用于执行本文描述的方法，或者此设备可包括由储存在计算机系统中的计算机程序选择性编程的通用计算机系统。这样的计算机程序可储存在计算机可读有形存储介质中。
118.本文描述的方法和说明性示例并非固有地涉及任何特定计算机或其他设备。可根
据本文描述的教导来使用各种通用系统，或者可证明构造更专用的设备来执行本文描述的方法和/或方法的个别功能、例程、子例程或操作中的每一个是方便的。在上文的描述中阐述了各种这些系统的结构的示例。
119.上文的描述旨在为说明性的，而非限制性的。尽管已参考特定说明性示例和实施方式描述了本公开内容，但是将认识的是，本公开内容不限于描述的示例和实施方式。本公开内容的范围应参照所附权利要求书连同权利要求有权利的同等物的全部范围来确定。