用于升级自动化保留系统的代理解释器的制作方法

1.本公开涉及用于升级自动化保留系统的代理解释器。


背景技术：

2.在自动化制造领域中，能够使计算和信息处理能力适应更具竞争力、技术更先进和无错误的环境变得非常重要。然而，由于保留系统是任何生产自动化线中的关键部件，因此在尝试完全重写保留系统软件或者将系统功能移动或迁移到更高效、更实用和更具成本效益的生产环境中时，必须花费大量精力和费用。由于系统的固有负担、故障风险、数据丢失以及不了解保留系统的系统架构是如何设计的以及它在内部实际上是如何执行的，因此从头重写保留系统通常不是切实可行的选择，原因是切断了来自原始设备制造商(oem)的所有支持。
3.自动化系统已经在各种微电子制造和封装工艺中使用。例如，在典型的半导体制造设施(fab)中，经切片的晶片通常在设置和配置装置参数之后被装载到设备上。这些处理通常由容易出错的操作员完成并且还会收到以下事实影响：每个操作员可以针对特定批次以不同的方式设置和配置装置参数。在处理完晶片后，操作员还需要重新检查有缺陷的硅芯片，并且决定它们是否真的有缺陷，或者是否应当将它们重新归类为无缺陷。在在此，人为因素又受到许多错误的影响。制造设施中设备的手动操作已经逐渐被自动化处理所取代，以减轻与非自动化手动操作相关联的昂贵的半导体制造问题。
4.即使在保留制造系统达到原始设备制造商决定停止升级支持或迫使客户购买新型号的设备以适应新的检查功能或只是使特定任务或处理自动化的程度后，一些手动操作的处理仍在继续。制造商陷入了两难境地，因为随着废弃其旧的但可靠的保留系统，用于购买新型号设备的资本支出增加将增加他们的整体生产成本。涉及用于设置、配置和验证缺陷或对某些类型的新缺陷进行分类的人工操作员的一些关键的手动操作对于确保向客户提供无缺陷产品仍然至关重要。众所周知，这样的涉及人工检查员的手动操作在操作、检查、分类、记录和训练期间容易出错，因为人为错误和疲劳是保持高效和最佳质量的持续障碍因素。
5.另外，用于检查新型硅芯片或集成电路的保留制造系统的建立高度依赖于操作员的能力、经验和他们所经受的训练。如果遇到属于同一系列产品的多种类型的硅片，则针对特定装置设置选择正确的配方文件尤为重要。配方或配置设置文件会累积多年，并且新的人工检查员会发现很难针对机器的最佳设置选择正确的文件。
6.任何处理处的手动操作中的另一个问题领域涉及数据的收集和分类。数据可以是与制造处理相关的参数设置、缺陷分类、数据收集等形式。制造操作员或检查员经常在每个处理步骤处手动输入数据，并且针对每个被处理的单个晶片批次与系统计算机程序交互若干次。此外，不同的操作员/检查员之间存在不一致的问题，这进一步导致容易出错的质量检查。因此，一致性问题是需要适当解决的问题。
7.制造商明显需要的是用于确保通过工具将与保留系统通信的多个接口完全并安
全地集成在一起的适当的解决方案或框架，该工具将对制造商/最终用户保持透明并且还引入如下新的技术，该技术提供了全自动化的强化学习系统，使得他们能够继续使用现有的保留机器的基础，并且消除或最大限度地减少所有人工干预(无论其是否与机器设置或检查后质量检查相关)以确保针对高质量输出的准确性和可重复性的高度一致性。虽然这一要求可以适用于保留机器，但也适用于较新的设备，这些较新的设备可能仍然需要人在不同的处理步骤处做出某些关键决策。


技术实现要素：

8.下文将被称为“代理解释器”的本发明提供了通过配置硬件代理解释器单元来自动化制造过程的系统和方法，该硬件代理解释器单元将通过强化学习构建领域知识以通过监测人类检查者在鼠标/键盘上的每个单独的活动和一组输入/输出端口来来操作一件保留设备。驻留在代理解释器中的领域知识将被用于控制保留设备并最终消除对人类检查者的需要。代理解释器系统使得保留系统能够适应和扩展以制造较新的产品，而无需人类干预，无论代理解释器系统是与保留设备的操作有关还是在质量控制的过程中。
9.在本发明的一个实施方式中，提供了用于实现代理解释器以管理和控制至少一个保留系统的系统和方法。该系统和方法包括以下步骤：(a)捕获设置和质量控制操作员正在查看和检查的显示监测器的图像；(b)在设置和配置的过程期间收集相对于捕获图像的键盘位置坐标和鼠标位置坐标；(c)记载和存储由操作员触发的鼠标、某些输入/输出端口和键盘命令，并分析由相关命令启动的活动；(d)分析和监测在监测器上显示的后续结果以及由命令激活的所有输入/输出端口；(e)映射由保留系统进行的响应以基于激活的命令构建响应库；以及(f)使用响应库来分析多个命令活动，并且随后在没有任何人类干预的情况下控制保留设备。最终，代理解释器用其自己的命令序列覆盖保留系统的输入鼠标键盘命令，高效地充当控制保留系统的人类。从而实现了在不在保留系统本身上安装任何软件的情况下使保留系统自动化的最终目标。
10.在本发明的另一个实施方式中，在代理解释器内提供了用于为多个装置创建配置和配方文件的系统和方法，以使设备设置自动化。该系统和方法包括以下步骤：(a)捕获质量控制操作员正在查看的显示监测器的图像；(b)在设置和配置过程期间，收集相对于捕获图像的键盘位置坐标、鼠标位置坐标和某些输入端口；(c)记载和存储鼠标、某些输入/输出端口、由操作员触发的键盘命令，并且分析由相关命令启动的活动；(d)创建包含特定装置的配置参数的配方或设置文件；以及(e)在后续生产过程中无需人类干预的情况下，使用配方文件自动地设置和配置保留系统。
11.在本发明的另一实施方式中，在代理解释器内提供了用于实现深度学习模块的系统和方法，以提高缺陷检查的质量。该系统和方法包括以下步骤：(a)按照人类检查员的指示对缺陷标准进行分类；(b)对分类缺陷应用深度学习技术并且改进缺陷识别过程；(c)基于深度学习技术来创建新的领域知识；以及(d)在适用的情况下，使用新的领域知识来检查和重新分类缺陷，以进一步提高检查的准确性和可重复性。由代理解释器使用该新的重新分类结果以通过覆盖鼠标键盘输入并复制人类会如何手动改变结果来改变保留系统中的检查结果。
附图说明
12.将参照本发明的特定实施方式来描述本发明，并且将参照附图，在附图中，相同的附图标记表示相同的部件，并且在附图中：
13.图1是目前存在的典型自动化系统的框图，该自动化系统具有使保留系统根据计算机程序执行方法的计算机系统；
14.图2是根据本发明的自动化系统的实施方式的框图，该自动化系统具有连接至代理解释器的计算机系统，该代理解释器在保留系统的设置和配置期间从装置诸如鼠标、某些输入/输出端口和与装置相关的键盘命令、在监视器上显示的图像收集信息；
15.图3是描绘根据图1中的系统的人工操作员遵循的在典型的检查和分类检查处理期间的处理步骤的流程图。
16.图4是描绘根据如图2所示的本发明的实施方式的训练或教导期间的处理步骤的流程图。
17.图5是描绘根据图2所示的本发明的在强化学习模块创建期间遵循的处理步骤的流程图。
18.图5a是描绘根据本发明的实施方式的针对强化学习的步骤的流程图。
19.图6是示出在没有人工操作员的干预的情况下在机器正常操作期间代理解释器系统的自动操作的流程图。
具体实施方式
20.本发明涉及一种使微电子制造过程的设置、配置和操作自动化的方法。尽管下面提供的实施方式涉及用于制造半导体器件的微电子制造过程自动化的方法，但是应当理解，本发明的方法可以用于使任何微电子制造过程自动化以制造例如平板器件、盘驱动器件等。旨在使一组过程自动化以使得能够使得要使用的保留装置使人为干预最小化，通过使用深度学习技术来提高过程的质量从而提高制造过程的质量，以及在该过程中延长保留装置的使用寿命。本发明涉及使制造过程自动化而非使特定类型的装置或制造过程自动化的方法。
21.图1是包括被称为保留系统的机械制造系统和控制系统的各种部件的一般自动化系统的框图视图。同样地，在图1中推断出一般包括pc控制系统28的某些装置，例如处理器、存储器(未示出)、包括鼠标32和键盘26的输入装置、包括显示器24的输出装置、紧急按钮(未示出)、信号楼表示器等，这些装置通过输入/输出端口30进行控制，输入/输出端口中的一些经由它们的相关接口通过usb、以太网端口等连接。应当理解，更多的外围装置可以链接至控制系统28以与外部网络或装置接口，从而用于实现特定类型的处理。控制系统28与制造保留设备20接口以执行制造、检查、分类的步骤，并且将必要数据输出至外部接口(未示出)以用于数据合并和管理。
22.图2是利用代理服务器42实现的本发明的自动化系统的实施方式的框图视图，该代理服务器42与保留系统的各种外围装置通信以通过pc控制系统28控制自动化设备20。在本发明的新系统架构中，初始连接至pc控制系统28的所有装置现在连接至代理解释器42，代理解释器42又通过各自的端口与pc控制系统28通信。在图2中，包括鼠标32和键盘26的输入装置分别经由接口50和48连接至代理服务器42。pc控制系统28的显示端口经由接口34连
接至代理服务器的输入显示端口。代理解释器经由接口54连接至鼠标端口、经由接口52连接至键盘端口，并且与pc控制系统28通信，监视和记录所有活动，并且为自动化设备(在这种情况下是自动化设备20)的特定部分建立领域知识。显示监视器24经由接口40连接至代理服务器42。应当理解，可以将更多的外围装置链接至代理解释器42以使其能够在需要时执行附加的任务。代理解释器使用随时间构建的领域知识通过pc控制系统28接口控制自动化设备20，以执行控制和操作保留机器20的步骤。
23.图3是自动化机器中的一般处理流程的流程图。流程图从步骤60开始。在步骤62中，操作者从批次文档扫描批次代码并且下载与批次有关的信息。然后，操作者基于要被处理的装置从配置文件列表中选择相关的设置文件。在步骤64中，设备的操作开始并且必要的处理步骤(在这种情况下为硅芯片的检查)开始。在步骤70中，控制机器的计算机程序检查经受检查的硅芯片是否是最后的芯片。如果是最后的硅芯片，则程序进行到步骤90。如果不是最后的硅芯片，则程序移动至步骤74。在步骤74中，操作者将经检查的硅芯片的结果与晶片map数据文件中硅芯片的结果进行比较。如果结果匹配，则程序移动至下一步骤76。如果结果不匹配，则程序进行至步骤82，在步骤82中操作者更仔细地查看由检查程序识别的缺陷，并且判定它是否确实是缺陷并且不匹配所下载的晶片map文件中的结果，操作者将有缺陷的硅芯片分类在适当的类别下，并且在步骤86中更新信息。当在步骤82中更仔细地查看缺陷时，如果操作者判定被识别为有缺陷的硅芯片不是缺陷，并且结果与所下载的晶片map检查结果匹配，则操作者将判定移动至下一步骤76而不更新晶片map数据文件。然后，程序从步骤76移动至步骤70，其中重复整个流程直到晶片中的最后一个硅芯片。
24.图4是利用代理解释器84实现的本发明的在训练或教导期间使用的自动化系统的实施方式的流程图，该流程图所有其他处理步骤与图3中的流程图相同。代理解释器参考监视器24(图2)上显示的图像监视来自鼠标32(图2)、键盘26(图2)的所有活动，并且使用强化学习模块来学习设备20的操作。与在步骤74和步骤82的输出处遇到的控制和命令有关的所有数据被合并并且存储在代理解释器中。分析经合并的数据以帮助构建强化学习模块，该强化学习模块随后用于在没有人类操作员的参与的情况下自动控制设备20。
25.图5是示出在创建强化学习模块的过程中遵循的步骤的流程图，该强化学习模块主要学习和存储保留设备的操作序列。图4所示的代理解释器84是图5的流程图的起始步骤。步骤100是驻留在代理解释器中的强化学习的入口点。优选地，第一步骤可以如步骤102中那样捕获显示监视器上的图像。从外部接口装置(例如鼠标、某些输入/输出端口和键盘输入或命令)收集的所有信息和数据都与在代理解释器中捕获和存储的当前图像有关。在步骤104中设置和配置机器时，强化学习模块存储和合并作为由操作员触发的过程的一部分收集的输入和输出。如步骤106所示，操作活动的记录和记载以及操作员的用于触发任何特定过程(包括但不特定于对被检查装置的验证)的干预，优选地针对晶片上的每个单个硅芯片继续。在步骤108中，强化学习模块针对与保留设备的操作序列中的过程相关的各种命令创建操作流程。在没有人工干预的情况下，代理解释器使用这些命令及其相关过程来操作保留设备。步骤110表示代理解释器强化学习模块过程流程图的结束。代理解释器还可以分析操作员关于质量控制和缺陷分类的输入，以使用深度学习技术创建自动缺陷分类(adc)方法，使保留设备能够以更高的准确性和可靠性执行质量检查。深度学习模块将与强化学习模块一起驻留在代理解释器中，它们将共同帮助提高保留设备在特征和生产力两方
面的性能。代理解释器有助于增加保留设备的使用寿命，这是本发明的主要特征。
26.在图5a中，更详细地示出了与图5中的强化学习模块108相关的步骤。步骤150中的强化学习模块是使用“竞争双深度q网络”(dueling double deep q network，d3qn)架构实现的，该架构由两个网络组成：用于通过与环境的交互来学习的main(主)网络，其使用对积极行为的奖励和对消极行为的惩罚来确定交互环境中的正确动作，以及用来稳定动态目标的target(目标)网络(其是k个训练步骤中main的冻结版本)。d3qn系统还采用两个流：value(值)流152，其用于学习每个机器状态的共同q值(质量)(该状态下所有动作的偏移值)；以及advantage(优势)流154，其用于学习在特定状态下应当采取哪个动作。经验缓冲器170不断更新步骤172和步骤174中的优势流，以提高每个机器状态的q值，在步骤176处对q值求和，然后在步骤150中返回到d3qn模块。
27.主网络获得来自冻结模型160内的由用于显示屏178的对象检测模型(例如改进的yolo(仅看一次))生成的特征图164的输入，以及来自深度学习网络(分别例如改进的yolo和改进的ctpn(连结文本提议网络(connectionist text proposal network))的屏幕中图像和文本的置信向量。使用置信向量作为滤波器以保证动作分类器162不采取与当前状态无关的动作。此外，自定义构建的lstm(长短期记忆)模型用于区分不同状态下的相似屏幕。
28.图6是机器正常操作期间的步骤的流程图，其中，代理解释器系统基于在图5的过程流程期间中构建的强化和深度学习模块发起所有命令。典型的代理解释器流程从步骤120处开始，并且在步骤122中继续扫描来自批次遍历器的批次信息或文档。由代理解释器对批次信息进行进一步分析，并且在步骤124中将相关的键盘和鼠标命令发送至中央服务器，以将设置和配置信息下载到保留机器控制系统中。在步骤126中，保留机器中的控制系统将通过查验被检查相机的当前硅芯片是否是最后芯片来开始机器的操作。如果为是，则过程跳转到步骤136，结束图6的操作流程。如果为否，则操作进行至下一步骤130，在步骤130中从晶片map文件中提取与该相机下的当前硅芯片相关的缺陷和其他信息。在步骤133中，使用深度学习模块进一步检查该相机下的硅芯片，以执行增强检查的高度复杂的分析，从而得出更可靠的检查结果。
29.步骤133中的深度学习模块使用包括改进的efficientnet和改进的faster-rcnn(基于区域的卷积神经网络)的架构来构建。这些深度学习模型被训练以通过利用改进的resnet-101(残差网络)层分析输入图像来识别对象表面上的缺陷。
30.在步骤134中对在步骤133处得到的结果与步骤130中的结果进行比较。如果比较结果相同，则操作进行至步骤128，在步骤128中机器将晶片索引到下一要检查的硅芯片。如果步骤134中的比较结果不相同，则在步骤132中，代理解释器向保留控制系统发送相关的键盘和鼠标命令，以更新晶片map文件中的当前硅芯片结果。实际上，在步骤132中，步骤124中晶片map文件中存在的结果被该被检查的硅芯片的新结果覆盖。操作进行至步骤128，在步骤128中在该相机下索引下一要检查的硅芯片。随后，操作进行至步骤126。流程继续并重复，直到最后要检查的硅芯片。通过代理解释器系统将新的和增强的检查方法应用于保留机器的这个关键的基本特征是本发明的主要特征。
31.本文中阐述的方法不一定需要按照所描述的顺序执行，并且这样的方法的步骤顺序应当被理解为仅是示例性的。同样，在与本发明的各种实施方式一致的方法中，在这样的方法中可以包括附加步骤，并且可以省略或组合某些步骤。
32.尽管本文中描述了本发明的实施方式，但是应当理解，前述实施方式和优点仅是示例，并且不应被解释为限制本发明或权利要求的范围。本领域技术人员可以通过应用将落入本公开内容的原理的精神和范围内的任何基于神经的计算模型来设计许多其他修改和实施方式。本教导也可以容易地应用于其他类型的保留系统。更特别地，在本公开内容、附图和所附权利要求的范围内，主题组合布置的布置中的多种变化和修改是可能的。除了布置的变化和修改之外，替选用途对于本领域技术人员而言也将是明显的。