受引导的缺陷发现的特性化系统及方法与流程

受引导的缺陷发现的特性化系统及方法
1.相关申请案的交叉参考
2.本技术案主张2020年1月27日申请的以布拉德利
·
赖斯(bradley ries)、托马索
·
托雷利(tommaso torelli)、穆图克里希南
·
桑卡尔(muthukrishnan sankar)及维妮丝
·
哈里哈兰(vineeth hariharan)为发明者的标题为受引导的缺陷发现的特性化系统及方法(characterization system and method with guided defect discovery)的第202041003543号印度临时专利申请案的权利，所述申请案的全部内容以引用的方式并入本文中。
技术领域
3.本发明大体上涉及样本特性化领域，且更特定来说涉及一种受引导的缺陷发现的特性化系统及方法。


背景技术：

4.对于具有越来越小占用面积及特征的电子逻辑及存储器装置的需求提出超出所要规模的制造的广范围的制造挑战。越来越复杂结构导致必须经监测并控制以维持装置完整性的增加数目个参数。半导体制造领域中的一个重要特性是缺陷分类。对缺陷进行分类的常规方法包含(但不限于)基于规则的分格化(rbb)及基于算法的技术(例如，机器学习或深度学习)。
5.基于算法的缺陷分类需要足够数目个实例以便有效地对此类缺陷进行分类。此可为不可能任务，因为数据集通常传回10,000到1,000,000个事件之间的任何位置。常规技术要求用户将标签指派给全部实例，此可为乏味且繁琐任务。此外，数据集通常过于失衡以至于无法在子取样中获得稀有分格的任何实例。此外，通常不存在提供类别之间的辨别信息的已知特征。
6.因此，将期望提供一种解决上文识别的先前方法的不足的系统及方法。


技术实现要素：

7.公开一种根据本公开的一或多个实施例的系统。在一个实施例中，所述系统包含控制器，所述控制器包含经配置以执行存储于存储器中的一组程序指令的一或多个处理器。所述组程序指令可经配置以致使所述一或多个处理器实行本公开的各种功能及步骤。在另一实施例中，所述控制器经配置以从特性化子系统接收样本的一或多个图像，其中所述一或多个图像包含一或多个图块剪辑。在另一实施例中，所述控制器经配置以从所述一或多个图块剪辑识别一或多个目标剪辑。在另一实施例中，所述控制器经配置以基于所述一或多个目标剪辑而制备一或多个经处理剪辑。在另一实施例中，所述控制器经配置以通过经由自动编码器变换所述一或多个经处理剪辑而产生一或多个经编码图像。在另一实施例中，所述控制器经配置以经由聚类算法将所述一或多个经编码图像分类成一组集群。在另一实施例中，所述控制器经配置以经由用户接口对用户显示来自所述组集群中的一或多
者的一或多个经分类图像。在另一实施例中，所述控制器经配置以经由所述用户接口从所述用户接收所述一或多个经显示分类图像的一或多个标签。在另一实施例中，所述控制器经配置以确定所述接收的一或多个标签是否足以训练深度学习分类器。在确定所述接收的一或多个标签足以训练所述深度学习分类器后，在另一实施例中，所述控制器经配置以经由所述一或多个经显示分类图像及所述接收的一或多个标签训练所述深度学习分类器。
8.公开一种根据本公开的一或多个实施例的系统。在一个实施例中，所述系统包含控制器，所述控制器包含经配置以执行存储于存储器中的一组程序指令的一或多个处理器。所述组程序指令可经配置以致使所述一或多个处理器实行本公开的各种功能及步骤。在另一实施例中，所述控制器经配置以从特性化子系统接收样本的一或多个图像，其中所述一或多个图像包含一或多个图块剪辑。在另一实施例中，所述控制器经配置以从所述一或多个图块剪辑识别一或多个目标剪辑。在另一实施例中，所述控制器经配置以基于所述一或多个目标剪辑而制备一或多个经处理剪辑。在另一实施例中，所述控制器经配置以通过经由自动编码器变换所述一或多个经处理剪辑而产生一或多个经编码图像。在另一实施例中，所述控制器经配置以经由聚类算法将所述一或多个经编码图像分类成一组集群。在另一实施例中，所述控制器经配置以经由用户接口对用户显示来自所述组集群中的一或多者的一或多个经分类图像。在另一实施例中，所述控制器经配置以经由所述用户接口从所述用户接收所述一或多个经显示分类图像的一或多个标签。在另一实施例中，所述控制器经配置以确定所述接收的一或多个标签是否足以训练深度学习分类器。在确定所述接收的一或多个标签不足以训练所述深度学习分类器后，在另一实施例中，所述控制器经配置以经由所述用户接口对所述用户显示额外一或多个经分类图像。在另一实施例中，所述控制器经配置以经由所述用户接口从所述用户接收所述一或多个额外经显示分类图像的一或多个额外标签。在另一实施例中，所述控制器经配置以确定所述接收的一或多个额外标签是否足以训练所述深度学习分类器。在确定所述接收的一或多个额外标签足以训练所述深度学习分类器后，在另一实施例中，所述控制器经配置以经由所述一或多个经显示分类图像、所述一或多个额外经显示分类图像、所述接收的一或多个标签及所述接收的一或多个额外标签训练所述深度学习分类器。
9.公开一种根据本公开的一或多个实施例的方法。在一个实施例中，所述方法包含从特性化子系统接收样本的一或多个图像，其中所述一或多个图像包含一或多个图块剪辑。在另一实施例中，所述方法包含从所述一或多个图块剪辑识别一或多个目标剪辑；基于所述一或多个目标剪辑而制备一或多个经处理剪辑。在另一实施例中，所述方法包含通过经由自动编码器变换所述一或多个经处理剪辑而产生一或多个经编码图像。在另一实施例中，所述方法包含经由聚类算法将所述一或多个经编码图像分类成一组集群。在另一实施例中，所述方法包含经由用户接口对用户显示来自所述组集群中的一或多者的一或多个经分类图像。在另一实施例中，所述方法包含经由所述用户接口从所述用户接收所述一或多个经显示分类图像的一或多个标签。在另一实施例中，所述方法包含确定所述接收的一或多个标签是否足以训练深度学习分类器。在确定所述接收的一或多个标签足以训练所述深度学习分类器后，在另一实施例中，所述方法包含经由所述一或多个经显示分类图像及所述接收的一或多个标签训练所述深度学习分类器。
10.公开一种根据本公开的一或多个实施例的方法。在一个实施例中，所述方法包含
从特性化子系统接收样本的一或多个图像，其中所述一或多个图像包含一或多个图块剪辑。在另一实施例中，所述方法包含从所述一或多个图块剪辑识别一或多个目标剪辑；基于所述一或多个目标剪辑而制备一或多个经处理剪辑。在另一实施例中，所述方法包含通过经由自动编码器变换所述一或多个经处理剪辑而产生一或多个经编码图像。在另一实施例中，所述方法包含经由聚类算法将所述一或多个经编码图像分类成一组集群。在另一实施例中，所述方法包含经由用户接口对用户显示来自所述组集群中的一或多者的一或多个经分类图像。在另一实施例中，所述方法包含经由所述用户接口从所述用户接收所述一或多个经显示分类图像的一或多个标签。在另一实施例中，所述方法包含确定所述接收的一或多个标签是否足以训练深度学习分类器。在确定所述接收的一或多个标签不足以训练所述深度学习分类器后，在另一实施例中，所述方法包含经由所述用户接口对所述用户显示一或多个额外经分类图像。在另一实施例中，所述方法包含经由所述用户接口从所述用户接收所述一或多个额外经显示分类图像的一或多个额外标签。在另一实施例中，所述方法包含确定所述接收的一或多个额外标签是否足以训练所述深度学习分类器。在确定所述接收的一或多个额外标签足以训练所述深度学习分类器后，在另一实施例中，所述方法包含经由所述一或多个经显示分类图像、所述一或多个额外经显示分类图像、所述接收的一或多个标签及所述接收的一或多个额外标签训练所述深度学习分类器。
11.公开一种根据本公开的一或多个实施例的系统。在一个实施例中，所述系统包含控制器，所述控制器包含经配置以执行存储于存储器中的一组程序指令的一或多个处理器。所述组程序指令可经配置以致使所述一或多个处理器实行本公开的各种功能及步骤。在另一实施例中，所述控制器经配置以从特性化子系统接收样本的一或多个图像，其中所述一或多个图像包含一或多个图块剪辑。在另一实施例中，所述控制器经配置以从所述一或多个图块剪辑识别一或多个目标剪辑。在另一实施例中，所述控制器经配置以基于所述一或多个目标剪辑而制备一或多个经处理剪辑。在另一实施例中，所述控制器经配置以通过经由自动编码器变换所述一或多个经处理剪辑而产生一或多个经编码图像。在另一实施例中，所述控制器经配置以经由聚类算法将所述一或多个经编码图像分类成一组集群。在另一实施例中，所述控制器经配置以经由用户接口对用户显示来自所述组集群中的一或多者的一或多个经分类图像。在另一实施例中，所述控制器经配置以经由所述用户接口从所述用户接收所述一或多个经显示分类图像的一或多个标签。在另一实施例中，所述控制器经配置以基于所述接收的一或多个标签而调整一或多个制造工具。
12.公开一种根据本公开的一或多个实施例的方法。在一个实施例中，所述方法包含从特性化子系统接收样本的一或多个图像，其中所述一或多个图像包含一或多个图块剪辑。在另一实施例中，所述方法包含从所述一或多个图块剪辑识别一或多个目标剪辑；基于所述一或多个目标剪辑而制备一或多个经处理剪辑。在另一实施例中，所述方法包含通过经由自动编码器变换所述一或多个经处理剪辑而产生一或多个经编码图像。在另一实施例中，所述方法包含经由聚类算法将所述一或多个经编码图像分类成一组集群。在另一实施例中，所述方法包含经由用户接口对用户显示来自所述组集群中的一或多者的一或多个经分类图像。在另一实施例中，所述方法包含经由所述用户接口从所述用户接收所述一或多个经显示分类图像的一或多个标签。在另一实施例中，所述方法包含基于所述接收的一或多个标签而调整一或多个制造工具。
13.应了解，前述一般描述及以下详细描述两者仅为实例及说明性，且不一定限制如所主张的本发明。并入于本说明书中且构成本说明书的一部分的所附图式说明本发明的实施例且连同一般描述一起用来说明本发明的原理。
附图说明
14.通过参考附图，所属领域的技术人员可更好地理解本公开的许多优点，其中：
15.图1a说明根据本公开的一或多个实施例的用于特性化样本的系统。
16.图1b说明根据本公开的一或多个实施例的用于特性化样本的系统。
17.图1c说明根据本公开的一或多个实施例的用于特性化样本的系统。
18.图2a说明根据本公开的一或多个实施例的用于特性化样本的流程图。
19.图2b说明根据本公开的一或多个实施例的包含缺陷的图像。
20.图3a说明根据本公开的一或多个实施例的用于特性化样本的方法的一部分的流程图。
21.图3b说明根据本公开的一或多个实施例的用于特性化样本的方法的一部分的流程图。
22.图4a说明根据本公开的一或多个实施例的用于特性化样本的方法的一部分的流程图。
23.图4b说明根据本公开的一或多个实施例的用于特性化样本的方法的一部分的流程图。
24.图5说明根据本公开的一或多个实施例的用于特性化样本的方法的流程图。
25.图6a说明根据本公开的一或多个实施例的图形用户接口(gui)的一部分。
26.图6b说明根据本公开的一或多个实施例的图形用户接口(gui)的一部分。
27.图6c说明根据本公开的一或多个实施例的图形用户接口(gui)的一部分。
28.图7a说明根据本公开的一或多个实施例的图形用户接口(gui)。
29.图7b说明根据本公开的一或多个实施例的图形用户接口(gui)。
30.图7c说明根据本公开的一或多个实施例的图形用户接口(gui)。
具体实施方式
31.已关于某些实施例及其特定特征特别地展示且描述本公开。本文中阐述的实施例被视为阐释性而非限制性。所属领域的一般技术人员应容易明白，可在不脱离本公开的精神及范围的情况下进行形式及细节的各种改变及修改。
32.现将详细参考在所附图式中说明的所公开标的物。
33.本文中应注意，当运用各种实例训练算法时，基于深度学习的算法表现最好。寻找足够实例可为困难的任务。检验结果中的高干扰对低缺陷计数是此任务困难的主要原因中的一者。干扰抑制是具挑战性的任务。举例来说，在使用人工操作者以经由重检光学器件进行重检时存在极慢产出时间(tpt)。通过另一实例，使用自动检验以经由检验光学器件进行重检，干扰事件与所关注缺陷(doi)之间存在高晶粒噪声及很少区别。用户通常奋力通过数千干扰事件以寻找有效缺陷且花费数百小时以指派实况。举例来说，检验子系统的热扫描可传回10,000到1,000,000个事件。使用常规技术，要求用户手动搜遍庞大事件列表且选择
适当缺陷进行深度学习训练。
34.此外，本文中应注意，有时可基于各种物理描述(例如，测量)对图像进行分类且标记经分类列表的极端值。有时可经由具有每对象类型的足够实例的随机子取样获得不完整人工标记以接着随后使用机器学习来寻找额外类似对象。有时可通过利用外部贴标机(例如标签场或客户提供的基线)来获得实况。然而，此类缺陷分类方法通常不可能或不可用。此外，此类方法可花费数天到数周来完成。
35.因此，本公开的实施例涉及解决上文识别的先前方法的一或多个不足。本公开的实施例涉及一种使用深度学习过程进行受引导缺陷发现的特性化系统及方法。更特定来说，本公开的实施例涉及使用深度学习程以对类似缺陷类型进行分组以辅助用户进行缺陷发现。在此方面，借助于深度学习过程最小化建立代表性标记数据集所需的人类交互量。在古德费洛(goodfellow)等人的《深度学习》(deep learning)(麻省理工学院出版社，2016)年中找到基于深度学习的过程的描述，所述文献的全部内容以引用的方式并入。
36.图1a说明根据本公开的一或多个实施例的用于特性化样本的系统100。特定来说，图1a说明用于使用深度学习过程来确定空白光罩上的缺陷的类型及大小的系统100。系统100可包含(但不限于)一或多个特性化子系统102。系统100可额外地包含(但不限于)控制器104(包含一或多个处理器106、存储器108)及用户接口110。
37.特性化子系统102可包含所属领域中已知的任何特性化子系统102，包含(但不限于)基于光学的检验系统、基于带电粒子的检验系统及类似者。举例来说，特性化子系统102可包含基于光学的暗场检验系统。通过另一实例，特性化子系统102可包含扫描电子显微镜(sem)检验系统。在一个实施例中，控制器104通信耦合到一或多个特性化子系统102。在此方面，控制器104的一或多个处理器106可经配置以产生一或多个控制信号，所述一或多个控制信号经配置以调整特性化子系统102的一或多个特征。
38.图1b说明根据本公开的一或多个实施例的用于特性化样本的系统100。特定来说，图1b说明包含光学检验子系统102a的系统100。
39.光学检验子系统102a可经配置为所属领域中已知的任何基于光学的检验子系统，包含(但不限于)基于图像的计量工具、重检工具及类似者。举例来说，光学检验子系统102a可包含光学暗场检验工具。通过另一实例，光学检验子系统102a可包含光学明场检验工具。光学检验子系统102a可包含(但不限于)照明源112、照明臂111、集光臂113及检测器组合件126。
40.在一个实施例中，光学检验子系统102a经配置以检验及/或测量安置于载物台组合件122上的样本120。照明源112可包含所属领域中已知的用于产生照明101的任何照明源，包含(但不限于)宽带辐射源。在另一实施例中，光学检验子系统102a可包含经配置以将照明101引导到样本120的照明臂111。应注意，光学检验子系统102a的照明源112可经配置成所属领域中已知的任何定向，包含(但不限于)暗场定向、明场定向及类似者。举例来说，可选择性地调整一或多个光学元件114、124以便将光学检验子系统102a配置成暗场定向、明场定向及类似者。
41.样本120可包含所属领域中已知的任何样本，包含(但不限于)半导体晶片、光罩、光掩模及类似者。在一个实施例中，将样本120安置于载物台组合件122上以促成样本120的移动。在另一实施例中，载物台组合件122是可致动载物台。举例来说，载物台组合件122可
包含(但不限于)适于沿一或多个线性方向(例如，x方向、y方向及/或z方向)选择性地平移样本120的一或多个平移载物台。通过另一实例，载物台组合件122可包含(但不限于)适于沿旋转方向选择性地旋转样本120的一或多个旋转载物台。通过另一实例，载物台组合件122可包含(但不限于)适于沿线性方向选择性地平移样本120及/或沿旋转方向旋转样本120的旋转载物台及平移载物台。本文中应注意，系统100可以所属领域中已知的任何扫描模式操作。
42.照明臂111可包含所属领域中已知的任何数目及类型的光学组件。在一个实施例中，照明臂111包含一或多个光学元件114、一组一或多个光学元件115、光束分离器116及物镜118。在此方面，照明臂111可经配置以将来自照明源112的照明101聚焦到样本120的表面上。一或多个光学元件114可包含所属领域中已知的任何光学元件，包含(但不限于)一或多个镜、一或多个透镜、一或多个偏光器、一或多个光束分离器、一或多个波板及类似者。
43.在另一实施例中，光学检验子系统102a包含经配置以收集从样本120反射或散射的照明的集光臂113。在另一实施例中，集光臂113可经由一或多个光学元件124将经反射及散射光引导及/或聚焦到检测器组合件126的一或多个传感器。一或多个光学元件124可包含所属领域中已知的任何光学元件，包含(但不限于)一或多个镜、一或多个透镜、一或多个偏光器、一或多个光束分离器、一或多个波板及类似者。应注意，检测器组合件126可包含所属领域中已知的适于检测从样本120反射或散射的照明的任何传感器及检测器组合件。
44.在另一实施例中，光学检验子系统102的检测器组合件126经配置以基于从样本120反射或散射的照明而收集样本120的计量数据。在另一实施例中，检测器组合件126经配置以将所收集/获取图像及/或计量数据传输到控制器104。
45.如本文中先前所述，系统100的控制器104可包含一或多个处理器106及存储器108。存储器108可包含经配置以导致一或多个处理器106实行本公开的各个步骤的程序指令。在一个实施例中，程序指令经配置以导致一或多个处理器106调整光学检验子系统102a的一或多个特性以便执行样本120的一或多个测量。
46.在额外及/或替代实施例中，特性化子系统102可包含基于带电粒子的检验子系统102。举例来说，特性化子系统102可包含sem特性化子系统，如图1c中说明。
47.图1c说明根据本公开的一或多个实施例的用于特性化样本120的系统100。特定来说，图1c说明包含sem检验子系统102b的系统100。
48.在一个实施例中，sem检验子系统102b经配置以对样本120执行一或多个测量。在此方面，sem检验子系统102b可经配置以获取样本120的一或多个图像125。样本120的一或多个图像125可包含一或多个图块剪辑135。sem检验子系统102b可包含(但不限于)电子束源128、一或多个电子光学元件130、一或多个电子光学元件132及包含一或多个电子传感器136的电子检测器组合件134。
49.在一个实施例中，电子束源128经配置以将一或多个电子束129引导到样本120。电子束源128可形成电子光学柱。在另一实施例中，电子束源128包含经配置以将一或多个电子束129聚焦及/或引导到样本120的表面的一或多个额外及/或替代电子光学元件130。在另一实施例中，sem检验子系统102b包含一或多个电子光学元件132，一或多个电子光学元件132经配置以响应于一或多个电子束129而收集从样本120的表面发出的二次及/或背散射电子131。本文中应注意，一或多个电子光学元件130及一或多个电子光学元件132可包含
经配置以引导、聚焦及/或收集电子的任何电子光学元件，包含(但不限于)一或多个偏转器、一或多个电子光学透镜、一或多个聚光透镜(例如，磁性聚光透镜)、一或多个物镜(例如，磁性聚光透镜)及类似者。
50.应注意，sem检验子系统102b的电子光学组合件不限于图1c中描绘的电子光学元件，其仅出于阐释性目的而提供。应进一步注意，系统100可包含将一或多个电子束129引导/聚焦到样本120上且作为响应而将发出的二次及/或背散射电子131收集且成像到电子检测器组合件134上所必需的任何数目及类型的电子光学元件。
51.举例来说，系统100可包含一或多个电子束扫描元件(未展示)。例如，一或多个电子束扫描元件可包含(但不限于)适于控制一或多个电子束129相对于样本120的表面的位置的一或多个电磁扫描线圈或静电偏转器。此外，可利用一或多个扫描元件以选定模式跨样本120扫描一或多个电子束129。
52.在另一实施例中，将二次及/或背散射电子131引导到电子检测器组合件134的一或多个传感器136。sem检验子系统102b的电子检测器组合件134可包含所属领域中已知的适于检测从样本120的表面发出的背散射及/或二次电子131的任何电子检测器组合件。在一个实施例中，电子检测器组合件134包含电子检测器阵列。在此方面，电子检测器组合件134可包含电子检测部分阵列。此外，电子检测器组合件134的检测器阵列的每一电子检测部分可经定位以便检测来自样本120的与入射的一或多个电子束129中的一者相关联的电子信号。电子检测器组合件134可包含所属领域中已知的任何类型的电子检测器。举例来说，电子检测器组合件134可包含微通道板(mcp)、pin或p-n结检测器阵列，例如(但不限于)二极管阵列或雪崩光电二极管(apd)。通过另一实例，电子检测器组合件134可包含高速闪烁器或光电倍增管(pmt)检测器。
53.虽然图1c将sem检验子系统102b说明为包含仅包括二次电子检测器组合件的电子检测器组合件134，但此不应被视为对本公开的限制。在此方面，应注意，电子检测器组合件134可包含(但不限于)二次电子检测器、背散射电子检测器及/或一次电子检测器(例如，柱内电子检测器)。在另一实施例中，sem检验子系统102b可包含多个电子检测器组合件134。举例来说，系统100可包含二次电子检测器组合件134、背散射电子检测器组合件134及柱内电子检测器组合件134。
54.在一个实施例中，控制器104的一或多个处理器106经配置以分析检测器组合件126/电子检测器组合件134的输出。在一个实施例中，所述组程序指令经配置以导致一或多个处理器106基于从检测器组合件126/电子检测器组合件134接收的图像而分析样本120的一或多个特性。在另一实施例中，所述组程序指令经配置以导致一或多个处理器106修改系统100的一或多个特性以便维持聚焦于样本120及/或检测器组合件126/电子检测器组合件134上。举例来说，一或多个处理器106可经配置以调整照明源112/电子束源128及/或系统100的其它元件的一或多个特性以便将照明101及/或一或多个电子束129聚焦到样本120的表面上。通过另一实例，一或多个处理器106可经配置以调整系统100的一或多个元件以便从样本120的表面收集照明及/或二次电子131且将所收集照明聚焦于检测器组合件126/电子检测器组合件134上。通过另一实例，一或多个处理器106可经配置以调整施加到电子束源128的一或多个静电偏转器的一或多个聚焦电压以便独立地调整一或多个电子束129的位置或对准且跨样本120扫描电子束129。
55.在另一实施例中，如图1a到1c中展示，系统100包含通信耦合到控制器104的用户接口110。在另一实施例中，用户接口110包含用户输入装置及显示器。用户接口110的用户输入装置可经配置以从用户接收一或多个输入命令，所述一或多个输入命令经配置以将数据输入到系统100中及/或调整系统100的一或多个特性。举例来说，如本文中将进一步详细描述，用户接口110的用户输入装置可经配置以从用户接收一或多个经显示分类图像的一或多个标签。通过另一实例，用户接口110的用户输入装置可经配置以从用户接收一或多个经显示分类图像的一或多个额外标签。在另一实施例中，用户接口110的显示器可经配置以对用户显示系统100的数据。举例来说，用户接口110的显示器可经配置以基于来自用户的一或多个经显示分类图像的所接收的一或多个标签而显示诊断。通过另一实例，用户接口110的显示器可经配置以基于一或多个经显示分类图像的从用户接收的一或多个额外标签而显示诊断。
56.在一个实施例中，一或多个处理器106可通信耦合到存储器108，其中一或多个处理器106经配置以执行存储于存储器108上的一组程序指令，所述组程序指令经配置以导致一或多个处理器106实行本公开的各个功能及步骤。
57.在一个实施例中，控制器104经配置以从特性化子系统接收样本的一或多个图像。在另一实施例中，控制器104经配置以从一或多个图块剪辑识别一或多个目标剪辑。在另一实施例中，控制器104经配置以基于一或多个目标剪辑而制备一或多个经处理剪辑。在另一实施例中，控制器104经配置以通过经由自动编码器变换一或多个经处理剪辑而产生一或多个经编码图像。在另一实施例中，控制器104经配置以经由聚类算法将一或多个经编码图像分类成一组集群。在另一实施例中，控制器104经配置以经由用户接口对用户显示来自所述组集群中的一或多者的一或多个经分类图像。在另一实施例中，控制器104经配置以经由用户接口从用户接收一或多个经显示分类图像的一或多个标签。在另一实施例中，控制器104经配置以确定接收的一或多个标签是否足以训练深度学习分类器。在另一实施例中，在确定接收的一或多个标签足以训练深度学习分类器后，控制器104经配置以经由一或多个经显示分类图像及接收的一或多个标签训练深度学习分类器。控制器104的这些步骤/功能中的每一者将各在本文中进一步详细描述。
58.在一个实施例中，控制器104经配置以从特性化子系统接收样本的一或多个图像。在另一实施例中，控制器104经配置以从一或多个图块剪辑识别一或多个目标剪辑。在另一实施例中，控制器104经配置以基于一或多个目标剪辑而制备一或多个经处理剪辑。在另一实施例中，控制器104经配置以通过经由自动编码器变换一或多个经处理剪辑而产生一或多个经编码图像。在另一实施例中，控制器104经配置以经由聚类算法将一或多个经编码图像分类成一组集群。在另一实施例中，控制器104经配置以经由用户接口对用户显示来自所述组集群中的一或多者的一或多个经分类图像。在另一实施例中，控制器104经配置以经由用户接口从用户接收一或多个经显示分类图像的一或多个标签。在另一实施例中，控制器104经配置以确定接收的一或多个标签是否足以训练深度学习分类器。在另一实施例中，在确定接收的一或多个标签不足以训练深度学习分类器后，控制器104经配置以经由用户接口对用户显示额外一或多个经分类图像。在另一实施例中，控制器104经配置以经由用户接口从用户接收一或多个额外经显示分类图像的一或多个额外标签。在另一实施例中，控制器104经配置以确定接收的一或多个额外标签是否足以训练深度学习分类器。在另一实施
例中，在确定接收的一或多个额外标签足以训练深度学习分类器后，控制器104经配置以经由一或多个经显示分类图像、一或多个额外经显示分类图像、接收的一或多个标签及接收的一或多个额外标签训练深度学习分类器。控制器104的这些步骤/功能中的每一者将各在本文中进一步详细描述。
59.图2a说明根据本公开的一或多个实施例的用于特性化样本120的流程图200。特定来说，图2a说明用于使用深度学习技术进行受引导缺陷发现的流程图200。在此方面，流程图200可被视为说明由控制器104的一或多个处理器106执行/在控制器104的一或多个处理器106内执行的步骤的概念流程图。
60.在一个实施例中，在步骤202中，系统100经配置以从特性化子系统102接收样本120的一或多个图像125。在另一实施例中，一或多个图像125包含一或多个图块剪辑135。举例来说，如图1b中展示，控制器104可经配置以从光学检验子系统102a接收样本120的一或多个缺陷的一或多个光学图像125。通过另一实例，如图1c中展示，控制器104可经配置以从sem检验子系统102b接收样本120的一或多个缺陷的一或多个sem图像125。在此方面，一或多个图像125可包含所属领域中已知的任何图像，包含(但不限于)光学图像125、sem图像125及类似者。在额外及/或替代实施例中，控制器104可经配置以从除一或多个特性化子系统102以外的源接收一或多个图像125。举例来说，控制器104可经配置以从外部存储装置及/或存储器108接收样本120的特征的一或多个图像125。在另一实施例中，控制器104可进一步经配置以将接收的一或多个图像125存储于存储器108中。出于本公开的目的，术语“目标剪辑”可被认为是包含一或多个所关注缺陷(doi)的图块剪辑。此外，出于本公开的目的，术语“图块剪辑”可被认为是从特性化子系统102接收的样本120的图像125的一部分。
61.在另一实施例中，在步骤204中，系统100经配置以制备一或多个图块剪辑135以用于聚类。举例来说，可从一或多个图块剪辑135识别一或多个目标剪辑。例如，一或多个目标剪辑可包含一或多个所关注缺陷(doi)使得可识别一或多个目标剪辑。一或多个目标剪辑可包含所属领域中已知的任何类型的样本缺陷，包含(但不限于)随机缺陷、系统缺陷及类似者。举例来说，样本缺陷可包含桥接(例如，重布层(rdl)线桥接、底部晶种桥接或类似者)、线开口、颗粒、腐蚀或类似者。例如，如图2b中展示，在图像222的中心处展示缺陷220。图像222的图案允许基于图像222的中心处展示的图案的变化而识别缺陷220。
62.本文中应注意，系统100可经配置以接收任何大小图块剪辑。举例来说，系统100可经配置以接收具有64
×
64(例如，4096个像素)的大小的图块剪辑。通过另一实例，系统可经配置以接收具有256
×
256(例如，65,536个像素)的大小的图块剪辑。此外，本文中应注意，系统100可经配置以接收具有任何数目个像素的任何数目个图块剪辑。举例来说，系统100可经配置以针对每一缺陷接收六个图块剪辑。
63.通过另一实例，可基于一或多个目标剪辑而制备一或多个经处理剪辑。例如，可基于一或多个目标剪辑而产生一或多个中值剪辑或一或多个差异剪辑中的至少一者。通过进一步实例，一或多个经处理剪辑可包含一或多个噪声剪辑(例如，标准差剪辑)、一或多个渲染设计剪辑(例如，分段剪辑)或类似者。本文中应注意，设计剪辑的使用可向用户提供更多控制以使编码器(或集群取样)偏向落在所关注关键图案上的事件。
64.在利用暗场及明场检验子系统102a的实例实施例中，可基于暗场目标剪辑及明场目标剪辑而制备一或多个经处理剪辑。举例来说，可从一个目标剪辑及两个参考剪辑产生
一或多个中值剪辑。通过另一实例，可通过从目标剪辑减去中值剪辑而产生一或多个差异剪辑。例如，可通过从暗场目标(df_t)剪辑减去暗场中值剪辑而产生第一差异剪辑(例如，暗场差异(df_d)剪辑)。此外，可通过从明场目标(bf_t)剪辑减去明场中值剪辑而产生第二差异剪辑(例如，明场差异(bf_d)剪辑)。在此方面，对于给定缺陷，系统100可包含四个经处理剪辑(例如，bf_t、bf_d、df_t及df_d)。本文中应注意，目标(t)剪辑及差异(d)剪辑可为均值中心化且正规化。通过进一步实例，可产生噪声剪辑(或标准差)。例如，可使用中值剪辑的一或多个强度值作为x轴且使用一或多个差异图像值作为y轴来创建散点图标绘图。在此方面，标准差可计算为每通道的中间强度的查找表函数。此外，存在可用于创建与中值图像对准的二进制图像剪辑的设计文件的多边形渲染。
65.此外，可通过经由自动编码器变换一或多个经处理剪辑而产生一或多个经编码图像。出于本公开的目的，术语“自动编码器”是指神经网络，其目标是将输入数据(xi)压缩成所要大小(例如，隐藏层(hi)或潜在空间)且以最小重建损失进一步重建输入数据因此，自动编码器可经配置以帮助识别输入数据的基本信息且将其留存于隐藏层(h)中。可通过等式1描述一般自动编码器：
66.hi＝g(wxi b)
[0067][0068]
其中
[0069]hi
∈rm[0070]
m＜＜n
[0071]
等式1描述用于单个输入数据的隐藏及输出层单元的建构，其中w是自动编码器的压缩部分(例如，编码器)且w
t
是自动编码器的解压缩部分(例如，解码器)。在等式1中，xi是图像i，hi是经编码图像i，w是编码器的权矩阵，b是编码器的偏向量，是经重建图像，w
t
是解码器的权矩阵，c是解码器的偏置，rn是大小n个像素的全部可能图像，且rm是长度m的全部可能经编码图像。通过g()及f()给出激活函数，其中g()是编码器的激活函数且f()是解码器的激活函数。在g.e.欣顿(g.e.hinton)等人的《用神经网络降低数据的维数》(reducing the dimensionality of data with neural networks)，第313卷，第5786期，第504-507页，2006年中找到自动编码器的描述，所述文献的全部内容以引用的方式并入。在b.h.等人的《多层感知器的自动关联及奇异值分解，生物控制论》(auto-association by multilayer perceptrons and singular value decomposition，biological cybernetics)，第59卷，第4到5期，第291到294页，1988年中找到自动编码器的描述，所述文献的全部内容以引用的方式并入。
[0072]
驱动用于二进制输入的自动编码器(例如，等式1)的损失函数是二进制互熵法(未展示)。实值输入的损失函数(l)是平方误差损失且可通过等式2进行描述：
[0073][0074]
通常，自动编码器训练从随机初始化权重开始且在每一迭代中，损失函数(等式2)驱动权重以达到最优解。然而，当自动编码器在编码器及解码器平方误差损失函数及正规化输入中具有线性激活函数时，通过输入数据的协方差矩阵的特征向量给出最优权重，其
可通过等式3进行描述：
[0075]
w＝u
≤m
[0076]
xx
t
＝udu
t
[0077]
其中x∈rn×n[0078]
在等式3中，由“n”个均值中心化且正规化的输入数据点建构矩阵
‘
x’，其中w是输入数据的单值分解u的权重的前m列，x
t
x是输入数据集的协方差矩阵，且d是x
t
x的特征值的对角矩阵。
[0079]
在实例实施例中，自动编码器是包含卷积层及两个全连接层的堆叠三层自动编码器。举例来说，堆叠自动编码器可学习输入数据的有效低维表示，其在本文中进一步描述。例如，输入图像可包含1024个像素(例如，32
×
32)且减少到小于100个值。在另一例子中，输入图像可包含4096个像素(例如，64
×
64)且减少到小于400个值。本文中应注意，输入图像可具有任何数目个像素且自动编码器可经配置以将数据减少到任何数目个值。因此，上文描述不应限制本公开的范围。
[0080]
本文中应注意，自动编码器算法可经配置以在计算机处理单元(cpu)、图形处理单元(gpu)、实体工程(solid works)(sw)或类似者中的至少一者上运行。此外，本文中应注意，自动编码器算法可包含线性或非线性激活函数。
[0081]
在额外/替代实施例中，系统100利用主成分分析(pca)对一或多个经编码图像进行编码。举例来说，pca可将输入数据压缩成一或多个经编码图像。
[0082]
在另一实施例中，在步骤206中，系统100经配置以经由聚类算法将一或多个经编码图像分类成一组集群。举例来说，一旦自动编码器已学习输入数据的映射(如步骤204中展示)，便使用聚类算法映射及聚类数据。例如，可使用聚类算法将类似对象一起分组成可管理数目个类别。在此方面，基于一或多个经编码图像中的类似值将对象群组聚类在一起。控制器104可经配置以使用包含(但不限于)监督学习、无监督学习及类似者的任何聚类算法将一或多个编码图像分类成一组集群。在d.亚瑟(d.arthur)等人的《k-means ：精心播种的优势》(the advantages of careful seeding)，acm-siam离散算法研讨会(acm-siam symposium on discrete algorithms)，第1027到1035页，2007年中找到聚类算法的描述，所述文献的全部内容以引用的方式并入。
[0083]
在实例实施例中，聚类算法是k均值 聚类算法(例如，无监督学习算法)。举例来说，算法包含第一步骤，其中从x均匀地随机选取初始中心c1。通过另一实例，算法包含第二步骤，其中通过选择具有概率的ci＝x
′
∈x而选取下一中心ci。此外，重复第二步骤直到已选取总计k个中心(例如，所需集群的数目)。本文中将进一步描述k均值 聚类算法。
[0084]
在额外/替代实施例中，在步骤206中，系统100经配置以利用多样性取样对图像进行分类且重检所述图像。举例来说，多样性取样可经配置以选择群体的实例以推断整个集合的性质。例如，多样性取样可经配置以选择彼此隔开尽可能远的实例。在另一例子中，多样性取样可经配置以利用来自具有关于或多或少可能发生缺陷的位置的先验知识的用户的输入。此外，每一样本图像可含有描述与检测此事件相关联的属性的相关联度量列表。在此方面，用户可基于这些属性指派规则以执行多样性取样。本文中应注意，与检测相关联的一或多个属性可包含(但不限于)缺陷区域、峰值差异强度及所关注区。
[0085]
在另一实施例中，在步骤208中，系统100经配置以重检并标记分类图像。举例来说，系统100可经配置以经由用户接口110对用户显示来自所述组集群中的一或多者的一或多个经分类图像，如本文中在图6中进一步论述。例如，聚类算法的输出可确定特性化子系统(例如，检验工具、重检工具或类似者)抓取图像以对用户显示使得用户可标记图像的位置。在此方面，用户接口110可经配置以显示每集群的突显实例以供用户指派标签。举例来说，用户接口110可基于大小(例如，降序或升序)而显示突显实例。
[0086]
通过另一实例，系统100可经配置以经由用户接口110从用户接收一或多个经显示分类图像的一或多个标签。例如，用户可经由用户接口110的用户输入装置标记一或多个经显示分类图像。本文中应注意，一或多个标签可包含适于在经分类图像上定义一或多个缺陷的任何标签，包含(但不限于)大粒子、小粒子、集群、图案、变色、假不可见缺陷(nvd)、库珀桥接件(cu桥接件)、薄片、刮痕、堆叠层错、浆料珠子或类似者。
[0087]
在另一实施例中，在步骤210中，系统100经配置以确定接收的一或多个标签是否足以训练深度学习分类器。举例来说，用户可确定系统100已针对各种类别的缺陷接收足够数目个标签，使得可训练深度学习分类器。如本文中先前所述，深度学习分类器需要足够数目个不同实例以便有效地训练深度学习分类器以对一或多个额外目标图像自动分类。
[0088]
在另一实施例中，在步骤212中，在确定一或多个所接收标签足以训练深度学习分类器后，训练深度学习分类器。举例来说，一旦训练深度学习分类器，此分类器便可应用于一或多个额外目标图像。本文中应注意，深度学习分类器允许用户快速重检缺陷且选取合适实例以训练分类系统。特定来说，使用深度学习分类器以将类似缺陷类型分组到同一分格中以快速引导用户进行缺陷发现。
[0089]
在另一实施例中，在步骤214中，在确定一或多个所接收标签不足以运用深度学习分类器训练网络后，执行自举步骤。举例来说，系统100可经配置以推荐一或多个额外经分类图像以获得一或多个额外标签。例如，在步骤208中，系统100可进一步经由用户接口对用户显示一或多个经分类图像，使得一或多个经分类图像可接收一或多个额外标签。在此方面，一旦用户已接收一或多个额外标签，用户便可确定此类额外标签是否足以训练深度学习分类器。更特定来说，系统100可经配置以通过向用户呈现具有混合概率分数的事件而推荐一或多个额外经分类图像。出于本公开的目的，术语“额外经分类图像”是指先前已由系统100分类但尚未由用户标记的图像。本文中应注意，一或多个额外标签可包含适于在经分类图像上定义一或多个缺陷的任何标签，包含(但不限于)大粒子、小粒子、集群、图案、变色、假不可见缺陷(nvd)、库珀桥接件(cu桥接件)、薄片、刮痕、堆叠层错、浆料珠子或类似者。
[0090]
通过另一实例，系统100可经配置以运用一或多个标签训练弱监督深度学习分类器。通过进一步实例，系统100可经配置以推荐无标签的图像，所述图像类似于具有很少事件的分格或网络具有针对其低置信度。
[0091]
通过进一步实例，系统100可经配置以向用户呈现已由用户误标记的事件。例如，可基于与用户指定标签相关联的低概率分数而向用户呈现误标记事件。在此方面，系统100允许用户修复可能影响深度学习网络性能的标记错误。本文中应注意，可并行使用低分辨率图像或高分辨率图像或代替低分辨率或高分辨率图像来训练深度学习分类器。
[0092]
在实例实施例中，用户可提示系统100显示类别a缺陷的一或多个额外经分类图像
(例如，类别a分格中的图像)。举例来说，用户可提示系统100显示30个类别a缺陷。在此方面，系统100可经配置以推荐额外经分类类别a缺陷图像以供用户标记。本文中应注意，用户可提示系统100针对任何分类分格寻找任何数目个图像及任何类别的缺陷图像。
[0093]
图3a到3b说明根据本公开的一或多个实施例的用于使用受引导发现来检测缺陷的方法300的流程图。特定来说，图3a到3b说明用于使用深度学习技术来检测缺陷的方法300。本文中应注意，方法300的步骤可全部或部分通过系统100实施。然而，应进一步认识到方法300不限于系统100，这是因为额外或替代系统级实施例可实行方法300的全部或部分步骤。
[0094]
在步骤302中，从特性化子系统102接收样本120的一或多个图像125。举例来说，如图1b中展示，控制器104可经配置以从光学检验子系统102a接收样本120的一或多个缺陷的一或多个光学图像125。通过另一实例，如图1c中展示，控制器104可经配置以从sem检验子系统102b接收样本120的一或多个缺陷的一或多个sem图像125。
[0095]
在步骤304中，从一或多个图块剪辑135识别一或多个目标剪辑。样本120的一或多个图像可包含针对每一缺陷的一或多个图块剪辑135。
[0096]
在步骤306中，基于一或多个目标剪辑而制备一或多个经处理剪辑。举例来说，可基于一或多个目标剪辑及一或多个参考剪辑而产生一或多个中值剪辑。例如，可基于第一目标剪辑、第一参考剪辑及第二参考剪辑而产生一或多个中值剪辑。通过另一实例，可基于一或多个目标剪辑及一或多个中值剪辑而产生一或多个差异剪辑。例如，可通过从目标剪辑减去中值剪辑而产生一或多个差异剪辑。出于本公开的目的，术语“参考剪辑”是指大体上干净(例如，不含有缺陷)的剪辑。
[0097]
在步骤308中，通过经由自动编码器变换一或多个经处理剪辑而产生一或多个经编码图像。举例来说，自动编码器可经配置以使用经堆叠自动编码器(例如，单个三层自动编码器)来学习输入数据(例如，一或多个图块剪辑)的有效低维表示。例如，自动编码器可接收来自步骤306的一或多个经处理剪辑作为输入(例如，四个64
×
64剪辑)且将所述一或多个经处理剪辑馈送到第二层(例如，卷积神经网络(cnn)层)。第二层(例如，cnn层)可包含一或多个滤波器。举例来说，一或多个滤波器(例如，六十四个8
×
8滤波器)可经由跨步应用于输入图像的子集，使得输出图像的大小减小步幅因子(例如，步幅4)。因此，包含六十四个15
×
15剪辑的第二层(例如，cnn层)的输出可包含馈送到第三层(例如，第一全连接层)的一或多个特征映射。在此方面，第三层(例如，第一全连接层)经配置以重新塑形一或多个特征映射且减小所述一或多个特征映射的大小。举例来说，第三层(例如，第一全连接层)可经配置以将一或多个特征映射的大小从六十四个15
×
15剪辑减小到1350
×
1。第四层(例如，第二全连接层)可经配置以进一步减小一或多个特征映射的大小。举例来说，第四层(例如，第二全连接层)可经配置以将一或多个特征映射的大小进一步减小到192
×
1。
[0098]
在步骤310中，经由聚类算法将一或多个经编码图像分类成一组集群。举例来说，一旦自动编码器已学习输入数据(例如，一或多个图块剪辑)的映射，便使用聚类算法映射及聚类一或多个图块剪辑。例如，k均值 聚类算法可经配置以将一或多个经编码图像分类成一组集群。在此方面，k均值 聚类算法可经配置以将数据分组成k个集群(例如，所需数目个集群)且针对每一数据点传回正规化距离。
[0099]
正规化距离(d)可为每一数据点到其集群中心的平方距离乘以正规化因子，如通
过等式4展示：
[0100][0101]
其中xj∈si[0102]
正规化因子(r)是数据点到其相关联类别中心的全部平方残差距离的总和，如通过等式5展示：
[0103][0104]
在等式4到5中，si包含指派给集群i的全部数据且ci是集群i的中心。在等式4中，xj是指第j个图像，ci是指通过对属于第j个集群的全部图像进行平均化而计算的图像，且是指第j个图像与第j个集群中心之间的平方误差。在等式5中，通过将图像的全部平方误差(例如，)加总到其相应集群中心而计算正规化因子。通过应用此正规化因子，平均正规化距离度量是1。
[0105]
如本文中先前论述，k均值 算法可通过随机选择数据点作为第一集群的质心而开始。此外，算法可继续以概率逐个选择剩余质心。本文中应注意，将数据点选取为质心的几率与所述数据点距最近可用质心的距离成比例。在此方面，算法确保质心在输入空间上展开。应注意，在常规k均值算法中，初始质心选择是任意选取，而非上文描述的指定步骤。
[0106]
先前描述的距离度量(例如，等式4)经配置以突显每一集群中的离群点。举例来说，可使用聚类算法来识别离群点事件，接着可向用户呈现此类离群点事件以获得标签。此外，可向用户呈现离群点集群以获得额外标签。在此方面，可定义距离度量使得典型值是1。足够不同于其它图像的图像可突出且将采取大于1的值，使得用户可通过以升序对距离度量进行分类而容易识别所述图像。
[0107]
在步骤312中，经由用户接口110对用户显示来自一或多组集群的一或多个经分类图像。举例来说，用户接口110的显示器可对用户显示一或多个经分类图像。例如，聚类算法的输出可确定向用户呈现哪些图像。在此方面，向用户呈现相关突显实例以获得标签。
[0108]
在步骤314中，一或多个经显示分类图像经由用户接口110从用户接收一或多个标签。举例来说，用户可使用用户接口110的用户输入装置来标记一或多个经显示分类图像。
[0109]
在步骤316中，用户确定接收的一或多个标签是否足以训练深度学习分类器。举例来说，用户接口的显示器可包含基于来自用户的一或多个经接收标签的一或多个诊断。例如，显示器可包含用户已标记的经显示图像的数目。在此方面，用户可确定接收的一或多个标签是否足以训练深度学习分类器(例如，用户是否已跨若干类别标记足够数目个实例)。如本文中先前所述，深度学习分类器需要足够数目个实例以便有效地训练深度学习分类器。因此，用户必须确定其是否已足够标记令人满意数目个实例以训练深度学习分类器。
[0110]
在确定接收的一或多个标签足以训练深度学习分类器后，在步骤318中，使用一或多个经显示分类图像及接收的一或多个标签来训练深度学习分类器。一旦经训练，深度学习分类器便可应用于一或多个额外目标图像以自动对所述一或多个额外目标图像进行分
类。
[0111]
图4a到4b说明根据本公开的一或多个实施例的用于使用受引导发现来检测缺陷的方法400的流程图。本文中应注意，方法400的步骤可全部或部分通过系统100实施。然而，应进一步认识到方法400不限于系统100，这是因为额外或替代系统级实施例可实行方法400的全部或部分步骤。
[0112]
在步骤402中，从特性化子系统102接收样本120的一或多个图像125。举例来说，如图1b中展示，控制器104可经配置以从光学检验子系统102a接收一或多个光学图像125。通过另一实例，如图1c中展示，控制器104可经配置以从sem检验子系统102b接收一或多个sem图像125。
[0113]
在步骤404中，从一或多个图块剪辑135识别一或多个目标剪辑。样本120的一或多个图像可包含一或多个图块剪辑135。
[0114]
在步骤406中，从一或多个目标剪辑制备一或多个经处理剪辑。举例来说，可基于一或多个目标剪辑及一或多个参考剪辑而产生一或多个中值剪辑。例如，可基于第一目标剪辑、第一参考剪辑及第二参考剪辑而产生一或多个中值剪辑。通过另一实例，可基于一或多个目标剪辑及一或多个中值剪辑而产生一或多个差异剪辑。例如，可通过从目标剪辑减去中值剪辑而产生一或多个差异剪辑。
[0115]
在步骤408中，从一或多个经处理剪辑产生一或多个经编码图像。举例来说，自动编码器可经配置以使用经堆叠自动编码器(例如，单个三层自动编码器)来学习输入数据(例如，一或多个图块剪辑)的有效低维表示。
[0116]
在步骤410中，将一或多个经编码图像分类成一组集群。举例来说，一旦自动编码器已学习输入数据(例如，一或多个图块剪辑)的映射，便使用聚类算法(例如，k均值 )映射及聚类一或多个图块剪辑。
[0117]
在步骤412中，经由用户接口对用户显示一或多个经分类图像。举例来说，用户接口110的显示器可对用户显示一或多个经分类图像。
[0118]
在步骤414中，经由用户接口从用户接收一或多个经显示分类图像的一或多个标签。举例来说，用户可使用用户输入装置来标记一或多个经显示分类图像。
[0119]
在步骤416中，用户确定接收的一或多个标签是否足以训练深度学习分类器。举例来说，用户确定对于待识别的全部类型的对象是否存在足够数目个实例。
[0120]
在步骤418中，用户确定接收的一或多个标签不足以训练深度学习分类器。举例来说，用户可确定存在不足数目个实例以训练深度学习分类器。
[0121]
在步骤420中，经由用户接口对用户显示一或多个额外经分类图像。举例来说，系统100可经配置以推荐额外实例(例如，先前经分类图像)以获得标签(如图2a的步骤214中展示)。例如，用户可提示系统100寻找额外类别b缺陷实例以获得标签。本文中应注意，一或多个额外经分类图像可包含已经历至少步骤402到410但尚未经历步骤412到414的图像。
[0122]
在步骤422中，经由用户接口110从用户接收额外一或多个标签。举例来说，可对用户显示推荐实例且用户可标记显示图像。
[0123]
在步骤424中，用户进一步确定所接收的额外一或多个标签以及一或多个标签是否足以训练深度学习分类器。
[0124]
在确定接收的一或多个额外标签以及一或多个标签足以训练深度学习分类器后，
在步骤426中，训练深度学习分类器。一旦经训练，深度学习分类器便可应用于一或多个额外目标图像以自动对所述一或多个额外目标图像进行分类。
[0125]
图5说明根据本公开的一或多个实施例的用于使用受引导发现对一或多个缺陷进行分类的方法500的流程图。本文中应注意，方法500的步骤可全部或部分通过系统100实施。然而，应进一步认识到方法500不限于系统100，这是因为额外或替代系统级实施例可实行方法500的全部或部分步骤。
[0126]
在步骤502中，从特性化子系统102接收样本120的一或多个图像125。举例来说，如图1b中展示，控制器104可经配置以从光学检验子系统102a接收一或多个光学图像125。通过另一实例，如图1c中展示，控制器104可经配置以从sem检验子系统102b接收一或多个sem图像125。
[0127]
在步骤504中，从一或多个图块剪辑135识别一或多个目标剪辑。样本120的一或多个图像可包含一或多个图块剪辑135。
[0128]
在步骤506中，从一或多个目标剪辑制备一或多个经处理剪辑。举例来说，可基于一或多个目标剪辑及一或多个参考剪辑而产生一或多个中值剪辑。例如，可基于第一目标剪辑、第一参考剪辑及第二参考剪辑而产生一或多个中值剪辑。通过另一实例，可基于一或多个目标剪辑及一或多个中值剪辑而产生一或多个差异剪辑。例如，可通过从目标剪辑减去中值剪辑而产生一或多个差异剪辑。
[0129]
在步骤508中，从一或多个经处理剪辑产生一或多个经编码图像。举例来说，自动编码器可经配置以使用经堆叠自动编码器(例如，单个三层自动编码器)来学习输入数据(例如，一或多个图块剪辑)的有效低维表示。
[0130]
在步骤510中，将一或多个经编码图像分类成一组集群。举例来说，一旦自动编码器已学习输入数据(例如，一或多个图块剪辑)的映射，便使用聚类算法(例如，k均值 )映射及聚类一或多个图块剪辑。
[0131]
在步骤512中，经由用户接口对用户显示一或多个经分类图像。举例来说，用户接口110的显示器可对用户显示一或多个经分类图像(例如，如图6a到6c中展示)。
[0132]
在步骤514中，经由用户接口从用户接收一或多个经显示分类图像的一或多个标签。举例来说，用户可使用用户输入装置来标记一或多个经显示分类图像(例如，如图6a到6c中展示)。
[0133]
在步骤516中，基于接收的一或多个标签而调整一或多个制造工具。举例来说，可在前馈或反馈控制回路中调整一或多个制造工具。一或多个制造工具可包含所属领域中已知的任何制造工具，包含(但不限于)光刻工具、蚀刻工具、沉积工具、抛光工具及类似者。
[0134]
图6a说明根据本公开的一或多个实施例的缺陷分类图形用户接口(gui)600的一部分的简化视图。在一个实施例中，gui 600经配置以显示于显示装置上。在另一实施例中，gui 600经配置以允许容易地选择可由用户经由一或多个用户输入装置(例如，快捷方式、鼠标点击或类似者)标记的图库中的多个图像。在此方面，缺陷分类gui 600可经配置以加速大数据集的缺陷分类的过程。
[0135]
在另一实施例中，缺陷分类gui 600包含包括一或多个菜单图标604的一或多个菜单栏602。本文中应注意，尽管图6a描绘包含主页图标、编辑图标、设置(或参数)图标、层图标、目标图标或类似者的一或多个菜单图标604，但此描绘仅出于阐释性目的而提供且不应
被解释为限制本公开的范围。
[0136]
在另一实施例中，gui 600包含拒绝按钮。举例来说，用户可通过选择拒绝按钮而指示其希望从训练集移除记录。本文中应注意，出于各种原因，此可为所要的，包含(但不限于)记录不明确，记录不重要或类似者。
[0137]
在另一实施例中，gui 600包含一或多个窗口标签606。本文中应注意，尽管图6a描绘包含全部标签、集群中心标签、预清除标签、按id集群标签、离群点标签、新标签及类似者的一或多个窗口标签606，但此描绘仅出于阐释性目的而提供且不应被解释为限制本公开的范围。
[0138]
在另一实施例中，gui 600包含显示区域608。举例来说，gui 600可包含包括一或多个重检图像的显示区域608。通过另一实例，gui 600可包含包括一或多个图块剪辑图像135的显示区域608。
[0139]
在另一实施例中，一或多个窗口标签606的选择经配置以改变显示区域608。举例来说，一或多个窗口标签606的选择可经配置以改变在显示区域608上展示的一或多个图块剪辑图像135。例如，离群点窗口标签的选择可经配置以仅在显示区域608上展示离群点图块剪辑图像。
[0140]
在另一实施例中，一或多个菜单图标604的选择经配置以改变gui 600的一或多个组件。举例来说，一或多个菜单图标604的选择可经配置以改变显示区域608的一或多个组件。举例来说，一或多个菜单图标604的选择可调整控制在显示区域608上显示的图像的各种设置。例如，可经由一或多个菜单图标604来调整图像的大小。在另一例子中，可调整所显示图像的数目。在此方面，可调整在右侧空间中显示的图像的数目。在另一例子中，可调整亮度及/或对比度。在另一例子中，可调整是否在相同空间中显示关于图像的信息(例如，标签)或隐藏所述信息。
[0141]
图6b说明根据本公开的一或多个实施例的缺陷分类图形用户接口(gui)600的一部分的简化视图。
[0142]
在另一实施例中，gui 600包含编辑显示区域612，其包含来自显示区域608的一或多个图块剪辑图像135的图块剪辑图像。举例来说，当选择编辑图标604时，可在gui 600上显示包含选定图块剪辑图像的编辑显示区域612。在另一实施例中，编辑显示区域612可包含一或多个编辑图标614。一或多个编辑图标614可包含所属领域中已知的任何编辑图标，包含(但不限于)缩小图标、放大图标、裁剪图标、标尺图标、删除图标、旋转图标、图像大小图标、粘性选择图标、设置图标或类似者。
[0143]
在另一实施例中，编辑显示区域612包含一或多个标签的列表616。举例来说，编辑显示区域612可包含包括一或多个标签的列表616的向下滚动菜单。在另一实施例中，编辑显示区域612包含训练图标614。举例来说，用户可从列表616选择一或多个标签使得可充分标记缺陷且在已满足足够数目个实例时用户可选择训练图标614。
[0144]
在另一实施例中，编辑显示区域612包含一行图像。所述行图像可包含所述记录的可用图像。举例来说，用户可选择一或多个可用图像以显示于编辑显示区域612中。
[0145]
图6c说明根据本公开的一或多个实施例的缺陷分类图形用户接口(gui)600的一部分的简化视图。特定来说，图6c说明缺陷分类gui 600的混淆矩阵窗口618。
[0146]
在一个实施例中，混淆矩阵窗口618经配置以允许用户可视化深度学习分类器相
对于实况的性能。举例来说，混淆矩阵窗口618可包含每一标签的准确性百分比。
[0147]
在另一实施例中，混淆矩阵窗口618包含一或多个下拉菜单620。举例来说，混淆矩阵窗口618可包含类别下拉菜单620。
[0148]
图7a说明根据本公开的一或多个实施例的集群质心gui 700的简化视图。图7b说明根据本公开的一或多个实施例的个别集群gui 710的简化视图。图7c说明根据本公开的一或多个实施例的离群点gui 720的简化视图。
[0149]
通常参考图7a到7c，在一个实施例中，gui 700、710、720经配置以显示于显示装置上。在另一实施例中，gui 700、710、720包含包括一或多个图标704的菜单栏702。本文中应注意，尽管图7a到7c描绘包含图标704(例如，主页图标、目标图标、设置图标或类似者)的特定配置的菜单栏702，但此描绘仅出于阐释性目的而提供且不应被解释为限制本公开的范围。菜单栏702可包含适于受引导缺陷发现gui的任何数目及类型的图标704。
[0150]
在另一实施例中，gui 700、710、720包含一或多个窗口标签606。举例来说，在集群质心gui 700中，一或多个窗口标签706可包含集群中心标签、按id集群标签、离群点标签及清除标签。通过另一实例，在个别集群gui 710中，一或多个窗口标签706可包含集群中心标签、按id集群标签、离群点标签、清除标签及未分类标签。通过另一实例，在离群点gui 720中，一或多个窗口标签706可包含集群中心标签、按id集群标签、离群点标签、清除标签及未分类标签。本文中应注意，gui 700、710、720可包含适于受引导缺陷发现gui的任何数目及类型的窗口标签706。
[0151]
参考图7a，在一个实施例中，gui 700包含显示区域708。在另一实施例中，显示区域708包含一或多个质心集群图像712。举例来说，显示区域708可包含每一集群的质心缺陷的图像(例如，一或多个质心集群图像712)。在另一实施例中，gui 600经配置以显示经分类的一或多个集群图像712。举例来说，可按大小对一或多个集群图像712进行分类。例如，可按升序大小对一或多个集群图像712进行分类。本文中应注意，较小集群通常趋向于含有所关注事件，因此以升序对集群大小进行分类是有益的。在另一例子中，可按降序大小对一或多个集群图像712进行分类。
[0152]
参考图7b，在一个实施例中，gui 710包含显示区域714。在另一实施例中，显示区域614包含一或多个个别集群图像716。举例来说，显示区域614可包含属于特定集群的全部图像(例如，一或多个个别集群图像716)。
[0153]
参考图7c，在一个实施例中，gui 720包含显示区域718。在另一实施例中，显示区域718包含一或多个离群点图像722。举例来说，显示区域718可包含如根据一或多个度量测量的统计离群点(例如，一或多个离群点图像722)的图库。在另一实施例中，gui 720经配置以显示经分类的一或多个离群点图像722。举例来说，可根据度量分数对一或多个离群点图像722进行分类。例如，可按到质心的距离(例如，到集群中心的距离)对一或多个离群点图像722进行分类。在另一例子中，可按邻域距离(例如，局部密度的量度)对一或多个离群点图像722进行分类。本文中应注意，离群点通常是所关注事件，因此，按度量分数(例如，到质心的距离、邻域距离或类似者)进行分类是有益的。
[0154]
在另一实施例中，gui 600、700、710、720经配置以显示预测完成分数。举例来说，gui可经配置以基于用户的进度而显示预测完成分数。在此方面，用户的进度可为所关注事件仍存在于剩余未标记数据集中的概率的估计。本文中应注意，可使用聚类数据(例如，到
质心的距离)来预测完成分数。
[0155]
本文中应注意，系统100的基于深度学习的技术使用户能够基于聚类算法的突显相关实例而快速重检缺陷。此外，系统100的基于深度学习的技术使用户能够选取合适实例以训练深度学习分类器以便自动地对额外目标图像进行分类。
[0156]
本文中应注意，系统100的一或多个组件可以所属领域中已知的任何方式通信耦合到系统100的各种其它组件。举例来说，一或多个处理器106可经由有线(例如，铜线、光纤缆线及类似者)或无线连接(例如，rf耦合、ir耦合、wimax、蓝牙、3g、4g、4g lte、5g及类似者)彼此通信耦合且通信耦合到其它组件。通过另一实例，控制器104可经由所属领域中已知的任何有线或无线连接通信耦合到检验子系统102的一或多个组件。
[0157]
在一个实施例中，一或多个处理器106可包含所属领域中已知的任一或多个处理元件。在此意义上，一或多个处理器106可包含经配置以执行软件算法及/或指令的任何微处理器型装置。在一个实施例中，一或多个处理器106可由以下各者组成：桌上型计算机、主机计算机系统、工作站、图像计算机、平行处理器，或经配置以执行经配置以如贯穿本公开描述那样操作系统100的过程的其它计算机系统(例如，网络计算机)。应认识到，可通过单个计算机系统或替代地多个计算机系统实行贯穿本公开描述的步骤。此外，应认识到，可在一或多个处理器106中的任一或多者上实行在贯穿本公开描述的步骤。一般来说，术语“处理器”可广泛定义为涵盖具有执行来自存储器108的程序指令的一或多个处理元件的任何装置。此外，系统100的不同子系统(例如，照明源112、电子束源128、检测器组合件126、电子检测器组合件134、控制器104、用户接口110及类似者)可包含适于实行贯穿本公开描述的步骤的至少一部分的处理器或逻辑元件。因此，上文描述不应解释为对本公开的限制而是仅为说明。
[0158]
存储器108可包含所属领域中已知的适于存储可由相关联的一或多个处理器106执行的程序指令及从检验子系统102接收的数据的任何存储媒体。举例来说，存储器108可包含非暂时性存储器媒体。例如，存储器108可包含(但不限于)只读存储器(rom)、随机存取存储器(ram)、磁性或光学存储器装置(例如，磁盘)、磁带、固态硬盘及类似者。应进一步注意，存储器108可与一或多个处理器106容置于共同控制器外壳中。在替代实施例中，存储器108可相对于处理器106、控制器104及类似者的物理位置远程地定位。在另一实施例中，存储器108维持用于导致一或多个处理器106实行通过本公开描述的各个步骤的程序指令。
[0159]
在一个实施例中，用户接口110通信耦合到控制器104。在一个实施例中，用户接口110可包含(但不限于)一或多个桌上型计算机、平板计算机、智能电话、智能手表或类似者。在另一实施例中，用户接口110包含用于对用户显示系统100的数据的显示器。用户接口110的显示器可包含所属领域中已知的任何显示器。举例来说，显示器可包含(但不限于)液晶显示器(lcd)、基于有机发光电二极管(oled)的显示器或crt显示器。所属领域的技术人员应认识到，能够与用户接口110集成的任何显示装置适于在本公开中实施。在另一实施例中，用户可响应于经由用户接口110的用户输入装置对用户显示的数据而输入选择及/或指令。
[0160]
在一个实施例中，一或多个用户输入装置可包含所属领域中已知的任何数据输入装置。举例来说，一或多个用户输入装置可包含(但不限于)键盘、小键盘、触摸屏、控制杆、旋钮、滚轮、轨迹球、开关、拨盘、滑杆、滚动轴、滑动件、触摸板、踏板、方向盘、操纵杆、按钮、
边框输入装置或类似者。在触摸屏接口的情况中，所属领域的技术人员应认识到，大量触摸屏接口可适于在本公开中实施。例如，显示装置可与触摸屏接口(例如(但不限于)电容触摸屏、电阻触摸、基于表面声学的触摸屏、基于红外线的触摸屏或类似者)集成。在一般意义上，能够与显示装置的显示部分集成的任何触摸屏接口适于在本公开中实施。
[0161]
所属领域的技术人员将认识到为了概念清楚使用本文中描述的组件(例如，操作)、装置、对象及伴随其论述作为实例且预期各种配置修改。因此，如本文中使用，阐述的特定范例及所附论述希望表示其更一般的类别。一般来说，任何特定范例的使用希望表示其类别，且不包含特定组件(例如，操作)、装置及对象不应被视为限制性的。
[0162]
所属领域的技术人员将了解，存在可实现本文中所描述的过程及/或系统及/或其它技术的各种载体(例如，硬件、软件及/或固件)，且优选载体将随着其中部署过程及/或系统及/或其它技术的内容背景而变化。例如，如果实施者确定速度及准确度是最重要的，那么实施者可选择主要硬件及/或固件载体；替代地，如果灵活性是最重要的，那么实施者可选择主要软件实施方案；或者，再次替代地，实施者可选择硬件、软件及/或固件的某一组合。因此，存在可实现本文中所描述的过程及/或装置及/或其它技术的数种可能载体，其中的任一者本质上并不优于其它者，这是因为待利用的任何载体是取决于其中将部署载体的内容背景及实施者的特定考虑因素(例如，速度、灵活性或可预测性)的选择，所述内容背景及考虑因素中的任一者可能变化。
[0163]
呈现先前描述以使所属领域的一般技术人员能够制造且使用如在特定应用及其要求的内容背景中提供的本发明。如本文中所使用，例如“顶部”、“底部”、“上方”、“下方”、“上”、“向上”、“下”、“往下”及“向下”的方向性术语希望为描述的目的而提供相对位置，且并不希望指定绝对参考系。所属领域的技术人员将明白对所描述实施例的各种修改，且本文中定义的一般原理可应用于其它实施例。因此，本发明并不希望限于所展示及描述的特定实施例，而是应符合与本文中所公开的原理及新颖特征一致的最广范围。
[0164]
关于本文中对大体上任何复数及/或单数术语的使用，所属领域的技术人员可视上下文及/或应用从复数转化成单数及/或从单数转化成复数。为清楚起见，本文中未明确阐述各种单数/复数置换。
[0165]
本文中所描述的所有方法可包含将方法实施例的一或多个步骤的结果存储于存储器中。结果可包含本文中所描述的任何结果且可以所属领域中已知的任何方式存储。存储器可包含本文中所描述的任何存储器或所属领域中已知的任何其它合适存储媒体。在已存储结果之后，结果可在存储器中存取且通过本文中所描述的任何方法或系统实施例使用、经格式化用于显示给用户、通过另一软件模块、方法或系统使用，及类似者。此外，结果可“永久地”、“半永久地”、“暂时地”存储或存储达某一时段。例如，存储器可为随机存取存储器(ram)，且结果可能不一定无限期地保存于存储器中。
[0166]
应进一步考虑，上文描述的方法的实施例中的每一者可包含本文中描述的任何其它方法的任何其它步骤。另外，上文描述的方法的实施例中的每一者可由本文中描述的系统中的任一者执行。
[0167]
本文中描述的标的物有时说明含于其它组件内或与其它组件连接的不同组件。应理解，此类所描绘的架构仅为实例的，且事实上可实施实现相同功能性的许多其它架构。在概念意义上，用以实现相同功能性的组件的任何布置经有效“相关联”使得实现所要功能
性。因此，在本文中组合以实现特定功能性的任两个组件可被视为彼此“相关联”使得实现所要功能性，而不考虑架构或中间组件。同样地，如此相关联的任两个组件还可被视为彼此“连接”或“耦合”以实现所要功能性，且能够如此相关联的任两个组件还可被视为彼此“可耦合”以实现所要功能性。可耦合的特定实例包含但不限于可物理配合及/或物理交互组件及/或可无线交互及/或无线交互组件及/或逻辑交互及/或可逻辑交互组件。
[0168]
此外，应理解，本发明由所附权利要求书定义。所属领域的技术人员将理解，一般来说，在本文中且尤其是在所附权利要求书(例如，所附权利要求书的主体)中所使用的术语一般希望作为“开放式”术语(例如，术语“包含(including)”应被解释为“包含但不限于”，术语“具有”应被解释为“至少具有”，术语“包括(includes)”应被解释为“包括但不限于”，及类似者)。所属领域的技术人员进一步将理解，如果想要引入权利要求叙述的特定数目，那么此意图将明确叙述于权利要求中，且在缺乏此叙述的情况下不存在此意图。例如，作为理解的辅助，下文所附权利要求书可含有引导性短语“至少一个”及“一或多个”的使用以引入权利要求叙述。然而，此类短语的使用不应被解释为隐含通过不定冠词“一”或“一个”引入权利要求叙述将含有此引入权利要求叙述的任何特定权利要求限制为含有仅一个此叙述的发明，即使相同权利要求包含引导性短语“一或多个”或“至少一个”及例如“一”或“一个”的不定冠词(例如，“一”及/或“一个”通常应被解释为意指“至少一个”或“一或多个”)；上述内容对用于引入权利要求叙述的定冠词的使用同样适用。另外，即使明确叙述引入权利要求叙述的特定数目，所属领域的技术人员仍将认识到此叙述通常应被解释为意指至少所述叙述数目(例如，“两个叙述”的裸叙述(无其它修饰语)通常意指至少两个叙述或两个或更多个叙述)。此外，在其中使用类似于“a、b及c中的至少一者及类似者”的惯例的例子中，此构造一般希望为所属领域的技术人员将理解所述惯例的意义(例如，“具有a、b及c中的至少一者的系统”将包含但不限于仅具有a、仅具有b、仅具有c、同时具有a及b、同时具有a及c、同时具有b及c及/或同时具有a、b及c的系统，等等)。在其中使用类似于“a、b或c中的至少一者及类似者”的惯例的例子中，此构造一般希望为所属领域的技术人员将理解所述惯例的意义(例如，“具有a、b或c中的至少一者的系统”将包含但不限于仅具有a、仅具有b、仅具有c、同时具有a及b、同时具有a及c、同时具有b及c及/或同时具有a、b及c的系统，等等)。所属领域的技术人员进一步将理解，无论在描述、权利要求书或图式中，呈现两个或更多个替代项的实际上任何转折词及/或短语应被理解为考虑包含以下的可能性：所述项中的一者、所述项中的任一者或两项。例如，短语“a或b”通常将被理解为包含“a”或“b”或“a及b”的可能性。
[0169]
据信，通过前述描述将理解本公开及其许多伴随优点，且将明白，可对组件的形式、构造及布置作出各种改变而不脱离所公开的标的物或不牺牲所有其材料优点。所描述的形式仅为说明性的，且所附权利要求书的意图是涵盖且包含此类改变。此外，应理解，本发明是由所附权利要求书定义。