用于滋扰滤波的深度学习网络的制作方法

1.本发明大体来说涉及经配置以用于通过深度学习网络进行滋扰滤波的方法及系统。


背景技术：

2.以下描述及实例并不由于其包含于此章节中而被认为是现有技术。
3.在半导体制造工艺期间在各个步骤处使用检验工艺来检测晶片及其它衬底上的缺陷以促成在制造工艺中的较高合格率及因此较高利润。检验始终是制作半导体装置的重要部分。然而，20多年以来，检验方法并未有效地改变。检验解决方案基本上具有以下特性：大体上缓慢电子束类型系统，其允许用户识别及验证物理缺陷的问题；及单独地，大体上快速但粗糙光学检验器，其覆盖整个晶片，但通常限于单个层的检验。这两个系统通常是分离的。
4.常规光刻缩放(在193nm处)已放缓。另外，基于极紫外(euv)的缩放在进展的同时还缓慢地发生。例如无人驾驶汽车、传感器、深度学习(dl)训练及推理等较新应用已导致对计算架构的新关注而非依赖于缩放。作为实例，为了高性能计算(hpc)及dl系统两者，总体系统性能将受益于存储器与中央处理单元(cpu)逻辑的紧接近度。因此，计算机架构师更关注于芯片到芯片互连、晶片级集成等及重布层(rdl)。这些层通常是重新构成的裸片，因此当前使用的对准及相减缺陷检测方法将无法作为此类层的检验方法。当前使用的分段技术也变得困难，这是因为与所关注缺陷(doi)相比，滋扰量是显著高的。
5.对于一些层，滋扰抑制可尤其困难，这是因为典型晶片可仅含有表示doi的10到20个事件，而滋扰率可在100,00到百万的范围内。因此，用于设置滋扰滤波器及/或执行滋扰滤波以供检验的当前方法可花费相当长时间。另外，尤其与滋扰相比，可用于选择及设置针对检验的滋扰滤波器的doi的不足可进一步增加检验设置所需的时间。因此，可用于滋扰滤波器设置的有限数目的doi可导致针对检验的次优滋扰滤波器，这可降低此检验的性能能力。
6.因此，开发用于从在样品上检测到的缺陷候选者对滋扰进行滤波的不具有上文所描述的缺点中的一或多者的系统及方法将是有利的。


技术实现要素：

7.对各种实施例的以下描述绝不应被视为限制所附权利要求书的标的物。
8.一个实施例涉及一种经配置以检测样品上的缺陷的系统。所述系统包含一或多个计算机子系统，所述一或多个计算机子系统经配置以用于基于由检验子系统针对样品产生的输出而检测所述样品上的缺陷候选者。所述系统还包含一或多个组件，所述一或多个组件由所述一或多个计算机子系统执行。所述一或多个组件包含第一深度学习(dl)网络，所述第一dl网络经配置以用于从所述缺陷候选者对滋扰进行滤波。所述计算机子系统将针对所述缺陷候选者的信息输入到所述第一dl网络中。所述第一dl网络的输出包含所述缺陷候
选者中未作为所述滋扰被滤波的第一子集。所述组件还包含第二dl网络，所述第二dl网络经配置以用于从所述缺陷候选者的所述第一子集对滋扰进行滤波。所述一或多个计算机子系统将针对所述缺陷候选者的所述第一子集获取的高分辨率图像输入到所述第二dl网络中。所述第二dl网络的输出包含所述缺陷候选者中未作为所述滋扰被滤波的最终子集。所述计算机子系统经配置以用于将所述最终子集中的所述缺陷候选者指定为所述样品上的缺陷并产生所述缺陷的结果。可如本文中所描述而进一步配置所述系统。
9.另一实施例涉及一种用于检测样品上的缺陷的计算机实施方法。所述方法包含基于由检验子系统针对样品产生的输出而检测所述样品上的缺陷候选者。所述方法还包含通过将针对所述缺陷候选者的信息输入到第一dl网络中而从所述缺陷候选者对滋扰进行滤波。所述第一dl网络的输出包含所述缺陷候选者中未作为所述滋扰被滤波的第一子集。另外，所述方法包含通过将针对所述缺陷候选者的所述第一子集获取的高分辨率图像输入到第二dl网络中而从所述缺陷候选者的所述第一子集对滋扰进行滤波。所述第二dl网络的输出包含所述缺陷候选者中未作为所述滋扰被滤波的最终子集。一或多个组件由一或多个计算机系统执行，且所述一或多个组件包含所述第一dl网络及所述第二dl网络。所述方法进一步包含将所述最终子集中的所述缺陷候选者指定为所述样品上的缺陷并产生所述缺陷的结果。
10.可如本文中所描述而进一步执行上文所描述的方法的步骤中的每一者。另外，上文所描述的方法的实施例可包含本文中所描述的任何其它方法的任何其它步骤。此外，上文所描述的方法可由本文中所描述的系统中的任一者来执行。
11.另一实施例涉及一种非暂时性计算机可读媒体，所述非暂时性计算机可读媒体存储可在一或多个计算机系统上执行以执行用于检测样品上的缺陷的计算机实施方法的程序指令。所述计算机实施方法包含上文所描述的方法的步骤。可如本文中所描述而进一步配置计算机可读媒体。可如本文中的进一步所描述而执行所述计算机实施方法的步骤。另外，针对其可执行程序指令的计算机实施方法可包含本文中所描述的任何其它方法的任何其它步骤。
附图说明
12.在受益于对优选实施例的以下详细描述的情况下且在参考所附图式之后，所属领域的技术人员将明了本发明的其它优点，其中：
13.图1及1a是图解说明如在本文所描述地配置的系统的实施例的侧视图的示意图；
14.图2是图解说明可由本文中所描述的实施例执行以检测样品上的缺陷的步骤的一个实施例的流程图；
15.图3是图解说明可用于第一深度学习网络及第二深度学习网络的深度学习网络架构的一个实施例的示意图；及
16.图4是图解说明存储用于致使一或多个计算机系统执行本文中所描述的计算机实施方法的程序指令的非暂时性计算机可读媒体的一个实施例的框图。
17.尽管易于对本发明做出各种修改及替代形式，但其特定实施例是以实例方式展示于图式中且将在本文中详细地描述。所述图式可未按比例。然而，应理解，图式及对图式的详细描述并不打算将本发明限制于所揭示的特定形式，而是相反，本发明打算涵盖在由所
附权利要求书所界定的本发明的精神及范围内的所有修改、等效形式及替代形式。
具体实施方式
18.现在转向图式，应注意各图并未按比例绘制。特定来说，各图的元件中的一些元件的比例被极大地放大以强调元件的特性。还应注意，各图并未按相同比例绘制。已使用相同参考编号指示可被类似布置的在多于一个图中展示的元件。除非本文中另外提及，否则所描述及所展示的元件中的任何元件可包含任何适合的可商购元件。
19.一个实施例涉及经配置以检测样品上的缺陷的系统。在一个实施例中，所述样品是晶片。所述晶片可包含半导体技术中已知的任何晶片。虽然本文中可关于晶片或若干晶片描述一些实施例，但实施例不限于其可被使用的样品。举例来说，本文中所描述的实施例可用于例如光罩、扁平面板、个人计算机(pc)板及其它半导体样品等样品。
20.本文中所描述的实施例尤其适合于通过深度学习(dl)进行金属颗粒滋扰抑制。如本文中所使用的所述术语“颗粒”是指金属(例如铝或铜)的晶体结构中的位错。举例来说，在一个实施例中，样品包含金属上部层。在一个此实施例中，上部层可为铝层。所述铝层可包含此项技术中已知的任何适合铝层。样品的上部层还可包含后段工艺(beol)层，所述beol层可包含此项技术中已知的任何beol层，包含本文中所描述的beol层。在另一实施例中，样品的上部层可为可具有此项技术中已知的任何适合配置的重布层(rdl)。
21.样品的上部层还可包含金属线。举例来说，beol及rdl层可包含形成装置的各种元件的金属线，所述装置形成于样品上。此类金属线可产生本文中进一步描述的显著“颗粒”噪声量。尽管归因于本文中所描述的滋扰滤波的颗粒噪声，但本文中所描述的实施例经配置用于实现此类层上的缺陷的检测。
22.在一些实施例中，样品是后裸片样品。“后裸片”样品可通常定义为其上已形成多个装置(例如，在不同裸片(dies或dice)中)且接着以各种方式中的一者彼此分离的晶片或其它衬底。“后裸片”样品还可为已分离成多个裸片(dies或dice)的样品，所述裸片尚未进入封装工艺。
23.在另一实施例中，样品包含高噪声层。如本文中所定义的所述术语“高噪声”层通常是指其噪声在层的检验中是显著障碍的层。举例来说，尽管通过任何检验工具检验的每个晶片层可展现比其它层更多或更少的噪声(且一般来说在每个晶片层的检验中必须使用用于处置此噪声的检测的技术)，但成功检验晶片层的主要障碍通常是必须被检测的极小大小的缺陷。相比来说，本文中所描述的实施例尤其适合于检测约200nm及以上大小的相对大(“宏观”)缺陷。因此，此检验中的主要障碍未必是必须被检测的缺陷的大小(这是因为许多检验工具配置能够检测大多数层上的此类大缺陷)。相反，一般来说，本文中所描述的层将在针对所述层产生的图像中展现此类“高噪声”水平，以至于检测甚至此类较大大小的缺陷可变得困难(如果不是不可能的话)。然而，本文中所描述的实施例已经设计以经由本文中所描述的滋扰滤波处置此类噪声水平。
24.出于若干个不同原因，本文中所描述的实施例被设计为对于从此类缺陷对滋扰进行滤波是尤其有效的。举例来说，此类缺陷倾向于相对难以检测，这是因为其倾向于位于大体上有噪声(例如，有颗粒)背景中。在一个此实例中，大量噪声可归因于在可由过量金属颗粒所导致的rdl金属线噪声内而通过检验来检测。在另一此实例中，大量噪声可归因于由在
rdl层上或下方的透明介电聚合物所导致的rdl间金属层噪声而通过检验来检测。如此，由先前使用的检验系统及方法报告的假事件对致命的所关注缺陷(doi)的比率可为大体上高的。然而，本文中所描述的滋扰滤波可用于有效地消除可在本文中所描述的样品上检测到的大量滋扰。另外，使用本文中所描述的单裸片检验(sdi)或单图像检测(sid)方法来检测此类缺陷将减少裸片对裸片缺陷检测噪声源。
25.在另一实施例中，检验子系统经配置用于宏观检验。以此方式，本文中所描述的系统可称为宏观检验工具。宏观检验工具尤其适合于检验相对有噪声的beol层(例如rdl)及后裸片应用，以在存在例如金属线上的颗粒等极大噪声的情况下检测缺陷。宏观检验工具在本文中定义为未必是衍射限制的且具有约200nm到约2.0微米及以上的空间分辨率的系统。此空间分辨率意指此类系统可检测到的最小缺陷具有大于约200nm的尺寸，所述尺寸比当今市场上最先进检验工具可检测到的最小缺陷大得多，因此命名为“宏观”检验器。与当今市场上最先进检验工具相比，此类系统倾向于利用较长的光波长(例如，约500nm到约700nm)。当doi具有相对大的大小时且可能还当需要100个晶片/小时(wph)或更多的吞吐量时，可使用这些系统(此处，晶片吞吐量是指每小时检验的300mm晶片的数目)。
26.如本文中所使用的所述术语“滋扰”是用户不关心的缺陷及/或通过检验检测到但实际上并非缺陷的事件。可归因于样品上的非缺陷噪声源(例如，线边缘粗糙度(ler)、经图案化特征中的相对小临界尺寸(cd)变化、厚度变化、金属颗粒噪声等)及/或归因于检验子系统本身或其用于检验的配置中的边缘化而检测到被检测为事件(或“缺陷候选者”)但实际上并非缺陷的滋扰。因此，一般来说检验的目标并非检测例如晶片等样品上的滋扰。
27.图1中展示经配置以检测样品上的缺陷的系统的一个实施例。所述系统包含一或多个计算机子系统(例如，计算机子系统36及计算机子系统102)，以及由一或多个计算机子系统执行的一或多个组件100。在一些实施例中，系统包含经配置用于产生样品的输出(例如，图像)的检验子系统10。在一个实施例中，检验子系统被配置为光学子系统。举例来说，在图1的实施例中，检验子系统经配置用于使光在样品的物理版本上方扫描或将光引导到所述物理版本，同时检测来自样品的光以借此产生样品的输出。检验子系统还可经配置以执行扫描(或引导)并利用多种模式进行检测。
28.在图1中所展示的系统的实施例中，检验子系统10包含经配置以将光引导到样品14的照射子系统。所述照射子系统包含至少一个光源。举例来说，如图1中所展示，照射子系统包含光源16。照射子系统可经配置以将光以一或多个入射角(其可包含一或多个倾斜角及/或一或多个法向角)引导到样品。举例来说，如图1中所展示，来自光源16的光以倾斜入射角通过光学元件18且接着通过透镜20引导到样品14。倾斜入射角可包含任何适合倾斜入射角，其可取决于例如样品的特性变化。
29.检验子系统可经配置以在不同时间将光以不同入射角引导到样品。举例来说，检验子系统可经配置以变更照射子系统的一或多个元件的一或多个特性，使得可将光以与图1中展示的入射角不同的入射角引导到样品。在一个此实例中，检验子系统可经配置以移动光源16、光学元件18及透镜20，使得将光以不同倾斜入射角或法向(或接近法向)入射角引导到样品。
30.检验子系统可经配置以同时将光以多于一个入射角引导到样品。举例来说，照射子系统可包含多于一个照射通道，所述照射通道中的一者可包含如图1中所展示的光源16、
光学元件18及透镜20，且所述照射通道中的另一者(未展示)可包含可以不同方式或以相同方式配置的类似元件，或者可包含至少光源以及可能一或多个其它组件(例如本文中进一步描述的组件)。如果此光与其它光同时被引导到样品，那么以不同入射角被引导到样品的光的一或多个特性(例如，波长、偏光等)可为不同的，使得由以不同入射角对样品进行照射所产生的光可在检测器处彼此区别开。
31.在另一实例中，照射子系统可仅包含一个光源(例如，图1中所展示的源16)，且可通过照射子系统的一或多个光学元件(未展示)将来自所述光源的光分离到不同光学路径中(例如，基于波长、偏光等)。不同光学路径中的每一者中的光可接着被引导到样品。多个照射通道可经配置以同时或在不同时间(例如，当使用不同照射通道来依序照射样品时)将光引导到样品。在另一实例中，相同照射通道可经配置以在不同时间将具有不同特性的光引导到样品。举例来说，在一些实例中，光学元件18可被配置为光谱滤波器，且光谱滤波器的性质可以多种不同方式(例如，通过替换光谱滤波器)被改变，使得可在不同时间将不同光波长引导到样品。照射子系统可具有此项技术中已知的用于将具有不同或相同特性的光以不同或相同入射角依序或同时引导到样品的任何其它适合配置。
32.在一个实施例中，光源16可包含宽带等离子体(bbp)光源。以此方式，由光源产生且被引导到样品的光可包含宽带光。然而，光源可包含任何其它适合光源，例如激光。激光可包含此项技术中已知的任何适合激光，且可经配置以产生此项技术中已知的以一或若干任何适合波长的光。另外，激光可经配置以产生单色光或接近单色的光。以此方式，激光可为窄带激光。光源还可包含产生以多个离散波长或波段的光的多色光源。
33.可通过透镜20将光从光学元件18聚焦到样品14上。虽然在图1中将透镜20展示为单个折射光学元件，但在实践中，透镜20可包含以组合方式将光从光学元件聚焦到样品的若干个折射及/或反射光学元件。在图1中所展示且本文中所描述的照射子系统可包含任何其它适合光学元件(未展示)。此类光学元件的实例包含但不限于偏光组件、光谱滤波器、空间滤波器、反射光学元件、变迹器、分束器、光圈等等，其等可包含此项技术中已知的任何此类适合光学元件。另外，检验子系统可经配置以基于将用于检验的照射的类型而更改照射子系统的元件中的一或多者。
34.检验子系统还可包含扫描子系统，所述扫描子系统经配置以致使光在样品上方进行扫描。举例来说，检验子系统可包含载台22，在检验期间样品14安置于所述载台上。扫描子系统可包含可经配置以移动样品使得光可在样品上方进行扫描的任何适合机械及/或机器人组合件(其包含载台22)。另外或替代地，检验子系统可经配置使得检验子系统的一或多个光学元件执行光对样品的某种扫描。光可以任何适合方式(例如以类蛇形路径或以螺旋路径)在样品上方进行扫描。
35.检验子系统进一步包含一或多个检测通道。一或多个检测通道中的至少一者包含检测器，所述检测器经配置以通过子系统检测归因于对样品的照射而来自样品的光且响应于所检测光而产生输出。举例来说，图1中所展示的检验子系统包含两个检测通道，一个检测通道由收集器24、元件26及检测器28形成且另一检测通道由收集器30、元件32及检测器34形成。如图1中所展示，所述两个检测通道经配置而以不同收集角来收集并检测光。在一些实例中，两个检测通道经配置以检测经散射光，且所述检测通道经配置以检测以不同角度从样品散射的光。然而，检测通道中的一或多者可经配置以检测来自样品的另一类型的
光(例如，经反射光)。
36.如图1中进一步所展示，两个检测通道展示为定位于纸的平面中且照射子系统也展示为定位于纸的平面中。因此，在此实施例中，两个检测通道定位于(例如，居中于)入射平面中。然而，检测通道中的一或多者可定位于入射平面之外。举例来说，由收集器30、元件32及检测器34形成的检测通道可经配置以收集并检测散射出入射平面的光。因此，此检测通道可通常称为“侧”通道，且此侧通道可居中于大体上垂直于入射平面的平面中。
37.虽然图1展示包含两个检测通道的检验子系统的实施例，但检验子系统可包含不同数目个检测通道(例如，仅一个检测通道或者两个或多于两个检测通道)。在一个此实例中，由收集器30、元件32及检测器34形成的检测通道可形成如上文所描述的个侧通道，且检验子系统可包含额外检测通道(未展示)，所述额外检测通道形成为定位于入射平面的相对侧上的另侧通道。因此，检验子系统可包含包含收集器24、元件26及检测器28且居中于入射平面并经配置以便以与样品表面成法向或接近法向的散射角收集及检测光的检测通道。因此，此检测通道可通常称为“顶部”通道，且检验子系统还可包含如上文所描述地配置的两个或更多个侧通道。如此，检验子系统可包含至少三个通道(即，一个顶部通道及两个侧通道)，且至少三个通道中的每一者具有其自身的收集器，所述收集器中的每一者经配置而以与其它收集器中的每一者不同的散射角收集光。
38.如上文进一步所描述，包含在检验子系统中的检测通道中的每一者可经配置以检测经散射光。因此，图1中所展示的检验子系统可经配置用于样品的暗场(df)检验。然而，检验子系统还可或替代地包含经配置用于样品的亮场(bf)检验的检测通道。换句话说，检验子系统可包含经配置以检测以镜面反射方式从样品反射的光的至少一个检测通道。因此，本文中所描述的检验子系统可经配置用于仅df、仅bf或者df及bf成像两者。虽然在图1中将收集器中的每一者展示为单个折射光学元件，但收集器中的每一者可包含一或多个折射光学元件及/或一或多个反射光学元件。
39.一或多个检测通道可包含此项技术中已知的任何适合检测器。举例来说，检测器可包含光电倍增管(pmt)、电荷耦合装置(ccd)、时间延迟积分(tdi)相机及此项技术中已知的任何其它适合检测器。检测器还可包含非成像检测器或成像检测器。如果检测器是非成像检测器，那么检测器中的每一者可经配置以检测经散射光的特定特性(例如强度)，但可不经配置以依据在成像平面内的位置而检测此类特性。如此，由包含于检验子系统的检测通道中的每一者中的检测器中的每一者产生的输出可为信号或数据，但并非是图像信号或图像数据。在此类实例中，计算机子系统(例如计算机子系统36)可经配置以从检测器的非成像输出产生样品的图像。然而，在其它实例中，检测器可被配置为经配置以产生图像信号或图像数据的成像检测器。因此，检验子系统可经配置而以若干种方式产生图像。
40.应注意，本文中提供图1以一般图解说明可包含在本文中所描述的系统实施例中或可产生由本文中所描述的系统实施例使用的输出的检验子系统的配置。显然，本文中所描述的检验子系统配置可经变更以优化检验子系统的性能，如在设计商业检验系统时通常执行。另外，本文中所描述的系统可使用例如可从加利福尼亚州苗必达(milpitas)的kla商购的阿泰尔(altair)系列工具等现有系统来实施(例如，通过将本文中所描述的功能性添加到现有系统)。对于一些此类系统，本文中所描述的方法可提供为系统的任选功能性(例如，除系统的其它功能性之外)。替代地，本文中所描述的检验子系统可“从头开始”设计以
提供全新检验子系统。可如2010年8月24日颁于梅哈尼安(mehanian)等人的美国专利第7,782,452号中所描述进一步配置检验子系统，所述美国专利如在本文中完全陈述一般以引用的方式并入。
41.计算机子系统36可以任何适合方式(例如，经由一或多个传输媒体，其可包含“有线”及/或“无线”传输媒体)耦合到检验子系统的检测器，使得计算机子系统可接收在对样品进行扫描期间由检测器产生的输出。计算机子系统36可经配置以使用检测器的输出执行本文中进一步所描述的若干个功能。
42.图1中所展示的计算机子系统(以及本文中所描述的其它计算机子系统)在本文中还可称为计算机系统。本文中所描述的计算机子系统或系统中的每一者可采用各种形式，包含个人计算机系统、图像计算机、主机计算机系统、工作站、网络器具、因特网器具或其它装置。一般来说，术语“计算机系统”可广泛定义为囊括具有执行来自存储器媒体的指令的一或多个处理器的任何装置。计算机子系统或系统还可包含此项技术中已知的任何适合处理器，例如并行处理器。另外，计算机子系统或系统可包含具有高速度处理及软件的计算机平台作为独立工具或网络连接工具。
43.如果所述系统包含多于一个计算机子系统，那么不同计算机子系统可彼此耦合，使得图像、数据、信息、指令等可在计算机子系统之间发送，如本文中进一步描述。举例来说，计算机子系统36可通过任何适合传输媒体而耦合到计算机子系统102(如图1中的虚线所展示)，所述传输媒体可包含此项技术中已知的任何适合有线及/或无线传输媒体。此类计算机子系统中的两者或多于两者还可通过共享计算机可读存储媒体(未展示)而有效地耦合。
44.虽然检验子系统在上文描述为光学或基于光的检验子系统，但在一些实施例中，将检验子系统配置为电子束子系统。在图1a中所展示的一个此实施例中，检验子系统包含电子柱122，所述电子柱耦合到计算机子系统124。还如图1a中所展示，电子柱包含经配置以产生电子的电子束源126，所述电子由一或多个元件130聚焦到样品128。电子束源可包含(举例来说)阴极源或发射体尖端，且一或多个元件130可包含(举例来说)枪透镜、阳极、束限制光圈、闸阀、束电流选择光圈、物镜以及扫描子系统，所述所有元件均可包含此项技术中已知的任何此类适合元件。
45.从样品返回的电子(例如，次级电子)可通过一或多个元件132而聚焦到检测器134。一或多个元件132可包含(举例来说)扫描子系统，所述扫描子系统可为包含于元件130中的相同扫描子系统。
46.电子柱可包含此项技术中已知的任何其它适合元件。另外，可如以下各项中所描述而进一步配置电子柱：2014年4月4日颁于江(jiang)等人的美国专利第8,664,594号、2014年4月8日颁于小岛(kojima)等人的美国专利第8,692,204号、2014年4月15日颁于古本斯(gubbens)等人的美国专利第8,698,093号以及2014年5月6日颁于麦克唐纳(macdonald)等人的美国专利第8,716,662号，所述美国专利如同在本文中完全陈述一般以引用的方式并入。
47.虽然电子柱在图1a中展示为经配置以使得电子以倾斜入射角被引导到样品且以另一倾斜角从所述样品被散射，但电子束可以任何适合角度被引导到样品及从所述样品被散射。另外，电子束子系统可经配置以使用多种模式来产生样品的图像，如本文中进一步所
描述(例如，以不同照射角、收集角等)。电子束子系统的多种模式可在检验子系统的任何图像产生参数上不同。
48.计算机子系统124可耦合到检测器134，如上文所描述。检测器可检测从样品的表面返回的电子，借此形成样品的电子束图像。所述电子束图像可包含任何适合电子束图像。计算机子系统124可经配置以使用由检测器134产生的输出执行本文中针对样品进一步描述的一或多个功能。计算机子系统124可经配置以执行本文中所描述的任何额外步骤。可如本文中所描述而进一步配置包含图1a中所展示的检验子系统的系统。
49.应注意，本文中提供图1a以一般图解说明可包含于本文中所描述的实施例中的电子束子系统的配置。与上文所描述的光学子系统一样，可变更本文中所描述的电子束子系统配置以优化检验子系统的性能，如在设计商业检验系统时通常执行。另外，可使用例如可从kla商购的esxxx及edr-xxxx系列工具等现有系统来实施本文中所描述的系统(例如，通过将本文中所描述的功能性添加到现有系统)。针对一些此类系统，本文中所描述的实施例可提供为所述系统的任选功能性(例如，除所述系统的其它功能性之外)。替代地，本文中所描述的系统可“从头开始”设计以提供全新系统。
50.虽然上文将检验子系统描述为光学或电子束子系统，但检验子系统可为离子束子系统。可如图1a中所展示而配置此检验子系统，只有电子束源可被替换为此项技术中已知的任何适合离子束源除外。另外，检验子系统可为任何其它适合离子束子系统，例如包含于可商购的聚焦离子束(fib)系统、氦离子显微镜(him)系统及次级离子质谱(sims)系统中的离子束子系统。
51.如上文所述，检验子系统经配置用于使能量(例如，光、电子等)在样品的物理版本上方进行扫描，借此产生样品的物理版本的输出。以此方式，检验子系统可配置为“实际”子系统，而非“虚拟”子系统。然而，图1中所展示的存储媒体(未展示)及计算机子系统102可配置为“虚拟”系统。特定来说，存储媒体及计算机子系统可如2012年2月28日颁于巴斯卡尔(bhaskar)等人的共同让与的美国专利第8,126,255号及2015年12月29日颁于达菲(duffy)等人的第9,222,895号中所描述而配置为“虚拟”检验系统，所述美国专利两者如同在本文中完全陈述一般以引用的方式并入。可如这些专利中所描述而进一步配置本文中所描述的实施例。
52.如上文进一步所述，检验子系统可经配置以利用多种模式产生样品的输出。一般来说，“模式”可由用于产生样品的输出(例如，图像)的检验子系统的参数的值来定义。因此，不同的模式由检验子系统的至少一个参数的不同值来定义(除了产生输出的样品上的位置之外)。举例来说，在光学检验子系统中，不同模式可使用至少一个不同光波长来进行照射。模式可在照射波长上有所不同，如本文中进一步所描述(例如，通过针对不同模式使用不同光源、不同光谱滤波器等)。在另一实例中，不同模式可使用检验子系统的不同照射通道。举例来说，如上文所述，检验子系统可包含多于一个照射通道。如此，不同照射通道可用于不同模式。所述模式还可或替代地在检验子系统的一或多个收集/检测参数上不同。检验子系统可经配置以利用不同模式在同一扫描或不同扫描中扫描样品，例如，这取决于使用多种模式同时扫描样品的能力。
53.计算机子系统经配置用于基于由检验子系统针对样品产生的输出而检测所述样品上的缺陷候选者。如本文中所使用的所述术语“缺陷候选者”定义为在样品上检测到且并
未作为滋扰被滤除的任何事件。举例来说，在缺陷检测之后，缺陷候选者可包含在样品上检测到的所有事件，且可包含实际缺陷(doi)及滋扰两者。在滋扰滤波之后，缺陷候选者将包含并未通过滋扰滤波被消除的所有经检测缺陷候选者。滋扰滤波之后的缺陷候选者是否仅包含doi取决于滋扰滤波有多善于将doi与滋扰区分开。在执行所有滋扰滤波之后，可将剩余缺陷候选者指定为经检测缺陷，即使经指定缺陷中的一或多者是实际滋扰。
54.在一个实施例中，检测缺陷候选者包含单图像缺陷检测。举例来说，金属颗粒是后端晶片检验中的主要滋扰。由于金属颗粒跨越例如晶片等样品(例如，跨越晶片上的所有裸片)随机分布，因此金属颗粒无法通过裸片对裸片差异来取消。特定来说，通过针对金属层的裸片对裸片相减而产生的差异图像将包含无法通过相减取消且可被检测为事件的颗粒噪声。实际上，基于裸片对裸片差异的方法可放大来自金属颗粒的噪声，借此使得不可能检测doi。因此，当前所使用的用于检测及分级的裸片对裸片缺陷方法将不适用于此类样品。如此，本文中所描述的实施例经配置用于对一个裸片中的缺陷进行检测及分类，而不使用任何参考裸片。本文中所描述的实施例可检测doi候选者并经由dl通过单裸片缺陷片块图像而将真实doi与金属颗粒滋扰分开。本文中所描述的计算机子系统可进一步经配置以如由卡森蒂(karsenti)等人在2017年5月18日公开的美国专利申请公开案第2017/0140524号中所描述而进行单图像检测，所述美国专利申请公开案如同在本文中完全陈述一般以引用的方式并入。可如本专利申请案中所描述而进一步配置本文中所描述的实施例。
55.在另一实施例中，检验子系统经配置用于使用第一模式及第二模式产生输出，且检测缺陷候选者包含：使用仅使用第一模式产生的输出来执行第一单图像缺陷检测；使用仅使用第二模式产生的输出来执行第二单图像缺陷检测；及将在第一单图像缺陷检测及第二单图像缺陷检测中检测到的仅缺陷候选者报告为经检测缺陷候选者。举例来说，如本文中进一步所描述，检验子系统可经配置以利用多种模式来产生样品的输出。第一模式及第二模式可包含多种模式中的任一者，所述多种模式在检验子系统的任何一或多个参数的任何值上可为不同的。在一个此实例中，第一模式可为df模式，且第二模式可为bf模式。虽然关于第一模式及第二模式描述此实施例，但实施例并不限于仅两种模式。举例来说，使用检验子系统的两种或多于两种模式产生的输出可用于如本文中进一步所描述地各自单独执行的两个或多于两个缺陷检测中。
56.在一个此实施例中，如图2中所展示，检验子系统可产生模式1目标图像200及模式2目标图像202。目标图像可为由检验子系统产生的任何测试、目标或帧图像。目标图像可具有任何适合大小且可为相对小的片块图像，其大小可取决于检验子系统的配置及/或由检验子系统产生的输出的计算机处理而变化。目标图像200及202可以其它方式产生，如本文中进一步所描述。
57.还如图2中所展示，计算机子系统可使用模式1目标图像200来执行单图像缺陷检测204，且使用模式2目标图像202来执行单图像缺陷检测206。可如本文中进一步所描述而执行缺陷检测204及206两者。以此方式，缺陷检测将仅在目标图像上进行。然而，由于产生不同目标图像的模式之间的差异，因此单图像缺陷检测的参数可为不同的。一般来说，两次单图像缺陷检测可包含某种形式的低通(lp)滤波器及阈值化。举例来说，低通滤波器及阈值化(例如，最大灰阶强度阈值化)检测算法可单独应用于使用不同模式产生的目标图像以识别缺陷候选者。特定来说，在一个实施例中，检测缺陷候选者包含将低通滤波及阈值化应
用于由所述检验子系统针对样品产生的输出。如果使用检验子系统的多于一种模式来检测缺陷候选者，那么在一个此实施例中，第一单图像缺陷检测包含将低通滤波及阈值化应用于仅使用第一模式产生的输出，且第二单图像缺陷检测包含将低通滤波及阈值化应用于仅使用第一模式产生的输出。
58.缺陷检测的输出可接着被输入到本文中所描述的滋扰滤波步骤。缺陷检测的输出可包含任何适合缺陷检测结果。举例来说，如图2中所展示，单图像缺陷检测204的输出可包含模式1缺陷映射208，且单图像缺陷检测206的输出可包含模式2缺陷映射210。可接着在步骤212中使用缺陷映射208及210组合由不同缺陷检测所检测到的缺陷候选者，以报告由任一模式检测到的缺陷候选者或者仅由两者(或所有模式)检测到的缺陷候选者。如何组合缺陷检测结果可取决于将哪些模式用于缺陷检测以及那些模式的输出如何受到样品的特性影响而变化。组合步骤的输出可包含缺陷候选者片块图像214，其可包含缺陷候选者的任何适合片块图像。缺陷候选者片块图像可仅包含其中缺陷候选者被检测的图像(例如，如果仅在模式1中检测缺陷候选者，那么为使用模式1而非模式2所产生的缺陷候选者的片块图像)，或包含与缺陷候选者被检测的位置对应的所有片块图像(例如，使用模式1及2所产生的缺陷候选者的片块图像，即使缺陷候选者并非在两种模式中被检测到)。用于本文中所描述的其它步骤中的组合步骤的输出还可包含可由缺陷检测产生的任何其它结果。
59.在本文中所描述的层及样品上检测到的缺陷可包含举例来说rdl金属线缺陷(短路/桥接、开路/断线、金属残留/底部桥接)、通孔/接触缺陷(光致抗蚀剂残留/通孔浮渣)、凸块缺陷、微凸块缺陷、铜柱缺陷、芯片堆叠后缺陷、化学机械处理(cmp)后缺陷及研磨后缺陷。因此，本文中所描述的实施例可用于监视(且可能校正)对样品执行并产生此类缺陷的工艺中的任一者。
60.由例如计算机子系统36及/或计算机子系统102等计算机子系统执行的组件(例如，图1中所展示的组件100)包含第一深度学习(dl)网络104及第二dl网络106。第一dl网络经配置用于从缺陷候选者对滋扰进行滤波。一或多个计算机子系统将针对缺陷候选者的信息输入到第一dl网络中。第一dl网络的输出包含缺陷候选者中未作为滋扰被滤波的第一子集。第二dl网络经配置用于从缺陷候选者的第一子集对滋扰进行滤波。一或多个计算机子系统将针对缺陷候选者的第一子集所获取的高分辨率图像输入到第二dl网络中。第二dl网络的输出包含缺陷候选者中未作为滋扰被滤波的最终子集。
61.因此，第一dl网络及第二dl网络充当金属颗粒滤波器，计算机子系统将缺陷候选者结果传递到所述金属颗粒滤波器中。金属颗粒滤波在两个阶段中执行。在第一阶段滤波中，第一dl网络将在缺陷候选者的目标图像(片块图像)上进行训练且将在来自叶计算中的检测算法的大体上大量缺陷候选者上应用。举例来说，如图2中所展示，缺陷检测结果(例如缺陷候选者片块图像214)可被输入到第一dl网络216。第一dl网络可如本文中所描述而配置以从缺陷候选者对滋扰进行滤波，借此输出第一缺陷候选者子集218。以此方式，本文中所描述的实施例可将基于dl的分级应用于单裸片目标图像以滤除金属颗粒。
62.在第二阶段滤波中，第二dl网络在高分辨率(例如，缺陷再检测类型)图像上进行训练且将在来自第一阶段滤波的小得多的数目个缺陷候选者上应用。以此方式，本文中所描述的实施例可进一步将基于dl的分级应用于高分辨率图像以更多地抑制滋扰。举例来说，高分辨率图像220可由计算机子系统如本文中进一步所描述地针对第一缺陷候选者子
集中的缺陷候选者而获取。计算机子系统可将高分辨率图像输入到第二dl网络222中，所述第二dl网络从第一缺陷候选者子集对滋扰进行滤波，借此产生最终缺陷候选者子集224。此两阶段dl滋扰滤波方法有利地允许以可接受吞吐量显著抑制滋扰率。
63.在一个实施例中，由第一dl网络从缺陷候选者滤波的滋扰包含金属颗粒滋扰。在另一实施例中，由第二dl网络从缺陷候选者的第一子集滤波的滋扰包含金属颗粒滋扰。换句话说，两个dl网络可对金属颗粒滋扰进行滤波，其中第二dl网络对未由第一dl网络滤除的任何金属颗粒滋扰进行滤波。虽然本文中所描述的实施例尤其适合于在具有金属上部层的样品上检测到的金属颗粒滋扰的滋扰滤波中，但本文中所描述的实施例可用于任何类型的样品上的任何类型的滋扰的滋扰滤波。
64.发明人已通过观测发现，大多数doi及金属颗粒滋扰以不同方式显现在片块图像中。举例来说，似乎真实缺陷具有不同于金属曲线的一些特性。由于人类眼睛及大脑可觉察出差异，因此发明人确定dl网络可经训练以区分开此类片块图像中的差异以消除滋扰。相比来说，现有滋扰滤波方法仅依赖于不反映例如大小、形状等缺陷的二维特征的缺陷属性，因此其无法滤除金属颗粒滋扰。
65.虽然本文中所描述的实施例针对滋扰滤波(两级分类)而具体开发，但实施例不限于仅执行滋扰滤波。举例来说，本文中所描述的实施例可容易地延伸到多级分类。在一个此实施例中，第一dl网络进一步经配置用于从缺陷候选者对滋扰进行滤波，并执行对缺陷候选者中未作为滋扰被滤波的第一子集的多级分类。第一dl网络的此实施例的输出可包含缺陷候选者中未作为滋扰被滤波的第一子集及被指派到第一子集中的缺陷候选者的初步缺陷分类id。在另一此实施例中，第二dl网络进一步经配置用于从缺陷候选者的第一子集对滋扰进行滤波，并执行对缺陷候选者中未作为滋扰被滤波的最终子集的多级分类。第二dl网络的此实施例的输出可包含缺陷候选者中未作为滋扰被滤波的最终子集及被指派到最终子集中的缺陷候选者的最终缺陷分类id。
66.第一dl网络及第二dl网络可经配置以例如经由经训练dl网络利用本文中所描述的完全连接层或另一架构执行多级分类，如本文中所描述。多级分类将不同类型的缺陷分离成不同分类，且缺陷分类id可具有指示不同类型的缺陷(例如图案缺陷、桥接、开路、短路、划痕等)的任何适合格式。
67.在一些实例中，使dl网络中的仅一者执行多级分类可为实用的。举例来说，使第一dl网络仅执行滋扰滤波(一种类别的两级分类)而仅使第二dl网络执行滋扰滤波及多级分类可为实用的。然而，如果第一dl网络还经配置用于多级分类，那么由第一dl网络指派到缺陷候选者的分类可被输入到第二dl网络，且第二dl网络可使用所述信息来对最终子集中的缺陷候选者进行分类，这可包含修改或改变由第一dl网络指派到缺陷候选者中的一或多者的分类。替代地，第二dl网络可独立于由第一dl网络指派的任何多级分类而执行多级分类，且计算机子系统可经配置以针对由第一dl网络及第二dl网络指派不同缺陷分类的任何缺陷来执行缺陷分类仲裁。
68.一般来说，“深度学习”(还称为深度结构化学习、分层学习或深度机器学习)是基于尝试对数据中的高级抽象进行建模的一组算法的机器学习的分支。在简单情形中，可存在两组神经元：一组接收输入信号且一组发送输出信号。当输入层接收输入时，其将输入的经修改版本传递到下一层。在深度网络中，在输入与输出之间存在许多层(且所述层并非由
神经元组成的但这样想会有所帮助)，从而允许算法使用由多个线性变换及非线性变换组成的多个处理层。
69.深度学习是基于数据学习表示的宽广机器学习方法家族的一部分。观察(例如，图像)可以许多方式来表示，例如每像素的强度值的向量；或以更抽象的方式，如一组边缘、特定形状的区等。在简化学习任务(例如，面部辨识或面部表情辨识)时，一些表示优于其它表示。深度学习的前景之一是用无监督式或半监督式特征学习及分层特征提取的高效算法替换手工特征。
70.此领域中的研究试图形成更好的表示且创建模型以从大规模未标记数据学习这些表示。所述表示中的一些表示受到神经科学进步的启发且松散地基于对神经系统中的信息处理及通信型式的解译，例如试图定义大脑中的各种刺激与相关联神经元响应之间的关系的神经编码。
71.机器学习可通常被定义为一种类型的人工智能(ai)，所述人工智能使计算机具备学习能力而无需明确地进行编程。机器学习聚焦于计算机程序的开发，此可使计算机程序在接触到新数据时自学成长及改变。换句话说，机器学习可被定义为计算机科学的子领域，其“赋予计算机学习能力而无需明确地进行编程”。机器学习探索可向数据学习且对数据做出预测的算法的研究及构建—此类算法通过经由从样本输入建立模型来做出数据驱动的预测或决策而克服了严格遵循静态程序指令。
72.可如以下各项中所描述而进一步执行本文中所描述的机器学习：杉山(sugiyama)、摩根考夫曼(morgan kaufmann)的“统计机器学习简介(introduction to statistical machine learning)”(2016年，534页)、杰巴拉(jebara)的“判别式、产生式及模仿式学习(discriminative,generative,and imitative learning)”(mit论文，2002年，212页)，及汉德(hand)等人的“数据挖掘原理(自适应计算及机器学习)(principles of data mining(adaptive computation and machine learning))”(mit出版社，2001年，578页)，以上各项如同在本文中完全陈述一般以引用的方式并入。可如这些参考中所描述而进一步配置本文中所描述的实施例。
73.dl网络中的每一者可为具有一组权重的深度神经网络，所述权重根据数据(所述数据已馈送以对其进行训练)来对世界进行建模。神经网络通常可被定义为基于相对较大的神经单元集合的计算方法，所述神经单元集合对生物学大脑利用由轴突连接的相对较大的生物神经元群集解决问题的方式松散地进行建模。每一神经单元与许多其它神经单元连接，且连结可加强或抑制其对经连接神经单元的启动状态的影响。这些系统是自我学习与训练的而非明确地被编程且在解决方案或特征检测以传统计算机程序难以表达的领域中表现出色。
74.神经网络通常由多个层组成，且信号路径从前方横贯到后方。神经网络的目标是以与人类大脑相同的方式解决问题，但数种神经网络是更抽象的。现代神经网络工程通常利用数千个到数百万个神经单元以及数百万个连接来工作。神经网络可具有此项技术中已知的任何适合架构及/或配置。
75.在一个实施例中，第一dl网络包含卷积神经网络(cnn)。cnn通常包含卷积及池化层的堆叠以提取局部特征。卷积层可具有此项技术中已知的任何适合配置且通常经配置以通过使用一或多个滤波器对输入图像应用卷积功能来跨越图像(即，特征映射)依据位置确
定图像的特征。一或多个池化层还可具有此项技术中已知的任何适合配置(例如，最大池化层)且通常经配置用于减小由一或多个卷积层产生的特征映射的维度的同时保留最重要特征。第一dl网络可具有此项技术中已知的任何适合cnn配置或架构。
76.在另一实施例中，第一dl网络包含卷积层与完全连接层的组合。卷积层可如上文所描述而配置。“完全连接层”一般可定义为其中将节点中的每一者连接到先前层中的节点中的每一者的层。完全连接层基于由卷积层提取的特征执行分类。举例来说，卷积层可经配置以产生特征映射，借此确定图像特征，所述图像可包含本文中进一步所描述的图像及输入中的任一者。完全连接层经配置用于特征选择及分类。换句话说，完全连接层从特征映射选择特征且接着基于经选择特征对图像中的缺陷候选者进行分类。经选择特征可包含特征映射中的所有特征(在适当情况下)或仅包含特征映射中的一些特征。此dl网络(包含卷积层及完全连接层)输出缺陷候选者分类，所述缺陷候选者分类可包含每缺陷候选者的分类结果，具有与每一分类结果相关联的置信度。还可如本文中进一步所描述而使用分类的结果。分类可具有任何适合格式(例如缺陷候选者id、缺陷描述，例如“图案”、“桥接”等)。可如本文中进一步所描述而存储并使用分类结果。
77.在另一实施例中，第二dl网络包含cnn。在另一实施例中，第二dl网络包含卷积层与完全连接层的组合。可如本文中进一步所描述而关于cnn以及卷积层与完全连接层的组合配置第二dl网络的这些实施例。
78.在一个实施例中，包含在第一dl网络及第二dl网络中的cnn可配置为alexnet。一般来说，alexnet包含若干个卷积层(例如，5个)，后续接着若干个完全连接层(例如，3个)，所述卷积层与完全连接层以组合方式进行配置及训练以对图像进行分类。配置为alexnet的神经网络的实例描述于克里热夫斯基(krizhevsky)等人的“利用深度卷积神经网络进行imagenet分类(imagenet classification with deep convolutional neural networks)”(nips 2012)中，其如同在本文中完全陈述一般以引用的方式并入。可如此参考中所描述而进一步配置本文中所描述的dl网络。
79.图3中展示可用作第一dl网络及第二dl网络的cnn的alexnet的一个经简化版本。到经简化alexnet的输入可包含输入图像300，所述输入图像可包含本文中所描述的图像中的任一者，例如在样品上检测到的缺陷候选者中的任一者的具有约32像素乘32像素的大小的片块图像。图像被输入到卷积层302，所述卷积层后续接着卷积层304、池化层306、卷积层308及池化层310。这些层可如本文中进一步所描述而配置。最终池化层的输出被输入到完全连接层312，所述完全连接层可后续接着完全连接层314。完全连接层可如本文中进一步所描述而配置。最后完全连接层可产生输出316，所述输出可包含本文中所描述的输出中的任一者。举例来说，如本文中进一步所描述，输出可包含哪些缺陷候选者是doi且哪些缺陷候选者是滋扰(例如，金属颗粒噪声及/或任何其它噪声)的指示。
80.在另一实施例中，第一dl网络及/或第二dl网络配置为googlenet。googlenet可包含卷积层、池化层及完全连接层，例如本文中进一步所描述的经配置及训练以对图像进行分类的卷积层、池化层及完全连接层。尽管googlenet架构可包含相对高数目个层(尤其与本文中所描述的一些其它网络相比)，但一些层可并行地操作，且彼此并行起作用的层的群组通常被称为起始模块。层中的其它层可依序操作。因此，googlenet与本文中所描述的其它网络的差异在于并非所有层均被布置成顺序结构。配置为googlenet的神经网络的实例
描述于塞格迪(szegedy)等人的“深入了解卷积(going deeper with convolutions)”(cvpr 2015)中，其如同在本文中完全陈述一般以引用的方式并入。可如此参考中所描述而进一步配置本文中所描述的dl网络。
81.在另一实施例中，第一dl网络及/或第二dl网络配置为vgg网络。vgg网络通过在固定架构的其它参数的同时增加卷积层的数目而创建。在所有层中使用大体上小的卷积滤波器使添加卷积层以增加深度成为可能。如本文中所描述的其它网络一样，vgg网络经创建及训练以对图像进行分类。vgg网络还包含卷积层后续接着完全连接层。配置为vgg的神经网络的实例描述于西蒙扬(simonyan)等人的“用于大规模图像辨识的极深度卷积网络(very deep convolutional networks for large-scale image recognition)”(iclr2015)中，其如同在本文中完全陈述一般以引用的方式并入。可如此参考中所描述而进一步配置本文中所描述的网络。
82.在一些实施例中，第一dl网络及/或第二dl网络配置为深度残差网络。如本文中所描述的一些其它网络一样，深度残差网络可包含卷积层后续接着完全连接层，所述卷积层与完全连接层以组合方式进行配置及训练以对图像进行分类。在深度残差网络中，所述层经配置以参考层输入来学习残差功能，而非学习未参考的功能。特定来说，替代希望每几个堆叠层直接适合所需的底层映射，这些层被明确允许适合残差映射，这由具有快捷连接的前馈神经网络实现。快捷连接是跳过一或多个层的连接。可通过采用包含卷积层的普通神经网络结构且插入快捷连接而创建深度残差网，所述快捷连接借此采用普通神经网络并将其转化为残差学习对应物。深度残差网的实例描述于何(he)等人的“用于图像辨识的深度残差学习(deep residual learning for image recognition)”(nips 2015)中，其如同在本文中完全陈述一般以引用的方式并入。可如此参考中所描述而进一步配置本文中所描述的网络。
83.由dl网络确定的特征可包含本文中进一步描述的或此项技术中已知的任何适合特征，所述特征可从输入推测出且用于产生本文中进一步描述的输出。举例来说，所述特征可包含每像素的强度值的向量。特征还可包含本文中所描述的任何其它类型的特征，例如标量值的向量，独立分布、联合分布的向量或者此项技术中已知的任何其它适合特征类型。
84.在一个实施例中，用于由一或多个计算机子系统输入到第一dl网络的针对缺陷候选者的信息包含由检验子系统产生的缺陷候选者的图像。举例来说，仅目标片块图像可被直接输入到经训练第一dl网络(例如，本文中所描述的cnn或其它网络)以借此由dl分离出金属颗粒滋扰缺陷。因此，目标片块图像可在经检测缺陷候选者的位置处产生且可具有任何适合大小(例如，32像素乘32像素)，这可取决于(举例来说)用于产生样品的输出的检验子系统的配置及/或检验子系统的设置而变化。
85.在额外实施例中，用于由一或多个计算机子系统输入到第一dl网络的针对缺陷候选者的信息不包含由一或多个计算机子系统确定的缺陷候选者的特征。因此，本文中所描述的实施例与许多当前使用的滋扰滤波器显著不同。举例来说，许多宏观检验分类方法是基于检测属性的决策树分类器。然而，基于缺陷属性的现有方法可在仅被给出目标图像时不反映例如大小、形状等等的缺陷二维特征(例如，通常从差异图像确定此类特征，所述差异图像不在本文中所描述的缺陷检测中产生)。因此，金属颗粒不可通过现有方法来滤除。
86.如本文中进一步所描述，第一dl网络及第二dl网络可具有相同类型(例如，其均可
为cnn，其均可包含卷积层及完全连接层两，其均可为如图3中所展示的经简化alexnet等)。如果两个dl网络具有相同类型，那么其可或可不具有相同配置(或架构)。举例来说，如果两个dl网络是经简化alexnet，那么两个dl网络可具有图3中所展示的架构或dl网络可具有不同架构(一者如图3中所展示且另一者具有图3中所展示的配置的变体)。
87.在任何情形中，虽然第一dl网络及第二dl网络将产生相同输出(被识别为缺陷(或至少并非滋扰)的缺陷候选者及被识别为滋扰的缺陷候选者)，但在具有不同输入的情况下，第一dl网络与第二dl网络的一或多个参数将很可能不同。换句话说，由于输入到第一dl网络的信息与输入到第二dl网络的高分辨率图像将具有不同分辨率且可能甚至不同成像机制(例如，光学对电子束)，因此第一dl网络无法有效地用于高分辨率图像。另外，输入到第一dl网络的缺陷候选者片块图像将不具有适合于由第二dl网络执行的缺陷候选者的最终处理(滤波)的足够高分辨率(归因于通常在为了速度或吞吐量牺牲分辨率的检验中做出的折衷)。如此，在本文中所描述的实施例中，将相同图像用作输入到第一dl网络及第二dl网络的仅有图像将是不实用或甚至无用的。因此，必须建立不同dl网络且以不同方式对其进行训练。举例来说，如果dl cnn配置用于检验图像及高分辨率(再检测类型)图像两者，那么两个不同dl cnn可用于成功结果。一旦选择用于第一dl网络及第二dl网络的配置，两个dl网络便将被训练以借此设定网络的一或多个参数(例如，权重、偏置等)。
88.dl网络的训练可以此项技术中已知的任何适合方式来执行。两个dl网络的训练将利用输入的训练集来执行，所述训练集将在运行时间被输入到不同dl网络。举例来说，用于第一dl网络的训练集将包含针对已知缺陷及已知滋扰的信息，例如由检验子系统产生的图像；而用于第二dl网络的训练集将包含针对已知缺陷及已知滋扰的高分辨率图像。一般来说，训练将通过变更dl网络的一或多个参数来继续进行直到训练集中的已知缺陷及已知滋扰由dl网络正确分类。因此，第一dl网络及第二dl网络的训练可彼此独立且基于不同训练集，借此产生经训练第一dl网络及第二dl网络，所述经训练第一dl网络及第二dl网络将很可能具有一或多个不同参数设定。
89.基于深度学习的缺陷分类或分级通常由两个部分构成：第一是网络(模型)训练，且第二部分是运行时间推理。正如任何分类技术，需要训练步骤以训练分类器。并且接着在实际运行时间检验中，将分类器应用于每一缺陷候选者以对其分类(分级)进行仲裁。类似地，在深度学习技术中，在设置时间需要训练步骤。一旦dl模型经训练(使用具有分类真实值的缺陷片块图像来训练模型信息连同权重或系数)，模型便可用于实际线内检验中作为后处理步骤以决策缺陷候选者是doi还是滋扰。
90.在本文中所描述的实施例中，训练步骤可涉及两到三个步骤。可从极热扫描(即，其中用于检测缺陷候选者的阈值在检验子系统的输出的噪声基底处、极接近所述噪声基底或在所述噪声基底内的扫描)、从整个晶片对缺陷的亚群体进行取样(在不具有任何dl网络的情况下)且使用从第一时间训练的dl网络执行检验。接着，可从扫描结果对另一亚群体进行取样。可组合两个群体且再次训练以获得dl网络的经重新训练或第二版本。并且可利用dl网络的第二版本执行另一扫描。如果结果是良好的(其中被认定为良好结果的内容可由用户以任何适合方式定义)，那么可在dl网络的第二版本处停止，且将所述第二版本作为经训练版本应用于实际运行时间推理，例如可将所述第二版本添加到处方且用于扫描类似类型(层)的其它晶片。
91.本文中所描述的dl网络的训练还不限于dl网络的仅第一版本及第二版本。举例来说，可重复上文所描述的步骤以产生dl网络的甚至第三版本。但发明人的经验已展示，两个连续训练产生合理良好的dl网络。在真实推理中，仅存在dl网络的一个版本，所述版本是来自训练的最后(或最佳)dl网络。
92.还可如由布劳尔(brauer)在2019年3月7日公开的美国专利申请公开案第2019/0073566号及由何等人在2019年3月7日公开的美国专利申请公开案第2019/0073568号中所描述而训练第一dl网络及第二dl网络，所述美国专利申请公开案如同在本文中完全陈述一般以引用的方式并入。可如这些公开案中所描述而进一步配置实施例。本文中所描述的计算机子系统可经配置以用于训练dl网络，或另一系统或方法可训练dl网络，且接着使其可由本文中所描述的实施例使用。
93.经训练dl网络的配置及设定还可取决于其被实施的使用情形变化。举例来说，对于不同使用情形，dl网络将可能必须以不同方式(例如，以不同数目个层、大小等)来构造。一旦确定网络配置，利用充足数据(训练数据的真实值)量训练dl网络的过程便将产生权重(系数)及可能用于dl网络的其它参数。因此对于不同使用情形，可存在不同适当网络配置及不同经训练参数。
94.如本文中进一步所描述，检验可利用不同模式(例如，利用不同照射通道、利用不同照射波长、利用bf及df等)来执行。另外，缺陷候选者的高分辨率图像可利用不同模式(例如，不同入射角、不同收集角等)产生。因此，馈送到第一dl网络及第二dl网络中以供训练及推理(运行时间)的内容可为可选择的。然而，训练与推理输入应是一致的，即，如果仅bf片块图像用于训练第一dl网络，那么在运行时间推理期间，出于分级目的，仅bf图像应被馈送到第一dl网络中。相比来说，如果第一dl网络的训练将df及bf图像两者用作输入，那么运行时间推理应通过将df及bf图像两者输入到第一dl网络中来执行。以类似方式，如果训练使用不同片块图像来执行，那么运行时间推理应使用具有与训练时间相同维度的相同图像片块集来执行。
95.由第一dl网络执行的第一阶段滋扰滤波可将缺陷候选者计数显著减少(例如，从约成千上万(比如，200k到300k)到数百(比如，400到900))。然而，归因于通常用于具有金属上部层的样品的检验的检验子系统的相对低分辨率限制，仍可存在包含于由第一dl网络识别的缺陷候选者中的约几百个滋扰(例如，200到300)。然而，由第二dl网络执行的第二阶段滋扰滤波可滤除所有剩余滋扰，这是因为高分辨率图像被输入到第二dl网络。
96.如本文中所使用的所述术语“高分辨率图像”含有关于样品上的经图案化特征及/或缺陷的信息，其足以使高分辨率图像用于例如缺陷再检测等应用，所述缺陷再检测可包含缺陷分类及/或验证及计量。如本文中所使用的所述术语“高分辨率”还指通常由检验系统在常规操作期间使用的分辨率，其经配置以为了增加吞吐量而牺牲分辨率能力。“高分辨率图像”还可在此项技术中称为“高敏感度图像”，其可为“高质量图像”的另一术语。不同种类的成像子系统可针对高分辨率而配置。举例来说，为了产生高质量电子束图像，可增加e/p、帧等，这产生良好质量扫描电子显微镜(sem)图像，但显著降低吞吐量。这些图像接着是“高敏感度”图像，这是因为其可用于高敏感度缺陷检测。因此，如本文中所使用的所述术语高分辨率可定义为比以其执行样品的检验的分辨率高的分辨率。一般来说，与以其执行样品的检验的分辨率相比，高分辨率还可意指显著更高的分辨率。举例来说，如果使用经配置
以用于宏观检验的检验子系统执行检验，那么高分辨率图像可通过高分辨率电子束或离子束工具(例如sem)来产生。
97.在一个实施例中，计算机子系统从缺陷再检测工具获取高分辨率图像。举例来说，本文中所描述的光学及电子束检验子系统可配置为缺陷再检测子系统。特定来说，可在一或多个参数上修改本文中所描述以及图1及1a中所展示的检验子系统的实施例以提供不同成像能力，这取决于其将使用的应用。在一个此实例中，图1中所展示的检验子系统可经配置以在其将用于缺陷再检测而非检验的情况下具有较高分辨率。换句话说，图1及1a中所展示的检验子系统的实施例描述成像子系统的一些一般及各种配置，所述配置可以所属领域的技术人员将显而易见的若干种方式来裁适以产生具有或多或少适合于不同应用的不同成像能力的成像子系统。
98.因此，获取高分辨率图像可使用本文中所描述的成像子系统中的一者来执行(例如，如果成像子系统中的一者经配置或修改用于缺陷再检测类型成像能力，成像子系统可用于产生并借此获取样品的高分辨率图像)。以此方式，获取高分辨率图像可使用物理样品本身及某种成像硬件来执行。然而，获取高分辨率图像未必包含使用成像硬件使样品成像。举例来说，另一系统及/或方法可产生高分辨率图像且可将所产生高分辨率图像存储在一或多个存储媒体中，例如如本文中所描述的虚拟检验系统或本文中所描述的另一存储媒体。因此，获取高分辨率图像可包含从存储高分辨率图像的存储媒体获取所述高分辨率图像。
99.以此方式，本文中所描述的系统可或可不包含产生高分辨率图像的缺陷再检测工具。在一些情形中，本文中所描述的检验子系统可能够产生检验类型较低分辨率图像及缺陷再检测类型较高分辨率图像两者。在此类情形中，系统可包含仅一个成像子系统，其参数在检验与再检测之间被修改。在其它情形中，系统可包含两个不同成像子系统，一个成像子系统经配置以用于检验类型较低分辨率成像且另一成像子系统经配置以用于缺陷再检测类型较高分辨率成像。在一个此实例中，系统可包含图1及1a中所展示的两个成像子系统，图1中所展示的成像子系统可经配置以用于较低分辨率检验类型成像，而图1a中所展示的成像子系统可经配置以用于较高分辨率缺陷再检测类型成像。
100.在另一实施例中，计算机子系统包含第三dl网络，所述第三dl网络经配置以用于从由检验子系统产生的输出产生高分辨率图像。换句话说，第三dl网络可经配置以将相对低分辨率图像变换(通过推理)成高得多的分辨率图像。第三dl网络可包含此项技术中已知的任何适合dl模型或网络，包含(举例来说)神经网络、cnn、产生式模型等。第三dl网络还可如以下各项中所描述而配置：由卡森蒂等人在2017年5月18日公开的共同拥有的美国专利申请公开案第2017/0140524号、由张(zhang)等人在2017年5月25日公开的共同拥有的美国专利申请公开案第2017/0148226号、由巴斯卡尔等人在2017年7月6日公开的共同拥有的美国专利申请公开案第2017/0193400号、由张等人在2017年7月6日公开的共同拥有的美国专利申请公开案第2017/0193680号、由巴斯卡尔等人在2017年7月6日公开的共同拥有的美国专利申请公开案第2017/0194126号、由巴斯卡尔等人在2017年7月13日公开的共同拥有的美国专利申请公开案第2017/0200260号、由帕克(park)等人在2017年7月13日公开的共同拥有的美国专利申请公开案第2017/0200264号、由巴斯卡尔等人在2017年7月13日公开的共同拥有的美国专利申请公开案第2017/0200265号、由张等人在2017年11月30日公开的共
同拥有的美国专利申请公开案第2017/0345140号、由张等人在2017年12月7日公开的共同拥有的美国专利申请公开案第2017/0351952号、由张等人在2018年4月19日公开的共同拥有的美国专利申请公开案第2018/0107928号、由古普塔(gupta)等人在2018年10月11日公开的共同拥有的美国专利申请公开案第2018/0293721号、由哈(ha)等人在2018年11月15日公开的共同拥有的美国专利申请公开案第2018/0330511号、由丹戴安娜(dandiana)等人在2019年1月3日公开的共同拥有的美国专利申请公开案第2019/0005629号，及由何等人在2019年3月7日公开的共同拥有的美国专利申请公开案第2019/0073568号，所述美国专利申请公开案如同在本文中完全陈述一般以引用的方式并入。可如这些专利申请公开案中所描述而进一步配置本文中所描述的实施例。另外，本文中所描述的实施例可经配置以执行这些专利申请公开案中所描述的任何步骤。
101.一或多个计算机子系统经配置以用于将最终子集中的缺陷候选者指定为样品上的缺陷并产生缺陷的结果。缺陷的结果可包含本文中所描述的结果中的任一者，例如信息，例如经检测缺陷的定界框的位置等、检测分数、关于缺陷分类(例如分类标签或id等)的信息，或此项技术中已知的任何此类适合信息。缺陷的结果可由计算机子系统以任何适合方式产生。缺陷的结果可具有任何适合形式或格式，例如标准档案类型。计算机子系统可产生结果并存储结果，使得结果可由计算机子系统及/或另一系统或方法使用以执行样品或相同类型的另一样品的一或多个功能。此类功能包含但不限于以反馈方式更改例如制作工艺等工艺或对样品执行的步骤；以前馈方式更改例如制作工艺等工艺或将对样品执行的步骤等。
102.与本文中所描述的实施例相比，替代方法可使用传统特征提取方法来提取可将doi与滋扰区分开的特征。可接着应用决策树或最近邻分类器来进行分类。此方法将需要对图像的更深入研究，但无法由dl实现与cnn相同的良好性能，这是因为本文中所描述的网络通过学习而针对特定问题更具适应性。
103.上文所描述的系统中的每一者的实施例中的每一者可一起组合成单个实施例。
104.另一实施例涉及用于检测样品上的缺陷的计算机实施方法。所述方法包含基于由检验子系统针对所述样品产生的输出而检测样品上的缺陷候选者。所述方法还包含通过将针对所述缺陷候选者的信息输入到第一dl网络中而从所述缺陷候选者对滋扰进行滤波。所述第一dl网络的输出包含所述缺陷候选者中未作为滋扰被滤波的第一子集。另外，所述方法包含通过将针对所述缺陷候选者的所述第一子集获取的高分辨率图像输入到第二dl网络中而从所述缺陷候选者的所述第一子集对滋扰进行滤波。所述第二dl网络的输出包含所述缺陷候选者中未作为滋扰被滤波的最终子集。一或多个组件由一或多个计算机系统执行。一或多个组件包含第一dl网络及第二dl网络。所述方法进一步包含将最终子集中的缺陷候选者指定为所述样品上的缺陷并产生所述缺陷的结果。
105.可如本文中进一步所描述而执行所述方法的步骤中的每一者。所述方法还可包含可由本文中所描述的系统、计算机子系统及/或检验子系统执行的任何其它步骤。一或多个计算机系统、一或多个组件、dl网络及检验子系统可根据本文中所描述的实施例中的任一者(例如，分别计算机子系统102、组件100、第一dl网络104及第二dl网络106)来配置。另外，上文所描述的方法可通过本文中所描述的系统实施例中的任一者来执行。
106.额外实施例涉及一种存储程序指令的非暂时性计算机可读媒体，所述程序指令可
在一或多个计算机系统上执行以执行用于检测样品上的缺陷的计算机实施方法。图4中展示一个此实施例。特定来说，如图4中所展示，非暂时性计算机可读媒体400包含可在计算机系统404上执行的程序指令402。计算机实施方法可包含本文中所描述的任何方法的任何步骤。
107.实施例如本文中所描述的方法的方法的程序指令402可存储于计算机可读媒体400上。计算机可读媒体可为例如磁盘或光盘、磁带等存储媒体，或者此项技术中已知的任何其它适合非暂时性计算机可读媒体。
108.可以各种方式中的任一者来实施程序指令，所述方式包含基于程序的技术、基于组件的技术及/或面向对象的技术以及其它技术。举例来说，可视需要使用activex控件、c 对象、javabeans、微软基础类别(“mfc”)、sse(串流化simd扩展)或者其它技术或方法来实施所述程序指令。
109.计算机系统404可根据本文中所描述的实施例中的任一者来配置。
110.鉴于此描述，所属领域的技术人员将明了本发明的各种方面的其它修改及替代实施例。举例来说，提供用于检测样品上的缺陷的方法及系统。因此，此描述应被视为仅具说明性，且是出于教示所属领域的技术人员实施本发明的一般方式的目的。应理解，本文中所展示及所描述的本发明的形式应被视为目前优选实施例。如所属领域的技术人员在受益于对本发明的此描述之后将全部明了，元件及材料可替代本文中所图解说明及描述的元件及材料，部分与工艺可被颠倒，且本发明的特定特征可独立地利用。可在不背离如所附权利要求书中所描述的本发明的精神及范围的情况下对本文中所描述的元件做出改变。