用于带电粒子系统中样品的3D图像的深度重建的制作方法

用于带电粒子系统中样品的3d图像的深度重建


背景技术：

1.切片和视图带电粒子成像为用于生物研究、半导体调试、材料科学以及许多其它应用中的样品重建和检查的必要工具。在切片和视图带电粒子成像中，使样品的连续表面层反复成像且随后去除，然后组合所得图像以形成样品的3d重建。举例来说，图1示出用于用带电粒子显微镜进行切片和视图成像的样品过程100。具体来说，图1包含描绘切片和视图成像过程的迭代步骤的三个图像。
2.图像102展示样品108的第n层的sem成像。在sem成像期间，电子束110在样品108的第n层的表面108上进行扫描，且检测器112检测由正由电子束辐照的样品产生的发射114。图像104随后描绘被去除和/或以其它方式延迟的样品108的第n层的过程。虽然图像104描绘用聚焦离子束116去除第n层，但可使用例如电子束、激光、金刚石刀片等其它机构去除第n层。如图像106中所示，随后可对样品108的第n 1层重复sem成像。来自图像102和106的所检测到的发射114随后分别用于产生样品108的第n层和样品108的第n 1层的图像。由于切片和视图带电粒子成像获取沿z轴的各种深度处的样品的一系列横截面图像，所以所获取的图像和/或由此产生的数据可用以重建样品的3d表示。
3.然而，切片和视图带电粒子成像的基本限制为3d重建的模糊沿样品的z轴增加（即，z模糊），所述模糊的增加在所去除样品的切片的厚度降低到低于带电粒子束的电子相互作用深度时发生。电子相互作用深度对应于从样品108的表面到样品的成像波束的电子/带电粒子与之相互作用的区域的另一部分的垂直距离，以使得样品的区域内的分子/元素/特征释放发射114。举例来说，图像102和106示出如分别延伸到第n和第n 1样品层的厚度下方的电子相互作用区域118（即，由电子束110引入的电子与样品相互作用的样品区域）。由于所检测的发射114含有描述由其产生的电子相互作用区域118的信息，因此由此类所检测的发射产生的图像包含来自大于切片厚度的z深度的信息。也就是说，尽管图像意图描绘样品的对应切片，但当电子相互作用深度超过所去除样品切片的厚度时，图像含有来自多个切片的信息。此现象是导致上述3d重建沿z轴逐渐模糊的原因。
4.为解决这个问题，目前的做法是减小带电粒子束的电压，以便存在较小的电子相互作用区域120。虽然这减小了电子相互作用区域的深度，但带电粒子束电压的减小引起发射114的对应减小，这反过来减小了由检测器112获得的信号的信噪比（snr）。此外，带电粒子束的电压的减小也使得波束更难成形。波束形状的此变化导致3d重建的xy分辨率降低。因此，需要允许在不降低xy分辨率或snr的情况下去除更薄的样品切片（例如，2到5 nm或以下）的解决方案。


技术实现要素：

5.公开了用于使用切片和视图过程产生成像的3d样品的高分辨率重建的方法和系统，其中成像波束的电子相互作用深度大于切片厚度。实例方法包含：获取与样品的第一层相关的第一数据，所述第一数据已通过用带电粒子束对样品的第一层进行第一辐照而获取；且随后获取与样品的第二层相关的第二数据，所述第二数据已通过用带电粒子束对样
品的第二层进行第二辐照而获取，其中在第一辐照与第二辐照之间去除样品的第一层，且其中带电粒子束的电子相互作用深度大于第一层的厚度和第二层的厚度中的每一者。随后用深度模糊减少算法（例如，基于3d神经网络的算法、基于3d盲神经网络的算法、基于训练的3d盲反卷积算法等）增强第一数据和第二数据，所述深度模糊减少算法配置成减少由分别由第一层和第二层外部的电子相互作用产生的第一数据和第二数据的部分引起的深度模糊以产生增强型第一数据和增强型第二数据。随后使用增强型第一数据和增强型第二数据产生样品的高分辨率3d重建。在一些实施例中，深度模糊减少算法可选自已针对某些显微镜条件（例如，成像波束电压、成像波束类型、光斑尺寸、扫描速度等）、样品条件（例如，样品类型、样品材料、样品特征等）或其组合独立地配置的一组此类算法。
6.用于使用切片和视图过程产生成像的3d样品的高分辨率重建的系统，其中成像波束的电子相互作用深度大于切片厚度，所述系统包括：样品固持器，其配置成固持样品；电子束源，其配置成朝向样品发射电子束；电子束柱，其配置成将电子束引导到样品上；延迟组件，其配置成从样品的表面去除层，所述层具有已知厚度；以及一个或多个检测器，其配置成检测辐照样品的电子束产生的发射。系统进一步包含一个或多个处理器以及存储指令的存储器，所述指令当在一个或多个处理器上执行时使系统：通过切片和视图成像获取与样品的第一层相关的第一数据和与样品的第二层相关的第二数据，其中成像的电子相互作用深度大于第一层的厚度和第二层的厚度；使用深度模糊减少算法增强第一数据和第二数据；且随后使用增强型数据产生样品的高分辨率3d重建。
7.用于产生使用切片和视图过程产生成像的3d样品的高分辨率重建的其它实例方法，其中成像波束的电子相互作用深度大于切片厚度，所述实例方法包含至少部分地基于通过训练样品的切片和视图带电粒子成像获取的第一组训练数据以及对应于训练样品的经标记重建的第二组训练数据训练深度模糊减少算法，其中成像波束的电子相互作用深度大于对应切片厚度。第一数据和第二数据（分别）与通过切片和视图成像的样品的第一层和样品的第二层相关，其中带电粒子束的电子相互作用深度大于第一层的厚度和第二层的厚度中的每一者。随后用深度模糊减少算法增强第一数据和第二数据，所述深度模糊减少算法配置成减少由分别由第一层和第二层外部的电子相互作用互产生的第一数据和第二数据的部分引起的深度模糊，以产生增强型第一数据和增强型第二数据。随后使用增强型第一数据和增强型第二数据产生样品的高分辨率3d重建。
附图说明
8.参照附图进行了详细描述。在附图中，附图标记最左侧的一个或多个数字标识首次出现所述附图标记的附图。不同附图中相同的附图标记指示类似或相同的项。
9.图1示出用于用带电粒子显微镜进行切片和视图成像的样品过程。
10.图2描绘用于使用、训练、优化和/或再训练深度模糊减少算法以用于使用切片和视图过程产生成像的3d样品的高分辨率重建的样品过程，其中成像波束的电子相互作用深度大于切片厚度。
11.图3展示说明根据本发明的用于使用切片和视图过程产生成像的3d样品的高分辨率重建的过程的一组图像，其中成像波束的电子相互作用深度大于切片厚度。
12.图4展示说明用于使用切片和视图过程产生成像的3d样品的高分辨率重建的过程
的一组图式，其中成像波束的电子相互作用深度大于切片厚度。
13.图5和6为展示与现有技术系统的切片和视图图像相比利用本发明过程处理的切片和视图图像的实验结果。
14.贯穿附图的若干个视图，相同的附图标记指代对应的部分。通常，在附图中，以实线展示了可能包含在给定实例中的元件，而以虚线展示了对于给定实例而言任选的元件。然而，以实线展示的元件对于本公开的所有实例不是必需的，并且以实线展示的元件可以在不脱离本公开的范围的情况下从特定实例中省略。
具体实施方式
15.本文公开了用于使用切片和视图过程产生成像的3d样品的高分辨率重建的方法和系统，其中成像波束的电子相互作用深度大于切片厚度。确切地说，方法和系统对通过切片和视图成像获取的数据采用深度模糊减少算法以允许产生样品的3d重建，而无由对应样品层外部的电子相互作用产生的数据的部分引起的z方向模糊的情况。在本发明的一些实施例中，使用通过训练样品的切片和视图带电粒子成像获取的第一组训练数据以及对应于训练样品的经标记重建的第二组训练数据训练深度模糊减少算法，其中成像波束的电子相互作用深度大于对应切片厚度。
16.本公开的方法和系统允许利用切片和视图过程获得样品的高分辨率3d重建，而不必减少成像波束能量使得电子相互作用深度小于层厚度。另外，通过使此类切片和视图过程能够使用较高能量波束，所获取的数据的snr减小，且波束可一致地塑形以允许高分辨率数据获取。
17.图2为用于使用、训练、优化和/或再训练深度模糊减少算法以用于使用切片和视图过程产生成像的3d样品的高分辨率重建的环境200的图示，其中成像波束的电子相互作用深度大于切片厚度。确切地说，图2展示实例环境202，其包含用于产生样品206的切片和视图图像的实例显微镜系统204，以及用于使用、训练、优化和/或再训练深度模糊减少算法以用于产生具有减少的z维度模糊的成像的3d样品的高分辨率重建的一个或多个计算装置208。应注意，本公开不限于包含显微镜的环境，且在一些实施例中，环境200可包含配置成产生相关图像的不同类型的系统，或可完全不包含用于产生图像的系统。
18.实例显微镜系统204可为或包含一个或多个不同类型的光学和/或带电粒子显微镜，例如但不限于扫描电子显微镜（sem）、扫描透射式电子显微镜（stem）、透射式电子显微镜（tem）、带电粒子显微镜（cpm）、低温兼容显微镜、聚焦离子束显微镜（fib）、双波束显微系统或其组合。图2将实例显微镜系统204示为包含sem柱210和fib柱212的双波束显微系统。
19.图2将实例显微镜系统204描绘为包含用于在切片和视图成像期间使样品206的层成像的sem柱210。sem柱210包含电子源214（例如，热电子源、肖特基（schottky）发射源、场发射源等），所述电子源沿着电子发射轴线218且朝向样品206发射电子束216。电子发射轴线218为沿着实例显微镜系统204的长度从电子源214延伸且穿过样品206的中心轴线。虽然图2将实例显微镜系统204描绘为包含电子源204，但在其它实施例中，实例显微镜系统204可包括例如离子源的带电粒子源，所述带电粒子源配置成朝向样品206发射多个带电粒子。
20.加速器透镜220使电子束216加速/减速、聚焦和/或导向电子聚焦柱222。电子聚焦柱222聚焦电子束212以使得其入射在样品206的至少一部分上。另外，聚焦柱222可校正和/
或调整电子束216的像差（例如，几何像差、色像差）。在一些实施例中，电子聚焦柱222可包含孔口、偏转器、转移透镜、扫描线圈、聚光器透镜、物镜等中的一个或多个，它们一起将来自电子源214的电子聚焦到样品206上的小点上。可通过经由偏转器和/或扫描线圈调整电子束方向来扫描样品206的不同位置。以此方式，电子束216充当扫描样品的表面层（即，接近sem柱204和/或由电子束216辐照的层的表面）的成像波束。样品206的表面层的此辐照使得电子束216的组分电子与样品的组分元素/分子/特征相互作用，使得组分元素/分子/特征使发射223由样品206发出。所释放的特定发射是基于使其发射的对应元素/分子/特征，使得可分析发射以确定关于对应元素/分子的信息。
21.尽管电子束216入射在样品206的表面层上，但其组分电子的一部分穿透样品且与在与样品的表面不同的深度处的元素/分子/特征相互作用。电子束216的电子相互作用深度对应于与样品表面的距离，所述表面包含在辐照期间与电子束216的电子相互作用的样品的95％元素/分子/特征。以此方式，可分析发射223以确定关于存在于样品206的表面到电子相互作用深度的元素/分子的信息。
22.图2进一步示出用于检测入射于样品206上的电子束216产生的发射的检测器系统224。检测器系统224可包括定位或以其它方式配置成检测此类发射的一个或多个检测器。在各种实施例中，不同检测器和/或单一检测器的不同部分可配置成检测不同类型的发射，或配置成使得由不同检测器和/或不同部分检测的发射的参数不同。检测器系统224进一步配置成产生对应于所检测的发射的数据/数据信号，且将数据/数据信号发射到一个或多个计算装置208。
23.虽然图2将实例显微镜系统204描绘为包含fib柱212以用于在切片和视图成像期间去除样品206的层，在其它实施例中，实例显微镜系统204可包含其它类型的延迟组件，例如激光、机械刀片（例如，金刚石刀片）、电子束等。fib柱212示出为包含配置成沿着离子发射轴线230发射多个离子228的带电粒子发射器226。
24.离子发射轴线230是从带电粒子发射器226延伸且穿过样品206的中心轴线。fib柱212进一步包含离子聚焦柱232，所述离子聚焦柱包括孔口、偏转器、转移透镜、扫描线圈、聚光器透镜、物镜等中的一个或多个，它们一起将来自带电粒子发射器226的离子聚焦在样品206上的小点上。以此方式，离子聚焦柱232中的元件可使由带电粒子发射器226发射的离子磨掉或以其它方式去除样品的一个或多个部分。举例来说，在切片和视图成像期间，fib柱212可配置成使具有已知厚度的样品206的表面层在图像获取之间从样品206去除。
25.图2进一步将实例显微镜系统204示出为另外包含样品固持器234。样品固持器234配置成固持样品206，且可相对于实例显微镜系统204平移、旋转和/或倾斜样品102。
26.环境200还展示为包含一个或多个计算装置208。所属领域的技术人员将了解，图2中所描绘的计算装置208仅是说明性的且并不意图限制本公开的范围。计算系统和装置可包含可执行所指示功能的硬件或软件的任何组合，包含计算机、网络装置、网络家电、pda、无线电话、控制器、示波器、放大器等。计算装置208还可连接到未示出的其它装置，或实际上可作为独立系统操作。
27.还应注意，一个或多个计算装置208可以是实例显微镜系统204的组件，可以是与实例显微镜系统204分离的通过网络通信接口与实例显微镜系统204通信的独立装置，或其组合。举例来说，实例显微镜系统204可包含第一计算装置208，所述第一计算装置为实例显
微镜系统204的组成部分且其充当驱动实例带电粒子显微镜系统204的操作（例如，通过操作扫描线圈调整样品上的扫描位置等）的控制器。在此类实施例中，实例显微镜系统204还可包含第二计算装置208，所述第二计算装置为与实例显微镜系统204分离的台式计算机且其可执行以处理从检测器系统224接收的数据，从而产生样品206的图像和/或对检测器数据执行其它类型的分析或后处理。计算装置208可进一步配置成通过键盘、鼠标、触摸垫、触摸屏等接收用户选择。
28.计算装置208配置成基于来自检测器系统224的数据和/或数据信号产生实例显微镜系统204内的样品206的表面层的图像。确切地说，因为来自检测器系统224的数据和/或数据信号是基于在样品的表面的辐照期间从样品206发出的发射223，所以可分析数据和/或数据信号以确定样品的表面与电子束216的电子相互作用深度之间的样品的组成（即，组分元素/分子/特征），使得可产生样品的表面层的图像。在一些实施例中，图像为灰度图像，其显示指示样品的形状和/或材料的对比度。
29.此外，由于fib柱212能够去除具有已知厚度的样品206的层，因此计算装置208能够确定样品206的位置，系列图像中的每一图像对应于所述位置。以此方式，在切片和视图成像的过程期间，计算装置208产生在周期性深度处的样品的层的一系列图像。然而，由于图像含有与表面与电子束216的电子相互作用深度之间的元素/分子/特征相关的信息，因此当fib柱212所去除的层的厚度小于电子束216的电子相互作用深度时，由计算装置208产生的图像描绘来自样品的多个层的样品的元素/分子/特征。举例来说，在fib柱212从样品206的表面去除2 nm层且电子束216的电子相互作用深度为10 nm的实施例中，则由计算装置208产生的每一图像将描绘来自样品的5个不同层的样品的元素/分子/特征。由于元素/分子/特征被认为存在于样品的多个层中，但实际上它们仅存在于一层中，因此基于此类图像产生的样品206的3d重建将具有模糊的重建。
30.根据本发明，计算装置208进一步配置成将深度模糊减少算法应用于一系列所产生图像中的一个或多个，以从对应于存在于不与个别图像对应的样品206的层中的元素/分子/特征的个别图像中去除信息。换句话说，由计算装置208应用的深度模糊减少算法减少可由对应于表面层（即，样品的表面与在切片与视图成像期间成像之间去除的层的厚度之间的样品的层）外部的电子相互作用产生的发射的数据/传感器数据产生的图像信息。以此方式，深度减少算法产生切片和视图图像的增强版本，所述增强版本的对应样品所描绘的样品的层外部的电子相互作用产生的信息量减少。
31.在一些实施例中，计算装置208在应用深度模糊减少算法时，计算装置208可配置成首先存取多个深度模糊减少算法，且基于一个或多个显微镜条件（例如，波束电压、波束的光斑尺寸、波束类型等）、样品条件（例如，样品类型、样品材料、样品特征等）或其组合而从多个深度模糊减少算法中选择深度模糊减少算法。可针对不同的对应显微镜条件、样品条件或其组合训练多个深度模糊减少算法中的深度模糊减少算法中的每一者。在此类实施例中，计算装置208可选择针对与多个所产生图像相关联的相应显微镜条件和/或样品条件训练的深度模糊减少算法。
32.在各种实施例中，深度模糊减少算法可包括确定可归因于相同元素/分子/特征的多个样品层的图像信息和/或数据/数据流的部分，且随后确定实际上存在元素/分子/特征的多个样品层的层的模块或模块集合。举例来说，深度模糊减少算法可确定元素/分子/特
征位于多个层的最中间层中或位于可归因于元素/分子/特征的图像信息和/或数据/数据流的部分最佳的层中（即，对于像素来说，最清晰、最强、最高百分比的信号等）。
33.替代地或另外，深度模糊减少算法可包括配置成处理三个或更多个维度，例如3d神经网络中的数据的机器学习算法。举例来说，深度模糊减少算法可包括经过训练以接收基于样品的切片和视图成像而产生的多个图像和/或数据，且去除可归因于样品的对应层外部的要素/分子/特征的多个图像和/或数据的部分的经过训练的3d神经网络，其中成像波束的电子穿透深度大于切片厚度。根据本发明，可使用通过样品的切片和视图带电粒子成像获取的第一组训练数据以及对应于用作参考的样品的经标记重建的第二组训练数据训练此类神经网络，其中成像波束的电子相互作用深度大于对应切片厚度。在一些实施例中，使用低压切片和视图过程获取第二组训练数据，其中成像波束的电子相互作用深度小于对应切片厚度。替代地，可至少部分地通过将反卷积算法应用于第一组训练数据的至少一部分来获取第二组训练数据。在另一实施例中，第二组训练数据为基于样品的映射、样品的描述、样品的已知特性或其组合的样品的模拟重建。
34.图2进一步包含示出计算装置208的实例计算架构250的示意图。实例计算架构250示出可用以实施本公开中所描述的技术的硬件和软件组件的额外细节。所属领域的技术人员将理解，计算架构250可在单一计算装置208中实施，或可在多个计算装置中实施。举例来说，计算架构250中描绘的个别模块和/或数据构建体可由不同计算装置208执行和/或存储在所述不同计算装置上。以此方式，本文中所公开的本发明方法的不同过程步骤可由单独计算装置208且以本公开的范围内的各种次序实行和/或执行。换句话说，在一些实施方案中，由所示组件提供的功能可组合在更少的组件中或分布在额外组件中。类似地，在一些实施方案中，可不提供一些所示组件的功能和/或可使用其它额外功能。
35.在实例计算架构250中，计算装置包含以通信方式耦合到一个或多个处理器252的一个或多个处理器252和存储器254。实例计算架构250可包含图像产生模块256、数据增强模块258、重建产生模块260、训练模块262和存储在存储器254中的控制模块264。实例计算架构250进一步示出为包含存储在存储器254上的深度模糊减少算法266。如本文所用，术语“模块”旨在表示出于论述目的的可执行指令的实例划分，而不意图表示任何类型的要求或所要求的方法、方式或组织。因此，虽然描述了各种“模块”，但它们的功能性和/或类似的功能性可以不同方式布置（例如，组合成较少数目的模块、分解成大量模块等）。此外，虽然本文中将特定功能和模块描述为由处理器上可执行的软件和/或固件实施，但在其它实例中，模块中的任一个或所有模块可全部或部分由硬件（例如，专门化处理单元等）实施以执行所描述的功能。如上文在各种实施方案中所论述，本文中所描述的与实例计算架构250相关联的模块可在多个计算装置208中执行。
36.图像产生模块256可由处理器252执行以基于来自检测器系统224的数据和/或数据信号而产生实例显微镜系统204内的样品206的表面层的图像。确切地说，因为来自检测器系统224的数据和/或数据信号是基于在样品的表面的辐照期间从样品206发出的发射223，所以可分析数据和/或数据信号以确定样品的表面与电子束216的电子相互作用深度之间的样品的组成（即，组分元素/分子/特征），使得可产生样品的表面的图像。在一些实施例中，图像为灰度图像，其显示指示样品的形状和/或材料的对比度。
37.数据增强模块256可由处理器252执行以将深度模糊减少算法应用于一系列所产
生图像和/或检测器数据/数据信号中的一个或多个，以从其个别部分去除对应于存在于不与个别图像对应的样品206的层中的元素/分子/特征的信息。换句话说，由计算装置208应用的深度模糊减少算法减少可由对应于表面层（即，样品的表面与在切片与视图成像期间成像之间去除的层的厚度之间的样品的层）外部的电子相互作用产生的发射的数据/传感器数据产生的信息/数据。以此方式，深度减少算法产生切片和视图图像的增强版本，所述增强版本的对应样品所描绘的样品的层外部的电子相互作用产生的信息量减少。
38.深度模糊减少算法266可包括确定可归因于相同元素/分子/特征的多个样品层的图像信息和/或数据/数据流的部分，且随后确定实际上存在元素/分子/特征的多个样品层的层的模块或模块集合。举例来说，深度模糊减少算法可确定元素/分子/特征位于多个层的最中间层中或位于可归因于元素/分子/特征的图像信息和/或数据/数据流的部分最佳的层中（即，对于像素来说，最清晰、最强、最高百分比的信号等）。以此方式，深度模糊减少算法随后去除可归因于位于样品的对应层外部的元素/分子/特征的图像/数据信号的部分。
39.在各种实施例中，深度模糊减少算法可包括经过训练的机器学习模块（例如，人工神经网络（ann）、卷积神经网络（cnn）、全卷积神经网络（fcn）等），所述机器学习模块能够识别图像的部分和/或对应于存在于样品206的层中的元素/分子/特征的检测器数据/数据信号，所述层不同于与个别图像/数据信号对应的层。举例来说，深度模糊减少算法可包括配置成处理三个或更多个维度，例如3d神经网络中的数据的机器学习算法。在一些实施例中，深度模糊减少算法可包括经过训练以接收基于样品的切片和视图成像而产生的多个图像和/或数据，且去除可归因于样品的对应层外部的要素/分子/特征的多个图像和/或数据的部分的经过训练的3d神经网络，其中成像波束的电子穿透深度大于切片厚度。
40.在一些实施例中，数据增强模块256可由处理器252执行以首先存取多个深度模糊减少算法264，且随后基于一个或多个显微镜条件（例如，波束电压、波束的光斑尺寸、波束类型等）、样品条件（例如，样品类型、样品材料、样品特征等）或其组合而从多个深度模糊减少算法中选择深度模糊减少算法。可针对不同的对应显微镜条件、样品条件或其组合训练多个深度模糊减少算法中的深度模糊减少算法中的每一者。在此类实施例中，数据增强模块256可选择针对与多个所产生图像相关联的相应显微镜条件和/或样品条件训练的深度模糊减少算法。
41.重建产生模块260可由处理器252执行以基于已由深度模糊减少算法266增强的增强型图像和/或数据产生样品206的3d重建。由于fib柱212能够去除具有已知厚度的样品206的层，因此重建产生模块260能够确定一系列图像中的每一图像所对应的样品206的位置，且使用此信息构建样品206的3d模型/渲染。
42.计算架构250可包含训练模块262，所述训练模块可执行以训练深度模糊减少算法266和/或其组件机器学习算法识别图像的突出特征处的图像中的关键点。训练模块170促进使用通过样品的切片和视图带电粒子成像获取的第一组训练数据以及对应于样品的经标记重建的第二组训练数据训练深度模糊减少算法266和/或组件机器学习算法，其中成像波束的电子相互作用深度大于对应切片厚度。在一些实施例中，使用低压切片和视图过程获取第二组训练数据，其中成像波束的电子相互作用深度小于对应切片厚度。替代地，可至少部分地通过将反卷积算法应用于第一组训练数据的至少一部分来获取第二组训练数据。
在另一实施例中，第二组训练数据为基于样品的映射、样品的描述、样品的已知特性或其组合的样品的模拟重建。训练模块262可配置成用新训练数据执行额外训练，且随后传输改进深度模糊减少算法266和/或其组件机器学习算法的性能的更新。
43.控制模块264可由处理器252执行以使计算装置208和/或实例显微镜系统204采取一个或多个动作。举例来说，控制模块264可使实例显微镜系统204执行样品206的切片和视图处理，其中成像波束的电子相互作用深度大于由延迟组件（例如，fib柱212）去除的层的厚度。
44.如上文所论述，计算装置208包含一个或多个处理器252，所述处理器配置成执行存储于一个或多个处理器可存取的存储器254中的指令、应用或程序。在一些实例中，一个或多个处理器252可包含硬件处理器，所述硬件处理器包含但不限于硬件中央处理单元（cpu）、图形处理单元（gpu）等。虽然在许多情况下技术在本文中描述为由一个或多个处理器252执行，但在一些情况下技术可由一个或多个硬件逻辑组件实施，例如现场可编程门阵列（fpga）、复杂可编程逻辑装置（cpld）、专用集成电路（asic）、芯片上系统（soc）或其组合。
45.一个或多个处理器252可存取的存储器254为计算机可读介质的实例。计算机可读介质可包含两种类型的计算机可读介质，即计算机存储介质和通信介质。计算机存储介质可包含在任何方法或技术中实施用于存储如计算机可读指令、数据结构、程序模块或其它数据等信息的易失性和非易失性的以及可去除和不可去除的介质。计算机存储介质包含但不限于随机存取存储器（ram）、只读存储器（rom）、可擦除可编程只读存储器（eeprom）、快闪存储器或其它存储器技术、压缩光盘只读存储器（cd-rom）、数字通用光盘（dvd），或其它光学存储装置、磁带盒、磁带、磁盘存储装置或其它磁性存储装置，或可用于存储所要信息且可由计算装置存取的任何其它非传输介质。一般来说，计算机存储介质可包含计算机可执行指令，其在由一个或多个处理单元执行时使得执行本文中所描述的各种功能和/或操作。相比而言，通信介质体现计算机可读指令、数据结构、程序模块，或例如载波等经调制数据信号中的其它数据，或其它传输机制。如本文中所定义，计算机存储介质不包含通信介质。
46.所述领域的技术人员还将理解，出于存储器管理和数据完整性的目的，可在存储器254与其它存储装置之间传输项目或其部分。替代地，在其它实施方案中，软件组件中的一些或所有可在另一装置上的存储器中执行且与计算装置208通信。系统组件或数据结构中的一些或全部还可存储（例如，作为指令或结构化数据）在非暂时性计算机可存取介质或便携式制品上，以由适当的驱动器读取，所述适当的驱动器的各种示例在上文描述。在一些实施方案中，可将存储在与计算装置208分离的计算机可存取介质上的指令经由传输介质或经由如无线链路的通信介质传达的如电、电磁或数字信号的信号传输到计算装置208。各种实施方案还可包含接收、发送或存储根据以上描述在计算机可存取介质上实施的指令和/或数据。
47.图3描绘根据本发明的包含多个图像的视觉流程图300，所述多个图像一起描绘可由环境200执行以产生使用切片和视图过程成像的3d样品的高分辨率重建的实例过程，其中成像波束的电子相互作用深度大于切片厚度。图像302至306展示实例切片和视图成像过程，其中成像波束318的电子穿透深度316大于由延迟组件322去除的层的厚度320。在图像304中，将延迟组件322示出为fib，然而本公开不限于此实施例，且所属领域的技术人员将理解，可在本公开的范围内使用其它已知延迟技术。由成像波束的电子与电子穿透深度内
的样品的元素/分子/特征之间的相互作用产生的发射由检测器324检测。如图3中所示，可以重复样品的成像和延迟过程，直到样品的所要部分成像（例如，所要区域、多个层、样品的所要深度、整个样品、样品的百分比、样品的一个或多个特征等）。
48.图像308展示基于在图像302至306的切片和视图成像过程期间获得的来自检测器324的数据产生的样品层的多个图像。在对应层的成像步骤期间使用来自检测器324的数据重建多个图像中的每一图像。将图像310中象征性地描绘的深度模糊减少算法应用于图像308的多个所产生图像和/或用以构建其的数据，使得从位于样品的对应层外部的元素/分子/特征产生的信息被去除。以此方式，可创建图像312中所展示的增强型图像。312中的这些增强型图像为308中的切片和视图图像的增强版本，所述增强版本中由对应样品所描绘的样品的层外部的电子相互作用产生信息量减少。
49.图像314展示基于增强型图像和/或数据的样品的3d重建。因此，使用本公开的方法，可创建由于在切片和视图处理的个别切片外部发生的电子相互作用而z维度模糊有所减少的样品的较高分辨率3d重建。
50.图像316至320示出用于训练深度模糊减少算法的一个或多个神经网络组件的任选过程。在此过程中，获得使用训练样品的切片和视图检查获得的训练数据（在图像316中展示），其中成像波束设置使得其电子相互作用深度大于层厚度。将此训练数据连同图像318中所展示的经标记数据输入到图像320中所示出的神经网络训练过程中。可周期性地重新训练深度模糊减少算法和/或可训练多个深度模糊减少算法，使得针对特定显微镜和/或样品设置优化每一深度模糊减少算法。所属领域的技术人员将理解，虽然图像320描绘了u形网（u-net）训练过程，但在各种其它实施例中，其它训练过程可用以训练深度模糊减少算法。
51.图4是描绘为逻辑流程图中的块的集合的说明性过程的流程图，所述块表示可实施于硬件、软件或其组合中的操作序列。在软件的上下文中，块表示存储在一个或多个计算机可读存储介质上的计算机可执行指令，其在由一个或多个处理器执行时执行所叙述的操作。一般来说，计算机可执行指令包含执行特定功能或实施特定抽象数据类型的例程、程序、物体、组件、数据结构等。描述操作的次序并不意图解释为限制，且任何数目的所描述块可以任何次序和/或并行组合以实施所述过程。
52.确切地说，图4为用于产生使用切片和视图过程成像的3d样品的高分辨率重建的说明性过程200的流程图，其中成像波束的电子相互作用深度大于切片厚度。可在环境300和/或由一个或多个计算装置208和/或由计算架构250和/或在其它环境和计算装置中实施过程400。
53.在402处，任选地获得训练数据，其中训练数据是使用对样品的切片和视图过程产生的，其中成像波束的电子深度大于切片厚度。训练数据可经由显微镜系统，例如环境200中所描述的双波束显微镜系统对样品进行处理来获得。替代地，数据可由计算装置通过有线或无线连接（例如，wan、lan、电缆连接等）或从存储训练数据的另一存储器装置（例如，另一计算机存储器、硬盘驱动器、cd-rom、便携式存储器装置等）获得。
54.在404处，任选地获得样品的经标记训练数据。经标记训练数据对应于与在步骤402中获得的训练数据相比深度模糊减少的样品的切片和视图图像。在一些实施例中，使用低压切片和视图过程获取经标记训练数据，其中成像波束的电子相互作用深度小于对应切
片厚度。在另一实施例中，可至少部分地通过将反卷积算法、噪声减少算法和/或另一类型的数据清理算法应用于在步骤402中获得的训练数据的至少一部分来获取经标记训练数据。替代地或另外，经标记训练数据的至少一部分可为基于样品的映射、样品的描述、样品的已知特性或其组合的样品的模拟重建。
55.在406处，至少部分地基于训练数据和经标记数据任选地训练深度模糊减少算法。举例来说，深度模糊减少算法可包括神经网络组件（例如，3d神经网络)，所述神经网络组件通过将训练数据和经标记数据输入到3d u形网中而训练。在一些实施例中，可周期性地重新训练深度模糊减少算法以改进性能，或适应特定显微镜和/或样品设置。通过重复此类训练，可改进深度模糊减少算法的性能。替代地或另外，可训练多个深度模糊减少算法以使得针对特定显微镜和/或样品设置优化每一深度模糊减少算法。在此类实施例中，402中的训练数据是通过所要显微镜和/或样品设置获得的，所得深度模糊减少算法针对所述设置进行优化。
56.在408处，获得样品的图像数据，其中图像数据是使用切片和视图过程产生的，其中成像波束的电子深度大于切片厚度。在一些实施例中，通过显微镜系统，如环境200中所描述的双波束显微镜系统处理样品来获得样品的图像数据。然而，在其它实施例中，获得数据可包括经由有线或无线连接（例如，wan、lan、电缆连接等）或从存储训练数据的另一存储器装置（例如，另一计算机存储器、硬盘驱动器、cd-rom、便携式存储器装置等）获得图像数据。
57.在410处，任选地从图像数据产生多个图像，其中每一图像对应于使用切片和视图成像成像的样品的层。举例来说，展示指示每一图像所对应的样品的个别层的形状和/或材料的对比度的多个灰度图像。因为样品的图像数据是使用切片和视图过程获得的，其中电子相互作用深度大于切片厚度，所以在每一个别切片的成像期间获得的数据包含与位于正在成像的特定样品层外部的分子/元素/特征相关的信息。因此，多个图像中的每一者还包含与实际上不存在于所描绘的样品层中的分子/元素/特征有关的信息。此现象引起图像的深度模糊。
58.在412处，用深度模糊减少算法增强图像数据。举例来说，可将深度模糊减少算法应用于图像数据和/或多个图像以从个别图像去除对应于实际上不存在于个别图像/图像数据所对应的样品的层中的元素/分子/特征的信息。换句话说，深度模糊减少算法减少可由对应于表面层外部的电子相互作用产生的发射的数据/传感器数据产生的图像信息（即，样品的表面与在切片与视图成像期间成像之间去除的层的厚度之间的样品的层）。以此方式，深度减少算法产生切片和视图图像的增强版本，所述增强版本的对应样品所描绘的样品的层外部的电子相互作用产生的信息量减少。在一些实施例中，深度减少算法可选自基于一个或多个显微镜条件（例如，波束电压、波束的光斑尺寸、波束类型等）、样品条件（例如，样品类型、样品材料、样品的特征）或其组合的多种深度模糊减少算法等。可针对不同的对应显微镜条件、样品条件或其组合训练多个深度模糊减少算法中的深度模糊减少算法中的每一者。
59.在414处，任选地从增强型图像数据产生多个增强型图像。因为与每一图像相关联的增强型图像数据中与不存在于图像所描绘的样品层中的分子/元素/特征相关的信息量减少，所以图像将分辨率较高、清晰度较高和/或模糊减少。
60.在416处，基于增强型图像数据和/或增强型图像产生样品的增强型3d重建。因为与每一图像相关联的增强型图像数据中关于不存在于图像所描绘的样品层中的分子/元素/特征的信息量减少，所以3d重建的深度模糊量将减少，这是现有技术切片和视图成像过程中的问题。
61.图5和图6展示与现有技术系统的切片和视图图像相比，用本发明过程处理的切片和视图图像。举例来说，图像502和602展示经由切片和视图处理获得的样品的层的图像，其中成像波束的电子穿透深度大于切片厚度。图像504和604分别展示将图像增强滤波器应用于图像502和602的原始数据的结果。图像506和606分别展示将本公开的深度减少算法应用于图像502和602的原始数据的结果。图像508和608为分别将反卷积算法应用于对图像502和602的原始数据进行后处理的结果。可以看出，与现有技术系统相比，本公开的方法和系统提高了样品的分辨率，同时还增加了图像的信噪比。
62.在以下列举的段落中描述了根据本公开的发明主题的实例。
63.a1.一种通过切片和视图带电粒子成像提高分辨率重建的方法，所述方法包括：获取与样品的第一层相关的第一数据，所述第一数据已通过用带电粒子束对样品的第一层进行第一辐照而获取；获取与样品的第二层相关的第二数据，所述第二数据已通过用带电粒子束对样品的第二层进行第二辐照而获取，其中：在第一辐照与第二辐照之间去除样品的第一层；以及带电粒子束的电子相互作用深度大于第一层的厚度和第二层的厚度；用深度模糊减少算法增强第一数据以创建增强型第一数据，其中深度模糊减少算法减少由第一层外部的电子相互作用产生的第一数据的第一部分引起的深度模糊；用深度模糊减少算法增强第二数据以创建增强型第二数据，其中深度模糊减少算法减少由第二层外部的电子相互作用产生的第二数据的第二部分引起的深度模糊；以及使用增强型第一数据和增强型第二数据构建样品的高分辨率3d重建。
64.a2.根据技术方案1所述的方法，其进一步包括以下步骤：产生样品的第一层的第一图像；以及产生样品的第二层的第二图像。
65.a3.根据技术方案a1到a2中任一项所述的方法，其中增强第一数据包括基于第一层外部的电子相互作用产生信息量减少的增强型第一图像。
66.a3.1.根据段落a3所述的方法，其中增强第二数据包括基于第二层外部的电子相互作用产生信息量减少的增强型第二图像。
67.a4.根据段落a1到a3.1中任一项所述的方法，其中减少深度模糊对应于：从第一数据去除由第一层外部的电子相互作用产生的第一数据的第一部分；以及从第二数据去除由第二层外部的电子相互作用产生的第二数据的第二部分。
68.a5.根据段落a1到a4中任一项所述的方法，其中深度模糊对应于由大于第一层和/或第二层的厚度的带电粒子束的电子相互作用深度产生的图像数据的存在。
69.a6.根据段落a1到a5中任一项所述的方法，其中所述带电粒子束为电子束。
70.a6.1.根据段落a6所述的方法，其中电子束为单一能量电子束。
71.a7.根据段落a1到a6.1中任一项所述的方法，其中用以下各者中的一个或多个去除样品的第一层：聚焦离子束；激光；电子束；以及金刚石刀片。
72.a8.根据段落a1到a7中任一项所述的方法，其中深度模糊减少算法为神经网络。
73.a8.1.根据段落a8所述的方法，其中深度模糊减少算法为3d神经网络。
74.a8.2.根据段落a8到a8.2中任一项所述的方法，其中使用以下各者训练神经网络：通过样品的切片和视图带电粒子成像获取的第一组训练数据，其中成像波束的电子相互作用深度大于对应切片厚度；以及对应于样品的经标记重建的第二组训练数据。
75.a8.2.1.根据段落a8.2所述的方法，其中使用低压切片和视图带电粒子成像处理获取第二组训练数据，其中成像波束的电子相互作用深度小于对应切片厚度。
76.a8.2.2.根据段落a8.2到a8.2.1中任一项所述的方法，其中至少部分地通过将反卷积算法应用于第一组数据来获取第二组训练数据。
77.a8.2.3.根据段落a8.2到a8.2.2中任一项所述的方法，其中基于样品的映射、样品的描述、样品的已知特性或其组合模拟获取第二组训练数据。
78.a8.3.段落a8到a8.2.3中任一项所述的方法，其中方法进一步包括用通过样品的切片和视图带电粒子成像获取的第一组训练数据以及对应于样品的经标记重建的第二组训练数据训练神经网络，其中成像波束的电子相互作用深度大于对应切片厚度。
79.a.8.4.根据段落a8到a8.3中任一项所述的方法，其中深度模糊减少算法为基于训练的3d盲反卷积算法。
80.a.8.5.根据段落a8到a8.4中任一项所述的方法，其中深度模糊减少算法为基于 3d盲神经网络的算法。
81.a9.根据段落a1到a8.5中任一项所述的方法，其中方法进一步包括存取多个深度模糊减少算法，且基于一个或多个显微镜条件从多个深度模糊减少算法中选择深度模糊减少算法。
82.a9.1.根据段落a9所述的方法，其中显微镜条件包含带电粒子束电压、带电粒子束的光斑尺寸、带电粒子束的类型。
83.a9.2.根据段落a9到a9.1中任一项所述的方法，其中针对不同对应的显微镜条件训练多个深度模糊减少算法中的个别深度模糊减少算法。
84.a10.根据段落a1到a9.2中任一项所述的方法，其中方法进一步包括存取多个深度模糊减少算法，且基于一个或多个样品条件从多个深度模糊减少算法中选择深度模糊减少算法。
85.a10.1.根据段落a10所述的方法，其中一个或多个样品条件包含样品的类型、样品的材料、样品的特征或其组合。
86.a10.2.根据段落a10到a10.1中任一项所述的方法，其中针对不同对应的样品条件训练多个深度模糊减少算法中的个别深度模糊减少算法。
87.b1.一种带电粒子显微镜系统，所述系统包括：样品固持器，其配置成固持样品；电子束源，其配置成朝向样品发射电子束；电子束柱，其配置成将电子束引导到样品上；延迟组件，其配置成从样品的表面去除层，所述层具有已知厚度；一个或多个检测器，其配置成检测辐照样品的电子束产生的发射；一个或多个处理器；以及存储指令的存储器，所述指令当在一个或多个处理器上执行时使带电粒子显微镜系统进行段落a1-a10.2中任一项所述的方法。
88.c1.一种通过切片视图带电粒子成像改进分辨率重建的方法，所述方法包括：至少部分地基于以下各者训练深度模糊减少算法：通过训练样品的切片和视图带电粒子成像获取的第一组训练数据，其中成像波束的电子相互作用深度大于对应切片厚度；以及第二组
训练数据，其对应于训练样品的经标记重建；获取与样品的第一层相关的第一数据，所述第一数据已通过用带电粒子束对样品的第一层进行第一辐照而获取；获取与样品的第二层相关的第二数据，所述第二数据已通过用带电粒子束对样品的第二层进行第二辐照而获取，其中：在第一辐照与第二辐照之间去除样品的第一层；以及带电粒子束的电子相互作用深度大于第一层的厚度和第二层的厚度；用深度模糊减少算法增强第一数据以创建增强型第一数据，其中深度模糊减少算法减少由第一层外部的电子相互作用产生的第一数据的第一部分引起的深度模糊；用深度模糊减少算法增强第二数据以创建增强型第二数据，其中深度模糊减少算法减少由第二层外部的电子相互作用产生的第二数据的第二部分引起的深度模糊；以及使用增强型第一数据和增强型第二数据构建样品的高分辨率3d重建。
89.c2.根据段落c1所述的方法，其进一步包括以下步骤：产生样品的第一层的第一图像；以及产生样品的第二层的第二图像。
90.c2.1.根据段落c2所述的方法，其中增强第一数据对应于基于第一层外部的电子相互作用产生信息量减少的增强型第一图像。
91.c2.2.根据段落c2到c2.1所述的方法，其中增强第二数据对应于基于第二层外部的电子相互作用产生信息量减少的增强型第二图像。
92.c3.根据段落c1到c2.2中任一项所述的方法，其中减少深度模糊对应于：从第一数据去除由第一层外部的电子相互作用产生的第一数据的第一部分；以及从第二数据去除由第二层外部的电子相互作用产生的第二数据的第二部分。
93.c4.根据段落c1到c3中任一项所述的方法，其中深度模糊对应于由大于第一层和/或第二层的厚度的带电粒子束的电子相互作用深度产生的图像数据的存在。
94.c5.根据段落c1到c4中任一项所述的方法，其中带电粒子束为电子束。
95.c5.1.根据技术方案c5所述的方法，其中电子束为单一能量电子束。
96.c6.根据段落c1到c5.1中任一项所述的方法，其中用以下各者中的一个或多个去除样品的第一层：聚焦离子束；激光；电子束；以及金刚石刀片。
97.c7.根据段落c1到c6中任一项所述的方法，其中深度模糊减少算法为神经网络。
98.c7.1.根据技术方案c7所述的方法，其中深度模糊减少算法为3d神经网络。
99.c8.根据段落c1到c7.1中任一项所述的方法，其中使用低压切片和视图带电粒子成像处理获取第二组训练数据，其中成像波束的电子相互作用深度小于对应切片厚度。
100.c9.根据段落c1到c8中任一项所述的方法，其中至少部分地通过将反卷积算法应用于第一组数据来获取第二组训练数据。
101.c10.根据段落c1到c9中任一项所述的方法，其中基于样品的映射、样品的描述、样品的已知特性或其组合模拟获取第二组训练数据。
102.c11.根据段落c1到c10中任一项所述的方法，其中方法进一步包括存取多个深度模糊减少算法，且基于一个或多个显微镜条件从多个深度模糊减少算法中选择深度模糊减少算法。
103.c11.1.根据技术方案c11所述的方法，其中显微镜条件包含带电粒子束电压、带电粒子束的光斑尺寸、带电粒子束的类型。
104.c11.2.根据技术方案c11所述的方法，其中针对不同对应的显微镜条件训练多个深度模糊减少算法中的个别深度模糊减少算法。
105.c12.根据段落c1到c11.2中任一项所述的方法，其中方法进一步包括存取多个深度模糊减少算法，且基于一个或多个样品条件从多个深度模糊减少算法中选择深度模糊减少算法。
106.c12.1.根据技术方案c12所述的方法，其中一个或多个样品条件包含样品的类型、样品的材料、样品的特征或其组合。
107.c12.1.根据技术方案c12所述的方法，其中针对不同对应的样品条件训练多个深度模糊减少算法中的个别深度模糊减少算法。
108.d1.使用b1的系统执行根据段落a1到a10.2或c1到c12.1中任一项所述的方法。
109.本文所描述的系统、设备和方法不应以任何方式被解释为限制性的。实际上，本公开针对各种所公开实施例的所有新颖和非显而易见的特征和方面，无论是单独地还是以彼此形成的各种组合和子组合。所公开的系统、方法和设备不限于任何具体方面或特征或其组合，所公开的系统、方法和设备也不要求存在任何一个或多个具体优点或解决任何一个或多个具体问题。任何操作理论均是为了便于阐释，但所公开的系统、方法和设备不限于此类操作理论。
110.尽管为了便于呈现而以特定的顺序次序来描述所公开的方法中的一些的操作，但应理解，除非下文所陈述的具体语言要求特定排序，否则此描述方式涵盖重新布置。例如，在一些情况下，可以重新布置或同时执行按顺序描述的操作。此外，为了简单起见，附图可能没有显示所公开的系统、方法和设备可与其它系统、方法和设备结合使用的各种方式。另外，描述内容有时使用比如“确定”、“识别”、“产生”和“提供”等术语来描述所公开的方法。这些术语是所执行的实际操作的高级抽象化。对应于这些术语的实际操作将取决于特定实施方案而变化，并且容易由所属领域的技术人员辨别。