用于根据稀疏粒子撞击数据进行图像分割的系统和方法与流程

用于根据稀疏粒子撞击数据进行图像分割的系统和方法
1.相关申请
2.本技术与2020年4月9日提交的题为“system and method for image segmentation from sparse particle impingement data”的序列号为3,078,085的加拿大专利申请有关并且要求享有所述加拿大专利申请的优先权的权益。所述加拿大专利申请的公开内容通过引用被全部并入本文。
技术领域
3.本公开内容涉及成像技术，并且具体地，涉及用于进行图像分割的系统和方法。


背景技术：

4.对于许多基于光栅的成像应用，诸如电子显微镜，成像吞吐量的瓶颈可能是长数据获取时间。提高图像获取速度的潜在途径是获取部分数据和/或图像，并且采用计算算法来构建更完整的图像。然而，以满足准确性、空间分辨率和低噪声的必要标准的方式根据稀疏采样的数据这样做仍然是挑战。
5.图像融合提供了一种减少图像中的噪声同时寻求维持期望的图像属性——诸如高图像对比度——的方法。例如，milillo[milillo,t.等人的“image fusion combining sem and tof-sims images,”surface and interface analysis,47,371
–
376(2015)]通过使用计算算法将sem数据与光学显微镜结合改进了sem图像。类似地，tarolli[tarolli,j.g.等人的“improving secondary ion mass spectrometry image quality with image fusion,”journal of the american society for mass spectrometry,25,2154
–
2162(2014)]演示了通过与更高强度并且因此更高空间分辨率的电子显微镜图像的图像融合来在不牺牲化学特异性的情况下二次离子质谱分析法图像的改进的质量。
[0006]
在一些应用中，图像可能需要分割，其中标签被分配给图像的不同的像素，使得具有相同标签的像素共享类似的特性以例如分离图像的不同的相位。已经对于不同的应用提出了各种分割方法。例如，多孔材料的sem图像可以基于如下算法被分割：该算法基于结构在z方向上的最后出现检测和分配所述结构，然后是局部阈值化，如由salzer[salzer,m.,等人的“a two-stage approach to the segmentation of fib-sem images of highly porous materials”，materials characterization,69,115
–
126(2012)]所呈现的。替代地，可以使用轮廓拟合和滤波来分割生物样品——诸如红细胞，如由vromen和mccane[vromen,j.,mccane,b.,“red blood cell segmentation from sem images,”2009 24th international conference image and vision computing new zealand,44
–
49,ieee(2009)]所示出的。虽然sim[sim,k.,等人的“canny optimization technology for electron microscope image colourization”,journal of microscopy,232,313
–
334(2008)]采用了canny边缘检测、优化和监督分割的组合——其需要初始用户输入，并且kreshuk[kreshuk,a.,等人的“automated detection and segmentation of synaptic contacts in nearly isotropic serial electron microscopy images,”plos one,6,
e24899.(2011)]演示了通过机器学习技术——其需要训练数据集——的分割，但是这些分割方法对于许多应用可能是出奇耗时的。另一种常见的分割方法是阈值化、滤波和区域生长的组合，诸如由yang和buenfeld[yang,r.,buenfeld,n.“binary segmentation of aggregate in sem image analysis of concrete,”cement and concrete research 31,437
–
441(2001)]所描述的过程。
[0007]
提供此背景信息以揭示申请人认为可能相关的信息。必然不意在承认，也不应被理解为，前述信息中的任何信息构成现有技术或形成相关领域中一般公知常识的一部分。


技术实现要素：

[0008]
以下呈现了本文所描述的总体发明构思的简化总结，以提供对本公开内容的一些方面的基本理解。此总结不是本公开内容的广泛概述。不意在限制本公开内容的实施方案的主要或关键元件，或不意在将它们的范围描绘为超出由以下描述和权利要求书明确地或暗含地描述的范围。
[0009]
存在对克服已知技术的一些缺点或至少提供对其的有用替代方案的用于图像分割的系统和方法的需要。本公开内容的一些方面提供这样的过程和系统的示例。
[0010]
根据一个方面，提供了一种用于根据稀疏成像数据分割衬底的多个特征的方法，所述方法包括：在多个感测位置中的每个处使用粒子束撞击衬底表面，所述多个感测位置限定所述衬底表面的一个感兴趣的区域内的位置的子集；由至少两个粒子传感器中的每个、在所述多个感测位置中的每个处测量与由所述撞击产生的撞击后粒子相关联的强度值；对于每个感测位置，基于所述感测位置的所述强度值计算测量的强度；对于限定所述感兴趣的区域的另一个子集的多个估计的位置中的每个，基于与所述估计的位置近侧(proximal)的一个或多个位置对应的以下中的至少一个计算对应的估计的强度：一个或多个近侧的测量的强度，以及一个或多个近侧的估计的强度；以及基于所述对应的估计的强度分割所述多个估计的位置中的每个，并且基于所述对应的测量的强度分割所述感测位置中的每个，以对应于所述多个特征中的一个。
[0011]
在一些实施方案中，计算测量的强度还基于与所述感测位置近侧的一个或多个位置对应的以下中的至少一个：一个或多个近侧的测量的强度，以及一个或多个近侧的估计的强度。
[0012]
在一些实施方案中，计算测量的强度和所述计算对应的估计的强度包括求解优化问题。
[0013]
在一些实施方案中，所述测量的强度是根据由所述两个或更多个粒子传感器测量的强度值的组合确定的。
[0014]
在一些实施方案中，每个估计的强度是基于对应的估计的位置和在计算所述估计的强度时使用的所述一个或多个近侧的测量的强度和一个或多个近侧的估计的强度的每个位置之间的距离计算的。
[0015]
在一些实施方案中，每个所述估计的强度与由所述至少两个粒子传感器中的一个测量的所述测量的强度的噪声特性有关。
[0016]
在一些实施方案中，所述分割包括计算所述估计的位置中的每个处的灰度值(greyscale value)。
[0017]
在一些实施方案中，所述分割包括求解优化问题。
[0018]
在一些实施方案中，所述优化问题包括惩罚函数。
[0019]
在一些实施方案中，所述惩罚函数与对应于所述衬底的所述多个特征中的每个的预期强度有关。
[0020]
在一些实施方案中，对估计的强度的所述计算包括用于所述分割估计的强度以对应于所述多个特征中的一个的初始猜测。
[0021]
在一些实施方案中，生成多个分割的图像，所述多个分割的图像中的每个与所述衬底的一个指定层对应。
[0022]
在一些实施方案中，竖直地对准所述多个分割的图像以确定在所述衬底中它们之间的互连。
[0023]
在一些实施方案中，所述方法还包括生成说明所述衬底的部件的连接性的分割的图像。
[0024]
在一些实施方案中，所述多个感测位置包括一个或多个行。
[0025]
在一些实施方案中，所述一个或多个行在不止一个方向上被定向。
[0026]
在一些实施方案中，所述一个或多个行相对于衬底表面特征中的一个或多个的定向被旋转。
[0027]
在一些实施方案中，所述多个感测位置包括lissajous图案(pattern)。
[0028]
在一些实施方案中，所述多个感测位置包括优化的图案。
[0029]
在一些实施方案中，由至少两个粒子传感器中的每个进行的所述测量被同时执行。
[0030]
在一些实施方案中，所述粒子束包括电子束。
[0031]
在一些实施方案中，所述两个或更多个粒子传感器包括透镜内传感器、背向散射电子传感器、分割式背向散射探测器(segmented backscatter detector)和everhart-thornley探测器中的两个或更多个。
[0032]
在一些实施方案中，所述撞击后粒子包括一次电子和二次电子中的至少一种。
[0033]
根据另一个方面，提供了一种用于根据稀疏成像数据分割衬底的多个特征的方法，所述衬底包括多个特征，所述方法包括：在多个感测位置中的每个处使用粒子束撞击衬底表面，所述多个感测位置限定所述衬底表面的一个感兴趣的区域内的位置的子集；使用粒子传感器、在所述多个感测位置中的每个处测量与由所述撞击产生的撞击后粒子相关联的强度值；对于每个感测位置，基于所述感测位置的所述强度值计算测量的强度；对于限定所述感兴趣的区域的另一个子集的多个估计的位置中的每个，基于与所述估计的位置近侧的一个或多个位置对应的以下中的至少一个计算对应的估计的强度：一个或多个近侧的测量的强度，以及一个或多个近侧的估计的强度；以及基于所述对应的估计的强度分割所述多个估计的位置中的每个，并且基于所述对应的测量的强度分割所述感测位置中的每个，以对应于所述多个特征中的一个。
[0034]
在一些实施方案中，计算测量的强度还基于与所述感测位置近侧的一个或多个位置对应的以下中的至少一个：一个或多个近侧的测量的强度，以及一个或多个近侧的估计的强度。
[0035]
在一些实施方案中，计算测量的强度和所述计算对应的估计的强度包括求解优化
问题。
[0036]
在一些实施方案中，每个估计的强度是基于对应的估计的位置和在计算所述估计的强度时使用的所述一个或多个近侧的测量的强度和一个或多个近侧的估计的强度的每个位置之间的距离计算的。
[0037]
在一些实施方案中，所述估计的强度是至少部分地基于所述测量的强度的噪声属性计算的。
[0038]
在一些实施方案中，所述分割包括计算所述估计的位置中的每个处的灰度值。
[0039]
在一些实施方案中，所述分割包括求解优化问题。
[0040]
在一些实施方案中，所述优化问题包括惩罚函数。
[0041]
在一些实施方案中，所述惩罚函数与对应于所述衬底的所述多个特征中的每个的预期强度有关。
[0042]
在一些实施方案中，对估计的强度的所述计算包括用于所述分割估计的强度以对应于所述多个特征中的一个的初始猜测。
[0043]
在一些实施方案中，方法还包括生成多个分割的图像，所述多个分割的图像中的每个与所述衬底的一个指定层对应。
[0044]
在一些实施方案中，所述方法还包括竖直地对准所述多个分割的图像以确定在所述衬底中它们之间的互连。
[0045]
在一些实施方案中，所述方法还包括生成说明所述衬底的部件的连接性的分割的图像。
[0046]
在一些实施方案中，所述多个感测位置包括一个或多个行。
[0047]
在一些实施方案中，所述一个或多个行在不止一个方向上被定向。
[0048]
在一些实施方案中，所述一个或多个行相对于衬底表面特征中的一个或多个的定向被旋转。
[0049]
在一些实施方案中，所述多个感测位置包括lissajous图案。
[0050]
在一些实施方案中，所述多个感测位置包括优化的图案。
[0051]
在一些实施方案中，所述粒子束包括电子束。
[0052]
在一些实施方案中，所述粒子传感器包括透镜内传感器、背向散射电子传感器、分割式背向散射探测器和everhart-thornley探测器中的一个。
[0053]
在一些实施方案中，所述撞击后粒子包括一次电子和二次电子中的至少一种。
[0054]
根据另一个方面，提供了一种用于根据稀疏成像数据分割衬底的多个特征的系统，所述衬底包括多个特征，所述系统包括：数字应用程序，所述数字应用程序可操作以接收与强度值有关的稀疏成像数据作为输入，所述强度值如由至少两个粒子传感器中的每个测量、与由在多个感测位置中的每个处使用粒子束对衬底表面进行撞击产生的撞击后粒子相关联，所述多个感测位置限定所述衬底的一个感兴趣的区域内的位置的子集，所述数字应用程序还可操作以：对于每个感测位置，基于所述感测位置的所述强度值计算测量的强度；对于限定所述感兴趣的区域的另一个子集的多个估计的位置中的每个，基于与所述估计的位置近侧的一个或多个位置对应的以下中的至少一个计算对应的估计的强度：一个或多个近侧的测量的强度，以及一个或多个近侧的估计的强度；以及基于所述对应的估计的强度分割所述多个估计的位置中的每个，并且基于所述对应的测量的强度分割所述感测位
置中的每个，以对应于所述多个特征中的一个。
[0055]
在一些实施方案中，对所述测量的强度的所述计算还基于与所述感测位置近侧的一个或多个位置对应的以下中的至少一个：一个或多个近侧的测量的强度，以及一个或多个近侧的估计的强度。
[0056]
在一些实施方案中，计算所述测量的强度和所述对应的估计的强度包括数字地求解优化问题。
[0057]
在一些实施方案中，所述测量的强度是根据由所述两个或更多个粒子传感器测量的强度值的组合确定的。
[0058]
在一些实施方案中，每个所述估计的强度是基于对应的估计的位置和在计算所述估计的强度时使用的所述一个或多个近侧的测量的强度和一个或多个近侧的估计的强度的每个位置之间的距离计算的。
[0059]
在一些实施方案中，每个所述估计的强度与由所述至少两个粒子传感器中的一个测量的所述测量的强度的噪声特性有关。
[0060]
在一些实施方案中，所述数字应用程序可操作以计算所述估计的位置中的每个处的灰度值以用于分割。
[0061]
在一些实施方案中，所述数字应用程序可操作以经由求解优化问题来分割所述估计的强度。
[0062]
在一些实施方案中，所述优化问题包括惩罚函数。
[0063]
在一些实施方案中，所述惩罚函数与对应于所述衬底的所述多个特征中的每个的预期强度有关。
[0064]
在一些实施方案中，对估计的强度的所述计算包括用于所述分割估计的强度以对应于所述多个特征中的一个的初始猜测。
[0065]
在一些实施方案中，所述系统还可操作以生成多个分割的图像，所述多个分割的图像中的每个与所述衬底的一个指定层对应。
[0066]
在一些实施方案中，所述系统还可操作以竖直地对准所述多个分割的图像以确定在所述衬底中它们之间的互连。
[0067]
在一些实施方案中，所述系统还可操作以生成说明所述衬底的部件的连接性的分割的图像。
[0068]
在一些实施方案中，所述多个感测位置包括一个或多个行。
[0069]
在一些实施方案中，所述一个或多个行在不止一个方向上被定向。
[0070]
在一些实施方案中，所述一个或多个行相对于衬底表面特征中的一个或多个的定向被旋转。
[0071]
在一些实施方案中，所述多个感测位置包括lissajous图案。
[0072]
在一些实施方案中，所述多个感测位置包括优化的图案。
[0073]
在一些实施方案中，所述粒子束包括电子束。
[0074]
在一些实施方案中，所述两个或更多个粒子传感器包括透镜内传感器、背向散射电子传感器、分割式背向散射探测器和everhart-thornley探测器中的两个或更多个。
[0075]
在一些实施方案中，所述撞击后粒子包括一次电子和二次电子中的至少一种。
[0076]
在一些实施方案中，所述系统还包括可操作以使用粒子束撞击所述衬底并且包括
所述两个或更多个粒子传感器的仪器。
[0077]
在一些实施方案中，所述仪器是扫描电子显微镜、和透射电子显微镜或隧道电子显微镜。
[0078]
根据另一个方面，提供了一种用于根据稀疏成像数据分割衬底的多个特征的系统，所述衬底包括多个特征，所述系统包括：数字应用程序，所述数字应用程序可操作以接收与强度值有关的稀疏成像数据作为输入，所述强度值如由粒子传感器测量、与由在多个感测位置中的每个处使用粒子束对衬底表面进行撞击产生的撞击后粒子相关联，所述多个感测位置限定所述衬底的一个感兴趣的区域内的位置的子集，所述数字应用程序还可操作以：对于每个感测位置，基于所述感测位置的所述强度值计算测量的强度；对于限定所述感兴趣的区域的另一个子集的多个估计的位置中的每个，基于与所述估计的位置近侧的一个或多个位置对应的以下中的至少一个计算对应的估计的强度：一个或多个近侧的测量的强度，以及一个或多个近侧的估计的强度；以及基于所述对应的估计的强度分割所述多个估计的位置中的每个，并且基于所述对应的测量的强度分割所述感测位置中的每个，以对应于所述多个特征中的一个。
[0079]
在一些实施方案中，计算测量的强度还基于与所述感测位置近侧的一个或多个位置对应的以下中的至少一个：一个或多个近侧的测量的强度，以及一个或多个近侧的估计的强度。
[0080]
在一些实施方案中，计算所述测量的强度和所述对应的估计的强度包括数字地求解优化问题。
[0081]
在一些实施方案中，每个估计的强度是基于对应的估计的位置和在计算所述估计的强度时使用的所述一个或多个近侧的测量的强度和一个或多个近侧的估计的强度的每个位置之间的距离计算的。
[0082]
在一些实施方案中，所述估计的强度是至少部分地基于所述测量的强度的噪声属性计算的。
[0083]
在一些实施方案中，所述数字应用程序可操作以通过计算所述估计的位置中的每个处的灰度值来分割所述估计的强度。
[0084]
在一些实施方案中，所述数字应用程序可操作以通过求解优化问题来分割所述估计的强度。
[0085]
在一些实施方案中，所述优化问题包括惩罚函数。
[0086]
在一些实施方案中，所述惩罚函数与对应于所述衬底的所述多个特征中的每个的预期强度有关。
[0087]
在一些实施方案中，对估计的强度的所述计算包括用于所述分割估计的强度以对应于所述多个特征中的一个的初始猜测。
[0088]
在一些实施方案中，所述数字应用程序还可操作以生成多个分割的图像，所述多个分割的图像中的每个与所述衬底的一个指定层对应。
[0089]
在一些实施方案中，所述数字应用程序还可操作以竖直地对准所述多个分割的图像以确定在所述衬底中它们之间的互连。
[0090]
在一些实施方案中，所述系统还可操作以生成说明所述衬底的部件的连接性的分割的图像。
[0091]
在一些实施方案中，所述多个感测位置包括一个或多个行。
[0092]
在一些实施方案中，所述一个或多个行在不止一个方向上被定向。
[0093]
在一些实施方案中，所述一个或多个行相对于表面特征中的一个或多个的定向被旋转。
[0094]
在一些实施方案中，所述多个感测位置包括lissajous图案。
[0095]
在一些实施方案中，所述多个感测位置包括优化的图案。
[0096]
在一些实施方案中，所述粒子束包括电子束。
[0097]
在一些实施方案中，所述粒子传感器包括透镜内传感器、背向散射电子传感器、分割式背向散射探测器和everhart-thornley探测器中的一个。
[0098]
在一些实施方案中，所述撞击后粒子包括一次电子和二次电子中的至少一种。
[0099]
在一些实施方案中，所述系统还包括可操作以使用粒子束撞击所述衬底并且包括所述粒子传感器的仪器。
[0100]
在一些实施方案中，所述仪器是电子显微镜。
[0101]
在阅读参考附图仅通过示例的方式给出的对其具体实施方案的以下非限制性描述后，其它方面、特征和/或优点将变得更加明了。
附图说明
[0102]
将参考附图仅通过示例的方式提供本公开内容的一些实施方案，其中：
[0103]
图1a和图1b是使用阈值化的两个变体分割的衬底的图像；
[0104]
图2a是衬底的sem图像，并且图2b是使用边缘检测过程处理的图2a的图像的表示；
[0105]
图3是根据多个实施方案的微芯片的横截面的示意图；
[0106]
图4a和图4b是根据多个实施方案的分别使用背向散射电子探测器和透镜内探测器获取的衬底的sem图像；
[0107]
图5a和图5b是根据多个实施方案的分别使用背向散射电子探测器和透镜内探测器的每四行扫描获取的衬底的部分图像；
[0108]
图6是根据多个实施方案中的至少一个的用于在优化问题中对相邻像素的值进行加权的函数的绘图；
[0109]
图7a和图7b是根据多个实施方案的分别以由背向散射电子探测器和透镜内探测器获取的部分图像为种子的优化问题的解的图像；
[0110]
图8a、图8b和图8c分别是根据多个实施方案的样品噪声、噪声的快速傅里叶变换和与来自样品的噪声对应的模型的绘图；
[0111]
图9是根据多个实施方案的在可以被求解以用于分割图像的优化问题中使用的函数的绘图；
[0112]
图10a是根据多个实施方案的通过求解优化问题而由衬底的每四行扫描重建的图像，并且图10b是根据多个实施方案的通过求解以作为初始猜测的图10a的图像为种子的优化问题而生成的分割的图像；
[0113]
图11a是根据多个实施方案的衬底的背向散射电子图像，图11b和图11c是根据多个实施方案的具有分别如由背向散射电子探测器和透镜内探测器获取的图11a的衬底的每四行扫描的部分图像，并且图11d是根据多个实施方案的由图11b和图11c中的图像重建的
衬底的图像；
[0114]
图12a至图12d是如通过使用对应的相应的表中所示出的参数集求解优化问题而生成的图11d的重建的图像的分割的图像；
[0115]
图13a是根据多个实施方案的衬底的背向散射电子图像，图13b和图13c是根据多个实施方案的具有分别如由背向散射电子探测器和透镜内探测器获取的图13a的衬底的每两行扫描的部分图像，并且图13d是根据多个实施方案的由图11b和图11c中的图像重建的衬底的图像；
[0116]
图14a至图14d是如通过使用对应的相应的表中所示出的参数集求解优化问题而生成的图13d的重建的图像的分割的图像；
[0117]
图15是根据至少一个实施方案的用于根据来自不止一个探测器的部分图像数据进行图像分割的示例性过程流程的示意图；以及
[0118]
图16是根据多个实施方案的用于根据从探测器获取的部分图像生成分割的图像的示例性过程的示意图。
[0119]
为简单和清楚起见，例示了一些附图中的元件，并且所述元件不一定按比例绘制。例如，附图中的元件中的一些的尺寸可能相对于其他元件被强调，以便于对多个目前公开的实施方案的理解。另外，常常未描绘在商业上可行的实施方案中有用的或必需的常见但易于理解的元件，以便于较少障碍地查看本公开内容的这些多个实施方案。
具体实施方式
[0120]
将参考下文所讨论的细节描述本说明书的多个实施方式和方面。以下描述和附图例示本说明书，并且不被理解为限制本说明书。描述了许多具体细节以提供对本说明书的多个实施方式的透彻理解。然而，在某些实例中，未描述众所周知的或常规的细节，以提供对本说明书的实施方式的简明讨论。
[0121]
下文将描述多个仪器和过程，以提供本文所公开的系统的实施方式的示例。下文所描述的实施方式不限制任何所要求保护的实施方式，并且任何所要求保护的实施方式可以覆盖与下文所描述的过程或仪器不同的过程或仪器。所要求保护的实施方式不限于具有下文所描述的任何一个仪器或过程的所有特征的仪器或过程，或下文所描述的多个或所有仪器或过程的共有特征。下文所描述的仪器或过程可以不是任何所要求保护的主题的实施方式。
[0122]
此外，阐述了许多具体细节以提供对本文所描述的实施方式的透彻理解。然而，相关领域的技术人员将理解，可以在没有这些具体细节的情况下实践本文所描述的实施方式。在其他实例中，众所周知的方法、程序和部件未被详细描述，以便不使本文所描述的实施方式模糊不清。
[0123]
在本说明书中，元件可以被描述为“被配置为”执行一个或多个功能或“被配置用于”这样的功能。通常，被配置为执行一个功能或被配置用于执行一个功能的元件被启用以执行该功能，或适用于执行该功能，或适于执行该功能，或可操作以执行该功能，或以其他方式能够执行该功能。
[0124]
应理解，出于本说明书的目的，“x、y和z中的至少一个”和“x、y和z中的一个或多个”的语言可以被理解为仅有x、仅有y、仅有z或两个或更多个项x、y和z的任何组合(例如，
xyz、xy、yz、zz等)。类似的逻辑可以适用于在“至少一个
……”
和“一个或多个
……”
语言的任何出现中的两个或更多个项。
[0125]
除非另有定义，否则本文所使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常所理解的相同的含义。
[0126]
在整个说明书和权利要求书中，以下术语采取本文明确相关联的含义，除非上下文另有明确规定。如本文所使用的短语“在实施方案中的一个中”或“在多个实施方案中的至少一个中”不一定指同一实施方案，尽管它可以。此外，如本文所使用的短语“在另一个实施方案中”或“在一些实施方案中”不一定指不同的实施方案，尽管它可以。因此，如下文所描述的，在不脱离本文所公开的创新的范围或精神的前提下，可以容易地组合多个实施方案。
[0127]
另外，如本文所使用的，术语“或”是包括性“或”运算符，并且等同于术语“和/或”，除非上下文另有明确规定。术语“基于”不是排他性的，并且允许基于未描述的附加因素，除非上下文另有明确规定。另外，在整个说明书中，“一个(a)”、“一(an)”和“该(the)”的含义包括复数引用，除非上下文另有明确规定。“在
……
中”的含义包括“在
……
中”和“在
……
上”。
[0128]
如本文所使用的术语“包括(comprising)”将被理解为意味着以下列表不是穷举性的，并且视情况而定，可以包括或可以不包括任何其他附加的合适项，例如一个或多个另外的特征、部件和/或元件。
[0129]
根据不同的实施方案，本文所描述的系统和方法提供了可以使用计算分析算法来分割图像的不同的示例。在一些实施方案中，可以使用下文所描述的过程和系统来对根据稀疏数据集和/或部分图像计算补全的图像执行这样的分割。虽然本文所描述的一些示例可以参考从扫描电子显微镜数据获取的图像或部分图像，但是本领域技术人员将理解，本文所公开的系统和过程也可以被应用于其他成像应用——诸如执行样品的光栅成像的那些成像应用，和/或通过例如其他离子束、形貌或光学成像平台获取数据的那些成像应用——其非限制性示例可以包括但不限于透射电子显微镜(tem)、原子力显微镜(afm)、共焦显微镜等。
[0130]
由于光栅成像的过程可能是耗时的，因此收集部分噪声图像并且使用计算优化来将它们补全可以提高图像获取速度。例如，并且根据本文所描述的多个实施方案中的至少一个，根据另外的典型电子显微镜成像协议收集每n行数据可以将获取时间减少到1/n(例如，使用sem从衬底获取每四行数据可以将获取时间减少到1/4)。此外，根据多个实施方案，这样的计算优化协议可以针对附加应用被定制。例如，如果图像分割是期望的，则待被计算求解的优化问题可能包含与在优化期间要考虑的如此有关的附加项和/或变量。
[0131]
存在各种计算方法来解决“填充”部分图像的问题。然而，相关联的相应的缺点限制了它们对各种情形的适用性。例如，经典图像处理使用程序的工具箱以用于对在多个单像素或区域上迭代的像素集进行操作。这些方法在决定执行什么操作或什么操作来控制协议的操作时可以使用如像素值直方图的全局信息。这样的经典处理操作的示例包括滤波、插值、区域收缩等。一些方法可能是复杂的，并且可能借鉴在一些实例中在频率空间中操作的其他方法，使用包括“蛇”的几何信息等。虽然这样的方法通常是有效率的，因为每个步骤是易于理解的，并且因此更易于调整和调试，但是经典方法的缺点可能是每个过程可能添
加和/或移除信息，该信息对于后续处理步骤可能是丧失的。例如，移除明显噪声的初始滤波可能抑制与感兴趣的特征有关的数据，从而导致使后续过程丧失表征该特征的能力。
[0132]
基于模型的过程通常包括统计模型，从该统计模型中提取产生观测的数据的可能的物理参数。基于模型的过程的示例可以包括但不限于最大似然估计、贝叶斯估计等。这些模型的一个优点是，它们可以同时考虑许多或所有相关概率，包括测量误差、观测的材料属性以及几何分布、预期的结果等。因此，模型的一个方面常常将不太可能有效地擦除对另一个方面有用的信息，尽管实际计算方法将仍然可能在非线性模型的情况下具有相同的效果。此外，基于模型的方法的另一个优点是，在许多情况下，人们可以使用相同的模型来预测输出的准确性，并且甚至使用此信息来设计更有效的扫描技术。另一方面，基于模型的方法可能需要专家来定义模型并且对机制有合理的理解。
[0133]
优化协议还可以包括机器学习方法。这样的过程可以使用已经在其他应用中证明自己的通用模型，而不是以对系统的相关物理和/或框架的理解开始。所得到的模型可能是极其复杂的。然而，最终用户常常不需要理解结果来应用它们。一个优点是，它们可以被快速构建，并且不需要理解统计或优化，并且在许多情况下可能胜过专家模型，特别是在不存在令人信服的模型的情况下。然而，缺点可能包括，这样的系统可能常常产生不正确的结果，可能容易受到失真数据的影响，当它们被用在它们被训练未针对的数据上时一般不给出任何警告，需要大量计算，并且通常需要大量人工精选的(human-curated)数据。
[0134]
虽然已经提出了用于图像分割的各种方法，但是它们通常可以是特定于应用的，具有基于需要和衬底特性的可变性能和适用性。例如，虽然阈值化(即基于例如阈值强度值为图像的像素分配标签)可以在低噪声sem图像上成功地被采用，但是它可能在包含较高噪声程度的图像上不佳地执行。这的一个示例被示出在图1a和图1b中，图1a和图1b包括电路板或集成电路上的导线的sem图像。图1a示出了阈值化可能由于噪声而为像素分配不恰当的标签的实例的示例(由箭头指示的圆圈)。类似地，移除噪声——诸如通过应用高斯滤波器——的尝试可以导致对比度降低，和/或导致一个图像的分离的部分看起来是连接的，如在图1b的sem图像的连接的导线部件中所示出的。
[0135]
类似地，虽然与阈值化结合使用的canny边缘检测可能适合于对某些对象——诸如红细胞——进行成像，但是此方法可能不很好执行，或可能需要太多的用户输入和/或时间，以用于分割pcb板或计算机芯片的许多各种层。在图2中示出了此方法的缺陷的一个示例，其中图2a中的噪声sem图像导致不佳的canny边缘检测，该canny边缘检测的结果被示出在图2b中。
[0136]
图像分割的自动化方法，并且特别是可以在短量时间内被成功采用的自动化方法，在例如逆向工程的应用中具有许多潜在价值。例如，用在基于计算机的系统中的集成电路通常包括许多层，并且常常具有三个可区分的部件：没有金属的硅、在硅层下面的金属导线和金属通孔(连接集成电路的不同的层的穿过平面(through-plane)的导线)。图3示出了这样的结构的一个典型示例的示意图，该结构在此情况下具有五个金属化层(图像许可是依据通过https://commons.wikimedia.org/wiki/user:cepheiden的creative commons attribution 2.5 generic)。为了对这样的样品进行成像，可以对着与通孔相交的水平面将上层切割掉，然后是对样品进行抛光。由于通孔连接上金属化层和下金属化层中的导线，因此它们可能看起来在所得到的图像中的导线“内部”。通孔的金属可以通过这样的处理被
暴露，并且可以导致通孔是所产生的图像的非常明亮的特征。因此，有利的是，能够在逐层的基础上快速获取sem图像，并且执行对这样的图像的准确分割，以对各种导线部件之间的连接进行逆向工程。
[0137]
虽然本领域技术人员将理解，本文所描述的系统和方法适用于广泛的成像应用，但是现在将在使用sem图像和/或部分sem图像或数据的集成电路图像的上下文中提供本公开内容的各种示例性实施方案。多个示例可以包括使用各种离子探测器或其他基于光栅的成像技术。这样的探测器的非限制性示例可以包括背向散射电子(bse)探测器、二次电子(se)探测器、everhart-thornley(e-t)探测器、镜后(through-lens，通过透镜)探测器(ttl)、透镜内探测器、afm等。
[0138]
参考图4至图14，现在将描述利用从透镜内探测器和bse探测器获取的部分图像的多个实施方案。根据一些实施方案，可以同时收集图像或部分图像，使得来自每个相应的探测器的数据被对准。然而，本领域技术人员将理解，本文所公开的利用多个部分图像用于分割目的的实施方案也可以连续地获取图像，例如使用单个探测器。此外，本公开内容的方面可以适用于其中获取单个部分图像或相反地获取不止两个图像的系统，同时保持在本公开内容的范围内。
[0139]
图4a和图4b分别示出了使用背向散射电子探测器(bsd)和透镜内探测器的电路芯片的同一部分的sem图像。在此示例中，并且根据至少一个实施方案，使用相对于样品部件的定向旋转30
°
的探测器来同时收集图像。根据一些实施方案，可以在获取部分图像的过程中采用这样的配置，以维持关于被成像的部件的范围的高信息度。
[0140]
如在图4a和图4b中可以看到的，来自不同的探测器的图像可以具有不同的噪声和信号对比度。图像融合的过程可以允许对两个图像的例如各自的优点的组合。例如，根据至少一个实施方案，人们可以采用算法来利用bsd图像的高对比度和透镜内探测器图像的噪声特性(例如白噪声)。在以下示例和描述中，并且根据多个实施方案，将重建图像以用于根据这样的图像的部分数据进行分割。这样的部分数据的一个示例被示出在图5a和图5b中，其中仅示出了分别使用bsd和透镜内探测器的sem中的每四行的典型光栅扫描。
[0141]
根据多个实施方案，根据部分数据进行图像分割的方法——诸如在图5a或图5b中所示出的方法——可以与求解优化问题有关。以下描述以一个简单的示例性优化问题开始，并且按步骤增加复杂性。根据一个实施方案，第一步骤可以是求解以下优化问题。
[0142][0143]
在此示例中，v
i,j
是重建的图像在位置(i,j)处的像素，i
in-lens,i,j
是(部分)透镜内探测器图像中的对应像素，s是扫描的像素位置集，w
i',j'
是用于邻域比较的权重的二维阵列，并且λ1是惩罚参数，其决定拟合所得到的图像的平滑度和数据之间的权衡。正则化项∑
i,
j∑
(i
′
,j
′
)∈n
wi′
,j
′
(v
i i
′
,j j
′-v
i,j
)2惩罚像素与其邻居之间的差异。根据一些实施方案，并且在几个随后的示例中，高达距离为9的邻居可以被考虑，并且可以具有图6中所例示的函数类型，其中表面绘图的高度是它们的与中心像素的值的差异的权重。然而，本领域技术人
员将理解，在不脱离本公开内容的范围的前提下，可以在求解优化问题内采用本领域已知的其他惩罚函数。
[0144]
根据多个实施方案，重建的图像的像素v
i,j
——除了指未被测量的像素位置(即不对应于“被测量的位置”——在本文也被称为“估计的位置”)之外——它们可以附加地指已经被测量的像素值。换言之，在一些实施方案中，尽管一个像素位置与一个测量的值相关联，但是在求解优化问题时此值可以被修改和/或重写(在本文也被称为“被估计”)。
[0145]
根据多个实施方案，图7a和图7b分别示出了上文针对图5a和图5b中所示出的部分图像所描述的求解优化问题的结果。所得到的图像可以是相对平滑的，具有不太明显的噪声。然而，图像质量可能仍然不足以用于分割应用。因此，并且根据至少一个实施方案，可以将图像融合引入到优化问题中。
[0146]
如上文所提及的，不同的探测器可以具有不同的感测属性。例如，bsd图像通常具有比透镜内图像更高的对比度，但是可能具有非白噪声，如在图8a中所示出的。对此噪声的一行进行傅立叶变换(图8b)示出噪声可能看起来好像其是经低通滤波的。如果噪声是不对称的，如其在此示例中一样，在一些情况下其可以被建模为衰减指数。例如，并且根据至少一个实施方案，bsd图像的噪声可以被建模为以下表达式。
[0147][0148]
在一些情况下，噪声可以被建模为具有大约2的标准偏差的高斯，这可以导致图8c中的形状。在此示例中，此函数被称为b。根据一些实施方案，在优化问题——如上文所讨论的优化问题——中生成的图像可以通过将图像与b进行卷积来滤波，根据一些实施方案，该卷积在符号上为∑
kbkvi k，j
。因此此卷积和bsd图像之间的差异可以是具有相同特性的噪声。根据一些实施方案，该差异的这样的卷积可以被认为是噪声通过其预期频谱的加权，并且可以被添加到透镜内项以创建优化问题，该优化问题可以通过求解以下优化问题来执行图像融合。
[0149][0150]
根据一些实施方案，如果目标是对补全的图像的图像分割，也可以将分割惩罚项引入到优化问题中。图9示出了这样的分割惩罚项的一个非限制性示例。在此情况下，惩罚函数是由三个抛物线的乘积形成的六阶多项式。虽然本领域技术人员将理解，可以采用各种其他惩罚函数，但是由于这样的项包含三个极小值的简单性，因此使用这样的项可以是有利的。根据一些实施方案，可以在惩罚函数中调整极小值以对应于值b、d和v，它们可以基于特定应用来调整。本领域技术人员将理解，可以针对例如给定的一组材料凭经验寻找这
样的值，或可以在理论上求解这样的值、模拟这样的值、通过某一优化过程选择这样的值等。在对集成电路进行逆向工程的以下示例中，这些灰度值对应于硅、掩埋金属化和通孔的灰度值。在一些实施方案中，可以选择这些值来对像素值求平均值，而在其他实施方案中，它们可以不同于该平均值，以产生更高质量的分割。例如，以下示例性实施方案采用不一定与平均归一化像素值有关的值。
[0151]
因此，在一些实施方案中，用于分割的示例惩罚函数可以具有以下形式。
[0152][0153]
根据一些实施方案，各种分割优化问题可以是非线性的，并且可以受益于包括不止一个步骤的求解算法。在一些实施方案中，求解第一优化问题可以提供第二优化问题可以从其获得初始猜测的解。例如，第一优化问题可以根据部分数据集或部分图像提供初始补全的图像猜测，并且第二优化步骤可以使用此初始猜测来执行分割。根据至少一个实施方案，一个示例将是首先求解以下问题，该问题可可以是二次的并且对初始猜测不敏感的。此问题在整个公开内容中可以被互换地称为“第一问题”、或“第一优化问题”、或“第一步骤”。
[0154][0155]
在一些实施方案中，这之后可以是第二步骤，根据一些实施方案，该第二步骤可以是对起始猜测敏感的，并且可以包括类似于以下方程组的非凸问题、非二次优化问题，其在本文中可以被互换地称为“第二问题”、或“分割问题”、或“第二优化问题”、或“第二步骤”。
[0156][0157]
在上文所提及的实施方案中，可以选择或求解两个参数λ1和λ2来控制惩罚函数的权重和/或相对权重。例如，在一些实施方案中，增大参数λ1可以增大来自第一优化步骤的
所产生的图像的平滑度(或模糊度)。如果增大到显著的程度，这甚至可以导致在完成第二步骤后将所有像素分配给单个段(segment)。另一方面，增大λ2可以增大像素值对分配的段值(即b、d、v)的吸引力。在这样的情况下，如果λ2太大，上文所提及的第二步骤之后的解可能类似于来自第一步骤的初始猜测的舍入形式，从而降低平滑惩罚的相对重要性(即拟合数据项可以被相对忽略)。
[0158]
根据一些实施方案，可以在两个广泛的优化求解步骤中求解分割问题，如上文所描述的。然而，在一些实施方案中，也可以执行保持在本公开内容的范围内的附加步骤。例如，在求解优化问题之前将像素强度值归一化可以是有利的。例如，根据至少一个实施方案，如果bsd探测器和透镜内探测器二者都获取部分图像(例如在样品上获取每n行)，人们可以首先将i
bsd
和i
in-lens
像素值归一化为在一特定范围内(例如在0和2之间)。
[0159]
在图10中示出了在将像素强度归一化为在范围[0，2]内之后的两个广泛的优化问题的结果。在此示例中，并且根据多个实施方案，来自bsd探测器和透镜内探测器的sem中的集成电路的每四行扫描作为输入被提供。根据至少一个实施方案，图10a示出了来自第一优化问题的根据每四行扫描的补全的图像，而图10b示出了第二优化问题之后的分割的图像，该第二优化问题以作为初始猜测的来自第一步骤的解为种子(即第二步骤被赋予图10a作为初始猜测)。在此示例中，第二步骤被赋予参数b＝0、d＝1、v＝2、λ1＝40000和λ2＝100000。
[0160]
在一些实施方案中，诸如在例如分割集成电路或其他电子设备的图像的应用中，部件之间的连接性可能在输出的分割的图像中比单独的部件的实际尺寸或厚度更重要。例如，在计算机芯片的上层中，导线可以更厚、在它们之间具有更大的空间，这与关于芯片的下层——在下层中部件被更密集地封装——相比可以导致更高质量的分割。例如，当导线相互非常接近时，部分sem图像或行扫描可能不产生导线之间的明显的足够强度改变来分辩它们(即导线之间的灰度值可能不会达到b的预期值)。
[0161]
图11a至图11d示出了根据一个实施方案的使用导线密集封装的集成电路的一个示例。在此示例中，图11a示出样品的bsd图像。图11b和图11c分别示出了如通过bsd探测器和透镜内探测器获取的行扫描的四分之一的部分图像。求解上文所描述的第一优化问题的结果被示出在图11d。
[0162]
在图12中针对各种参数集示出了使用图11d中所示出的图像作为初始猜测的第二优化步骤的结果。根据一个实施方案，“默认”参数集可以是图12a的表中所示出的那些。然而，在此示例中，错误连接被示出在图12a的所产生的分割的图像中。根据多个实施方案，可以由用户手动地或自动地调整参数集，以调整对导线厚度、边界平滑度、连接性等的优化。这样的实施方案的示例被示出在图12b至图12d中。例如，修改与背景(例如硅)和导线相关联的灰度值(即在此示例中分别为b和d)可以调整导线的表观厚度和连接性。在此示例中，图12d示出了根据一个实施方案的具有相对高的背景和导线灰度值的参数集，该参数集产生具有完全分辨的导线的分割的图像。
[0163]
对于某些图像补全和/或分割应用，并且根据多个实施方案，可以通过获取增加量的数据点(例如，例如在sem光栅扫描中每两或三行而不是每四行)来改进优化解。图13示出了与图11相同的样品的sem成像，但是在此情况下，图13b和图13c分别示出了针对从使用bsd探测器和透镜内探测器的sem成像获取的每两行而不是如在图11中所示出的每四行的像素强度。来自第一优化步骤的补全的图像被示出在图13d中。在图14a至图14d中示出了从
使用不同的分割参数求解第二优化问题得到的分割的图像，其使用图13d的补全的图像作为初始猜测。与先前的实施方案一样，此示例——其使用来自bsd探测器和透镜内探测器的每两行扫描开始——也使用图14d中所示出的参数集提供具有完全分辨的导线的分割的图像。
[0164]
在图15中进一步示意性地例示了图4至图14中所描述的多个非限制性实施方案。在此示例性过程图中，两个探测器1502和1504获取部分图像数据，该部分图像数据由第一优化问题算法1510利用以生成更完整的图像。问题1510中的示例性函数可以包括但不限于填充1514、图像融合1512等。根据多个实施方案，第一问题1510的解可以提供图像1520，该图像1520可以用作随后的第二优化问题1530的初始猜测。可以可选地被包括在第二问题1530中的函数的非限制性示例是最初被包括在第一问题1510中的那些函数，诸如图像融合项1532或图像填充/调整项1534，以及与图像分割1536有关的项和/或参数。根据多个实施方案，第二优化问题的解可以包括分割的图像1540。
[0165]
本公开内容的多个实施方案涉及用于基于部分图像数据估计分割图像的优化模型。在又一些实施方案中，完整的图像数据可以与本文所公开的各种分割算法一起使用，或根据部分数据补全的图像可以被用在类似的分割算法中。在一些实施方案中，(部分)图像数据可以在一个或多个sem探测器中被获取，所述一个或多个sem探测器的非限制性示例可以包括背向散射电子探测器和/或二次电子探测器。在一些实施方案中，单个探测器可以被用来获取样品的相同区域的多个数据集。例如，一个实施方案可以包括随后以不同的角度从样品的相同行位置获取数据的bsd探测器，根据该数据，与所公开的那些优化算法类似的优化算法可以执行图像融合、补全和分割。在其他实施方案中，并行地(同时地)或顺序地，可以采用不止一个相同类型的探测器用于感测，或可以采用探测器的各种组合(例如两个bse探测器和一个se探测器)。在其他实施方案中，单个探测器(例如bsd)可以被用来对来自待被成像的表面的数据进行稀疏采样，并且然后经稀疏采样的数据可以被用在如本文所描述的优化解中。
[0166]
这样，根据多个实施方案，在图15中所表示的各种要素可以被移除、更改或添加。在一个实施方案中，探测器——诸如sem探测器——可以对衬底表面进行稀疏采样以获得部分图像1610。该部分图像可以用作一个函数或一系列函数的输入，该函数或该系列函数可以通过例如在要素1620中经由优化问题进行填充来提供更高程度的分辨率。同时地或随后地，如在步骤1630中那样问题可以在算法上、迭代地或以其他方式数字地被处理以提供输出图像1640，该输出图像1640被分割成指定数目的组成部分。例如，可以在1610中使用bsd探测器对微芯片进行部分成像，而在1640处输出分割的图像，该分割的图像包括对应于硅、导线和通孔的三种颜色。
[0167]
又一些实施方案还可以采用各种扫描图案来获得部分的或完整的数据集和/或图像。例如，虽然上文所提及的示例呈现了其中在根据样品的sem扫描的平行的行的优化问题中利用数据的实施方案，但是其他实施方案可以包括但不限于在交替方向上(例如，在正水平方向上，然后在负x方向上)扫描每n行，执行行扫描——首先水平地分隔一距离y，然后是进行间隔x的竖直的行扫描，以lissajous图案扫描，在随机样品区域中进行测量(例如，在包括10％的样品表面的随机选择的区域中进行采样)，或其他形式的稀疏采样或下采样，其例如可以改进所产生的图像和/或本文所描述的优化问题的解，或减少采样时间同时提供
所产生的图像的足够质量和噪声属性。
[0168]
在又一些实施方案中，图像可以被构建为具有各种尺寸。例如，虽然上文所提及的实施方案描述了分割二维表面，但是也可以使用本文所描述的方法和系统来执行三维分割。例如，从不同的角度从相同样品区域获取数据可以被用来重建三维拓扑，例如使用“(去)阴影”技术，所述“(去)阴影”技术的各种形式将被本领域技术人员理解。在其他实施方案中，三维拓扑可以是根据二维分割的图像的集重新创建的，例如通过堆叠分割的二维图像以重建三维衬底，诸如微芯片。
[0169]
在多个实施方案中，各种正则化和成本函数可以被应用于优化问题中，所述正则化和成本函数的示例可以包括但不限于邻居平方差(squared-difference-of-neighbours)正则化、n次多项式和/或l曲线参数选择。
[0170]
在一些测量方案中，从各种探测器获取的数据可以是测量中所涉及的能量的函数。例如，sem测量中的相对较高的束能量——诸如在较高操作电压产生的那些——可以允许电子更高程度地穿透样品。根据至少一个实施方案，这样的数据可以提供关于样品体积和/或相互作用体积的信息而不是仅关于样品表面的信息。类似地，在可能仅期望与样品表面层有关的数据的一些实施方案中，可以降低电压。在多个实施方案中，可以采用不同的测量能量和电场来提取各种数据集，所述数据集可以单独地或组合地被用在优化问题——诸如本文所公开的那些优化问题——中。在多个实施方案中，通过调整各种感测参数——诸如电压——提供的这样的数据可以被采用以构建样品的二维和/或三维模型，例如在逆向工程应用中。
[0171]
在多个其他实施方案中，可以基于样品特征的相对定向选择采样图案(例如行)。例如，在电路板或集成电路逆向工程应用中，如果样品中的导线是水平地定向的，行图案可以被选择为与水平略微歪斜(例如从水平旋转3度到20度)以产生更高质量的补全的图像和/或分割的图像。这样的歪斜角度可以被任意地选择，基于样品属性凭经验被确定，手动地或在算法上被优化等。类似地，对于给定的扫描图案，在一些实施方案中可以旋转样品以产生相对于扫描图案或相对于指定的笛卡尔坐标轴的特征角度的偏移。
[0172]
本领域技术人员将理解，虽然本文所描述的实施方案中的一些采用了使用pyomo结合ipopt以python编写的算法，但是在不脱离本公开内容的范围的前提下，在多个实施方案中可以采用各种计算语言、包、操作系统、具有改进的计算速度的算法等。
[0173]
虽然本公开内容出于例示性目的描述了多个实施方案，但是这样的描述并不意在限于这样的实施方案。相反，在不脱离所述实施方案的前提下，本文所描述的和所例示的申请人的教导包含各种替代方案、改型和等同物，其总体范围被限定在所附权利要求书中。除了在过程本身中必需的或固有的程度之外，未意指或暗示在本公开内容中所描述的方法或过程的步骤或阶段的特定顺序。在许多情况下，可以使过程步骤的顺序变化，而不改变所描述的方法的目的、效果或意义。
[0174]
如本文所示出的并且详细描述的信息完全能够实现本公开内容的上文所描述的目的、本公开内容的当前优选实施方案，并且因此表示本公开内容广泛构想的主题。本公开内容的范围完全包含对本领域技术人员可以变得明了的其他实施方案，并且因此将仅仅由所附权利要求书来限制，其中除非明确指出，否则以单数形式做出的对元件的任何引用均不意在意味着“有且仅有一个”，而是“一个或多个”。如本领域普通技术人员认为的上文所
描述的优选实施方案和附加实施方案的元件的所有结构和功能等同物据此通过引用被明确并入并且意在被本技术的权利要求包含。此外，不存在对解决本公开内容寻求求解的每一个问题的系统或方法的要求，因为这将由本技术的权利要求包含。此外，本公开内容中的元件、部件或方法步骤都不意在被奉献给公众，无论在权利要求书中是否明确地记载所述元件、部件或方法步骤。然而，如本领域普通技术人员可以明了的、如在所附权利要求书中阐述的、在不脱离本公开内容的精神和范围的前提下可以在形式、材料、工件和制造材料细节上做出的各种改变和改型也被本公开内容包含。