生成图像的系统、以及非暂时性计算机可读介质的制作方法

1.本公开涉及生成图像的方法、系统、以及非暂时性计算机可读介质，特别涉及根据对试样的射束照射来生成图像的方法、系统以及非暂时性计算机可读介质。


背景技术：

2.在专利文献1中，公开了一种根据基于带电粒子束对试样的照射而得的检测信号来生成图像的试样观察装置。在专利文献1中公开了使用深度学习等神经网络由低品质图像生成高品质图像的试样观察装置，该试样观察装置具有用于由低品质图像生成高品质图像的图像转换模型。
3.现有技术文献
4.专利文献
5.专利文献1：日本特开2018-137275号公报


技术实现要素：

6.发明要解决的课题
7.另一方面，神经网络将由低品质图像转换而得的图像和高品质图像这2个图像本身作为监督数据，以将两图像间合并的方式进行学习，因此，例如存在无法充分改善成为测定、检查的对象的对象物的边缘等特定部位的品质的情况。另外，若进行使图像整体合并那样的学习，则有时为了模型生成而花费大量的时间。
8.用于解决课题的手段
9.以下，对以高效地进行特定部位的学习为目的的方法、系统以及非暂时性计算机可读介质进行说明。作为用于实现上述目的的一方式，提出了构成为根据输入图像的输入来生成转换图像的系统或非暂时性计算机可读介质，该系统或非暂时性计算机可读介质具有：1个以上的计算机子系统、以及由该1个以上的计算机子系统执行的1个以上的组件，该1个以上的组件包含以抑制在学习时作为监督数据输入的第一图像与通过向所述系统输入所述输入图像而转换出的第二图像之间的误差的方式调整了参数的学习模型，该学习模型至少在图像内的第一区域、与该第一区域不同的第二区域之间实施了不同的学习。
10.发明效果
11.根据上述结构，能够高效地进行特定部位的学习。
附图说明
12.图1是表示作为生成输入到第一实施方式的图像生成系统的图像的图像生成工具的一种的扫描电子显微镜(scanning electron microscope：sem)的一例的图。
13.图2是表示根据通过图1所例示那样的图像生成工具得到的图像数据来生成转换图像的图像生成系统的一例的图。
14.图3表示神经网络的结构的一例。
15.图4是表示作为带电粒子束的扫描对象的图案、通过对该图案扫描射束而得的图像、以及根据图像的亮度分布信息形成的信号波形的一例的图。
16.图5是表示能够进行图像的分割条件和针对分割后的区域的损失函数的权重(误差的调整条件)的设定的gui画面的一例的图。
17.图6是表示使用亮度分布信息进行了区域分割而得的图像的一例的图。
18.图7是表示使用了第一实施方式(图2)的系统的学习器的学习条件的设定、基于设定出的学习条件的学习、以及使用实施了学习的学习器的图像生成工序的流程图。
19.图8是针对按照与位置对准图案的相对位置关系不同的位置设定不同的权重系数，由此进行与区域单位的重要度等对应的学习的例子、以及在制程中预先设定视野804内的roi805的权重系数λ3和除此以外的区域806的权重系数λ4的例子进行说明的概念图。
20.图9表示第一实施方式的变形例的扫描型电子显微镜。
21.图10是对第一实施方式的变形例的动作进行说明的流程图。
22.图11是表示第二实施方式的图像生成系统的一例的框图。
23.图12是表示输入到图11所例示的计算机系统202的高品质图像、通过图像分割处理部2060分割该高品质图像而得的区域分割图像、以及通过按区域亮度校正部2070对该区域分割图像的分割后的区域分别进行了亮度调整而得的亮度调整图像的例子的图。
24.图13表示在第二实施方式中，用于设定亮度校正条件的gui画面的一例。
25.图14是对第二实施方式的动作进行说明的流程图。
26.图15是对第三实施方式的系统的动作进行说明的概念图。
具体实施方式
27.以下，参照附图对本实施方式进行说明。在附图中，功能上相同的要素有时也用相同的编号或对应的编号来显示。此外，附图示出了遵循本公开的原理的实施方式和安装例，但这些是用于理解本公开的，决不是用于限定性地解释本公开。本说明书的记述只不过是典型的例示，在任何意义上都不限定本公开的权利要求书或应用例。
28.在本实施方式中，本领域技术人员为了实施本公开而充分详细地进行了说明，但需要理解的是，其他的安装、形态也是可能的，能够不脱离本公开的技术思想的范围和精神地进行结构、构造的变更、多样的要素的置换。因此，不能将以后的记述限定于此进行解释。
29.在以下说明的实施方式中，涉及将第一图像转换为画质与该第一图像不同的第二图像的方法、系统以及计算机可读介质，对针对图像所包含的多个区域进行不同的转换的方法、系统以及计算机可读介质进行说明。
30.[第一实施方式]
[0031]
参照图1～图10，对第一实施方式的图像生成系统进行说明。
[0032]
图1是表示作为生成输入到第一实施方式的图像生成系统的图像的图像生成工具的一种的扫描电子显微镜(scanning electron microscope：sem)的一例的图。此外，在以下的说明中，将作为带电粒子线装置的一种的sem作为图像生成工具进行说明，但不限于此，例如也能够将根据离子束的扫描来生成图像的聚焦离子束装置作为图像生成工具。并且，除此之外，也可以使用生成低品质图像比生成高品质图像能够简化处理等的图像生成工具。
[0033]
图1所例示的扫描电子显微镜系统100具有：拍摄部101、计算机系统102、信号处理部103、输入输出部104、以及存储部105。存储部105还作为存储管理本系统的动作的计算机程序的非暂时性记录介质发挥功能。计算机系统102控制拍摄部101具有的以下的光学系统。
[0034]
拍摄部101具有：照射电子束107的电子枪106、对电子束107进行聚焦的聚焦透镜108、以及对通过了聚焦透镜108的电子束107进一步进行聚焦的聚焦透镜109。拍摄部101还具有对电子束107进行偏转的偏转器110、控制电子束107的聚焦的高度的物镜111。
[0035]
通过了拍摄部101的光学系统的电子束107照射到载置于试样载物台113上的试样112。通过电子束107的照射而从试样112放出的二次电子(secondary electron：se)、后方散射电子(backscattered electron：bse)等放出电子114被设置在其轨道上的下段检测器115和上段检测器116检测。设置于上段检测器116的开口使电子束107通过。通过使该开口足够小，能够检测从形成于试样112上的深孔、深槽的底部放出并通过图案中心附近而在试样表面上脱出的二次电子。通过使用了处于上段检测器116的正前方的能量过滤器117a或处于下段检测器115的正前方的能量过滤器117b的能量过滤，能够对放出电子114进行能量辨别。
[0036]
拍摄部101还具有：消隐偏转器118，其通过使电子束107向光轴外偏转来限制电子束107到达试样112；以及消隐用电极119，其承接由消隐偏转器118偏转后的电子束107。
[0037]
信号处理部103根据下段检测器115和上段检测器116的输出来生成sem图像。信号处理部103与未图示的扫描偏转器的扫描同步地使帧存储器等存储检测信号，由此，生成图像数据。在将检测信号存储在帧存储器中时，在帧存储器的与扫描位置对应的位置存储检测信号，由此，生成信号轮廓(1维信息)和sem图像(二维信息)。另外，根据需要利用偏转器120对二次电子进行偏转，由此，能够将从深孔等脱出的通过光轴附近的二次电子引导至下段检测器115的开口外(下段检测器115的检测面)。
[0038]
图2是表示根据由图1所例示那样的图像生成工具得到的图像数据来生成转换图像的图像生成系统的一例的图。图2所例示的计算机系统102由包含1个以上的cpu、gpu的1个以上的计算机子系统构成。另外，图2所例示的计算机系统102具有由该1个以上的计算机子系统执行的1个以上的组件。1个以上的计算机子系统也可以使用1个以上的处理器通过软件来实现后述那样的处理，还可以通过电子电路等硬件来实现该处理的一部分或者全部。
[0039]
作为一例，图2所例示的计算机系统202具有：图像转换部2030、转换误差计算部2040、转换参数更新部2050以及图像分割处理部2060。另外，计算机系统202构成为从输入装置203接受各种信息的输入。
[0040]
图像转换部2030将图1所例示那样的图像生成工具的输出图像、或者存储在存储介质201中的图像(低品质图像)作为输入图像，根据该输入图像来生成转换图像。图像转换部2030包含调整了转换参数的学习模型，执行使用了该学习模型的图像转换。转换参数由转换参数更新部2050适当更新，供给到图像转换部2030。学习模型例如由神经网络构成，包含图3所例示那样的1个以上的输入层、1个以上的中间层(隐藏层)以及1个以上的输出层。
[0041]
神经网络通过实施调整参数(权重、偏置等)的学习使得在输出层出现所希望的结果(例如高品质图像、正确的测定值等)，由此能够进行适当的输出。例如通过利用误差反向
传播法(反向传播)依次更新变量(权重、偏置)来进行学习，以权重(也包含激活函数)对数据的输出误差进行偏微分，将输出一点一点地调整为最佳的值。
[0042]
转换误差计算部2040计算由图像转换部2030从低品质图像生成的转换图像(作为输出层的输出的第二图像)与作为正解数据(高品质图像(监督数据))输入的图像(第一图像)的误差。更具体而言，转换误差计算部2040根据通过正向传播而导出的转换图像的像素值和与其对应的正解图像的像素值，将计算出的平均绝对误差、均方误差等计算为转换误差。转换参数更新部2050根据转换误差以抑制各像素的转换误差的方式调整神经网络的转换参数(变量)，并供给到图像转换部2030。
[0043]
图像分割处理部2060将作为监督数据的高品质图像分割成多个图像，将与该分割相关的区域信息供给到转换误差计算部2040。区域信息以及权重信息能够从输入装置203输入。
[0044]
通过以上那样的正向传播和反向传播的重复，能够提高输出的精度，但在使针对神经元的输入的权重最佳化之前，需要使用了大量的图像(监督数据)的学习。另一方面，半导体器件的图案等的测定、检查通过图像所包含的图案等的边缘间的尺寸测定、图案等的形状评价来进行，因此，例如边缘以外的部分不需要高的精度。
[0045]
在本实施方式中，对能够选择性地高精度转换图像所包含的特定的图案、其以外的构造物的边缘等部分图像那样的学习模型、和实施针对该学习模型的学习的系统进行说明。如果可以不根据图像整体，而是根据图像的每个部位的重要度来改变学习的程度，则对于重要的部分能够实现基于实施高度的学习的高品质图像的生成，另一方面，对于不重要的部分能够实现削减学习所需的处理所带来的学习的高效化。
[0046]
在图2所例示的系统中，针对作为监督数据输入的高品质图像，由图像分割处理部2060进行图像分割，根据由输入装置203输入的每个分割区域的学习的程度，在图像转换部203中对学习器实施学习。每个分割区域的学习的程度的设定例如通过针对损失函数按分割区域赋予不同的权重来实现，所述损失函数是计算正解数据(标签)与学习器的输出的误差的函数。例如能够根据[数学式1]那样的运算式来计算损失函数ld。
[0047]
[数学式1]
[0048]
ld＝(λ1·
l
bg
λ2·
l
edge
)
[0049]
在此，l
bg
是对图像内的第一区域(例如图案边缘以外的背景部分)设定的损失函数，l
edge
是对图像内的第二区域(例如图案边缘)设定的损失函数。λ1、λ2是各损失函数的权重系数。例如，通过将边缘部分的系数λ2设定得比λ1大，从而对于边缘部以外的区域，相对性地较大地估计误差值，作为结果，能够进行聚焦于边缘部分而抑制转换误差那样的转换参数的更新。另外，通过将l
bg
设为对包含边缘部分的图像整体设定的损失函数，将l
edge
设为仅对边缘部分设定的损失函数，以使边缘部分的误差值比实际的边缘的总像素数相对于图像的总像素数的比率更大地反映的方式设定λ1、λ2，也能够得到与此同样的效果。
[0050]
另一方面，对于测定、检查所不需要的边缘以外的部分，为了不进行学习或者进行相对程度低的学习，通过设定为λ1＜λ2(λ1包含零)，能够减少学习所需要的处理。即，在本第一实施方式中，在学习模型中，按图像内的不同的区域实施不同的学习。通过相对性地增加图像内的测量、检查所需的区域的损失函数的权重，并且减少除此以外的区域的损失函数的权重，能够提高所需的部分的再现性。
[0051]
接着，对图2所例示的图像分割处理部2060中的区域分割处理的概要进行说明。图4是表示作为带电粒子束的扫描对象的图案、通过对该图案扫描射束而得的图像、以及根据图像的亮度分布信息形成的信号波形的一例的图。
[0052]
对具有图4中的(a)所例示那样的截面形状的线图案401二维扫描带电粒子束，检测通过该扫描而得的带电粒子，由此，能够形成图4中的(b)所例示那样的二维图像402。并且，通过进行投影处理(对各像素列的信号进行加算平均)，能够生成图4中的(c)所例示那样的信号波形(轮廓)404。
[0053]
若对具有图4中的(a)所例示那样的截面的图案扫描射束，则从与图案的边缘对应的位置403放出的带电粒子的量因边缘效应而变得比从其他区域放出的带电粒子的量多。如上所述，在使用了图像的测量、检查中，边缘部分的亮度信息是重要的。因此，如图4中的(c)所例示那样，能够设定阈值th(405)，将针对从亮度超过规定的阈值的区域得到的区域、或者在超过阈值的区域中具有数个像素的余量的区域的变换误差的系数设为λ2，将针对从除此以外的区域得到的转换误差的系数设为λ1。由此，能够生成边缘部分的再现性优异的学习模型。
[0054]
此外，在根据图案的边缘部分的确定来进行测定那样的情况下，优选除了作为具有规定的阈值以上的亮度的区域而提取的区域以外，还提取也包含其周围的区域作为边缘区域。特别是，在测定边缘间的尺寸的情况下，利用白色波段(与边缘对应的高亮度区域)的亮度的分布信息来决定测定的基准位置，因此，白色波段周边的亮度值也会对测量值造成影响。因此，优选将自动提取出的白色波段区域和其周围的规定的像素数的区域(周边区域)也一并提取出的图像数据作为监督数据。使用图6在后面叙述提取包含周边区域的图像数据的具体方法。
[0055]
图5是表示能够进行图像的分割条件和针对分割后的区域的损失函数的权重(误差的调整条件)的设定的gui画面的一例的图。此外，在图5中，例示了按分割区域设定权重系数λ的gui，但不限于此，也可以输入能够调整学习所需的处理的负荷的其他参数。
[0056]
图5所例示的gui画面例如能够显示于图1所示的输入装置203的显示装置。通过这样的gui画面，能够进行基于计算机系统202(计算机子系统)的反向传播的条件(学习条件)设定。在图5所例示的gui画面501中包含sem图像显示区域502和损失函数条件设定区域503。
[0057]
在损失函数条件设定区域503中，能够选择图像分割条件。具体而言，在损失函数设定区域503中设置有在gui上设定所希望的区域时选择的roi(region of interest)设置、自动进行区域分割时选择的自动分割(auto segmentation)、以及根据亮度自动进行区域分割时选择的按亮度划分区域(area division by brightness)的选择按钮。
[0058]
例如当选择roi设置时，在sem图像显示区域502内，通过指针504在任意的位置显示能够以任意的尺寸设定的roi设定框505。在通过指针504设定了roi的位置和尺寸之后，通过在权重系数设定框506中设定所希望的权重系数(λ1、λ2)，能够进行针对roi的学习的负荷的程度的设定。另外，对于未设定为roi的区域，通过设定背景(background)的权重系数(λg)，能够选择选择区域以外的权重系数。如上所述，相对于未被选择为roi的区域的权重系数(λg)，相对性地将被选择为roi的区域的权重系数(λ1、λ2)设定得较高，由此，能够提高roi内的图像的再现性、品质。
[0059]
另外，当选择自动分割时，计算机系统202例如通过语义分割自动地执行区域分割。
[0060]
并且，当选择按亮度划分区域时，计算机系统202执行与图像内的亮度信息对应的区域分割。具体而言，通过与亮度对应的n值化(n≥2)处理等在图像内进行区域分割。对于通过自动分割、按亮度划分区域的选择而分割出的各区域，通过设置用于设定损失函数的权重系数的权重系数设定栏507，能够针对各区域设定适当的权重。
[0061]
此外，在本实施方式中，对分割图像，定义与分割区域的重要度对应的损失函数条件的例子进行说明，但不限于此，例如也能够进行仅选择性地学习roi，对于其他区域不学习这样的选择。即，也能够设定为不从图1的输入装置203输入分割的信息(区域信息等)，不执行图像分割处理部203中的分割处理。roi以外的部分也可以是低品质图像，在想要仅将用于测量、检查的边缘部分作为高品质图像的情况下，也可以进行这样的选择性学习。
[0062]
另一方面，如果如本实施方式那样能够以区域单位设定学习所需的处理的程度，则能够设定考虑了图像的再现性和学习所需的处理时间等的、与目的对于的适当的学习条件。并且，若想要使roi以外最佳化，则有可能成为阻碍roi内的再现图像的品质的提高的主要原因，但能够进行使roi内成为更高品质的学习，由此，能够进行早期的再现图像的品质提高。此外，也能够代替语义分割等而应用k-means法等其他分割处理法。
[0063]
图2例示了通过输入低品质图像来输出高品质图像的系统，在此，低品质图像例如是少帧图像(1帧例如是1个二维扫描)。在扫描电子显微镜等中，为了提高画质，多次扫描相同的视野(field of view：fov)，对得到的检测信号进行累计(加算平均)，由此，能够提高图像的s/n比，但另一方面，若多次扫描射束，则可能产生带电的蓄积、图案的收缩等。在本实施方式中，通过将低品质图像设为1帧图像，将成为监督数据的高品质图像设为64帧那样的多帧图像，由此从低品质图像再现高品质图像。
[0064]
此外，若进行多帧的射束扫描，则图案有时会收缩。因此，在本实施方式中，例如进行64帧的射束扫描，取得生成高品质图像所需的图像信号，之后，取得少帧图像(例如1帧图像)。并且，通过图像转换部2030对该少帧图像进行转换而作为转换图像，并且将之前取得的64帧图像那样的高品质图像作为监督数据，计算两者的转换误差。由此，能够抑制收缩等的影响，并且对学习器实施学习。
[0065]
此外，在射束扫描初期，图案的收缩量大，因此，例如可以从收缩收敛到某种程度的时间点(例如从扫描开始起n帧的扫描结束时)起开始多帧图像生成用的信号取得，根据这样得到的检测信号生成高品质图像。
[0066]
图6是表示使用亮度分布信息进行了区域分割的图像的一例的图。当通过投影等从图6所例示那样的图像中提取亮度分布信息时，能够生成图4中的(c)所例示那样的信号波形。在此，将以超过规定的阈值的区域的x方向的中心为基准的规定的区域、或者从超过规定的阈值的区域的x方向的端部扩展了n个像素量(n为任意的自然数)的区域设为roi601，能够进行该部分固有的损失函数条件(权重系数等)的设定，由此，除了高亮度部分，还可以提高能够表现为峰值波形的区域的品质。
[0067]
图7是表示使用了第一实施方式(图2)的系统的学习器的学习条件的设定、基于所设定的学习条件的学习、以及使用了实施了学习的学习器的图像生成工序的流程图。
[0068]
首先，计算机系统202取得图1所例示那样的图像生成工具的输出图像、或者存储
在存储介质201中的图像(步骤s701)。另一方面，在图像分割处理部2060中，按照由输入装置203等指定的区域信息，对该图像执行区域分割的处理(步骤s702)。图像分割处理部2060例如根据在图5所例示的gui画面中设定的图像分割条件，执行图像的分割。
[0069]
接着，根据图5所例示的gui画面等，以分割区域单位设定学习所需的负荷的参数之一的损失函数的权重系数，由此，设定区域单位的学习条件(步骤s703)。
[0070]
接着，通过向包含学习器的计算机系统202输入低品质图像，由图像转换部2030生成转换图像(正向传播)。并且，在转换误差计算部2040中，与低品质图像分开地求出输入到计算机系统202的高品质图像与转换图像的像素单位的差分，计算通过正向传播生成的图像与作为正解图像的高品质图像的误差。在此，在转换参数更新部2050中，使用以图像区域单位分配的权重系数和各区域的损失函数来执行反向传播，计算神经网络的权重和偏置的变化，更新其值(步骤s704)。
[0071]
通过重复1次以上所述那样的正向传播和反向传播，进行学习。此外，作为反馈的方法，也能够应用进化算法。
[0072]
如上所述，学习到的模型针对特定区域选择性地实施了高度的学习，因此，能够抑制学习所需的工夫、时间，并且进行再现性良好的推定(图像转换，步骤s705)。
[0073]
接着，对按与位置对准图案的相对位置关系不同的位置设定不同的权重系数，由此进行与区域单位的重要度等对应的学习的例子进行说明。
[0074]
图8中的(a)是表示形成在半导体晶片等试样上的位置对准用图案801与第一视野802和第二视野803的位置关系的图。在利用图1所例示那样的扫描电子显微镜等将视野定位于所希望的位置的情况下，例如，使设置于扫描电子显微镜内的载物台移动以便使视野位置定位于位置对准图案801或者所希望的位置的坐标，在比所希望的位置的视野大的范围内扫描射束，由此生成低倍率图像。在取得低倍率图像后，通过执行使用了包含预先登记的位置对准图案801的模板图像的图案匹配来确定位置对准图案801的位置，进行向与该位置对准图案801处于已知的位置关系的第一视野802和第二视野803的视野移动。
[0075]
图1所例示的扫描电子显微镜由被称为制程的动作程序控制，根据预先登记的位置对准用图案801与所希望的视野位置的距离((-x1，-y1)、(x2，y2))信息，由1个以上的计算机系统进行控制，以进行视野移动。如图8中的(a)所例示那样，根据每个视野位置的重要度等，预先定义损失函数的权重系数(λ1，λ2)，由此，能够实现学习的高效化。
[0076]
并且，如图8中的(b)所例示那样，也可以在制程中预先设定视野804内的roi805的权重系数λ3和除此以外的区域806的权重系数λ4。
[0077]
图9和图10表示第一实施方式的变形例。
[0078]
图9是表示第一实施变形例的、具有bse检测器901、902和se检测器908的扫描电子显微镜的一例的图。关于图9中图示以外的结构，能够设为与第一实施方式相同的结构(图1)。在该图9的例子中，为了兼顾通过物镜111的电子束的高速化和到达试样112的电子束的低加速化，对试样112施加负电压。通过对试样112施加负电压，在与物镜111之间形成使到达试样112的射束减速的减速电场。在这样的光学系统中，从试样112放出的二次电子907大致沿着射束光轴904被加速，例如通过维纳滤波器906朝向se检测器908偏转。
[0079]
另一方面，相对于二次电子907为高加速的后方散射电子903相对地不会受到减速电场的影响，被配置在比se检测器908靠近试样112的一侧的bse检测器901、902检测。后方
散射电子903例如与图案的侧壁碰撞时，向相对于试样112的表面倾斜的方向反射，受到物镜111的聚焦作用而被bse检测器901、902检测。通过在图9所例示那样的位置配置bse检测器901、902，能够选择性地检测在图案的边缘部分等反射的后方散射电子，因此，能够明确边缘部分和除此以外的部分的对比度。
[0080]
在第一实施方式的变形例中，利用这样的现象，针对图像的区域分割使用bse像的亮度分布信息来执行学习器的学习工序。图10是表示使用bse像和se像双方进行学习的学习器的学习工序的流程图。
[0081]
首先，通过具有图9所例示那样的光学系统的扫描电子显微镜，根据se检测器908、bse检测器901、902的检测信号来取得bse像和se像(步骤s1001、s1002)。
[0082]
接着，通过图2所例示的图像分割处理部2060，执行利用了bse图像的亮度分布信息的图像分割处理(步骤s1003)。如上所述，在图案的边缘等反射的后方散射电子由bse检测器901、902检测，另一方面，向除此以外的方向放出的后方散射电子未被检测。因此，bse像的边缘部和除此以外的部分的对比度变得明确。因此，在图像分割处理部2060中，例如提取bse像中的规定的阈值以上的高亮度部分，将该部分、或者将该高亮度部分扩展了数像素的部分设定为roi。另外，将除此以外的部分定义为背景。
[0083]
计算机系统202例如将从图5所例示那样的gui画面输入的与损失函数相关的信息(在本实施方式的情况下为权重系数)设定为与各分割区域对应的损失函数信息(步骤s1004)，例如存储在存储部105中。在如上所述对roi和背景这2个区域进行图像分割的情况下，设定权重系数λ1、λg。
[0084]
计算机系统202使用如以上那样按区域设定的权重系数，在各区域单位进行不同的学习(重复1次以上的正向传播和反向传播)，由此，进行学习器的学习(步骤s1005)。根据图10所例示那样的方法，能够进行高效的学习。
[0085]
[第二实施方式]
[0086]
接着，参照图11～图14，对第二实施方式的图像生成系统进行说明。图11的框图示出了第二实施方式的图像生成系统的一例。对于与第一实施方式(图2)相同的构成要素，在图11中标注相同的参照附图标记，因此，以下省略重复的说明。
[0087]
图11所例示的系统不是简单地设为高品质图像，而是能够生成更美观的图像的系统。具体而言，图11的系统除了图2的系统的构成要素以外，还具有按区域亮度校正部2070。按区域亮度校正部2070构成为对由图像分割处理部2060分割后的图像分别进行亮度校正处理。即，按区域亮度校正部2070构成为以使分割后的各区域成为规定的亮度的方式对亮度值进行校正。
[0088]
图12是表示输入到图11所例示的计算机系统202的高品质图像、通过图像分割处理部2060分割该高品质图像而得的区域分割图像、以及通过按区域亮度校正部2070对该区域分割图像的分割后的区域分别进行亮度调整而得的亮度调整图像的例子的图。作为一例，图12所例示的高品质图像1201是对半导体器件进行拍摄而得的图像，包含上层配线1202、下层配线1203、圆形的构造物1204、以及与配线等重叠的圆形的构造物1205。
[0089]
图像分割处理部2060例如进行语义分割、与亮度对应的区域分割，由此生成区域分割图像。在进行与亮度对应的区域分割的情况下，例如考虑进行按规定的亮度范围分割图像的处理。例如，高品质图像1201内所包含的上层图案1202多数情况下比下层图案1203
亮。这是因为，靠近试样表面时，容易放出二次电子，相对地二次电子的检测量多。并且，也可以将图案的形状、与其他构造物的位置关系等转换为特征量，进行与该特征量对应的分类。在图12的例子中，示出了被分割为5个区域a～e的例子。具体而言，在图12中，1个图像被分割为(1)与上层配线1202对应的区域a、(2)与下层配线1203对应的区域b、(3)与圆形构造物1204对应的区域c、(4)与重叠于上层配线1202的圆形的构造物1205对应的区域d、以及(5)成为背景的区域e这5个区域。
[0090]
针对以上那样分割出的各区域，按区域亮度校正部2070根据从输入装置203等输入的亮度校正信息来进行亮度校正。亮度校正的条件例如也可以在图13所例示的gui画面上设定。图13所例示的gui画面1301构成为能够对由计算机系统202分割出的各区域进行亮度的调整。
[0091]
在gui画面1301中设置有分割图像显示区域1302和亮度条件设定栏1303。在分割图像显示区域1302中显示由图像分割处理部2060生成的分割图像。在亮度条件设定栏1303中设置有用于调整各分割区域的亮度的滑动条1304、用于以数值的方式设定亮度的亮度设定栏1305等。
[0092]
在亮度设定栏1305中显示分割图像的初始的亮度，操作者能够使用亮度设定栏1305、滑动条1304来进行调整以使各区域为期望的亮度。另外，伴随着滑动条1304等的亮度的调整，以改变分割图像显示区域1302的各区域的亮度的方式调整显示，由此，操作者能够确认转换图像的完成情况，并且进行条件设定。
[0093]
此外，在本第二实施方式中，主要对手动调整各区域的明亮度的例子进行说明，但例如也可以设置使明暗反转的模式，自动地进行亮度调整，以使得较暗的区域变亮，较亮的区域变暗。另外，也可以预先准备将圆形的构造物设为高亮度，降低其他区域的亮度的模式，根据测定、检查目的而分开使用。
[0094]
图14是表示图11所例示的系统中的学习器的学习条件的设定工序和学习工序的流程图。根据该流程图，能够生成使图像所包含的任意区域的亮度选择性地变化的图像。
[0095]
在第二实施方式的学习工序中，图11所例示的计算机系统202首先取得成为监督数据的高品质图像，使用图像分割处理部2060生成分割图像(步骤s1401、s1402)。分割图像显示于在输入装置203的显示装置等显示的gui画面等中。
[0096]
操作者参照在分割图像显示区域1302中显示的分割图像和各分割区域在显示装置上的明亮度，并且设定适当的亮度校正条件(步骤s1403)。按区域亮度校正部2070以所设定的亮度校正值条件进行图像的亮度校正(步骤s1404)，将亮度校正后的图像数据作为正解数据(标签)发送到转换误差计算部2040。
[0097]
另一方面，图像转换部2030为了执行将低品质图像作为输入的正向传播，取得学习用的低品质图像(步骤s1405)，生成转换图像(步骤s1406)。转换误差计算部2040求出经过正向传播而生成的转换图像与按区域亮度校正部2070的输出即亮度校正图像之间的误差。转换参数更新部2050以像素单位接收转换误差作为监督数据，设定损失最小的转换参数(步骤s1407、s1408)。通过重复1次以上的步骤s1401～1408的处理来执行学习。
[0098]
根据图11所例示那样的计算机系统202，能够对分割区域分别(例如配线和圆形的构造物)实施不同的学习，因此，能够从低品质图像生成与操作者的期望对应的图像。
[0099]
此外，在上述的实施方式中，对使各分割区域的亮度变化的例子进行了说明，但例
如也可以通过图像处理对特定的图案着色灰度等级以外的颜色，将其作为监督数据。
[0100]
[第三实施方式]
[0101]
接着，参照图15对第三实施方式的图像生成系统进行说明。本第三实施方式的系统的基本结构可以与所述实施方式的结构(图2、图11)相同。但是，本第三实施方式构成为，除了所述的实施方式的结构之外(或者代替所述的实施方式的结构)，通过按区域变更扫描速度，能够按区域执行不同的学习。
[0102]
图15是对第三实施方式的特征进行说明的概念图。图15中的(a)示出了在1个视野(fov)内设定了低速扫描区域和高速扫描区域的例子。fov内的高速扫描和低速扫描的切换例如能够通过使向电子显微镜的扫描偏转器供给的扫描信号如图15中的(b)那样变化来实现。信号波形的斜率表示扫描速度，图15中的(b)的例子示出了使区域(b)的扫描速度相对于区域(a)(c)为1/2。扫描速度越快，则每单位面积的射束照射量越减少，因此，能够减少带电等影响，另一方面，与照射量少相应地，检测信号量减少。
[0103]
在本第三实施方式中，例如能够将测定基准、成为检查的对象的区域设定为roi，并且在该roi中选择性地进行低速扫描。由此，能够同时实现必要的信息的取得和fov内的带电等影响的抑制。
[0104]
如上所述，在第一实施方式(图2)中，选择性地学习roi的部分，不学习其他区域，或者降低权重λ，由此，能够进行高效的学习。
[0105]
在第三实施方式中，除了改变帧数，还改变扫描速度，由此，也能够生成低品质图像和高品质图像。另外，代替改变扫描速度，通过改变每单位面积的射束的照射量的其他手段，也能够生成低品质图像和高品质图像。
[0106]
(其他)
[0107]
作为以区域单位实施不同的学习的方法，还对其他例子进行说明。通过对试样扫描电子束而产生的二次电子相对于平坦的试样表面，图案等边缘部分的放出量多，在图像上显示为高亮度。另一方面，从试样放出的后方散射电子适于生成与试样所包含的材质对应的对比度图像。并且，根据具有图9所例示那样的光学系统的电子显微镜，能够选择性地检测朝向特定方向的后方散射电子，因此，能够生成试样上的构造物的缘部分的对比度明确的图像。
[0108]
以下，对以上那样的检测电子的特征和生成与测量、检查的目的对应的学习模型的其他例子进行说明。首先，在生成用于测定图案的边缘间的尺寸的图像的学习模型的情况下，优选增大se像的高亮度区域(边缘部分)的权重系数。另外，在需要明确材质对比度的情况下，考虑增大在bse像中亮度大幅变化的部分(材质变化的部分)的权重系数。使用图9所例示的能够同时检测二次电子和后方散射电子的光学系统，提供能够执行se像和bse像的生成和与目的对应的多个学习的系统，由此，能够高效地生成与用途对应的多个模型。
[0109]
此外，在上述的实施方式中，对包含通过低品质图像的图像转换来生成(推定)高品质图像的学习器的系统进行了说明，但也可以不是高品质图像，而是将根据高品质图像求出的边缘间的尺寸值、轮廓波形、轮廓线、粗糙度评价值等作为正解数据来实施学习，推定这些值、数据。例如如果是边缘间尺寸，则根据包含成为尺寸的测量对象的2个以上的边缘的高品质图像，将通过测量算法求出的尺寸值作为正解数据，并且以使通过与高品质图像相同的区域的低品质图像的正向传播求出的尺寸值与正解数据的尺寸值的误差最小化
的方式更新转换参数来执行学习。
[0110]
其他的推定对象也是同等的，通过从高品质图像提取正解数据，通过反向传播来执行学习，能够对学习器实施学习。
[0111]
此外，本发明并不限定于上述的实施例，包含各种变形例。例如，上述的实施例是为了容易理解地说明本发明而详细说明的，并不限定于必须具有所说明的全部结构。另外，能够将某实施例的结构的一部分置换为其他实施例的结构，另外，也能够在某实施例的结构中添加其他实施例的结构。另外，对于各实施例的结构的一部分，能够进行其他结构的追加、删除、置换。
[0112]
附图标记说明
[0113]
100
…
扫描电子显微镜系统、101
…
拍摄部(扫描电子显微镜)、102
…
计算机系统、103
…
信号处理部、104
…
输入输出部、105
…
存储部、106
…
电子枪、107
…
电子束、108
…
聚焦透镜、109
…
聚焦透镜、110
…
偏转器、111
…
物镜、112
…
试样、113
…
载物台、114
…
放出电子、115
…
偏转器、116
…
检测光阑、117a、117b
…
能量过滤器、118
…
二次电子、119
…
检测器、120
…
二次电子、121
…
检测器、123
…
、201
…
存储介质、202
…
计算机系统、203
…
输入装置、2030
…
图像转换部、2040
…
转换误差计算部、2050
…
转换参数更新部、2060
…
图像分割处理部、2070
…
按区域亮度校正部。