测量系统、生成在进行包含预定结构的半导体的图像测量时使用的学习模型的方法、以及存储用于使计算机执行生成在进行包含预定结构的半导体的图像测量时使用的学习模型的处理的程序的存储介质与流程

1.本公开涉及测量系统、生成在进行包含预定结构的半导体的图像测量时使用的学习模型的方法、以及存储用于使计算机执行生成在进行包含预定结构的半导体的图像测量时使用的学习模型的处理的程序的存储介质。


背景技术：

2.通过近年来的半导体工艺制造的图案的微细化不断发展，要求遍及曝光装置的多层间的图案的重叠、即重叠(overlay)的精度提高。另外，预计高精度地测量重叠并向曝光装置反馈的重要性今后会变得越来越高。
3.关于重叠测量，例如在专利文献1中公开了如下技术：通过图像处理提取多个由输入图像上的亮度边界划分的亮度区域，根据亮度区域的重心的位置关系进行重叠测量。另外，在专利文献2中公开了如下技术：参照cad图像等设计图像或根据设计图像推测出的输入图像的预测图像，以像素为单位对输入图像进行区域分割，根据区域分割后的区域的重心的位置关系进行重叠测量。并且，在专利文献3中公开了如下技术：使用事先收集到的重叠测量对象的图像的样品，学习根据图像推定重叠量(作为重叠测量的对象的半导体的结构的位置的偏移量)的机器学习模型，参照机器学习模型，根据输入图像测量重叠量。
4.现有技术文献
5.专利文献
6.专利文献1：wo2017/130365号公报
7.专利文献2：日本特表2018-522238号公报
8.专利文献3：日本特表2010-538474号公报


技术实现要素：

9.发明所要解决的课题
10.然而，在专利文献1所公开的技术中，需要根据输入图像来人工调整图像处理中的参数，并且在参数的调整中还需要技能，因此存在进行重叠测量的作业者被限定为专家这样的课题。
11.另外，在专利文献2所公开的技术中，存在由于设计图像未被公开等理由而无法获得的情况下不能运用的课题。
12.并且，在专利文献3所公开的技术中，无法目视确认根据输入图像测量重叠量的过程，因此存在根据输入图像测量出非预期的重叠量的情况下难以进行要因分析的问题。
13.本公开是鉴于这样的状况而完成的，提出不伴随需要技能的图像处理的参数调整、难以得到情况下的设计图的参照就能够执行测量处理的技术。
14.用于解决课题的手段
15.为了实现以上叙述的课题，本公开的实施方式提出了一种生成学习模型的方法，该学习模型在进行包含预定结构的半导体的图像测量时使用，该方法包括：至少1个处理器通过对根据半导体的样品图像得到的区域分割图像分配包含至少1个测量对象的结构的标签来生成监督数据；以及至少1个处理器基于由多个层构成的网络结构，使用样品图像的区域分割图像和监督数据来生成学习模型，学习模型包含用于根据样品图像推定监督数据的参数。
16.根据本说明书的记述、附图，与本公开相关的进一步的特征将变得清楚。另外，本公开的方式通过要素、多样的要素的组合以及以后的详细的记述和所附的请求专利保护范围的方式来实现。
17.本说明书的记述只不过是典型的例示，在任何意义上都不限定本公开的请求专利保护范围或应用例。
18.发明效果
19.根据本公开，能够在不参照需要技能的图像处理的参数调整或有时难以获得的设计图的情况下执行测量处理。
附图说明
20.图1是表示实施例1的从监督制作到重叠测量为止的功能结构的一例的图。
21.图2是表示样品图像的例子的图。
22.图3是表示区域分割图像的例子的图。
23.图4是表示由监督制作部1提供的、用于根据样品图像13制作监督数据14的用户界面的结构例的图。
24.图5是表示学习模型11中的深度神经网络结构179的例子的图。
25.图6是用于补充说明神经网络结构179与图像的几何关系的图。
26.图7是表示作为输入图像12的一例的图像50的图。
27.图8是表示分组部4的输出例子的图。
28.图9是用于说明分组部4执行的分组处理的详细内容的流程图。
29.图10是表示重叠测量的第一测量对象以及第二测量对象的标签例子的图(表)。
30.图11是用于说明重叠测量部5执行的重叠测量处理的详细内容的流程图。
31.图12是表示模板数据85的结构例的图。
32.图13是表示重叠测量的第一测量对象和第二测量对象的标签的其他例子的图(表)。
33.图14是表示实施例2的从监督制作到重叠测量为止的功能结构例的图。
34.图15是表示样品图像的组30a以及30b和区域分割图像(分配了标签的监督数据)40a以及40b的例子的图。
35.图16是表示实施例3的从监督制作到重叠测量为止的功能结构例的图。
36.图17是表示样品图像213的结构例的图。
37.图18是表示监督数据214的结构例的图。
38.图19是用于说明由监督制作部201进行的监督制作处理的流程图。
39.图20是用于说明步骤s204的基于统计量的校正的例子的图。
40.图21是说明步骤s204的基于统计处理进行的校正的另一例的图。
41.图22是表示实施例4的从监督制作到重叠测量为止的功能结构例的图。
42.图23是表示位置信息图像340的例子的图。
43.图24是表示位置信息图像360的例子的图。
44.图25是用于说明重叠测量部305进行的重叠测量处理的流程图。
45.图26是表示实施例5的从监督制作到重叠测量为止的功能结构例的图。
46.图27是表示根据区域分割图像440推定出的图像430的例子的图。
47.图28是表示从区域分割图像440中对小区域71q进行了布局变更的情况下的例子的图。
48.图29是表示从区域分割图像440中对小区域71q进行布局变更时产生了遮蔽时的例子(按照标签43、41以及42的顺序确定为位于近前侧时的例子)的图。
49.图30是表示实施例6的从监督制作到图像测量检查为止的功能结构例的图。
50.图31是表示本实施方式(各实施例共同)的测量系统310的概略结构例的图。
具体实施方式
51.本实施方式以及各实施例涉及进行具有预定的结构(例如，多层结构)的半导体中的图像测量的测量系统，更具体而言，涉及在半导体为多层结构的情况下测量层间的偏移量的重叠测量的测量系统。然而，本公开的技术不限于应用于重叠测量，而是可以广泛应用于一般的图像测量。
52.以下，参照附图对本公开的实施方式以及实施例进行说明。在附图中，有时也用相同的编号来表示功能上相同的要素。此外，附图示出了遵循本公开的原理的具体的实施方式和实施例，但这些是用于理解本公开的，而决不用于限定性地解释本公开。
53.在本实施方式中，本领域技术人员为了实施本公开而充分详细地进行了说明，但需要理解的是，其他的安装方式也是可以的，只要不脱离本公开的技术思想的范围和精神地进行构成、结构的变更、多样的要素的置换即可。因此，不能将以后的记述限定于此进行解释。
54.并且，如后所述，本公开的实施方式既可以通过在通用计算机上运行的软件来安装，也可以通过专用硬件或者软件与硬件的组合来安装。
55.此外，在以后的说明中，通过“表”形式对本公开的各信息进行说明，但这些信息也可以不一定通过基于表的数据结构来表现，也可以通过列表、db、队列等数据结构或其以外来表现。因此，为了表示不依赖于数据结构，有时将“表”、“列表”、“db”、“队列”等简称为“信息”。
56.另外，在说明各信息的内容时，能够使用“编号”、“识别信息”、“标识符”、“名”、“名字”、“id”这样的表现，这些能够相互置换。
57.(1)实施方式
58.本实施方式(以及实施例1至6)例如涉及进行包含预定结构(例如多层结构)的半导体的图像测量的测量系统。该测量系统参照基于根据半导体的样品图像而生成的监督数据和样品图像生成的学习模型，根据具有预定结构的半导体的输入图像(测量对象)生成区
域分割图像，使用该区域分割图像进行图像测量。在此，监督数据是对图像的各像素分配了包含样品图像中的半导体结构的标签的图像，学习模型包含用于根据样品图像推定监督数据的参数。通过使用该学习模型，对输入图像应用从样品图像向监督数据的推定，因此能够不使用输入图像的设计数据而执行测量处理。
59.图31是表示本实施方式(各实施例共同)的测量系统310的概略结构例的图。测量系统310例如相当于执行重叠测量的重叠测量系统、测量半导体图像中的轮廓提取、孔形状等的尺寸的尺寸测量系统、检测缺陷图案等的缺陷图案检测系统、搜索设计图的推定与实际的设计图的对照位置的图案匹配系统等。
60.测量系统310例如具备：包含主处理器190的主计算机191；向主计算机191输入指示、数据，并且输出运算结果的输入输出装置192；供给测定对象的图像的电子显微镜或者存储电子显微镜的图像的服务器计算机193(以下，称为电子显微镜等)；包含第一子处理器190a的第一子计算机191a；以及包含第二子处理器190b的第二子计算机191b，各个构成要素通过网络(例如lan等)连接。另外，在图31中，设置有第一子计算机191a和第二子计算机191b这2个，但也可以在主计算机中执行全部的运算，也可以设置1个以上的用于辅助主计算机191的子计算机。
61.主计算机191执行后述的图1、14、16、22、26以及30中的监督制作处理以及学习模型制作处理(与各图中的监督制作部以及学习部对应的处理)。另外，推定处理以及测量处理(与各图中的区域分割部、分组部以及测量部(重叠测量部)对应的处理)也可以由主计算机191或者第一子计算机191a和第二子计算机191b分散地进行处理。此外，在第一子计算机191a和第二子计算机191b中，能够构成为仅执行推定处理以及测量处理，而不执行监督制作处理以及学习模型制作处理。另外，在设置有多个子计算机的情况下(例如，第一子计算机191a和第二子计算机191b)，也可以使推定处理以及测量处理在各子计算机间分散。
62.电子显微镜等193例如取得(拍摄)在晶圆上形成的半导体图案图像，并提供给主计算机191、子计算机191a以及191b。在电子显微镜等193为服务器计算机的情况下，服务器计算机将由电子显微镜拍摄到的半导体图案图像存储于存储装置(例如，硬盘驱动器(hdd))，响应于主计算机191的指示，向主计算机191等提供与指示对应的图像。
63.以下，对在测量系统310中执行的处理的各实施例进行详细说明。另外，在实施例1至5中，作为测量例列举了重叠测量。在实施例6中，明示了本公开的技术能够应用于全部的测量处理。
64.(2)实施例1
65.图1是表示实施例1的从监督制作到重叠测量的功能结构的一例的图。监督制作部1以及学习部2的功能通过主计算机191的主处理器190从未图示的存储部读入对应的各处理程序来实现。另外，区域分割部3、分组部4以及重叠测量部5的功能通过主计算机191的主处理器190或者子计算机191a、191b的子处理器190a、190b从未图示的存储部读入对应的各程序来实现。
66.《功能结构的概要》
67.首先，对图1所示的从监督制作到重叠测量的功能结构的概要进行说明。样品图像13是事先收集到的作为重叠测量的对象的图像的样品。监督数据14是针对样品图像13的每一个准备了将包含成为重叠测量的测量对象的半导体中的结构的标签分配给图像中的各
像素而得的区域分割图像的数据。
68.监督制作部1根据样品图像13制作监督数据14，并且还提供用于制作监督数据14的用户界面。学习模型11是根据图像(例如样品图像)求出区域图像分割的机器学习模型中的系数等参数。学习部2计算在输入了样品图像13时推定尽可能接近监督数据14的区域分割图像的学习模型11。
69.输入图像12是在重叠测量时成为测量对象的图像。区域分割部3参照学习模型11，根据输入图像12推定区域分割图像。分组部4以小区域为单位对区域分割图像中的重叠测量的测量对象进行分组。重叠测量部5根据分组部4分组后的小区域的位置起执行重叠测量。
70.以上的监督制作部1、学习部2、区域分割部3、分组部4以及重叠测量部5的各功能能够通过任意的计算机上的信号处理来实现。
71.《各功能结构的详细内容》
72.以下，对实施例1的各功能结构进行详细说明。样品图像13是在运用重叠测量之前拍摄的图像，是图像的外观接近成为测量对象的半导体的试样或者成为测量对象的半导体的试样的试样图像。能够通过运用重叠测量的电子显微镜或者拍摄图像的画质与该电子显微镜接近的电子显微镜来收集样品图像13。
73.(i)图2是表示样品图像的例子的图。图2中的图像30例如表示样品图像的一部分。在图像30中包含重叠的测量对象的半导体中的结构。样品图像由与图像30相同的1张以上的图像构成。
74.(ii)监督数据14由根据样品图像13中的各个图像30求出的区域分割图像构成。图3是表示区域分割图像的例子的图。在图3中，在区域分割图像40中，在图像30中的各像素中，分配有表示第一测量对象、第二测量对象以及背景的标签41、标签42以及标签43。与标签41和42对应的第一测量对象和第二测量对象是重叠的测量对象，例如相当于通孔、沟槽以及其他半导体中的结构。如何确定半导体中的结构是根据重叠测量的运用而事先决定的。此外，也可以对区域分割图像40分配除了标签41、42以及43以外的附加的标签。例如，在图3中，在区域分割图像40中，分配有与学习部2所排除的无效区域对应的标签49。
75.(iii)图4是表示由监督制作部1提供的、用于根据样品图像13制作监督数据14的用户界面的结构例的图。在图4中，该用户界面例如包括主画面90、输入画面91、输入选择区域92和输入笔93。在输入画面91中，在作业者从输入选择92的单选按钮中选择了任意一个项目的状态下，通过在图像30上操作输入笔93(例如，涂抹标签指定的区域)，将标签分配给由输入笔操作的区域。输入选择92根据第一测量对象、第二测量对象、背景的单选按钮的项目的选择，依次选择标签41、42和43。对于通过输入笔93输入的位置，根据由输入选择92选择的标签，分配预定的颜色或灰度(tone)。
76.输入选择92也可以包含能够选择无效区域49那样的附加标签的项目。此外，输入选择92中的用户界面是一个例子，也可以改变添加于单选按钮的字符串、设置单选按钮以外的用户界面。选择用的区域94表示对图像30中的一部分分配了标签41、42以及43的例子。然后，通过对图像30的整个区域分配同样的标签来制作区域分割图像40。
77.通过使用以上叙述的监督制作部1，不需要进行需要技能的参数调整、设计图的参照，作业者就能够根据样品图像13以简单的作业制作监督数据14。
78.(iv)图5是表示学习模型11中的深度神经网络结构179的例子的图。深度神经网络结构179例如可以由输入层170、输出层171、多个中间层172、173和174构成。
79.在输入层170中存储图像30。从输入层170向中间层172、以及从中间层172向中间层173，通过基于预定系数滤波器的卷积运算、图像缩小来汇集层内的数据。另一方面，从中间层173向中间层174、以及从中间层174向输出层171，通过基于预定系数滤波器的卷积运算、图像放大来展开层内的数据。一般，将这种网络结构称为卷积神经网络。输出层(最终层)171内的数据表示区域分割图像40中的每个标签的似然度。通过将似然度最大的标签分配给各像素，能够求出区域分割图像40。学习模型11相当于中间层中的滤波器的系数。另外，深度神经网络结构179是学习模型11中的网络结构的一例，172等中间层的数量不限于图5所示的3个。另外，能够采取如连结中间层172和174那样的旁路结构那样的附加结构，或加上滤波运算的附加运算。在随着针对学习模型11中的网络结构的附加结构、附加运算的追加而追加附加参数的情况下，对学习模型11也追加附加参数。
80.(v)图6是用于对神经网络结构179与图像的几何关系进行补充说明的图。在图6中，着眼于图像30中的像素175以及区域分割图像40中与像素175相同坐标的像素177。此时，在输入层170中，涉及被称为感受野176(感受野是指与标签的决定相关的图像范围，其大小根据神经网络结构179而确定)的像素175的预定范围的附近区域。然后，根据输入层170中的感受野176的数据，通过卷积运算、图像放大和图像缩小来求出中间层172、173以及174的数据，在输出层171中确定像素177的标签。另外，实际上根据图像30中的各像素以并行运算的方式高效地求出区域分割图像40中的各像素的标签。
81.学习部2参照样品图像13和监督数据14，计算用于在提供了图像30时推定区域分割图像40的学习模型11的参数。具体而言，学习部2例如根据样品图像13中的图像30推定区域分割图像40，将推定出的区域分割图像40与监督数据14中的图像30所对应的区域分割图像40进行比较，计算出两者的区域分割图像40之差最佳且最小的学习模型11。例如，将两区域分割图像40之差设为在两者的全部像素中标签不同的像素的数量，求出学习模型11(神经网络结构179)中的各要素相对于像素的数量的偏微分系数。而且，有在样品图像13中的各个图像30中逐次地进行对学习模型11中的各要素加上对偏微分系数乘以负的预定系数而得到的值并进行更新(以减少像素数的方式一点一点地进行更新)的方法。但是，不限于该方法。在此，在监督数据14中的对应的区域分割图像40中包含标签49(无效区域)的情况下，将该部分从标签不同的像素数的合计中排除。
82.并且，学习部2在生成学习模型11时，也可以对样品图像13中的图像30施加随机噪声，或者增加进行了实施放大、缩小以及左右反转、上下反转等几何变换等合成处理后的合成图像。通过增加合成图像，学习部2能够根据更丰富数量的图像30求出学习模型11。
83.(vi)输入图像12是在重叠测量时拍摄到的图像。图7是表示作为输入图像12的一例的图像50的图。图7的图像50中的区域59是与样品图像13中的图像30相同程度的尺寸的区域，包含成为重叠测量对象的半导体中的结构。在图像50的区域59之外，与区域59同样地周期性地映出成为重叠测量对象的半导体中的结构。
84.区域分割部3参照学习模型11，根据输入图像12推定图7中的区域分割图像60。区域分割图像60中的区域69是与区域59相同范围的区域。在此，推定意味着向学习模型11的网络结构输入数据，进行网络结构的各层(输入层170、输出层171、中间层172、173以及174)
的卷积运算等计算，取得计算结果。对区域分割图像60中的区域69的各像素，与区域分割图像40同样地分配标签41、42以及43中的任意一个。在区域59的图像与样品图像13中的图像30中的任一个类似的情况下，学习模型11具备在学习部2求出学习模型11的过程中推定与图像30对应的区域分割图像40的特性。因此，能够对区域69分配正确的标签。区域分割图像60中的区域69以外的剩余区域也同样如此。在此，“类似”的尺度(基准)是指，在感受野176(图像30中的小区域)的单位中，内部的图像类似。特别是，在重叠测量中，成为测量对象的半导体中的结构是周期性的。因此，即使样品图像13中的图像的尺寸比区域分割图像60小，也能够期待满足与区域分割图像60类似的条件的图像30存在于样品图像13中，而分配正确的标签。
85.(vii)分组部4通过执行图9的流程图所示的处理，以小区域为单位对区域分割图像60中的重叠的测量对象进行分组。对于分组处理的详细内容予以后述。
86.(viii)重叠测量部5通过执行图11的流程图所示的处理，根据分组图像70进行重叠测量。对于重叠测量处理的详细内容予以后述。
87.《分组处理的详细内容》
88.图9是用于说明分组部4执行的分组处理的详细内容的流程图。分组处理按照由图10的表80指定的测量对象的项目，根据对区域分割图像60的预定区域赋予的标签，按关联的每个小区域进行分组。
89.分组部4在步骤s1至步骤s4中，针对图10中的表80中指定的测量对象的每个项目(第一测量对象和第二测量对象)，反复执行步骤s2以及步骤s3的处理。
90.在步骤s2中，分组部4求出将区域分割图像60中的对象标签的像素设为1、将除此以外设为0的2值图像。根据图10，对于第一测量对象对象标签为标签41，对于第二测量对象对象标签为标签41和标签42。对第二测量对象指定多个标签是因为在图像50中与标签41对应的结构相较于与标签42对应的结构位于近前侧，所以在区域分割图像60中标签42的一部分被标签41遮蔽。
91.在步骤s3中，分组部4根据在步骤s2中得到的2值图像，以小区域为单位进行分组。作为以小区域为单位的分组方法，能够应用以2值图像中的值1的像素构成的连结区域为单位进行分组的称为标记(labeling)的方法。但是，不限于标记，能够应用能够以小区域为单位进行分组的其他方法。
92.以上述方式执行分组处理。在此，图8是表示分组部4输出的例子的图。在图8中，图像70表示通过分组处理(图9)求出的分组图像的例子。小区域71a、71b、71c以及71d是与表80中的第一测量对象对应的小区域。另外，小区域72a、72b、72c以及72d是与表80中的第二测量对象对应的小区域。分组图像70中的区域79是与区域59(参照图7)相同范围的区域。例如，在半导体图案的情况下，在区域分割图像60(参照图7)中的区域59之外，反复出现与区域59同样的小区域。即，在半导体图案的情况下，类似图案反复出现，因此也可以不对图像中的全部像素生成监督数据。例如，如果得到作为小区域的感受野176(参照图6)的监督数据，则能够构建能够推定比感受野176大的区域的图像整体的学习模型，能够节省作业者(操作员)的时间。
93.《重叠测量处理的详细内容》
94.图11是用于说明重叠测量部5执行的重叠测量处理的详细内容的流程图。
95.(i)步骤s11
96.重叠测量部5对第一测量对象进行模板的对位。在此，模板是第一测量对象的各要素的x坐标和y坐标，是通过重叠测量的运用而事先准备的数据。图12是表示模板数据85的结构例的图。在图12中，模板数据85由第一至第n的各要素的x坐标以及y坐标构成。模板数据85是根据成为代表例的分组图像70中的小区域71a、71b、71c、以及71d等的重心的x坐标和y坐标求出的。或者，也可以根据半导体的设计图等求出模板数据85。
97.作为对位的基准，可以举出以模板中的所有点的重心与第一测量对象的小区域71a等的重心一致的方式进行对准，但不限于该方法。
98.(ii)步骤s12
99.重叠测量部5选择与对位后的模板数据85中的要素分别对应的小区域71a等。选择的基准能够设为在小区域71a等中重心最接近模板数据85的要素，但不限于此。
100.(iii)步骤13至s18
101.重叠测量部5对在步骤s12中选择出的每个小区域反复执行步骤s14至s17的处理。在以下的说明中，以小区域71a为对象的情况为例进行叙述。
102.(iii-1)步骤s14
103.重叠测量部5计算作为第一测量对象的代表位置的位置1。位置1由x坐标x1和y坐标y1这2个要素构成。根据小区域71a等的重心位置的x坐标和y坐标计算出位置1。
104.(iii-2)步骤s15
105.重叠测量部5在第二测量对象的小区域中选择小区域71a和测量重叠量的小区域。该选择的基准能够应用选择重心的位置最近的小区域的基准。在图8的情况下，例如选择小区域72a。
106.(iii-3)步骤s16
107.重叠测量部5以与步骤s14相同的顺序，求出作为在步骤s15中选择的第二测量对象的小区域(例如，小区域72a)的代表位置的位置2。位置2由x坐标x2和y坐标y2这2个要素构成。
108.(iii-4)步骤s17
109.重叠测量部5根据位置2和位置1，通过下述式1及式2计算出x坐标及y坐标的位移量即dx及dy。
110.dx＝x2-x1
···
(式1)
111.dy＝y2-y1
···
(式2)
112.(iv)步骤s19
113.重叠测量部5计算出基于式1及式2求出的dx及dy的位移量的统计量。在计算该统计量时能够应用相加平均，但不限于此，也可以是相乘平均、中央值。重叠测量部5将在步骤19中求出的位移量的统计量设为图像50的重叠量。
114.《实施例1的技术效果》
115.根据实施例1，预先设置学习部2使用在监督制作部1中根据样品图像13制作的监督数据14来求出学习模型11的过程。然后，区域分割部3通过参照学习模型11使用根据输入图像12求出的区域分割图像60，能够通过分组部4和重叠测量部5测量重叠量。由此，与专利文献1不同，不需要调整需要技能的参数，另外，与专利文献2不同，不需要输入图像12的设
计数据，通过推定区域分割图像60，能够进行正确的重叠测量。另外，为了能够使区域分割图像60、分组图像70这样的中间处理数据可视化，与专利文献3不同，在计测了不期望的重叠量的情况下，通过对中间处理数据进行画面显示，能够掌握要因。即，由于在区域分割部3中参照学习模型11对输入图像12进行区域分割，所以解决了上述的第一以及第二课题。另外，由于区域分割图像是能够可视化的数据，因此作业者容易确认。因此，也解决了第三课题。
116.另外，根据实施例1，学习模型11以感受野176为单位推定区域分割图像40。另外，在重叠测量处理中，一般由输入图像12(图像60：参照图7)反映出周期性的半导体中的结构。因此，在监督制作部1中使用主画面90的用户界面来分配监督数据14的样品图像13中的图像30的尺寸为比输入图像12中的图像60小的尺寸即可。由此，能够减少作业者分配监督数据14时的工时。
117.《实施例1的变形例》
118.在以上所述的实施例1中能够变更构成要素。例如，学习模型11除了上述的神经网络结构以外，还能够应用以感受野176的单位根据图像30推定区域分割图像40的任意的机器学习模型。例如，也可以是根据图像30的感受野176的全部像素来确定像素177的标签的线性判别器。
119.在步骤s16中，也可以根据不同的标签的小区域求出位置2的x2和y2的坐标。例如，在参照图13所示的表81的情况下，在步骤s16中，重叠测量部5根据标签41和标签42的小区域求出坐标x2，根据标签44(在图3的区域分割图像40的例子中分配给未图示的半导体中的预定结构的标签)的小区域求出坐标y2。由于与标签42对应的半导体中的结构的纵向的轮廓(对比度)不鲜明，所以有时无法从与标签41以及标签42对应的小区域求出正确的y2。在这样的情况下，通过追加分配给在图3中纵向上的对比度(横纹)鲜明的结构的标签44(例如，实施例2的图15的标签42b)来求出正确的坐标y2。即，在与标签42对应的半导体中的结构的纵向的对比度不鲜明的情况下，通过将重叠测量对象变更为新分配的标签44，能够正确地求出坐标y2。
120.另外，在步骤s16中参照表81的情况下，与在步骤s16中参照表80的情况相比，监督制作部1将标签44添加到标签的分配对象。然后，区域分割部3将标签44加入到推定的对象中，分组部4将标签44加入到分组对象中。同样地，在步骤s14中，也可以根据不同标签的小区域求出位置1的x1和y1的坐标。
121.步骤s11的处理一般作为重叠测量，但也可以排除。在该情况下，在步骤s12中选择分组图像70中的小区域71a等的全部。或者，在步骤s12中，也可以进行小区域71a等中面积小到噪声程度等的附加取舍选择。
122.(3)实施例2
123.《功能结构例》
124.图14是表示实施例2的从监督制作到重叠测量的功能结构例的图。在图14中，样品图像113例如是改变拍摄条件对半导体晶圆中的同一部位进行多次拍摄而得到的图像的组。在此，拍摄条件是指电子显微镜的加速电压、拍摄反射电子像、二次电子像、求出两者的合成图像时的合成比率等，但不限于此。
125.图15是表示样品图像的组30a以及30b和区域分割图像(分配了标签的监督数据)
40a以及40b的例子的图。图像30a在区域31a内具有横长的结构，但其上下的轮廓(纵向的对比度)不鲜明。另一方面，图像30b包含与区域31a相同部位的区域31b的图像。在图像30b中，上下的轮廓(纵向的对比度)成为鲜明的结构。
126.在重叠测量处理中，将多层的半导体作为摄影对象，从电子显微镜观察，对焦于多层中的各层的深度不同，每层最鲜明的摄影条件不同。因此，存在通过改变拍摄条件进行多次拍摄而能够从图像中的所有结构取得鲜明的像的情况。监督制作部1对样品图像113中的图像的组分配标签，制作监督数据114，并且为此提供用户界面。图15中的监督数据40a和40b是监督数据114的一例，是在图像30a和图像30b中分别分配了标签41a、42a和43a以及标签42b和42c的区域分割图像的组。
127.学习部102根据样品图像113、监督数据114、图像的组30a以及30b、区域分割图像的组40a以及40b，计算出学习模型111。学习模型111包括根据图像30a推定区域分割图像40a的神经网络结构和根据图像30b推定区域分割图像40b的神经网络结构。这些神经网络结构可以是完全独立的2个神经网络结构，或者也可以是共有(共用)中间层173等一部分的神经网络结构。
128.输入图像112是在与样品图像113相同或相近的拍摄条件下拍摄的图像的组。区域分割部103从输入图像112输出与区域分割图像的组40a以及40b结构相同的区域分割图像的组。分组部104执行根据区域分割部103输出的区域分割图像的组求出分别分配了标签41a、标签41a以及42a、标签42b这3种标签的小区域的运算。
129.重叠测量部105通过根据标签41求出图11所示的步骤s14中的位置1、根据标签41a和42a求出步骤s16中的位置2的x坐标(x2)以及根据标签42b求出y坐标(y2)来测量重叠量。
130.《实施例2的技术效果》
131.在实施例2中，根据以上所述的结构，即使在单一的拍摄条件下难以进行正确的重叠测量的情况下，也在多个拍摄条件下对同一部位使用图像的组。由此，区域分割部103推定的标签变得正确，重叠测量部105能够进行正确的重叠测量。并且，由于监督制作部101对样品图像113中的鲜明的部分分配标签，所以监督制作部101能够正确地将标签分配给小区域来制作监督数据114。
132.(4)实施例3
133.实施例3公开了通过将标签分配的对象缩小为样品图像的一部分，作业者减少监督数据的标签分配作业的作业量的技术。
134.《功能结构的概要》
135.图16是表示实施例3的从监督制作到重叠测量的功能结构例的图。首先，对实施例3的功能结构例的概要进行说明。
136.监督制作部201从对样品图像213中的部分集合即图像组231分配了标签(即，对图像组231中的各个图像30分配了标签)的区域分割图像组241学习中间学习模型。在此，使用中间学习模型这样的语句是因为用于根据图像组231(样品图像213的部分集合)生成区域分割图像组241的学习模型，而不是用于根据输入图像12生成区域分割图像的最终的学习模型。
137.接着，监督制作部201参照中间学习模型，根据剩余的样品图像233推定区域分割图像组243，并且执行校正区域分割图像组243的处理，或者提供用于校正的用户界面。学习
部2、区域分割部3、分组部4以及重叠测量部5的各功能、学习模型11以及输入图像12的数据与实施例1相同，因此省略说明。
138.《监督制作处理的详细内容》
139.参照图17至图19，对监督制作处理的详细情况进行说明。图17是表示样品图像213的结构例的图。图18是表示监督数据214的结构例的图。图19是用于说明监督制作部201的监督制作处理的流程图。
140.(i)步骤s201
141.如图17所示，样品图像213被事先分割为图像组231和图像组233的部分集合。
142.在步骤s201中，监督制作部201向作业者提供用于制作图18所示的区域分割图像组241的用户界面(主画面90：参见图4)，并且响应于作业者的输入而向图像组231分配标签。
143.(ii)步骤202
144.监督制作部201按照与学习部2相同的步骤，根据图像组231和区域分割图像组241求出中间学习模型(用于根据图像分231生成区域分割图像组241的学习模型)。
145.(iii)步骤s203
146.监督制作部201与区域分割部3同样地，参照在步骤s202中求出的中间学习模型，根据图像组233在区域分割图像组243中进行推定(准确地说，根据图像组233中的图像30分别推定区域分割图像40，由此求出区域分割图像组243)。
147.(iv)步骤s204
148.作为样品图像的部分集合的图像组231难以完全网罗图像组233中包含的全部图像的性质，因此在大多数情况下区域分割图像组243中包含错误的标签。因此，监督制作部201通过统计处理对区域分割图像组243中的标签执行校正。作为基于统计处理的校正，例如能够进行在反复拍摄半导体芯片内的同一拍摄部位而得到的区域分割图像组243中的部分集合内取标签的最频值的校正。
149.在此，图17所示的图像组233内的部分集合的图像组232中的图像32a、32b至32m(m为任意的数字)是反复拍摄半导体晶圆内的同一部位而得到的图像。此时，在步骤s204中，对根据图像组232推定出的区域分割图像组242内的区域分割图像42a、42b至42m，全部通过取最频值的校正而分配最频值的标签。另外，在着眼于区域分割图像42a、42b至42m内的同一坐标的像素43a、43b至43m时，在校正前各像素中出现频度最高的标签通过取最频值的校正而在校正后被分配。通过取最频值的校正，能够校正由于反复拍摄同一部位时的图像30的画质或重叠的噪声而导致区域分割图像40的标签发生变化的情况。
150.另外，也可以在图像232中的图像32a、32b至32m的拍摄部位稍微发生位置偏移的情况下，事先进行对位。该对位能够通过相对于图像32a的32b至32m的各图像之间求出图像间的位移量，并使图像32b至32m平行移动图像的位移量，但也可以通过除此以外的方法进行对位。在图像32b和图像32a的情况下，在根据位移量使图像32b平行移动时，能够在图像32b和32a的各像素的亮度的差分之和最小的条件下求出图像间的位移量。除此之外，在根据位移量使区域分割图像42b平行移动时，在区域分割图像42b与42a之间标签不一致的像素量成为最小的条件下求出位移量。求出图像间的位移量的对象也可以是开头的图像32a以外。
151.(v)步骤205
152.监督制作部201提供用于作业者确认分配给区域分割图像组233中的标签是否正确的用户界面。该用户界面显示构成区域分割图像组243中的各个区域分割图像40。此时，为了容易判断分配给区域分割图像40的标签是否合适，也可以在步骤s205的用户界面上排列显示图像组233中的图像30，或者在图像30上附加显示使区域分割图像40透过的混合图像。在步骤s205中提供的用户界面中，也可以设置对区域分割图像组243中的区域分割图像40的标签进行修正的功能。修正该标签的功能是在输入画面91(参照图4)中进行区域分割图像组243中的区域分割图像40或混合图像的显示，能够通过输入画面91中的输入笔93的操作来修正显示中的标签。
153.(vi)步骤s206
154.监督制作部201将区域分割图像组241和区域分割图像组243一并作为监督数据214而输出。
155.《实施例3的技术效果》
156.根据实施例3，在样品图像213(即图像组233)中，能够将使用监督制作部201提供的用户界面(主画面90)将分配标签的作业的对象缩小到作为部分集合的图像组231，并且对样品图像213内的全部图像30分配标签来取得监督数据214。在实施例1中，关于学习模型11，样品图像13中的母数越多，推定结果越准确。另一方面，存在作业者分配监督数据14的标签的作业的作业量变多这样的权衡。但是，根据实施例3，通过减少标签分配的作业量，能够消除上述权衡。特别是，在重叠测量中，通常将在半导体图像中反复出现的结构作为重叠测量的对象。因此，可以预期的是，即使图像组231的母数被大幅缩减，步骤s203中的推定结果的精度也不会降低到难以在步骤s204中通过统计处理进行校正或在步骤s205中通过用户界面进行校正的程度。因此，根据实施例3，认为对作业量的减少有效。
157.另外，若执行步骤s204中的统计处理中的修正，则能够改善重叠测量的再现性。在此，重叠测量的再现性是指，反复拍摄半导体晶圆中的同一部位时的上述式1及式2所示的重叠量的偏差程度的指标。通常，作为指标，使用标准偏差σ的3倍即3σ。改善重叠测量的再现性的效果是，当进行步骤s204中的统计处理的校正时，针对对同一部位反复拍摄而得的图像组232等的区域分割图像组242等的标签相同。其结果，在半导体晶圆中与图像组231同一部位的多个图像成为输入图像12时，区域分割部3根据多个图像推定的区域分割图像60的标签接近。因此，重叠测量部5在s19中求出的重叠量接近均匀，重叠测量的再现性得到改善(变小)。另外，由于具有该效果，因此也可以对使用在步骤s201中提供的用户界面而生成的区域分割图像组241实施步骤s204的基于统计处理的校正。
158.《实施例3的变形例》
159.(i)在图19所示的流程图中，也可以删除步骤s204或步骤s205。这是因为，仅在步骤s204中也具有对区域分割图像组243的标签进行校正的效果，仅在步骤s205中也具有对区域分割图像组243的标签进行确认和校正的效果。
160.(ii)在步骤s204的基于统计处理的校正中，既可以应用最频值以外的统计量，也可以除了取最频值以外还进行附加的处理。例如，在如32a、32b至32m那样的同一坐标的像素的标签中最频值的频度低的情况下，也可以设为像素的标签的偏差较大，分配无效区域49的标签。
161.在步骤s204的基于统计处理的校正中，也可以代替使用反复拍摄半导体晶圆中的同一部位而得到的图像组232中的图像，而在图像组232中提取类似的多个部分区域。在此，部分区域是图4中的区域94那样的图像30中的部分区域。另外，类似的多个部分区域是指从图像组232中的32a等一张图像或多个图像32a至32m等多个图像中以类似度高为条件提取多个相同尺寸的部分区域而得到的。并且，在此，能够根据部分区域中的2张图像30的像素的明度的相关值来判断类似度，或者能够根据部分区域中的2张区域分割图像40内的像素中标签一致的像素的比率来判断类似度。作为重叠测量的对象的半导体图像是重复图案，因此容易找到类似的多个部分区域。
162.(iii)步骤s204的基于统计处理的校正能够设为对区域分割图像组243中的标签以小区域为单位的校正。在此，使用图20，对基于统计量的校正进行说明。图20是用于说明步骤s204的基于统计量的校正的例子的图。图20示出了分组部4根据区域分割图像组243中的任意一个区域分割图像40求出的校正前的分组图像270的例子和校正后的分组图像270’的例子。
163.在图20中，通过基于该统计量的校正，小区域71h平行移动到小区域71h’。小区域71h的平行移动的量能够以小区域71h和72h的重心的位移量(通过步骤s17的方法求出的位移量)与其他小区域71i和72i、71j和72j、71k和72k的重心的位移量的平均值一致的方式确定。对于以小区域为单位的校正，除此之外，也可以使小区域71h等所有的小区域一律平行移动，以使得在步骤s19中求出的位移量的统计量成为目标值。例如，在区域分割图像组243内，在分组图像270与半导体晶圆中的拍摄部位相同的部分集合中，能够将根据部分集合中的各要素求出在步骤s19中求出的位移量的统计量时的平均值用作目标值。或者，在拍摄了样品图像213中的各个图像的半导体晶圆赋予人为的重叠量而制造(使多层的半导体中的预定的层之间错开人为的重叠量而制造)、且已知人为的重叠量的情况下，也可以在样品图像213中的图像中根据分组和人为的重叠量与图像270相同的图像求出部分集合。在本说明书中，有时将人为的重叠量称为重叠量的设计值。
164.(iv)此外，在预先知道图像组233的重叠量的设计值的情况下，可以确定目标值以改善重叠量的灵敏度特性。图21是说明步骤s204的基于统计处理的校正的另一例的图。基于图21，能够说明根据校正前的分组图像270生成校正后的分组图像270’时的基准(用于确定移动量的基准)。
165.在图21中，例如考虑将重叠量的设计值的x成分设为u轴295、将重叠量的x成分(上述式1的dx)设为v轴296的曲线图290。此时，将连结v轴296相对于u轴295的理想值的直线设为297(斜率1且截距0直线、将斜率设为1并通过点292a、293b、293c的重心的直线、或者将斜率1设为预定的斜率的直线等)。并且，能够将使表示区域分割图像270的重叠量的x成分的点292a下降到直线297后的点294a作为目标值的x成分。即，能够将向量293a设为平行移动的xb。并且，在图21中，以使点292b和点292c通过向量293b和293c移动到点294b和点294c的方式，确定针对区域分割图像组243中的270以外的全部区域分割图像的步骤s19的重叠量的x成分的目标值。这样，在平行移动之后，区域分割图像组243中的重叠量的x成分全部落在直线297上。这对应于在区域分割图像组243中重叠测量的灵敏度特性最佳的条件。即，根据点294a、294b以及294c等求出回归直线时的回归直线的斜率接近直线297，或者回归直线的回归残差(相当于向量292a、292b以及292c等的平均的2次方距离)最小。对于重叠量的y
成分(上述式2所示的dy)，也能够根据与曲线290同样的曲线求出重叠测量的灵敏度特性最佳的目标值。
166.例如，存在多个图像组a、b以及c的情况下，理想的是期望在直线297上绘制全部的值。但是，实际上难以得到这样的理想的状态。因此，存在位移量时，若以图像组为单位校正位移量，则至少监督数据被绘制在直线297上(在学习模型的范围内，能够被正确地绘制在直线297上)。由于能够将该监督数据的位移量识别为学习模型的习惯以及监督数据的习惯，因此能够抑制各图像中的位移量的偏差。即，通过执行基于统计处理的校正，能够改善重叠测量的灵敏度特性。
167.(v)在以小区域为单位进行步骤s204的基于统计处理的校正时，也可以组合以上所述的几个校正来进行。另外，在以小区域为单位的校正中，除了平行移动以外，也可以进行小区域71h等的重心变化的几何变形。例如，作为几何变形，可列举出切削小区域71h的右半部分。由此，使小区域71h的重心向左侧移动。
168.(vi)监督制作部201可以显示校正之前和之后的分组图像270和270’、与这些相对应的图像30和区域分割图像40，使得可以在主画面90等上确认步骤s204的统计处理的校正。
169.(vii)在监督制作部201中，可以分几个阶段求出步骤s202中所示的中间学习模型。例如，根据图像组231和区域分割图像组241求出第一中间学习模型、除了图像组231和区域分割图像组241以外还根据图像组232和由参照了第一中间学习模型的推定结果求出了标签的区域分割图像组242来求出第二中间学习模型。并且，也可以通过参照第二中间学习模型对图像组233中的图像组232以外进行推定，对监督数据214中的全部区域分割图像40分配标签。
170.(5)实施例4
171.使用图22至图25对实施例4进行说明。图22是表示实施例4的从监督制作到重叠测量的功能结构例的图。
172.《功能结构的概要》
173.首先，对功能结构的概要进行说明。监督制作部301除了监督制作部1的功能以外，还具备制作保持了从在主画面90(参照图4)制作的区域分割图像40中的各像素到区域分割图像40内的小区域71a等(参照图8)的代表位置的位移量的位置信息图像的功能。另外，监督制作部301制作将位置信息图像添加到监督数据14而获得的监督数据314。学习部302根据样品图像13中的图像30，计算能够尽可能准确地推定监督数据314中的区域分割图像40以及位置信息图像的学习模型311。
174.区域分割部303参照学习模型311，根据输入图像12推定区域分割图像60以及位置信息图像。分组部304以与分组部3相同的顺序根据区域分割图像60生成分组图像70并输出。重叠测量部305使用从分组部304输出的分组图像中的小区域71a等中包括的位置信息图像的位置信息来执行重叠测量。
175.《功能结构的详细内容》
176.以下，除了概要以外没有特别记载的分组部304以外，对实施例4中的各功能结构的详细情况进行叙述。
177.(i)监督制作部301响应于作业者对主画面90的操作，根据样品图像13制作监督数
据14后，对监督数据中的区域分割图像40加上以下所述的位置信息图像340而输出监督数据314。参照图23，对位置信息图像340进行说明。
178.图23是表示位置信息图像340的例子的图。在图23中，图像370是分组部4根据样品图像13中的区域分割图像40求出的分组图像。分组图像370是根据表80(参照图10)中包含的第一测量对象的标签求出的。位置信息图像340是对与分组图像370中的小区域71m、71n、71o及71p对应的小区域371m、371n、371o、371p内的各像素赋予了位置信息的图像。小区域371m的范围是与小区域71m相同的范围，或者是从小区域71m进行了膨胀处理、或者求出了小区域71m的外切矩形等的小区域71m的附近的范围。其他小区域的范围371n等也是与小区域71n等相同或附近的范围。若将小区域371m内的某像素342m的坐标设为(xp，yp)，将代表位置341m的x坐标设为(xc，yc)，则对像素342m分配按照下述式3及式4求出的位移量(rx，ry)。该位移量(rx，ry)相当于从像素342m到代表位置341m的位移量。在此，将代表位置341m设为小区域371m的重心的坐标。对小区域371m内的各个像素，与像素342m同样地分配到代表位置341m为止的位移量。
179.rx＝xc-xp
···
(式3)
180.ry＝xc-yp
···
(式4)
181.同样地，对位置信息图像340中的小区域371n、371o、371p内的各个像素分配从各个像素到各个小区域的代表位置341n、341o、341p的位移量。在位置信息图像340中，对小区域371m、371n、371o、371p以外的区域分配在学习部302求出学习模型311的计算中排除的无效区域的属性。
182.此外，监督制作部301对表80中的第二测量对象的标签也赋予与位置信息图像340同样的位置信息图像。
183.(ii)学习部302根据样品图像13中的图像30，计算能够尽可能准确地推定监督数据314中的区域分割图像40以及位置信息图像340的学习模型311。能够对根据图像30推定区域分割图像40的学习模型和根据图像30推定位置信息图像340的学习模型分别分配独立的神经网络结构179。或者，也可以在2个学习模型中共享神经网络结构179的全部或一部分的层。例如，在向输入层170输入了图像30时，也可以从输出层171的一部分输出区域分割图像40，从输出层171的该一部分以外的部位或中间层174等其他层输出位置信息图像340。
184.与学习部2同样地，学习部302对学习模型311中的参数进行最优化，以使得对根据样品图像13中的图像30推定出的区域分割图像40和位置信息图像340与监督数据314中的对应的区域分割图像40和位置信息图像340进行比较时的差变小。例如，学习模型311中的参数由随机数初始化。之后，将2个区域分割图像40的误差(误差1)设为标签不一致的像素的数量，将2个位置信息图像340的误差(误差2)设为各像素中的位移量之差的绝对值的总和。并且，对学习模型311中的各个参数依次加上对针对误差1和误差2的偏微分系数乘以负的预定系数而得到的值。通过对样品图像13中的图像30反复进行这样的处理，能够进行最优化。但是，并不限定于这样的方法。
185.(iii)图24是表示位置信息图像360的例子的图。区域分割部303参照学习模型311，从输入图像12(即图像50)进行区域分割图像60以及图24所示的位置信息图像360的推定。在推定正确的情况下，图24中的区域369成为与位置信息图像360中的区域59相同范围的区域。在区域369中，小区域371a内的像素342a包含到小区域371a的代表位置341a为止的
位移量的推定值(rix、riy)的信息。若将像素342a的坐标设为(xip，yip)，则能够通过下述(式5)以及(式6)求出代表位置341a的位置的推定值(xic，yic)。
186.xic＝rix xip
···
(式5)
187.yic＝riy yip
···
(式6)
188.在此，对于分组部4对表80中的第一测量对象的标签求出的小区域71a、71b、71c以及71d，小区域371a、371b、371c以及371d分别成为范围与小区域71a等相同的小区域。根据小区域371b、371c以及371d中的各像素也同样地能够通过式5以及式6推定代表位置341b、341c以及341d的位置(能够计算推定值)。在位置信息图像360中，在区域369外的部分也存储有与像素342a同样的位置信息。
189.另外，区域分割部303还从表80中的第二测量对象的标签输出与位置信息图像360同样的位置信息图像。
190.(iv)重叠测量部305根据图25所示的流程图来执行重叠测量处理。
191.在图25中，除步骤s314及步骤s316以外，与重叠测量部5在重叠测量处理时执行的流程图(图11)相同，因此省略说明。以下，对步骤s13至步骤s18的循环以小区域371a为对象的情况进行叙述。
192.在步骤s314中，重叠测量部305根据位置信息图像360中的小区域371a中的各个像素(像素342a等)，使用上述式5和式6，求出代表位置341a的推定值。接着，重叠测量部305根据各个像素求出代表位置341a的推定值并计算它们的统计量，将该统计量设为位置1。能够将统计量作为中央值来计算，但也可以是其他相加平均等统计量。
193.在步骤s316中，重叠测量部305同样地还针对表80所示的第二测量对象，根据针对第二测量对象的标签所取得的小区域的位置信息图像，通过进行与步骤s314相同的处理来取得位置2(代表位置的推定值的统计量)。
194.《实施例4的技术效果》
195.根据实施例4，可以使用位置信息图像360来测量重叠量。有时在输入图像12上重叠随机噪声，或者对比度降低等而使画质降低。在这样的情况下，区域分割图像60中的标签变得不正确，分组图像70中的小区域71a等的范围变得不正确，但如果使用实施例4所公开的技术，则即使在这样的情况下也能够执行正确的重叠测量。例如，在小区域71a的右半部分缺失的情况下，小区域71a的重心从本来的位置向左侧偏移，其结果，在步骤s14中无法求出正确的位置1。与此相对，在步骤s314中，根据位置信息图像370中的小区域371a的任何像素都能够由式5以及式6计算出代表位置341a。因此，即使在小区域71a(即小区域371a)的右半部分缺失的情况下，也能够在步骤s314中计算出正确的位置1。
196.《实施例4的变形例》
197.(i)监督制作部301也可以对监督数据14中的区域分割图像40进行通过步骤s204的统计处理的校正。由此，区域分割图像40中的小区域71a等的重心能够以改善重叠测量部5中的重叠测量的再现性或灵敏度特性的方式进行校正。因此，根据区域分割图像40中的小区域(71a等)的重心等确定的监督数据314中的位置信息图像370中的各像素(342m等)也能够以改善重叠测量的再现性或灵敏度特性的方式进行校正。
198.(ii)分组部304在根据区域分割图像60求出分组图像70时，也可以参照位置信息图像360。例如，有时在分组图像70中2个小区域(例如，小区域71m及71n)比本来的范围膨胀
而连结，形成1个小区域。在该情况下，在位置信息图像360中，有时在1个小区域内通过式5以及式6求出的代表位置分离(在位置信息图像360中分离为与71m和71n中对应的371m和371的代表位置)。因此，在代表位置分离的情况下，也可以参照代表位置的分离来分割1个小区域。这样分割小区域例如在输入图像12的画质比样品图像30不鲜明的情况下产生影响而使分组图像70中的小区域变得不准确的情况下有用。
199.(6)实施例5
200.实施例5公开了如下技术：根据有限量的样品图像生成区域分割图像(与监督数据对应)，使区域分割图像内的小区域平行移动来进行区域分割图像和样品图像的布局变更(将区域分割图像和样品图像合成)，由此增加监督数据和样品图像。
201.《功能结构的概要》
202.图26是表示实施例5的从监督制作到重叠测量的功能结构例的图。监督制作部401与监督制作部1同样地，根据样品图像13生成监督数据14，并且为此提供的用户界面。另外，监督制作部401生成并输出使监督数据14中的区域分割图像40的布局变更后的监督数据414。并且，监督制作部401具备根据区域分割图像40推定图像30的功能(以下，将该功能称为监督制作部401的图像推定功能)，通过根据监督数据414中的区域分割图像40推定对应的图像30的每一个，输出样品图像413。此外，学习部2、区域分割部3、分组部4以及重叠测量部5的各功能与实施例1相同，因此省略说明。即，实施例5中的学习部2将监督数据14和监督数据414以及样品图像13和样品图像413视为同质的数据，以与实施例1相同的步骤计算学习模型11。
203.《功能结构的详细内容》
204.以下，参照图27至图29，详细说明监督制作部401输出监督数据414和样品图像413时的处理。
205.(i)图27是表示根据区域分割图像440推定出的图像430的例子的图。在图27中，图像440表示作业者使用监督制作部401所具备的监督制作部1的用户界面制作的区域分割图像的例子，由标签41、42以及43构成。另外，小区域71q表示由分组部4求出的区域分割图像内的标签41的小区域的一例。并且，图像430表示监督制作部401使用图像推定功能根据区域分割图像440推定出的图像。在此，监督制作部401的图像推定功能能够通过如下方式实现：(a)与学习部2同样地，如样品图像13和监督数据14那样，事先收集任意的图像30和区域分割图像40的组的样品；以及(b)执行求出根据一个区域分割图像40推定出的图像30、与上述任意的图像30和区域分割图像40的组中包含的图像且与一个区域分割图像40对应的图像之间的误差最小的与神经网络179类似的结构中的参数的学习。在此，能够通过合计各像素的明度差分的绝对和来求出与区域分割图像40对应的图像和推定出的图像30的误差，但不限于该方法。另外，监督制作部401的图像推定功能除了上述的方法以外，例如也能够通过使用被称为敌对生成网络的在根据随机数或符号生成图像方面优异的机器学习算法，决定与神经网络结构179类似的网络结构中的参数来实现。
206.另外，在与神经网络结构179类似的网络结构中，也可以与网络结构179同样地进行以感受野176为单位的推定。即，针对区域分割图像40的各个像素，根据区域分割图像40中的像素的周围的感受野176的范围，确定图像30中与像素相同坐标的像素的亮度。
207.(ii)图28是表示从区域分割图像440中对小区域71q进行布局变更的情况的例子
的图。在图28中，区域分割图像440r是进行了使区域分割图像440中的小区域71q平行移动到小区域71r的布局的变更的图像。根据以感受野176为单位的推定的效果，若将根据区域分割图像440r推定出的图像430r与对应于区域分割图像440的图像430进行比较，则可知与小区域71q对应的小区域431q内的图像移动到小区域71r内的小区域431r。若着眼于小区域431q以及小区域431r内，则相当于重叠量变化了从小区域71q向小区域71r平行移动的量的图像。因此，在区域分割图像440r中，如果使小区域71r等全部平行移动均匀的量，则图像430r成为使重叠量从图像430变化了均匀的量的图像。
208.《实施例5的技术效果》
209.根据实施例5，通过布局的变更，能够在监督数据14中增加监督数据414。另外，通过使用布局变更和监督制作部401的图像推定功能，能够在样品图像13中增加样品图像413。例如，即使在样品图像13由重叠量均匀的图像30构成的情况下，通过布局变更，也能够在监督数据14和样品图像13中增加各种重叠量的区域分割图像40以及图像30。因此，作业者不需要事先准备具备各种布局的多个样品图像，能够节省用于重叠测量的工夫。
210.《实施例5的变形例》
211.(i)在布局变更中，除了上述的平行移动以外，还能够应用放大、缩小等伴随着重叠量的变化的任意的几何变形。
212.(ii)也可以事先决定区域分割图像440中的标签41、42以及43的深度信息。由此，监督制作部401能够推定考虑了标签间的遮蔽的图像。图29是表示在从区域分割图像440中对小区域71q进行布局变更时产生了遮蔽时的例子(按照标签43、41以及42的顺序确定为位于近前侧时的例子)的图。如图29所示，删除在使区域分割图像中的小区域71q平行移动到小区域71s时产生的与标签43重叠的范围。其结果，在根据区域分割图像440s推定出的图像430s中，关于与小区域71s对应的小区域431s，推定出考虑了遮蔽的图像。由此，能够通过标签间的遮蔽来合成更接近现实的区域分割图像430。
213.(iii)以上说明的实施例1至实施例5除了分别单独实施以外，也可以组合各实施例的一部分或全部来实施。
214.(7)实施例6
215.实施例6对将实施例1至5中的监督制作处理、学习模型制作处理、区域分割处理应用于重叠测量以外的测量处理的情况的实施例进行说明。
216.图30是表示实施例6的从监督制作到图像测量检查的功能结构例的图。在图30中，监督制作部501对应于实施例1至5的监督制作部1、101、201、301和401中的任一个。同样地，监督数据514、学习部502、学习模型511、区域分割部503依次对应于实施例1至5的任一个中的监督数据、学习部、学习模型、区域分割部。
217.图像测量检查部505使用区域分割部503根据输入图像12推定出的区域分割图像60，进行不限于重叠测量的图像的检查、测量。作为图像测量检查部505中的图像的检查、测量，例如可举出半导体图像中的轮廓线提取、孔形状等尺寸测量、短路缺陷等缺陷图案的检测、根据图像求出设计图的推定来寻找设计图的推定与实际的设计图的对照位置的图案匹配等。但是，并不限定于此，能够应用于使用区域分割部503推定出的区域分割图像60来进行图像测量的任意用途。另外，在图像测量检查部505中，为了区域分割图像60的校正等，也可以辅助性地参照输入图像12、图30中未示出的其他数据。另外，在实施例6中，也可以将样
品图像13以及输入图像12设为拍摄半导体以外的图像而得到的图像。
218.(i)监督制作部501、学习部502以及区域分割部503的各功能具备实施例1的这些功能的情况
219.例如，为了学习模型511以感受野176为单位进行推定，如果是在输入图像12内反映周期性的图案的情况，则在监督制作部501中分配监督数据14的标签时的样品图像13中的图像30的尺寸为比输入图像12中的图像60小的尺寸即可。由此，能够减少作业者分配监督数据14的标签的工时。
220.(ii)监督制作部501、学习部502以及区域分割部503的各功能具备实施例2的这些功能的情况
221.例如，通过使用改变了拍摄条件的多个图像组，能够使用在图像30a以及30b等中成为对象的结构鲜明地映现的图像来准确地制作监督数据114、准确地进行区域分割部503的推定。
222.(iii)监督制作部501、学习部502以及区域分割部503的各功能具备实施例3的这些功能的情况
223.例如，通过在样品图像213中使用主画面90将分配监督数据的对象缩小为图像组231，能够减少作业者的工时。另外，通过执行实施例3的图19的步骤s202以及s203，能够针对样品图像13(与样品图像213对应)的剩余的全数取得监督数据514(与监督数据214对应)。并且，通过执行步骤s204、s205，也能够校正监督数据514(与监督数据214对应)。
224.(iv)监督制作部501、学习部502以及区域分割部503的各功能具备实施例4的这些功能的情况
225.能够进行使用了根据输入图像12求出的区域分割图像60与位置信息图像360的图像测量。
226.(v)监督制作部501、学习部502以及区域分割部503的各功能具备实施例5的这些功能的情况
227.例如，通过使用监督制作部501中的图像推定功能来改变区域分割图像40中的布局，将样品图像413和监督数据414(将监督数据14和监督数据414合并为监督数据514)增加在样品图像13和监督数据14中。
228.《实施例6的技术效果》
229.根据实施例6，示出了不仅能够将实施例1至5中公开的技术应用于重叠测量，还能够应用于使用区域分割图像进行图像测量、图像检查的所有系统。
230.(8)其他实施例
231.各实施例也能够通过软件的程序代码来实现。在该情况下，将记录有程序代码的存储介质提供给系统或装置，该系统或装置的计算机(或cpu、mpu)读出存储在存储介质中的程序代码。在该情况下，从存储介质读出的程序代码自身实现上述实施方式的功能，该程序代码自身以及存储有该程序代码的存储介质构成本公开。作为用于供给这样的程序代码的存储介质，例如使用软盘、cd-rom、dvd-rom、硬盘、光盘、光磁盘、cd-r、磁带、非易失性的存储卡、rom等。
232.另外，也可以基于程序代码的指示，由在计算机上运行的os(操作系统)等进行实际处理的一部分或全部，通过该处理来实现上述实施方式的功能。此外，在从存储介质读取
的程序代码被写入到计算机上的存储器中之后，计算机的cpu等可以基于该程序代码的指示执行实际处理的一部分或全部，并且可以通过该处理实现上述实施例的功能。
233.并且，也可以通过经由网络分发实现实施方式的功能的软件的程序代码，将其保存在系统或装置的硬盘或存储器等存储单元或cd-rw、cd-r等存储介质中，在使用时，该系统或装置的计算机(或cpu或mpu)读出并执行保存在该存储单元或该存储介质中的程序代码。
234.符号说明
235.1、101、201、301、401、501 监督制作部
236.2、102、302、502 学习部
237.3、103、303、503 区域分割部
238.4、104、304 分组部
239.5、105、305 重叠测量部
240.11、111、311、511 学习模型
241.12、112 输入图像
242.13、113、213、413 样品图像
243.14、114、214、314、414、514 监督数据
244.190 主处理器
245.190a 第一子处理器
246.190b 第二子处理器
247.191 主计算机
248.191a 第一子计算机
249.191b 第二子计算机
250.192 输入输出装置
251.193 电子显微镜等
252.505 图像测量检查部。