控制装置、定位装置、光刻装置、以及物品制造方法与流程

1.本发明涉及控制装置、定位装置、光刻装置、以及物品制造方法。


背景技术：

2.日本专利特开no.2019-71405描述了用于通过使用神经网络来控制台架(stage)的控制系统。这个控制系统包括基于控制偏差信息输出第一操纵量(manipulated variable)的第一控制单元和基于控制偏差信息由神经网络输出第二操纵量的第二控制单元、以及用于将第一操纵量和第二操纵量相加的加法器。第二控制单元包括用于限制第二操纵量的上限和下限的限制单元。
3.不幸的是，当如日本专利特开no.2019-71405中描述的那样简单地限制操纵量的上限和下限时，神经网络生成不必要的操纵量，并且这可能妨碍控制特性的提高。


技术实现要素：

4.本发明提供有利于提高控制特性的技术。
5.本发明的第一方面提供了一种用于对控制对象(controlled object)进行控制的控制装置，包括：测量设备，所述测量设备被配置为测量所述控制对象的状态；以及控制器，所述控制器被配置为生成与所述测量设备的输出和目标值对应的操纵量，其中，所述控制器包括补偿器和转换器，所述补偿器被配置为输出与所述测量设备的输出和所述目标值对应的索引，所述转换器被配置为将所述索引转换成操纵量使得生成预定的操纵量的概率为目标概率。
6.本发明的第二方面提供了一种用于对控制对象进行控制的控制装置，包括：测量设备，所述测量设备被配置为测量所述控制对象的状态；第一控制器，所述第一控制器被配置为生成与所述测量设备的输出和目标值对应的第一操纵量；第二控制器，所述第二控制器被配置为生成与所述输出和目标值对应的第二操纵量；以及计算器，所述计算器被配置为基于所述第一操纵量和第二操纵量生成用于操纵所述控制对象的操纵量，其中，所述第二控制器包括补偿器和转换器，所述补偿器被配置为输出与所述输出和目标值对应的索引，所述转换器被配置为根据转换规则将所述索引转换成所述第二操纵量，并且所述转换规则是与在所述计算器不是基于所述第二操纵量而是基于所述第一操纵量生成所述操纵量的模式下对所述控制对象进行控制时的所述第一操纵量的概率分布对应的转换规则。
7.本发明的第三方面提供了一种用于对控制对象进行控制的控制装置，包括：测量设备，所述测量设备被配置为测量所述控制对象的状态；第一控制器，所述第一控制器被配置为生成与所述测量设备的输出和目标值对应的第一操纵量；第二控制器，所述第二控制器被配置为生成与所述输出和目标值对应的第二操纵量；计算器，所述计算器被配置为基于所述第一操纵量和第二操纵量生成用于操纵所述控制对象的操纵量；以及设置设备，其中，所述第二控制器包括补偿器和转换器，所述补偿器被配置为输出与所述输出和目标值对应的索引，所述转换器被配置为根据转换规则将所述索引转换成所述第二操纵量，并且
所述设置设备根据在所述计算器不是基于所述第二操纵量而是基于所述第一操纵量生成所述操纵量的模式下对所述控制对象进行控制时的所述第一操纵量的概率分布设置所述转换规则。
8.本发明的第四方面提供了一种定位装置，包括：台架机构，所述台架机构包括台架；驱动器，所述驱动器被配置为驱动所述台架机构；测量设备，所述测量设备被配置为测量所述台架的状态；以及如本发明的第一、第二或第三方面限定的控制装置，其中，所述控制装置被配置为对作为控制对象的所述台架进行控制。
9.本发明的第五方面提供了一种用于将原版的图案转印到基板上的光刻装置，包括如本发明的第四方面限定的定位装置，其中，所述定位装置的台架保持所述基板。
10.本发明的第六方面提供了一种制品制造方法，包括：通过使用如本发明的第五方面限定的光刻装置来在基板上形成图案；以及通过对形成有图案的所述基板进行处理来获得物品。
11.本发明的另外的特征从以下参考附图对示例性实施例的描述将变得清楚。
附图说明
12.图1是示出第一实施例的系统的配置的图；
13.图2是示出第一实施例的系统中的控制装置被应用到定位装置的示例的图；
14.图3是示出图2中所示的控制装置(定位装置)的更详细的配置的图；
15.图4是示出根据第一实施例的使用强化学习(reinforcement learning)的神经网络学习序列的示例的流程图；
16.图5是示出用于通过将控制偏差输入到控制器来确定驱动器的操纵量的配置的示例的图；
17.图6是示出比较示例中的转换规则的示图；
18.图7是示出比较示例中通过学习获得最大回报(reward)时的每个操纵量的使用频率的示图；
19.图8是示出实施例中用于基于目标概率分布确定多个操纵量的示例的示图；
20.图9是示出实施例中的转换规则的示例的示图；
21.图10是示出比较示例和实施例中的控制偏差的示例的示图；
22.图11是示出用于通过将控制偏差输入到控制器来确定驱动器的操纵量的配置的另一个示例的图；
23.图12是示出第二实施例的系统中的控制装置被应用到定位装置的示例的图；
24.图13是示出根据第二实施例的使用强化学习的神经网络学习序列的示例的流程图；
25.图14是示出作为光刻装置的曝光装置的配置示例的图；以及
26.图15是示出作为光刻装置的压印装置的配置示例的图。
具体实施方式
27.在下文中，将参考附图详细描述实施例。注意，以下实施例不旨在限制要求保护的发明的范围。在实施例中描述了多个特征，但是不限于需要所有这样的特征的发明，并且可
以适当地组合多个这样的特征。此外，在附图中，相同的附图标记被给予相同或类似的配置，并且省略其冗余描述。
28.图1示出了实施例的系统sys的配置。系统sys可以包括例如包括控制对象的控制装置1、用于控制控制装置1的控制服务器2、以及用于经由控制服务器2执行控制装置1的学习的学习服务器3。控制装置1包括包括神经网络的补偿器。学习服务器3可以经由控制服务器2向控制装置1发送神经网络的参数值，并且经由控制服务器2向控制装置1发送驱动命令。控制装置1可以执行根据驱动命令驱动控制对象的操作，并且经由控制服务器2向学习服务器3发送驱动结果(例如，控制偏差)。学习服务器3可以基于驱动结果计算回报，并且基于回报更新神经网络的参数值。
29.控制服务器2的功能可以全部或部分地并入到控制装置1中。替代地，控制服务器2的功能可以全部或部分地并入到学习服务器3中。替代地，控制服务器2和学习服务器3的功能可以部分地并入到控制装置1中。替代地，控制装置1、控制服务器2和学习服务器3可以被一体化。控制服务器2可以是控制装置1的主机装置。例如，控制装置1可以是光刻装置的一个构成要素，并且控制服务器2可以是光刻装置的主控制装置、或者用于控制包括该光刻装置的多个光刻装置的综合控制装置。
30.图2示出了其中图1中所示的系统sys中的控制装置1被应用到定位装置的示例。被配置为定位装置的控制装置1可以被配置以便控制作为控制对象的台架st。图2中所示的控制装置1可以包括台架机构5、测量设备6、驱动器7和控制板(控制单元)8。台架机构5可以包括台架st和用于驱动台架st的致动器(未示出)。台架st可以保持诸如基板的定位目标。致动器可以包括线性马达、电磁致动器、音圈马达和齿条齿轮机构中的至少一个。控制对象可以是台架st、或者保持在台架st上的构件(例如，基板)。更宏观地，控制对象可以被理解为台架机构5。测量设备6可以测量控制对象的状态(例如，位置)。控制板8可以向驱动器7发送命令(操纵量)，并且向台架机构5的致动器输出电流。台架机构5或台架st的状态(驱动结果)可以由测量设备6测量或检测，并且提供给控制板8。
31.图3示出了图2中所示的控制装置1的更详细的配置示例。控制板8可以包括用于计算由测量设备6测量的控制对象的状态(例如，位置)与用于控制控制对象的驱动命令(目标值)之间的差值(控制偏差)的计算器9、以及用于生成与来自计算器9的输出对应的操纵量的控制器10。控制器10也可以被理解为用于基于控制对象的状态和驱动命令生成操纵量的构成要素。控制器10可以作为由学习服务器3提供的神经网络的参数值定义的补偿器进行操作。驱动器7可以将由控制板8或控制器10提供的操纵量转换成电流。换句话说，驱动器7向台架机构5(的致动器)输出具有与由控制板8或控制器10提供的操纵量对应的大小的电流。
32.图4示出了使用强化学习的神经网络学习序列s100。首先，在步骤s101中，学习服务器3经由控制服务器2与控制装置1通信，并且初始化控制器10的神经网络的参数值。然后，在步骤s102中，学习服务器3经由控制服务器2向控制装置1发送预定的操作命令以便驱动台架机构5(台架st)。在示例中，在接收到操作命令时，控制服务器2可以向控制装置1供给驱动命令(目标值串)以便沿着与操作命令对应的驱动轨道驱动台架机构5的台架st。控制装置1可以被配置为累积(accumulate)台架机构5的驱动结果，例如，由计算器9计算的差值(控制偏差)，并且根据来自控制服务器2或学习服务器3的请求将驱动结果提供给控制服
务器2或学习服务器3。
33.在步骤s103中，学习服务器3经由控制服务器2从控制装置1获取通过步骤s102中的操作累积的驱动结果。在步骤s104中，学习服务器3基于在步骤s103中获取的驱动结果计算回报。用于计算回报的公式可以被确定为例如当控制偏差小时获得高回报。在步骤s105中，学习服务器3确定在步骤s104中计算的回报是否满足学习终止条件。如果回报满足学习终止条件，那么学习服务器3使处理前进到步骤s106；如果不满足，那么学习服务器3使处理前进到步骤s107。在步骤s107中，学习服务器3改变控制器10的神经网络的参数值，并且之后再次执行步骤s102至s105。在步骤s106中，学习服务器3保存神经网络的最新参数值作为学习结果。
34.图5示出了用于通过将控制偏差输入到控制器10来确定用于驱动器7的操纵量的配置的示例。控制器10可以包括用于输出与控制偏差(来自测量设备6的输出与目标值之间的差值)对应的索引503的补偿器510、以及用于根据转换规则521将索引503转换成操纵量504的转换器520。转换规则521可以由例如用于定义与多个索引503分别对应的多个操纵量504的转换表给出。补偿器510由神经网络形成，并且该神经网络可以包括输入层500、隐藏层501和输出层502。输出层502可以由多个神经元形成，该多个神经元与针对转换规则521的输入可以采用的多个索引503分别对应。形成补偿器510的神经网络的操作由预设的参数值定义，并且神经网络基于输入到输入层500的控制偏差计算隐藏层501和输出层502中的每个神经元的活跃度(activity)。然后，形成补偿器510的神经网络选择与输出层502中的多个神经元中的最活跃的神经元对应的索引503，并且输出索引503作为神经网络的计算结果。多个神经元中的最活跃的神经元是其活跃度具有最大数值的神经元。转换器520根据转换规则521输出与输入的索引503对应的操纵量504。换句话说，转换器520根据转换规则521将输入的索引503转换成操纵量504，并且输出操纵量504。
35.这个实施例的一个特征是转换规则521。为了深入理解这个实施例的转换规则521，首先将解释比较示例和比较示例的问题。
36.图6示出了比较示例中的转换规则。参考图6，横坐标指示索引，并且纵坐标指示作为操纵量fn的转换规则。在这个比较示例中，定义转换规则，使得当操纵量fn的最小值为f0、操纵量fn的最大值为fn并且索引为n时，索引n和操纵量fn具有如下面的公式(1)指示的线性关系：
37.fn＝n
×
(fn-f0)/n f0(n＝0～n)...
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
39.在设置了如上所述的转换规则的状态下执行了学习。作为控制板8的配置，输出层502中的神经元的数量、索引503的数量和操纵量504的数量中的每一个被设置为9，并且确定f0使得f4＝0。在这个条件下，执行了学习使得当对于控制装置1的驱动命令(目标值)具有预定值时，控制偏差减小。
40.图7示出了在比较示例中通过学习获得最大回报时每个操纵量的使用频率。这个结果示出，操纵量f0、f2、f5和f7根本没有被使用。即，作为学习的结果，确定这些操纵量是不必要的。图3中所示的配置具有控制器10必须以预定周期生成输出(即，操纵量)的限制，因此控制器10的计算量期望没有浪费。然而，在比较示例中，在计算的操纵量当中存在不必要的操纵量，因此有必要删除这些操纵量或利用其它操纵量替换它们。
41.下面将与上面提到的比较示例相比较地解释根据这个实施例的转换器520的转换
规则521。在这个实施例中，转换规则521被设置为使得从转换器520或控制器10输出的操纵量的概率分布遵循目标概率分布。操纵量概率分布是操纵量的每个值可以出现在操纵量的最小值和最大值的范围内的概率的分布。当通过如上所述定义或设置转换规则521开始学习时，可以通过减少不必要的操纵量的生成来省略控制器10的浪费计算。这有利于提高控制装置1的控制特性。
42.操纵量必须如此输出以便减小台架st的控制偏差。因此，当操纵量被绘制在横坐标上并且概率被绘制在纵坐标上时，转换规则521优选地具有在操纵量的最小值和最大值之间的整个区域中向上凸出的形状(概率分布)。而且，这个形状优选地在偏移值为0时在操纵量为0的位置中具有峰，并且在偏移值不为0时在操纵量为该偏移值的位置中具有峰。注意，偏移值可以用于消除由公差等造成的个体差异。向上凸出的形状可以是例如正态分布。
43.在示例中，如图8中所示，可以基于目标概率分布900确定多个操纵量f0至f8，使得多个操纵量f0至f8的使用频率(概率)(图8中的面积)恒定。图9示出了索引与操纵量之间的关系(即，转换规则)，其与图8中所示的目标概率分布900和多个操纵量f0至f8对应。操纵量的最大值f8和最小值f0可以基于例如作为控制对象的台架st的重量和最大驱动加速度以及假定的最大控制偏差的大小确定。此外，当具有向上凸出的形状的目标概率分布900是正态分布时，其方差值与操纵量的分辨率相关并且因此可以根据假定的最大控制偏差确定。
44.图10与比较示例(点线)和这个实施例(实线)相关地示出了在神经网络中设置获得最大回报的参数值的状态下的控制偏差。当与比较示例相比较时，在这个实施例中，可以使用接近零(f4)的操纵量，因此对驱动器7的输出分辨率提高，结果控制偏差被更多地抑制。这意味着这个实施例的控制特性比比较示例的优异。而且，这个实施例的学习所需的时间比比较示例的短。此外，这个实施例的形成补偿器510的神经网络中的神经元的数量与比较示例的相同，因此这个实施例的控制器10的计算量也与比较示例的相同。然而，这个实施例的台架st的位置精度比比较示例的高。此外，即使当补偿器510不是由神经网络形成时，也可以获得这个实施例的效果。
45.图11示出了用于通过将控制偏差输入到控制器10来确定驱动器7的操纵量的配置的另一个示例。控制器10可以包括用于输出与控制偏差(测量设备6的输出值与目标值之间的差值)对应的索引603的补偿器610、以及用于根据转换规则621将索引603转换成操纵量的转换器620。补偿器610由神经网络形成，并且该神经网络可以包括输入层600、隐藏层601和输出层602。输出层602由单个神经元形成。形成补偿器610的神经网络的操作由预设的参数值定义。神经网络基于输入到输入层600的控制偏差计算隐藏层601和输出层602中的每个神经元的活跃度。然后，形成补偿器610的神经网络输出其中输出层602中的神经元活跃度的数值被规范化为从0到1的数值的索引603，作为神经网络的计算结果。转换器620的转换规则621在具有向上凸出的形状的目标概率分布(例如，正态分布)中当从f0的面积(积分值)与索引603匹配时给出操纵量604。换句话说，转换规则621被设置为使得操纵量604的概率分布遵循目标概率分布。转换器620根据像这样的转换规则621计算操纵量604，并且输出操纵量604作为控制器10的输出。当定义转换规则621的目标概率分布是正态分布时，这个正态分布的平均值和方差值是任意值。
46.当准备多个驱动轮廓(profile)以控制台架机构5或台架st的驱动时，可以对每个驱动轮廓安装控制器10，并且从多个控制器10选择与驱动轮廓对应的控制器10。在这种情
况下，可以对每个控制器10确定转换器520和620的转换规则。
47.在具有基于给定的目标概率分布确定的索引与操纵量之间的关系(转换规则)的控制器10中，为了在执行一系列的学习序列之后实现更高的定位精度，可以通过改变目标概率分布来再次执行学习序列。例如，在具有基于给定的目标概率分布确定的索引-操纵量关系的控制器10中，为了在执行一系列的学习序列之后实现更高的定位精度，可以通过改变目标概率分布来再次执行学习序列。目标概率分布的这个改变可以包括例如平均值和方差值中的至少一个的改变。
48.下面将解释调整如图3中所示的多个台架控制装置的情况。在这种情况下，在第一台架控制装置中通过执行学习序列s100获得神经网络的参数值20之后，学习到的参数值20可以应用到第二台架控制装置。因此，第二台架控制装置可以实现与第一台架控制装置的定位精度等同的定位精度，而不需要执行任何学习。也可以通过将学习参数值20作为初始值应用到第二台架控制装置来执行学习序列s100。在这种情况下，也可以通过改变提供第二台架控制装置的控制器10的转换规则的目标概率分布的操纵量方向上的移位量以及扩展量来执行学习。
49.下面将解释第二实施例。在第二实施例中没有提到的项目遵循第一实施例的那些。图12示出了第二实施例的控制装置1的配置。第二实施例的控制装置1在这个示例中被配置为定位装置，但是控制装置1也可以被配置为另一个形式的控制装置。控制板8可以包括用于计算由测量设备6测量的控制对象的状态(例如，位置)与用于控制控制对象的驱动命令(目标值)之间的差值(控制偏差)的计算器9、以及用于生成与计算器9的输出对应的第一和第二操纵量的第一和第二控制器30和40。控制器30和40也可以被理解为用于基于控制对象的状态和驱动命令生成操纵量的构成要素。第一控制器30可以是例如pid控制器。第二控制器40作为由从学习服务器3提供的神经网络的参数值定义的补偿器进行操作。就像第一实施例的控制器10，第二控制器40包括补偿器510(610)和转换器520(620)。控制板8还可以包括用于基于第一和第二操纵量生成用于操纵控制对象的操纵量的计算器(加法器)60、以及用于打开/关闭连接第二控制器40和计算器60的路径的开关50。驱动器7可以将由控制板8或控制器10提供的操纵量转换成电流。
50.图13示出了第二实施例的控制装置1的学习序列200的示例。图13示出了与图12中所示的配置对应的使用强化学习的神经网络学习序列。首先，在步骤s201，学习服务器3关断开关50。因此，控制板8或控制装置1被设置为计算器60不是基于第二操纵量而是基于第一操纵量生成操纵量的模式。然后，在步骤s202中，学习服务器3经由控制服务器2向控制装置1发送预定的操作命令以便操作台架机构5。在这个示例中，在接收到操作命令时，控制服务器2可以向控制装置1供给驱动命令(目标值串)以便沿着与操作命令对应的驱动轨道驱动台架st。控制装置1可以被配置为累积由控制板8(第一控制器30)生成的操纵量，并且根据来自控制服务器2或学习服务器3的请求将驱动结果提供给控制服务器2或学习服务器3。在步骤s203中，学习服务器3经由控制服务器2从控制装置1获得通过步骤s202中的操作累积的操纵量。在步骤s204中，学习服务器3确定步骤s202和s203的执行次数是否等于或大于预定值。如果执行次数等于或大于预定值，那么学习服务器3使处理前进到步骤s205；如果不是，那么学习服务器3再次执行步骤s202和s203。
51.在步骤s205中，学习服务器3基于通过预定次数获得的操纵量生成操纵量频率分
布，并且确定与频率分布对应的目标概率分布。与频率分布对应的这个目标概率分布可以是具有与频率分布的形状相同或类似的形状的概率分布、或者具有与从频率分布提取的特征相同的特征的概率分布。然而，目标概率分布也可以相对于频率分布具有另一种相关性。
52.在步骤s206中，学习服务器3生成与在步骤s205中确定的目标概率分布对应的转换规则，并且将这个转换规则设置在第二控制器40的转换器中。这个处理与第一实施例的处理相同。在步骤s207中，学习服务器3接通开关50。结果，控制板8或控制装置1被设置为计算器60基于第一和第二操纵量生成要供给到驱动器7的操纵量的模式。然后，在步骤s208中，学习服务器3执行图4中所示的步骤s101至s107。注意，神经网络参数值被设置在第二控制器40的神经网络中。
53.在第二实施例中，要在第二控制器40的转换器中设置的转换规则是与在计算器60不是基于第二操纵量而是基于第一操纵量生成操纵量的模式下控制控制对象时的第一操纵量的概率分布对应的转换规则。学习服务器3用作用于在第二控制器40的转换器中设置像这样的转换规则的设置设备。像这样的设置设备也可以并入到控制装置1中。
54.上面提到的定位装置可以并入到用于将原版图案转印到基板上的光刻装置中，并且这个定位装置的台架st可以被配置为保持和定位基板。图14示出了作为并入上面提到的台架机构的光刻装置的示例的曝光装置exp的配置的示例。曝光装置exp可以包括用于将原版r的图案投影到基板w上的投影光学系统po。曝光装置exp还可以包括用于定位基板w的基板定位装置pa、用于定位原版r的原版定位装置rsm、以及用于照明原版r的照明光学系统io。上面提到的定位装置可应用到基板定位装置pa。基板定位机构pa可以包括用于保持基板w的作为可移动部分的台架ws、以及用于驱动台架ws的致动器wsa。替代地，上面提到的定位装置可应用到原版定位装置rsm。
55.图15示出了作为并入上面提到的台架机构的光刻装置的示例的压印装置imp的配置的示例。压印装置imp将原版m的图案转印到基板w上的压印材料im上。压印装置imp可以包括用于定位基板w的基板定位装置pa、用于驱动原版m的压印头ih、以及用于固化压印材料的固化单元cu。压印头ih可以使原版m的图案区域与基板w上的压印材料im接触，并且可以将原版m与固化的压印材料im分离。固化单元cu可以在原版m的图案区域与基板w上的压印材料im接触的状态下利用固化能量(例如，光能量)照射压印材料im，从而固化压印材料im。上面提到的定位装置可以应用到基板定位装置pa。
56.上面提到的光刻装置可应用到制造物品的物品制造方法。这个物品制造方法可以包括通过使用上面提到的光刻装置来在基板上形成图案的图案形成步骤、以及通过处理形成有图案的基板来获得物品的处理步骤。处理步骤可以包括通过使用图案作为蚀刻掩模来蚀刻基板的步骤。处理步骤可以包括在基板上形成膜的步骤、密封基板的步骤等。物品制造方法还可以执行多次图案形成方法。
57.其它实施例
58.本发明的实施例还可以通过读出并且执行记录在存储介质(其也可以被更完整地称为
‘
非暂时性计算机可读存储介质’)上的计算机可执行指令(例如，一个或多个程序)以执行上述实施例中的一个或多个的功能和/或包括用于执行上述实施例中的一个或多个的功能的一个或多个电路(例如，专用集成电路(asic))的系统或装置的计算机、以及通过由系统或装置的计算机通过例如读出并且执行来自存储介质的计算机可执行指令以执行上
述实施例中的一个或多个的功能和/或控制一个或多个电路以执行上述实施例中的一个或多个的功能而执行的方法来实现。计算机可以包括一个或多个处理器(例如，中央处理单元(cpu)、微处理单元(mpu))，并且可以包括单独的计算机或单独的处理器的网络，以读出并且执行计算机可执行指令。计算机可执行指令可以例如从网络或存储介质提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(ram)、只读存储器(rom)、分布式计算系统的存储设备、光盘(诸如紧凑盘(cd)、数字多功能盘(dvd)或蓝光盘(bd)
tm
)、闪存设备、存储卡等中的一个或多个。
59.本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并执行程序的方法。
60.虽然已参考示例性实施例描述了本发明，但是要理解的是，本发明不限于所公开的示例性实施例。以下权利要求的范围要被赋予最广泛的解释以便涵盖所有这样的修改以及等同的结构和功能。