用于确定样品附近区域中的操作定位的方法、显微镜和计算机程序产品与流程

1.本发明涉及一种用于确定显微镜的针对样品附近区域中的操作的操作定位的方法，以及一种显微镜和一种用于确定这样的操作定位的计算机程序产品。


背景技术：

2.寻找样品通常在显微镜中成为问题，尤其是对于小相位对象。因此，尝试在寻找样品或感兴趣的样品区域时能够借助经校准的概览图像实现更快的定向并且因此能够使实验更快地开始。为此，在将样品定位之后，借助可以单独设置的或布置在显微镜的物镜转盘中的概览相机来拍摄概览图像，并将概览图像与样品的或工作台的定位关联起来(校准)。
3.许多实验还需要在样品周围区域进行操作，例如施加浸润介质。为此，需要一种解决方案，即，如何能够让用户在样品附近空间中执行此操作，而不用从工作台移除样品并且因此可能将丢失概览图像与样品之间的对相对于样品进行导航很重要的配属关系。


技术实现要素：

4.因此，本发明的任务是提出一种解决方案，即，如何能够实现样品附近区域中的操作，而不会让样品相对于对其进行保持的保持架或相对于显微镜的工作台发生运动，其中，对于用户来说始终确保对待操作的对象的可接近性。
5.本发明的任务通过下文中介绍的方法、显微镜和计算机程序产品来解决。本发明的另外的优选的设计方案也将在下文中进行介绍。
6.根据本发明的用于确定显微镜的针对样品附近区域中的操作的操作定位的方法至少包括以下步骤：
[0007]-拍摄概览图像，在概览图像中，样品载体和/或样品载体周围环境至少部分可见，
[0008]-通过图像分析对概览图像进行评估，以便测定至少一个在其中能够进行样品附近区域中的操作的适合的区域的位置，
[0009]-当已测定了至少一个适合的区域的位置时：
[0010]
ο在至少一个适合的区域之内确定操作定位，
[0011]
ο确定显微镜的物镜和/或工作台的移动运动，其中，该移动运动指示了物镜和/或工作台的到要进行操作的定位的运动，
[0012]
ο基于在先确定的移动运动来移动显微镜的物镜和/或工作台，
[0013]
ο在移动显微镜的物镜和/或工作台之后，实施样品附近区域中的操作。
[0014]
在此，操作定位应被理解为显微镜的能运动或能移动的元件彼此间和/或相对显微镜及其固定不动的部件的相对定位，从而可以在该相对定位之内的一个地点实施至少一个下面还将解释的操作。在此不涉及在待操作的对象上的或其中的定位，而是涉及它相对于显微镜或其他能运动的显微镜部件的布置，从而使用户可以尽可能简单且舒适地实施所期望的操作。
[0015]
如有必要，应为此实施对一个或多个能移动的部件的定位。
[0016]
样品附近区域在此可以与样品本身的区域有关，但也可以与保持架、工作台、物镜等有关，也就是与通常会在样品附近的周围环境中找到的部件有关。
[0017]
操作可以是添加材料、去除材料、调节部件等。它旨在改变样品和/或样品的周围环境。具体的应用情况结合优选设计方案来阐述。
[0018]
在第一步骤中，拍摄概览图像，在概览图像中，样品载体和/或样品载体周围环境至少部分可见。该概览图像可以借助单独的拍摄装置来拍摄，该单独的拍摄装置例如以相机的形式布置在显微镜的支架上，或者也可以借助本来的显微镜相机来拍摄。在此，与显微图像相比，概览图像还显示了样品器皿壁或样品载体的边缘，并且因此允许对样品与其邻近的周围环境的关系进行概览。它可以是原始图像，也可以是被进一步处理的图像，尤其是所拍摄的图像的一个截段。
[0019]
对于根据本发明的方法，概览图像应至少部分地显示了样品载体和/或样品载体周围环境，这意味着，样品已经相应地在任意类型的样品载体上被准备好并且布置在样品载体上或布置在其中。样品载体可以容纳一个或多个样品。它可以由载体板和一个或多个盖玻片形成，但也可以实施为腔体载玻片、培养皿或微量滴定板。该样品载体在拍摄概览图像时被定位在显微镜的工作台上，从而可以检测到样品或样品载体相对于工作台的定位并进行配属。这被称为校准。
[0020]
在下一步骤中，借助图像分析对概览图像进行评估，以便找到至少一个可以在其上进行样品附近区域中的操作的区域。因此，在概览图像之内寻找至少一个地点，在该地点存在有足够的操作可接近性以及足够的用于执行操作的空间。在最简单的情况下，这可以是空闲区域，但也可以包括开口、通道等，通过它们可以进行操作。该至少一个区域不必在显微镜部件的在概览图像中现有的定位下就已经允许操作，而是用作后续步骤的起点。应理解，为了确定至少一个适合的区域，应当事先知道要进行哪个操作，这是因为操作的类型对至少一个区域的几何形状和可接近性和位于该区域中的操作定位提出了不同的要求。
[0021]
针对图像分析本身来说可以使用传统的图像分析方法，例如测量、对象计数、检查图像和/或读取经编码的信息。在优选的设计方案中，还可以使用现代的图像分析方法，尤其是借助机器学习方法的图像分析。这些将在下面作为可选的设计方案进行更详细的阐述。
[0022]
如果现在已经为样品附近的操作找到至少一个适合的区域，则在该至少一个区域之内确定具体的操作定位。这包括在至少一个适合的区域之内的适合的地点或最有利定位，即在该区域中的准确定位，还包括显微镜部件、尤其是能运动的显微镜部件彼此间的布置或定位。
[0023]
现在为了确定显微镜部件彼此间的准确定位和/或布置，必须确定或考虑它们的准确位置。在要确定应当进行操作的定位的情况下，例如以适合的区域的几何重心的形式来确定。这可以通过传统的算法和/或几何计算来进行。显微镜部件的定位应该从显微镜系统中得知，或者能够由该显微镜系统确定，或者也从概览图像中来确定。
[0024]
现在可以确定显微镜工作台和/或显微镜物镜的移动运动，以便让工作台和/或物镜运动，使得它们可以运动到为操作定位所获知的地点。在此，可以可选地仅需要让其上存在有样品的工作台运动、仅需要让物镜运动或让两者都运动，以便到达操作定位。所要确定
的移动运动包含所需运动的方向和/或待运动的(多个)部件的路径长度。它还可以包括首先将物镜和/或工作台彼此移开的运动，以便在它们之间获得足够的距离并能够实现无碰撞移动运动。移动运动在此可以在x方向、y方向和/或z方向上进行，其中，x方向和y方向展开成等于或至少近似平行于样品平面的平面，而z方向垂直于该平面地取向。
[0025]
如果移动运动已知，则工作台和/或物镜运动到了预先确定的定位处，更确切地说运动了通过预先确定的移动运动所预定的尺度和/或预定的方向。然后可以在样品附近区域中进行所期望的操作。如果需要或必要的话，然后可以将运动的部件运动到观察定位中。
[0026]
如果不需要移动运动，这是因为操作定位已经存在于显微系统的当前配置中，则可以取消该步骤并且可以向用户发出他可以进行其操作的信号。
[0027]
以相应的方式，为了确定显微镜的针对样品附近区域中的操作的操作定位，显微系统包括显微镜，该显微镜被设立成用于拍摄概览图像，其中，在概览图像中，样品载体和/或样品载体周围环境至少部分可见。如前所述，可以借助单独的概览相机或显微镜中已经存在的相机进行拍摄。显微镜尤其可以是光学显微镜、x射线显微镜、电子显微镜、宏观镜或者也可以是被设立成用于为拍摄图像(显微图像)的不同设计的放大图像拍摄仪。
[0028]
此外，显微镜系统还包括计算装置，该计算装置被构造并设置成借助图像分析来评估概览图像，以便测定至少一个适合进行操作的区域的位置，在该至少一个适合的区域之内确定操作定位及确定移动运动，其中，该移动运动包含物镜和/或显微镜工作台为了到达操作定位而进行的运动。
[0029]
计算装置可以被设置作为显微镜的一部分或作为特有的装置。它可以布置在显微镜的周围环境中或布置在任意的其他地点。显微镜与计算装置之间的可以无线或有线进行的数据通信是必不可少的。计算单元可以通过由电子器件和软件构成的任意适合的组合来形成，并且尤其可以包括计算机、服务器、基于云的计算系统或一个或多个微处理器或图形处理器。它还可以被设立成用于控制显微镜相机、图像拍摄、样品工作台控制和/或对其他显微镜部件的控制。
[0030]
用于确定显微镜的针对样品附近区域中的操作的操作定位的计算机程序产品包括指令，当由计算机或显微系统执行程序时，这些指令引起根据本发明的方法的实施。尤其地，计算机程序产品包括以下步骤：获得其中样品载体和/或样品载体周围环境至少部分可见的概览图像，借助图像分析评估概览图像，以便测定至少一个在其中能够进行样品附近区域中的操作的适合的区域的位置，在至少一个适合的区域之内确定操作定位，并确定显微镜的物镜和/或工作台的移动运动，其中，该移动运动指示了物镜和/或工作台到要进行操作的定位的运动。
[0031]
在根据本发明的方法的第一可选的设计方案中，样品附近区域中的操作包括施加浸润介质、清洁物镜上的前透镜、改动物镜、调节dic插片(dic-schieber)、安上或移除可换部件、清洁表面、对样品载体做标识和/或安上标记物。
[0032]
施加浸润介质在此既可以是第一次浸润，即第一次施加浸润介质，也可以是再浸润，即重新施加浸润介质。根据显微镜的设计为正置或倒置显微镜而定地，浸润介质可以施加到样品上或物镜上。为此，可以将具有样品和/或物镜的工作台移动或运动到操作定位，使得能够实现舒适且不受干扰的浸润介质输送。
[0033]
如果在显微镜中识别到前透镜有污染，则可能需要进行清洁，该清洁例如用浸润
介质冲洗来引起。为此所需的操作定位在此可以相应于或偏离施加浸润介质时的操作定位。
[0034]
另外的操作可以是改动显微镜的物镜。这种改动在此可以示范性地包括改变校正环设定，也包括在多浸润物镜中对浸润的调整。为此，物镜以优选的方式运动到用户最容易接近物镜的定位处，而在此时不会无意对四周的其他部件或甚至是样品进行调节或推移。
[0035]
此外，在样品四周安上或移除可换部件可以是这种操作，这是因为安上或移除可换部件必须考虑先前的样品布置和取向。
[0036]
如前所述，概览图像可以借助相机和反射镜拍摄。该反射镜可能会被污染，从而需要对其进行清洁。样品四周的其他表面也可能需要清洁，以便避免影响观察结果。
[0037]
调节dic插片以用于查看相位对象，也就是将其引入到光路中或移出光路，也属于样品附近区域中的操作，在样品载体上施加标识或施加标记物用于在样品上导航同样如此。
[0038]
该方法的另一设计方案中设置的是，通过计算机程序产品的如下机器学习模型来进行图像分析：该机器学习模型在概览图像中测定至少一个适合样品附近区域中的操作的区域的位置。
[0039]
机器学习模型是一个系统，该系统借助算法根据输入的训练数据集来产生统计性的模型，该统计性的模型反映了训练数据中被识别出的类别和关系。在本方法中，训练数据是其中至少部分包含样品载体和/或样品载体周围环境的概览图像。结合该训练概览图像，使得机器学习模型学习到，样品载体或样品载体周围环境，尤其是样品载体周围环境的元件的存在与否以及在哪里。它还从中学习到，哪里存在空闲区域，即哪里没有样品载体或没有样品载体周围环境。这些空闲区域很大可能适合样品附近区域中的操作。
[0040]
样品载体周围环境的特征在于具有一定数量的元件，其可以包括例如保持架或保持架部分、保持架的接片等。保持架具有能部分运动的接片，这些接片与样品载体的几何形状相匹配，从而将样品载体保持在它们之间。通过了解样品载体周围环境及其位置必要时也能够得出关于样品的位置及其周围存在空闲区域的结论。
[0041]
机器学习模型可以包含至少一个神经网络，尤其是至少一个被称为深度学习(deep learning，dl)的神经网络，更优选地包括至少一个卷积神经网络(英文：convolutional neuronal network，cnn)。它也可以设置有多个神经网络，这些神经网络依次实施各个处理步骤，在这些处理步骤中，一个网络的输出形成另一个网络的输入值。当在机器学习模型中使用多个协同作用的神经网络时，各个神经网络也可以分别被称为机器学习模型或子模型。
[0042]
可以通过监督学习、无监督学习、部分监督学习或强化学习来训练一个或多个神经网络。无监督学习尤其适用于分割。例如，可以使用监督学习用于分类，其中，训练概览图像设有类别名称或目标数据。例如，一个类别可以表示样品载体，而其他多个类别可以表示不同的保持架、保持架部分或可换部件。在部分监督学习的情况下，仅对训练图像中的一部分进行注释；例如，仅对训练图像中的一部分录入已知的分类。
[0043]
如果找到至少一个空闲的并且因此适合进行样品附近操作的区域，则如前所述必须确定其准确位置。这可以有选择地通过所述机器学习模型或某一机器学习模型来实现，或者如前所述地，通过没有机器学习模型的传统的算法来进行。
[0044]
使用机器学习模型的优势主要在于其稳定性，这是因为它通常可以补偿概览图像中的较小的变化或干扰，从而不会导致错误。此外，样品载体周围环境的新元件或样品载体周围环境的总体重新设计可以通过新的训练回合来容易地被补充。与此相比，为了补偿此类干扰和/或变化，在传统的图像分析中必须付出的努力非常高，这是因为这些变化可能会影响对已知元件和周围环境的识别。
[0045]
替选地或附加地，可以通过计算机程序产品的如下机器学习模型来确定操作定位：该机器学习模型在被评价为适合的区域中获知操作定位。在此，机器学习模型进行训练，即，它结合在之前以传统方式或通过机器学习模型确定的适合用于执行样品附近区域中的操作的区域来确定实际的操作定位。如就用于确定至少一个适合的区域的模型方面所陈述地，该模型可以包含至少一个神经网络，尤其是至少一个深度学习神经网络，并且更优选地包含至少一个卷积神经网络。在此，也可以让多个神经网络协同作用，并且可以借助之前阐述的方法进行学习。
[0046]
为了训练以借助机器学习模型来确定操作定位，针对训练可以使用如下信息：如几何边界条件和关系、在先确定的适合的区域的几何上的描述等，和/或已经测定了至少一个适合的区域的位置的训练概览图像。通过训练，使得机器学习模型学习到，在在先确定的适合的区域之内哪里是适合样品附近区域中的操作的地点，并且与哪些边界条件有关。这尤其包括潜在的操作定位周围的可用空间，而且还包括用户使用他的操纵器件或在自动化的情况下参与操作的部件的可达性。
[0047]
用于确定至少一个适合样品附近区域中的操作的区域的机器学习模型和用于确定操作定位的机器学习模型可以被构造为特有的机器学习模型，然而，在根据本发明的方法的有利的设计方案中，还可以设置计算机程序产品的共同的机器学习模型，该共同的机器学习模型被训练成使得它根据概览图像确定移动运动。该过程通常被称为端到端学习，并且尤其是通过深度学习模型来实现。例如，常见的机器学习模型可以具有与上述机器学习模型相应的两个子模型。但是，它也可以被实施为具有一个或多个神经网络、尤其是协同作用以完成任务的卷积神经网络的唯一的机器学习模型。
[0048]
可以设置的是，机器学习模型以下列方式之一测定至少一个适合进行操作的区域的位置和/或确定操作定位：
[0049]-借助分割，在其中在概览图像中标记哪些区域适合样品附近区域中的操作，
[0050]-借助分类或语义分割，其中，区分适合和不适合样品附近区域中的操作的区域，
[0051]-借助对适合和不适合的区域的探测，
[0052]-借助分类，其中鉴别出物镜类型、工作台类型、保持架类型和/或样品载体类型，其中，分别保存用来确定移动运动的几何定位。
[0053]
各自的机器学习模型，即，有选择地，用于测定适合的区域的位置的机器学习模型、用于确定操作定位的机器学习模型或共同的机器学习模型可以利用不同的措施来评估概览图像。根据具有一个或多个或共同的机器学习模型的设计而定地，它们中的每一个都可以使用此处列出的一种或多种措施来解决其任务。
[0054]
第一变型方案在于进行分割，通过分割在概览图像中或其截段中标记出哪些图像区域适合样品附近区域中的操作。剩余的图像区域可以标注为不适合的区域，或者将其中所示的对象与样品载体、样品和/或样品载体周围环境相配属。作为对该评估的输出可以作
为图像来进行，其中不同的像素值表示不同的区域或片段。替选地，也可以通过矢量图形或对象定位情报(objektpositionsangaben)进行分割输出。
[0055]
在第二变型方案中，可以使用分类或语义分割，以便区分适合和不适合样品附近区域中的操作的区域。样品载体和样品载体周围环境或样品载体周围环境的部件尤其通过它们相互间的在概览图像中的相对定位以及它们的几何形状来表征。为了评价一个区域是否适合样品附近区域中的操作，不仅必须确定其位置，还必须确定其类型。这对操作定位和之后要确定的移动运动有影响，这可能会依赖于样品载体、样品载体周围环境及其部件的位置和类型而有所不同。
[0056]
该分类还可以用于鉴别样品载体和/或样品载体周围环境的部件。因此不再只是已知它们的存在性和/或定位，还具体到类型。在各自的机器学习模型的训练中，在训练图像中存在着待识别的可能以不同类型出现的部件。部件的特定模型或一组相似模型可以分别理解为类型。然后针对每个类型保存几何数据并必要时保存情景信息，从而在确定移动运动时可以使用它们。
[0057]
例如，可以对对象类型、工作台类型、保持架类型和/或样品载体类型进行分类或语义分割。所保存的几何数据尤其可以包含所识别的对象或所属的类型通常所处的目标定位，必要时还包括与其他部件和对象的关系。
[0058]
根据如此获知的信息，现在可以区分那里是适合进行操作的区域，而哪里不是，还可以区分是否能通过移动运动一个或多个部件或通过连同工作台一起移动运动样品载体来调整出操作定位，从而在以后确定移动运动。
[0059]
最后，还可以借助探测概览图像的预定的元件、即样品载体和/或样品载体周围环境，来评判适合和不适合的区域。在此，可以探测样品的、样品载体的和/或样品载体周围区域的轮廓、边缘、拐角、紧固器件或标记部。标记部可以包括标识或粘附物。
[0060]
从确定适合和不适合样品附近区域中的操作的区域以及确定在周围环境中的各个部件，可以推导出相互间的位置关系或者也可以事先已知这样的位置关系。此外由此也可以得到针对移动运动的约束点和/或限制区域，这些约束点和/或限制区域应该包括在对移动运动的确定中。通过这种关系还能够实现的是，得出关于概览图像之外的样品载体周围环境或概览图像之外的样品载体的区域的结论，并且同样将这些结论包括在对移动运动的确定中。
[0061]
在评估概览图像时，根据本发明，搜索至少一个适合样品附近区域中的操作的区域。如果现在测定了两个或更多个这样的适合的区域的位置，则必须选出要进行操作的区域。例如，这可以通过如下方式来进行，即，选出具有操作平面中的最大面、具有最大直径或最大空间容积的区域。因此，将测定了位置的区域就其在操作平面(即其中要进行样品附近区域中的操作的平面)中的面积、它们的直径或它们的体积方面进行比较。将在此在所检查的准绳下形成最大值的区域选出为最适合的区域。
[0062]
在对此的替选方案中，将测定了位置的区域显示给用户，从而使用户可以逐个评判它们的可接近性。根据这些评判，可以选出最容易接近的区域。还可以将所显示的区域的评判进行保存，以便将它们考虑用于类似的应用情况。与用户的交互可以经由显微镜系统自有的计算单元或与显微镜系统连接的计算单元进行，并且尤其是借助其显示装置来进行。
[0063]
在另外的替选方案中，也可以将测定了位置的区域显示给用户来选出，并且用户直接选出他想要进行操作的区域。在此，用户在该情况下不发布对可接近性的任何评判，而是直接选出各自的区域。在此，用户也可以将个体的、即主观的准绳包括在内，例如将个人的运动限制包括在内，或者当用户希望有观众也可以看到地实施操作时。
[0064]
然而，也可以通过计算机程序产品的机器学习模型来评判多个适合的区域。这可以是用于确定至少一个适合的区域的机器学习模型，用于确定操作定位的机器学习模型，或者是共同的机器学习模型。然而，该机器学习模型也可以是仅用于对测定了位置的针对样品附近的操作的区域进行评判的特有的机器学习模型。在训练过程中进行评判的基础可以是几何边界条件，但可选地也可以是对用户信息和/或情景信息的考虑，对此如下还将进行阐述。也可以在终身学习的范围内进行评判，其中，各自的机器模型基于用户所做的选出来学习评判。
[0065]
根据本发明的方法的优选的设计方案包含的是，为了测定至少一个适合的区域的位置、为了对多个测定了位置的区域进行评判和/或为了确定操作定位，考虑以下情景信息中的一项或多项：
[0066]-显微镜的可换部件的存在与否，
[0067]-显微镜的可换部件的类型和尺寸，
[0068]-培养箱的存在与否，
[0069]-支架的类型，
[0070]-浸润介质的类型，
[0071]-操作工具的类型，
[0072]-观察任务的类型和参数，
[0073]-工作场所的性质，
[0074]-工作场所的照明条件，
[0075]-被查验的样品类型，
[0076]-来自实验的显微图像，
[0077]-工作台的类型和性质，
[0078]
和/或考虑以下用户信息中的一项或多项：
[0079]-用户的惯用手，
[0080]-用户的被获知的偏好，
[0081]-用户就特定的移动运动方面的先前校正和/或选出。
[0082]
因此，测定至少一个适合的区域的位置、在多个适合的区域的情况下进行的评判和/或确定操作定位应包括附加的准绳，以便优化其结果并使它们与变化的条件相匹配。
[0083]
适合进行样品附近的操作的区域的地点和数量可以依赖于不同的可换部件而变化，这是因为大小、定位及其存在与否限制了用于操作的可用面或空间，或者使之至少局部变为不能够实现。为此，例如可以考虑使用来自各自的可换部件的设计结构数据的几何数据。可换部件并非终局性地可以包括可换物镜、样品保持器、照明模块、偏振滤光片、透镜、格栅、因用户而异的附件、滤光片插件。这同样适用于支架的类型、工作台的类型和性质以及培养箱的存在与否，这些例如都会影响工作台的可运动性和所能经过的路径。操作工具可以发挥同样重要的作用，这是因为其大小和形状对是否能够到达操作定位以及在那里是
否可以安全正确地实施操作有影响。例如，这种操作工具可以是浸润工具。在此过程中，考虑浸润介质的类型也是有意义的，这对它的施加方式有影响。
[0084]
工作场所的性质和/或工作场所的照明条件也会影响样品附近区域中的操作。工作场所的性质在此主要地但仅作为示例地被理解为显微镜四周的位置关系和可接近性，这可以与用户是否可以到达操作定位有关。因此也可能出现通过从不同于观察定位的另一个方向接近来简化对操作定位的可达性的情况。工作场所的光照条件会造成：由于光照条件导致阴影形成而会破坏对操作定位的可见性。照明较低也会导致能见度差，而非常强的照明会导致不必要的反射和眩光。
[0085]
有利地，被查验的样品的类型以及要执行的实验的类型和参数可以被考虑用作情景信息，这是因为它们将生成几何上的和组织上的相关性和规范。这些都会限制样品附近区域中的操作。这些参数例如包括实验的持续时间、所需温度、观察期间所需的照明条件等。
[0086]
来自实验的显微图像，即在创建概览图像后拍摄的摄像图，也可以提供情景信息，例如提供样品的相关区域、样品各个区域的有用性、样品载体上的污染度或样品的感兴趣区域的确切定位。
[0087]
另外的情景信息是可能的，并且可以替选地或附加地包括至少一个适合的区域的位置测定、在多个适合的区域的情况下的评判和/或操作定位的确定。
[0088]
除了与人无关的情景信息外，还可以考虑用户信息。这应该是与恰好正在与显微镜交互的用户相关的信息。这尤其包括：用户是惯用右手还是惯用左手。依赖于惯用手地，使得让用户能够区分出还是不能感知到对操作定位的可接近性，以便能够执行正确且安全的操作。就这一点而言，在先通过各自用户所输入的评判、选出以及用户在确定操作定位之后和/或完成移动运动之后所做的改变和校正可以包括重新测定至少一个适合的区域的位置、在多个适合的区域的情况下的评判和/或操作定位的确定。当然，这些为此必须在先进行检测和保存。例如，该检测在此可以以问询的形式进行。在最简单的情况下，也可以简单地从用户的上一次交互中继承他的最近一次校正。然而，也可以设置所谓的终身学习，其中，各自的机器模型或各自的机器学习模型学习因用户而异的信息。该终身学习也可以替选地或附加地被设置用于情景信息。例如，因此也可以检测和考虑用户对特殊系统结构的偏好。
[0089]
情景信息和/或用户信息的使用可以改善对至少一个适合的区域的位置测定、多个适合的区域中的最好的选出和/或操作定位的确定，并且还有助于避免碰撞或难以接近。优选地可以通过优化方法来付诸实施。在此，适合的区域的几何形状和位置、与定位相关的可操纵性或可接近性等被映射在如下成本函数中，该成本函数为了测定至少一个适合的区域的位置、为了在多个适合的区域的情况下的评判和/或为了确定操作定位而被最小化。
[0090]
要运动的部件、即显微镜的工作台和/或物镜应当基于在根据本发明的方法中确定的移动运动而运动。这可以基于经确定的移动运动并在存在部件相应地被电动化的情况下自动地进行。如果这种移动装置不存在，则也可以向用户显示所需的移动运动，以便让用户可以手动调节工作台和/或物镜的路径长度和方向。可选地，然后可以分别拍摄新的概览图像，以便将已经发生的运动与在先确定的所需的运动进行比较，并且在必要时能够实现校正或建议校正。
[0091]
除了移动物镜和/或工作台之外，可能还需要的是，移动将要与样品接触或已经与样品接触的电动化部件，以便能够实现样品附近区域中的所期望的操作。为此，还必须针对这些部件确定移动运动，紧接着让该移动运动可以自动实施。该移动运动的确定本身类似于对物镜和/或工作台的移动运动的确定。运动的电极、操作针和保持针被视为此类部件的示例。必要时，需要与载物台和/或物镜的运动相协调地对与样品接触或将接触的电动化部件的运动进行协调，从而检查移动运动彼此间是否可能发生碰撞。
[0092]
因此可以有利的是，在移动显微镜的物镜、显微镜的工作台和/或移动将要与样品接触或已经与样品接触的电动化部件之前，将物镜、工作台和/或电动化部件的合成的定位与保存的允许的定位区域进行比较，并当物镜、工作台和/或电动化部件的合成的定位位于允许的定位区域之外时输出警报。无论移动运动是自动实施还是手动实施，都可以做到这一点。
[0093]
所允许的定位或所允许的定位区域例如受到显微镜部件可能的碰撞的限制。为此，使用可运动的部件四周现有部件的几何形状和定位。将多个部件运动至到达操作定位也会导致限制运动路径，并因此导致限制允许的区域。如果物镜和/或工作台的合成定位在分别所允许的区域之外，则输出警报，以便让用户能进行手动改变。这些改变尤其是对样品载体进行重新布置，但是，这需要重新校准和重新启动方法。在方法期间移除可换部件并执行操作也可以是这样的手动改变。
[0094]
如果实施了移动运动，则进行样品附近区域中的所期望的操作。操作尤其可以作为自动操作来进行并且尤其是自动浸润。依赖于所要作的操作地，为此必须存在相应的自动化器件，其在没有用户干预的情况下进行操作。在浸润的情况下，这是一种自动浸润装置，其在移动运动结束后被驱控以便施加浸润介质。
[0095]
如果在根据本发明的方法期间没有找到适合样品附近的操作的区域，则必须将该信息传达给用户。这可以例如借助警告提示来进行，其中，以视觉和/或声音方式来传达。因此，在显微镜系统的显示装置上或与其相连的计算单元上可以显示警告提示和/或可以发出警告声音。
[0096]
除非在个别情况下另有说明，本技术中提及的本发明的不同的实施方式能有利地彼此组合。在正确使用时，作为附加的设备特征描述的本发明的特性也得到根据本发明的方法的变型方案。以反过来的方式，显微镜系统也可以被设立成用于实施所描述的方法变型方案。尤其地，计算装置可以被设立成用于执行所描述的方法变型方案并且输出用于实施所描述的方法步骤的控制指令。此外，计算装置包括所描述的计算机程序产品。根据本发明的计算机程序产品的变体通过如下方式得到，即，计算机程序产品包括用于执行所描述的方法变型方案的指令。
附图说明
[0097]
下面以实施例参考所属附图描述本发明。其中：
[0098]
图1示出具有概览相机的倒置显微镜的原理图；并且
[0099]
图2示出在示例性的设计方案中的根据本发明的方法的流程的示意图。
具体实施方式
[0100]
图1示意性地示出了根据本发明的显微镜1的实施例。显微镜1包括光源12和用于照亮布置在样品载体6中的样品7的聚光器11，该样品被定位在样品工作台5上。
[0101]
从样品7发出的探测光沿光轴13利用物镜4被导引至相机8，以用于拍摄样品图像。物镜可以保持在物镜转盘3(未示出)中。
[0102]
在显微镜支架2上保持有概览相机9，利用该概览相机可以拍摄样品7的概览图像30。在替选的设计方案中，也可以设置的是，概览相机9经由反射镜(未示出)拍摄概览图像30。
[0103]
计算装置20被设立成用于处理所拍摄到的显微图像(也就是说样品图像或概览图像)，尤其以便从概览图像30中确定针对样品附近区域中的操作的操作定位并从中确定到该区域的移动运动60。
[0104]
计算装置20在此被设立成用于执行参考图2所描述的步骤，如下文将解释的那样。
[0105]
计算装置20也可以用在其他显微镜中，与所示的显微镜不同地，其他显微镜例如根据其他测量原理工作，或者是扫描显微镜或电子显微镜。还可以在不同于显微镜的其他仪器中设置这里所述的计算装置用来进行图像分析。
[0106]
图2中示意性地示出了根据本发明的方法的流程。流程方向借助箭头显示。在该仅是示例性的设计方案中，应找到操作定位50，在该操作定位处，可以利用浸润工具54将浸润介质52施加到物镜4的前透镜上。为了对这些进行调整，可以移动显微镜1的工作台5和/或其物镜4。
[0107]
在图2的a)中，具有样品7的样品载体6被放入在样品工作台5上。利用例如可以布置在显微镜1的物镜转盘3(未示出)中的概览相机9拍摄概览图像30(图2的b))。概览图像30在此以仰视图示出了工作台5、样品载体6和样品7。因此，样品载体6和样品载体周围环境在概览图像30中至少部分可见。
[0108]
进行图像分析，以便确定是否存在及如果可能的话确定哪里有可以进行浸润的适合的区域40。由于浸润介质52必须施加到物镜4，所以搜索使得用户56可以将浸润工具54引向物镜4并施加浸润介质52的区域40。替选地，可以找到用自动浸润装置(未示出)自动施加浸润介质52的那个区域40。
[0109]
关于寻找至少一个适合的区域40所进行的图像分析借助机器学习模型来实现，该机器学习模型以如下这样方式进行训练，即，借助将概览图像30分割来区分出：其中存在有样品载体6、工作台5或存在其他对象的区域，即被占用的区域，和在其中不存在对象或由于能运动的对象的运动而能够变得空闲的区域。这些空闲的区域是适合样品附近区域中的操作(在该示例中是浸润)的区域40。在该示例性的设计方案中，机器学习模型具有卷积神经网络，其被设置成用于测定至少一个适合的区域40的位置并且利用至少部分地包含样品载体6和/或样品载体周围环境的训练概览图像来训练。
[0110]
从图2的c)可见，在样品载体6左右两侧在样品载体6与工作台5之间存在空闲的区域。然而，只有一个区域40被认为是适合的。其原因在于，基于所要执行的操作(这里：浸润)并在考虑可能的几何相关性、情景信息(例如可换部件的存在、工作台类型和样品类型)的情况下以及在观察所允许的定位区域的情况下来确定适合的区域40。所允许的定位区域描述了如下地点：可运动的对象(例如工作台5或物镜4)可以运动到这里，而不会相互碰撞和/
或与其他对象或显微镜部件发生碰撞。它们优选包含被考虑用于明确所允许的区域的与类型相关的几何上的相关性。
[0111]
概观各种影响变量，样品载体6左侧的区域太窄，并且例如对于惯用右手的人来说难以接近。因此它是不适合的并且因此也不被标记为适合的区域40。
[0112]
在本示例性情况下，仅存在一个适合的区域40。而如果已经获知了多个适合的区域40，则必须由用户56要么选出优选的区域要么对各个区域40进行评判。替选地，可以通过已测定了适合的区域40的位置的机器学习模型进行评判。对于这样的评判，除了上面已经提到的情景信息之外，还考虑用户信息也是有帮助的，这些用户信息例如包括用户56的惯用手或他到操作定位50的优选的接近路径。
[0113]
在图2的c)中的概览图像30中还标记了操作定位50。该操作定位示范性地例如位于被评价为适合的区域40的中间。在适合的区域40中确定操作定位50可以通过确定中心点或质心来进行，但是也可以设置另外的机器学习模型，即基于已确定适合的区域40的第一机器学习模型的输出，在考虑情景和用户信息、几何边界条件(允许的区域)等的情况下，在该区域40中获知操作定位50。作为对此的替选地，确定操作定位50也可以在共同的机器学习模型中随适合的区域40一起进行确定。
[0114]
除了找到适合的区域40和/或操作定位50之外，还应将用于调整出操作定位50的耗费保持尽可能低，也就是说应让所要运动的工作台5和/或物镜4的部件的数量尽可能小并且应让移动路径尽可能短，以便将直到到达操作定位50的持续时间保持得较短。为此，实施了成本函数，该成本函数将适合的区域40的几何形状和位置、与定位相关的可操纵性或可接近性等映射在成本函数中，并且为了评判适合的区域40和/或为了确定操作定位50将成本函数最小化。因此可能得出仅应运动工作台5或仅应运动物镜4，以便调整出操作定位50。
[0115]
现在在已知操作定位50之后，必须确定移动运动60，以便至少将工作台5和物镜4带至相互间的相对定位中，使得物镜在操作定位50的地点上实际上也可以施加浸润。借助已经执行的成本函数事先确定只需要运动镜头4。现在确定物镜4必须移动多远和向哪个方向移动。这也可以包括首先将透镜4向下移动，以便获得与工作台5足够的距离并能够实现无碰撞的移动运动。
[0116]
在当前情况下，物镜4的移动运动60是自动实施的并且物镜被移动到操作定位50(图2的d))。如果完成移动运动60，用户56就可以使用浸润工具54将浸润介质52施加到物镜4的前透镜上。然后可以先将物镜沿水平方向(x-y方向)移动到所期望的观察定位，并且随后沿垂直方向(z方向)向样品移近。
[0117]
附图标记列表
[0118]1ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
显微镜
[0119]2ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
支架
[0120]3ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
物镜转盘
[0121]4ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
显微镜物镜
[0122]5ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
样品工作台
[0123]6ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
样品载体
[0124]7ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
样品
[0125]8ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
显微镜相机
[0126]9ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
概览相机
[0127]
10
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
概览相机的视场
[0128]
11
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
聚光器
[0129]
12
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
光源
[0130]
13
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
光轴
[0131]
20
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
计算装置
[0132]
30
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
概览图像
[0133]
40
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
适合的区域
[0134]
50
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
操作定位
[0135]
52
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
浸润介质
[0136]
54
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
浸润工具
[0137]
56
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
用户
[0138]
60
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
移动运动
[0139]
80
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
本发明的计算机程序产品
[0140]
100
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
本发明的显微镜系统