显微镜和用于确定到样品参考平面的距离的方法与流程

1.本公开涉及显微镜和用于确定样品载体的样品参考平面与显微镜的参考平面的距离的方法。


背景技术：

2.了解样品载体的样品参考平面的位置对于显微镜中的不同操作很重要。这种操作一个例子是避免显微镜组件与样品载体或样品台之间的碰撞。另一个例子是在样品平面上聚焦，为此，样品参考平面的位置可以在第一步中用于在样品参考平面或从其导出的平面上执行粗聚焦。随后通过进一步测量或捕获的图像进行精细聚焦。
3.当使用不同高度的样品载体时，例如，不同的多孔板，了解样品载体的样品参考平面的位置尤为重要。在这种情况下，仅仅知道样品台的高度位置是不够的。
4.样品参考平面通常可以理解为描述样品载体位置的平面。例如，样品参考平面可以表明样品载体的顶侧或底侧和/或平行于样品载体的顶侧或底侧。如果样品载体沿z轴方向移动，即沿显微镜的光轴移动，则样品参考平面与样品载体一起沿相同的z方向移动。
5.原则上，参考平面表示被定义为平行于样品参考平面并且在样品移动时保持静止的任何可定义平面。因此，参考平面与样品载体的当前位置无关。例如，可以相对于显微镜支架定义参考平面。
6.基于对概览图像的评估已经开发了用于确定到样品参考平面的距离的不同方法。例如，在申请人开发并在尚未公开的专利申请de102018133188中描述的方法中，从不同角度拍摄样品载体的多个概览图像。使用三角测量，然后可以从概览图像之间的透视差异推断从一个或多个概览相机到样品载体的距离。该方法需要两个概览相机，或者在捕获两个连续概览图像之间的样品载体和概览相机之间必须有定义的相对运动。


技术实现要素：

7.可以认为本发明的一个目的是提供一种显微镜和一种方法，利用该显微镜和方法可以用简单的设备尽可能快速和可靠地确定样品载体的位置。
8.该目的通过具有如上特征的方法和通过具有如上特征的显微镜来实现。
9.根据本发明的用于确定样品载体的样品参考平面与显微镜的参考平面的距离的方法，所述显微镜包括用于样品载体的样品台和照相机，至少包括以下步骤：通过相机获得样品载体的概览图像；评估概览图像并因此检测样品载体的至少一个特征；从数据集中确定特征的上下文数据；以及基于样品载体的特征和上下文数据确定样品参考平面与参考平面的距离。
10.根据本发明的实施例的显微镜包括被配置为执行根据本发明的方法的评估单元。
11.根据本发明的另一实施例的显微镜包括距离确定系统，该距离确定系统包括用于样品载体的样品台、瞄准样品台的照相机和经由相应连接与照相机通信的评估单元。评估单元包括用于存储样品台上/中的样品载体的概览图像的数据存储系统。评估单元还包括
训练的机器学习模型，该模型包括训练的参考模型，该参考模型由样品载体的一组带注释的训练图像训练，并且被配置为使得在捕获的概览图像中可检测样品载体的特征。评估单元还包括距离确定单元，其适于基于样品台上/中的样品载体的被检测出的特征和至少一个相关联的上下文数据来确定样品参考平面与显微镜的参考平面的距离。
12.这样，可以仅基于单个概览图像来确定距离。因此，提供用于捕获概览图像的第二相机不是绝对必要的，也不是绝对需要由同一相机连续捕获多个概览图像。通过这种方式可允许实现快速和简单的距离确定。
13.可选实施例
14.根据本发明的显微镜和根据本发明的方法的有利变体是从属权利要求的对象并且将在以下描述中解释。
15.样品载体的特征
16.样品载体的特征可以是样品载体的一部分或连接到样品载体或至少接触样品载体的组件，使得该组件的位置提供关于样品载体的位置或高度的信息。样品载体的某一组件或部分被指定为特征，因为其在概览图像中的描述取决于样品载体与相机的距离，并且可用于识别样品载体和/或确定其与相机的距离。
17.特征通过概览图像的图像处理来识别，该图像处理由图像处理算法执行。
18.使用参考对象作为特征
19.特别的是，特征可以是参考对象或包括如下的参考对象。参考对象是预先知道物理尺寸的对象。一个或多个参考对象的相应物理尺寸可以保存在数据集中。因此，可以借助数据集以参考对象的已知(物理)尺寸和/或几何形状的形式确定与概览图像中识别的参考对象相关联的上下文数据。
20.与参考平面的距离可以通过对概览图像中参考对象的描绘的评估来确定，其中，参考对象的已知物理尺寸均被考虑在内。
21.参考对象，根据其类型，可以永久地连接到样品载体或者是样品载体的组成部分或者可以在距离确定完成后被移除。因此，参考对象不一定必须存在于样品载体上以用于随后采用显微镜进行的分析。相反，只为了用于距离确定将其放置或定位在样品载体上就相当足够了。
22.成像处理算法可以特别地设计为能够识别在概览图像中的一个或多个如以下描述的参考对象。
23.具有已知图案(例如棋盘图案)或已知形状或尺寸的校准载玻片可用作参考对象。图案与相机的距离以及样品参考平面与参考平面的距离可以通过图案的失真以及概览图像中的图案尺寸采用考虑图案的已知物理尺寸的方法推断出来。在由已知物理尺寸的正方形组成棋盘图案的情况下，例如可以从概览图像中这种正方形的尺寸和角度来推断距离。在这方面，例如可以使用通常已知的描述透视图像的几何规则。还可以使用校准载玻片的形状和尺寸代替图案，例如通过确定概览图像中校准载玻片的边缘。然后可以类似于棋盘图案来评估概览图像中边缘的延伸。校准载玻片可以选择放置在包含一个或多个要分析样品的样品载体的顶部。然后可以移除校准载玻片以进行随后的任何显微镜操作或分析。可以通过这种方式确定校准载玻片的位置，即它与相机的距离；由于校准载玻片的高度已知，因此此时可以根据校准载玻片的位置计算样品载体的位置，即它与相机之间的距离，它与
校准载玻片之间的距离。
24.参考对象也可以是样品载体上的不干胶标签、印记或字符。不干胶标签或印记可以呈现图案(例如棋盘图案)，或标志例如制造商的标志。一般来说，字符可以是任何字符；特别地是，它们可以与样品相关，表明制造商或者是多孔板的列号或行号。重要的是这样一个参考对象的物理尺寸是已知的，可以用作上下文数据。
25.另一个可能的参考对象是样品载体支架。这样的支架/框架被放置在样品载体周围或之上，使得支架的位置以已知方式与样品载体的位置相关。支架的物理尺寸和/或形状是已知的，从而可以从概览图像中支架的尺寸和/或形状推断出距离。
26.样品载体上的结构也可以构成参考对象。这种结构可以例如由样品载体的边缘/脊、夹子或用于固定样品载体的一些其他装置形成。
27.使用样品载体或样品载体部件作为特征
28.样品载体或样品载体部件的图像区域可以在概览图像中被识别为特征，特别是通过概览图像的分割。样品载体部件可以是，例如样品载体的拐角区域或样品容器或井。上下文数据提供与样品载体或样品载体部件的物理尺寸和/或形状有关的几何数据。例如，上下文数据可以表明拐角区域的角度，例如样品载体的拐角区域形成90
°
角。替代地或另外地，上下文数据可以表明样品容器的物理形状或尺寸，特别是样品容器或井具有圆形横截面。然后基于所识别图像区域的形状和/或尺寸以及与实际物理尺寸和/或形状相关的相关几何数据确定样品参考平面与参考平面的距离。
29.可选地，也可以从概览图像中识别对象载体的类型，尤其是如下面更详细描述的。如果已知对象载体的类型，则可以将样品载体或样品载体部件的具体物理尺寸保存为上下文数据，例如样品容器的直径。在没有准确了解对象载体类型的情况下，还可以使用更一般的几何信息作为上下文数据，例如，在概览图像中出现圆形或椭圆形的样品容器具有物理圆形横截面，或者在概览图像中看起来有四个边缘的样品容器/样品室具有物理矩形或方形横截面。
30.使用对象载体类型作为特征
31.特征可以替代地或附加地是对象载体类型或包括对象载体类型。因此通过对概览图像的评估来识别样品载体的类型。术语“对象载体”和“样品载体”在此可以理解为同义词。对象载体类型可能会有所不同，例如，在品牌方面，即型号和制造商，并且与不同的多孔板、腔室载玻片或培养皿有关。对象载体类型可以指定制造商的特定型号或一类对象载体(例如，与多孔板相对的培养皿)，包括一个制造商或不同制造商的不同型号。
32.对象载体类型的识别可以通过图像分类来实现。在此可以将概览图像分割成上下文区域：例如，概览图像可以被分割成样品容器的图像区域、其他样品载体区域和背景。例如，可以通过横向尺寸区分不同的培养皿类型。这些图像处理步骤可以可选地由机器学习模型执行，如下所述。
33.与不同对象载体类型相关的上下文数据可以存储在数据集中。特别地，可以针对数据集中的不同类型的对象载体分别保存对象载体高度。然后可以基于所讨论的对象载体类型的对象载体高度来确定样品参考平面与参考平面的距离。除了或替代对象载体高度，还可以存储对象载体类型的横向尺寸和/或对象载体部件的尺寸，例如样品室的尺寸。裙高还可以分别存储为不同对象载体类型的上下文数据。对象载体可以在其外周上具有突出
部，特别地用于堆叠目的。裙高表示该壁架的高度。裙高特别地适用于寻找或估计样品平面的高度。当物镜从下方观察对象载体时，这尤其有用。
34.可选地，还可以基于给定的样品载体是否与盖子一起使用来区分对象载体类型。因此数据集的上下文数据表明带有或不带有盖子的相应对象载体高度。被识别的盖子可以帮助识别分类中所讨论的对象载体类型。例如，可以检测盖子是否具有光滑表面或包括与井相对应的圆形凹陷。这可以提供关于所讨论的对象载体类型的信息和/或帮助识别盖子，其中，可以为不同的盖子保存相应的高度值。
35.被识别出的对象载体高度表明了相对于承载样品载体的样品台的高度。为了确定与参考平面的距离，考虑样品台的高度位置/仰角位置。例如，样品台控制单元可以输出电动样品台的当前高度设置。替代地，还可以通过概览图像或一些其他捕获图像的图像处理来确定样品台的当前高度设置。此外，还可以将通过对象载体类型识别的对象载体高度的确定与这里描述的其他距离确定方法相结合。例如，对象载体高度可以提供关于延伸穿过待分析样品的样品平面如何不同于样品参考平面的信息。此信息对于例如，专注于样品平面(路径)很有帮助。替代地或附加地，所确定的对象载体高度和/或样品载体的相关横向尺寸也可用于避免样品台或样品载体的侧壁与其他显微镜组件之间的碰撞。
36.在一些实施例变体中，与不同对象载体类型相关的，依赖于距离的，概览图像描绘的数据被保存在数据集中。因此，上下文数据包括与所识别的对象载体类型相关的，依赖于距离的，概览图像描绘的存储数据。现在可以通过评估概览图像中样品载体的描绘的几何特性(例如尺寸和/或失真)，同时考虑与所识别对象载体类型相关的依赖于距离的概览图像描绘的存储数据来确定距离。例如，样品容器的直径和/或深度可以存储在对象载体类型的数据集中。然后使用样品容器的物理直径的知识来推断与概览图像中样品容器的直径的距离。
37.特征的实时监控
38.通过图像分析，可选地可以监测特征是否包含在概览图像或至少一个另外的概览图像中。如果检测到特征，则以所描述的方式自动确定距离。特别地，这允许对距离的持续监控，在该持续监控期间相机提供图像数据流或连续概览图像的视频。
39.机器学习模型
40.一些或所有关于概览图像描述的步骤也可以由机器学习模型执行。在这种情况下，模型的参数(权重)由使用训练数据的机器学习过程定义。然后模型可以执行所描述的步骤。特别地，特征的检测可以通过机器学习模型进行。
41.可以通过某种意义上的机器学习模型从数据集中识别特征的上下文数据，因为在这种情况下，数据集不一定由因此形成上下文数据的条目列表组成；相反，数据集可以包含在具有学习权重的机器学习模型中：因此上下文数据来自学习参数，或者当使用学习参数进一步处理时来自概览图像。
42.参考模型可以通过机器学习(ml)进行训练，特别是通过评估概览图像并因此检测样品载体的特征的步骤，以及确定特征的上下文数据的步骤，以及可选的，对样品载体进行分类的步骤。上下文数据被隐含在模型中，特别是，由训练定义的参考模型的权重。
43.不同的描述步骤可以由单个机器学习模型或多个顺序的机器学习模型执行。所描述的示例实施例的变体通过将包括单个机器学习模型分成多个顺序的机器学习模型而产
生。例如，第一机器学习模型可以执行概览图像的分割以识别和定位特征，由此，例如在概览图像中识别参考对象。第二机器学习模型使用具有特征的概览图像的图像部分(例如，包含参考对象的图像部分)作为输入，以便确定和输出由此所求的距离。第二机器学习模型使用带注释的训练图像进行训练，该带注释的训练图像显示了不同距离处的参考对象或不同参考对象的描绘，其中距离分别指定为目标变量(输出)。模型的权重由该训练定义。用于特征识别的上下文数据因此作为第二机器学习模型的计算层中的中间结果产生，而第二机器学习模型的输出则是所求的距离。
44.如果使用单个机器学习模型，它可以设计为生成到样品参考平面的所求距离作为输出，直接以概览图像作为输入。输出可以位于离散解空间(分类)或持续范围(回归)中。这种实现形式的优点在于，训练过程仅需要样品载体或不同样品载体类型的概览图像和相应的注释(相应的实际距离)。然后该模型自主学习图像内容与距离之间的关系。通过这种方式，模型可以检测单个样品载体的典型结构，并以模型权重的形式存储相关的高度。该模型还可以学习几何关系，例如，在某些培养皿的情况下，盖子的高度与直径成正比。
45.使用确定距离的控制或调整系统
46.显微镜可以包括至少一个组件，该组件被配置为根据到样品参考平面的确定距离进行函数控制。该组件可以是用于移动另一个显微镜组件的马达或致动器，或者被配置为，例如通过控制(特别是声光或电光)滤波器或数字光圈来影响光路。受控组件的一个示例是聚焦驱动器。这种聚焦驱动器在样品台和观察平面之间产生高度方向的相对运动，由显微镜物镜将其清晰地成像到显微镜相机上。观察平面特别的是可以被设置为样品参考平面或从样品参考平面导出一定高度。因此，本发明的方法可以形成自动对焦系统的一部分。
47.受控组件的另一个示例是警报系统。当样品载体或样品台与另一个显微镜组件，例如物镜、浸入装置或聚光镜，之间存在碰撞风险时，警报系统可以输出警报。警报系统接收确定的距离以及与所用显微镜组件相关的数据(例如它们的高度)作为输入。根据这些输入，报警系统可以确定样品载体或样品台与相关显微镜组件之间的距离。如果距离低于阈值，则会触发警报。阈值可以预先定义或作为报警系统输入的函数，例如作为数值孔径或所采用物镜的其他光学特性的函数，或者取决于物镜是否包括某种保护防止碰撞，即减震前部区域。
48.在电动样品台的情况下，它的任何平移或移动都可以产生确定距离的函数。还可以形成一个控制回路，其中在样品台的每次移动之后用新的概览图像重新确定距离。替代地，或除了控制回路之外，所描述的方法还可以用于在样品台的高度调整之后验证样品台移动。如果根据样品台电机系统执行的高度变化与通过概览图像确定的距离变化不匹配，则输出否定验证结果。
49.所确定的距离也可以被评估单元用于图像拼接。在这个过程中，多个重叠的概览图像被组合以产生完整的概览图像。如果概览相机的视角与样品载体不正交，则必须知道与样品载体的距离，以便正确组合重叠的概览图像。所确定的距离也可以被用于导航。
50.一般特征
51.除了经由显微镜物镜捕获样品的样品图像的显微镜相机之外，相机也可以是概览相机。因此以比样品图像更低的放大率和更大的视野来捕获概览图像。概览相机可以位于样品台的上方或下方，并且通常以相对于光轴的角度观察样品载体。光轴由使用中的显微
镜物镜确定并且可以位于所述显微镜物镜的纵轴上。概览相机可以与显微镜物镜安装在样品台的同一侧，也可以安装在相反的一侧。概览相机也可以从横向对准样品载体。当通过样品载体的分类进行高度或距离确定时，这种布置尤其是可能的，因为原则上也可以通过侧视图来识别样品载体类型。然而，也可以通过偏转元件将概览相机对准样品台，例如，通过安装在物镜转换器/左轮手枪上的偏转镜，可以选择代替显微镜物镜。
52.相机也可以是显微镜相机本身，它可以接收来自位于光路中的显微镜物镜的光。显微镜照相机通常通过所述物镜正交地观察样品载体的表面。在这种情况下，概览图像在放大率方面不同于样品图像。用于捕获概览图像的物镜比用于捕获样品图像的物镜具有更低的放大率。
53.特别是在通过样品载体的分类确定距离的情况下，相机或相关联的物镜可以是远心的，尽管通常也可以使用非远心物镜。
54.样品参考平面与显微镜参考平面的距离对应于样品参考平面的高度或z坐标。样品参考平面和参考平面的定义可以对应于在描述的介绍部分中所做的陈述。特别地，样品参考平面可以精确地对应于样品载体的顶侧的一个位置或高度或者从其导出。样品参考平面也可以对应于在概览图像中展示最显著结构的样品载体的平面，从而使其适合于评估。原则上，这种情况下的样品参考平面可以是位于样品载体的顶侧和底侧之间的任何高度的平面。
55.样品台或样品载体支架可以理解为表示保持或支撑样品载体的显微镜组件。根据其设计，样品台可以包括用于样品载体的支撑表面或其中保持样品载体的凹槽和/或一些其他保持装置，例如夹子或夹具。样品台不一定必须是可移动的，无论是横向移动还是垂直移动。
56.距离确定系统可以理解为在距离确定中起作用的显微镜组件，特别是样品台、相机和评估单元。原则上，评估单元和/或距离确定单元可以是任何计算设备，例如一台计算机，并且可以包括在其上执行可选机器学习模型计算的显卡。评估单元可以布置在显微镜台旁边或与其相距一定距离，例如当评估单元被设计为包括使用服务器或基于云的计算系统时。特别地，评估单元和/或距离确定单元的功能可以通过软件来执行，该软件可以保存在相应的数据存储系统中。数据存储系统可以是任何设计的技术数据存储器，也可以用于存储数字概览图像。
57.已被描述为附加的显微镜特征的本发明的特征在按预设实施时也产生根据本发明的方法的变体。相反，显微镜也可以配置为执行所描述的方法变体。
附图说明
58.下面参照附图描述本发明的进一步优点和特征：
59.图1示意性地示出了根据本发明的显微镜的示例实施例；
60.图2示意性地示出了根据本发明的显微镜的另一示例实施例；
61.图3示意性地示出了可以由图1所示的显微镜捕获的概览图像的示例；
62.图4示意性地示出了可以由图1中所示的显微镜捕获的概览图像的另一个示例；
63.图5是本发明的方法的示例实施例的步骤的流程图；
64.图6示意性地示出了在根据本发明的方法和显微镜的变体中使用的机器学习模型
的过程；
65.图7示意性地示出了图6中示意性示出的机器学习模型的训练数据；以及
66.图8示意性地示出了在根据本发明的方法和显微镜的变体中使用的另一机器学习模型的过程。
具体实施方式
67.下面参照附图描述不同的示例实施例。通常，相似的组件和以相似方式起作用的组件由相同的附图标记表示。
68.图1的示例实施例
69.图1示意性地示出了根据本发明的显微镜100的示例实施例。
70.显微镜100包括样品台9，其高度可通过聚焦驱动器19调节并且样品载体10可定位在其上。所提供的样品载体10的类型可以根据测量情况而变化。在所示示例中，样品载体10是具有多个井或样品容器11其中可以接收样品的微量滴定板。
71.显微镜100还包括至少一个物镜15，其限定光轴16并且用于观察其中一个样品。物镜15将来自样品的检测光传导至显微镜照相机17。在单纯的示意图中未示出布置在物镜15和显微镜照相机17之间的其他可选组件。照明光通过可选的聚光器14传导到样品上。
72.显微镜100还包括支架或显微镜支架20，显微镜组件——例如前述显微镜100的组件——通过该支架或显微镜支架20得到支撑。
73.显微镜100还包括相机30，这里是概览相机31，利用该相机可以捕获样品载体10的概览图像。
74.潜在的样品载体10在它们包括的样品容器11的形状、尺寸和数量方面可以显著不同。样品容器11的深度以及因此待分析样品的z平面也可根据样品载体10而变化。可根据样品载体10而变化的对象载体高度h表明于图1中。样品载体10还可以包括可选的盖子12，它增加了高度h。
75.这里的目的是以尽可能简单、快速和可靠的方式获得样品载体10的高度数据。为此，评估概览相机31的至少一个概览图像。该评估是采用评估单元91进行的，评估单元91可以例如由计算机构成。该示例中的评估单元91包括数据存储系统92，特别地，利用该数据存储系统92存储概览图像、用于评估概览图像的机器学习模型m和距离确定单元a。特别地，评估单元91可以被配置为通过运行相应的软件执行机器学习模型m和距离确定单元a的步骤。参考图3至图8更详细地描述这些步骤。评估单元91和相机30也可以称为距离确定系统90。
76.如图1所示，样品载体10确定的高度基准被指定为样品参考平面1到参考平面2的距离z。样品参考平面1指定样品载体10的位置并且可以被定义为例如，由样品载体10的顶侧限定或以预定方式偏离顶侧。因此，样品参考平面1的位置根据对象载体高度h变化并且作为样品台9的当前高度设置的函数。参考平面2表明相对于显微镜支架20静止的任何可定义高度平面，即，尤其是独立于样品台9的设置并且独立于样品载体10的一个高度平面。在所示示例中，参考平面2被放置在概览相机31的相机芯片处。因此距离z在这里表示距相机30/概览相机31的距离，尽管参考平面的定义——乃距离z的定义，原则上可以根据需要改变。通常，距离z与距相机30的距离仅仅是可自由定义的常数不同。如果在下文中将距离z描述为距相机30的距离，这只是为了便于理解本发明，并且可以理解为，也可以相对于另一个
参考平面2来定义距离z。
77.概览相机31的观察方向相对于物镜15的光轴16倾斜。在图1所示的示例中，概览相机31位于样品载体10上方并且由此以倾斜角度观察样品载体10的顶侧，而物镜15从下方以倒置配置对准样品载体10。该示例性布置的变化是可能的，如下面关于图2所描述的。
78.图2的示例实施例
79.图2示出了根据本发明的显微镜100的另一示例实施例，其与前图中所示示例实施例的不同之处在于概览相机31的布置。后者位于图2中样品台9下方从而以倾斜角度从下方观察样品载体10。
80.在图1和图2的进一步变体中，采用直立构造，其中物镜15位于样品载体10上方。可选地，聚光器14从下方照射样品并且显微镜照相机17被布置成使得它可以接收来自物镜15的检测光。
81.在图1或图2的进一步变体中，省略了概览相机31，取而代之的是显微镜相机17构成了用于捕获概览图像的相机30。在这种情况下，用于捕获概览图像的物镜比用于后续样品分析的物镜具有更低的放大率。
82.下面解释概览图像的评估。
83.图3和图4
84.图3和图4是可以用例如图1中所示的相机30捕获的概览图像40的示例的示意图。概览图像40示出了样品载体10的至少一部分，在这种情况下其顶侧带有多个样品容器/容器11。
85.图3进一步示出了样品容器附近的粘贴或印制的图案，在这里是此处的棋盘图案，且该棋盘图案可以用作参考对象r。制造商标志也被表明在样品载体10上，该制造商标志也可以用作参考对象r。
86.概览图像40中的透视图取决于距离z。特别是尺寸、形状和透视失真取决于距离z。因此，如果对象的实际物理尺寸或几何形状是已知的，则可以从概览图像40中的尺寸或几何形状推断距离z。例如，如果棋盘图案或另一参考对象r的物理尺寸是已知的，则距离z可以计算为概览图像40中棋盘图案的尺寸和透视失真的函数。原则上，仅参考对象r的尺寸就足以用于该计算，但是如果成像不与样品载体10正交发生，则样品载体10的横向变化通常也会影响概览图像40中的尺寸。因此通常可以在当(附加地)评估失真时获得更精确的结果，例如概览图像40中棋盘图案的角度偏离直角的程度。
87.代替参考对象r或除参考对象r之外，还可以评估样品载体10在概览图像40中的形状，例如，哪些角度形成其边缘或者基本圆形的样品容器11失真的程度。在这方面，将多个样品容器11一起考虑是更有利的，因为后者的不同透视失真提供了关于样品载体10相对于相机30的位置的进一步信息。
88.如图4中默认的，还可以从概览图像40推断样品容器11的深度。所确定的深度可以通过载体类型的识别对距离确定作出贡献。
89.下面参考图5描述了用于确定距离z的不同示例性评估选择。
90.图5
91.图5示出了根据本发明的方法的示例实施例的步骤的示意流程图。图1或2的显微镜，特别是评估单元，可以被配置为执行该方法。
92.首先，概览图像40被馈送至成像处理算法。作为步骤s1，图像处理算法在概览图像40中运行样品载体10中特征c的检测。特征c可以是例如参考对象r，如参考图3所描述的。进一步的，参考物体r可以是例如粘性标签、样品载体上的字符、样品载体底座、样品载体固定器或尺寸和/或几何形状已知并且其位置与样品载体10的位置相关的任何通常物体。
93.替代地或附加地，对象载体类型可以被识别为特征c。成像处理算法成像处理算法旨在区分不同的预定对象载体类型的不同组，例如，所提供样品容器的高度、形状、数量和尺寸、这些样品容器之间的距离或样品载体的横向尺寸。还可以使用成像处理来识别样品载体上存在的任何标签或字符，以识别对象载体类型。
94.因此，成像处理算法被设计为确定给定的预定对象(特征)是否存在于概览图像40中，其中该特征c的描绘随着距离z而变化。成像处理算法还识别概览图像40中的哪些像素属于该特征c。该过程称为分类。
95.接着是步骤s2，其中从数据集d中确定特征c的上下文数据k。数据集d可以包括在前述数据存储系统92中。如果特征c是参考对象r，则上下文数据k例如可以是该参考对象r的物理几何形状或尺寸。如果特征c是识别的对象载体类型，则上下文数据k可以是该对象载体类型的高度h。相应的上下文数据k可以存储在数据集中，用于许多不同的参考对象r和/或对象载体类型。
96.然后，距离z由距离确定单元在步骤s3中基于特征c和经由数据集d提供的上下文数据k确定。例如，步骤s3可以通过步骤s3a来实施，其使用在s1中识别的概览图像40中的特征c。由于特征c的物理形状和尺寸是从数据集d得知的，距离z可以从概览图像40中特征c的形状和尺寸来估计。
97.参考图5描述的步骤可以通过一个或多个机器学习模型或者通过没有机器学习的经典成像处理算法来执行。下面参考图6和图7描述了机器学习模型的可能用法。
98.图6和7
99.图6示意性地示出了机器学习(ml)模型m在本发明的变体中的可能使用。在该示例中，ml模型m旨在能够直接从概览图像40计算距离z。
100.在这方面使用带注释的训练图像41。训练图像41包括不同的概览图像，其各自的距离是已知的并且被指定为目标变量t。这在图7中示出，其示意性地示出了具有对应目标变量t的一些训练图像41。训练图像41包括相同样品载体或相同对象载体类型的多个概览图像41a、41b、41c，其中这些概览图像41a、41b、41c在各自关联的距离ta、tb、tc方面不同。训练图像41还包括另一样品载体或对象载体类型的概览图像41d、41e、41f，其中这些概览图像41d、41e、41f同样在各自的距离td、te、tf方面不同。训练图像41当然可以包括多个样品载体或对象载体类型的概览图像。
101.参考图6，ml模型m包括参考模型p，其生成输入图像到标量的映射。标量在这里表示估计的距离z。参考模型p可以是或包括例如神经网络，其可以以基本上已知的方式设计，例如设计为具有多个卷积层和多个插入的池化层的卷积神经网络(cnn)。参考模型p的参数通常称为权重，并确定参考模型p从输入图像(即概览图像40)计算出的标量。权重理想地通过带注释的训练图像41来定义。为此，以基本上已知的方式，ml模型m包括损失或利润函数l，其值取决于输出和相关联的目标变量t之间的差。ml模型m使用优化函数将参考模型p的当前权重修改为损失函数l当前值的函数。使用修改后的权重计算新输出，并重复上述步骤
直到输出充分对应于目标变量t，即直到达到l的极值。因此，参考模型p的权重在这一点上是固定的。图1或2的显微镜100可以包括预先训练的ml模型m，即具有已经确定的权重的参考模型p。在这里进行进一步训练并不是绝对必要的。因此，具有训练的ml模型m的显微镜100可以仅包括训练的参考模型p，而没有损失函数l并且没有用于运行训练过程的相应软件。
102.训练的参考模型p能够评估概览图像40并且使用概览图像40中的特征c来推断距离z。在该场景中，训练参考模型p使用从训练图像41导出的上下文数据k，其中上下文数据k采用权重的形式。因此，数据集d由参考模型p及其权重构成。
103.图8
104.图8示意性地示出了本发明的变体的另一个机器学习模型。这个ml模型由多个连续的层组成。第一层包括机器学习模型m1，其功能是识别和定位概览图像中的特征c。ml模型m1也可以由连续的单元组成，其中一个单元首先执行概览图像的分割以便在另一个单元执行分类之前对特征c进行定位以估计已经找到了什么样的特征c。ml模型m1在训练过程中接收训练图像41，例如图7所示的概览图像。所提供的目标变量t1包括例如包含在概览图像中的特征c的描绘以及特征c的分类，例如所讨论的参考对象的类型的指示。ml模型m1由此定义参考模型p1的权重，这允许参考模型p1定位和标记概览图像中的不同特征c。输出包括特征c的图像区域c1以及所讨论的特征c的类型的指示。
105.接着是表示距离确定单元a的第二ml模型m2。它的参考模型p2旨在从第一个ml模型m1的输出估计所求的距离z。在训练过程中，第二ml模型m2接收第一ml模型m1的输出以及已知距离作为目标变量t，如图7所示。由此，定义了参考模型p2的权重。
106.在所示示例实施例的变体中，第二ml模型m2也可以由没有机器学习组件的经典成像处理算法代替。在这种情况下，例如，测量由第一ml模型m1输出的特征c的图像区域c1的长度和形状。可以存储分析模型，该分析模型从这些长度或形状计算距离z。特别地，分析模型可以从样品容器的圆度或概览图像中显示的样品载体结构的角度确定距离z，这些结构在物理上形成直角，例如盖玻片边缘、矩形样品容器的角或样品载体的外角。
107.所示的示例实施例具有以下优点：可以容易且快速地确定样品参考平面而不需要复杂的设备。可以组合不同示例实施例的特征。在所附权利要求的范围内也可以省略或改变个别特征。
108.参考标志清单
[0109]1ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
样品参考平面
[0110]2ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
参考平面
[0111]9ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
样品台
[0112]
10
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
样品载体
[0113]
11
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
样品载体10的样品容器
[0114]
12
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
样品载体10的盖子
[0115]
14
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
聚光器
[0116]
15
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
物镜/显微镜物镜
[0117]
16
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
物镜15的光轴
[0118]
17
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
显微镜相机
[0119]
19
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
对焦驱动
[0120]
20
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
显微镜支架
[0121]
30
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
相机
[0122]
31
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
概览相机
[0123]
40
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
概览图像
[0124]
41,41a-41f
ꢀꢀꢀꢀꢀꢀ
训练图像
[0125]
90
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
距离确定系统
[0126]
91
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
评估单元
[0127]
92
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
数据存储系统
[0128]
100
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
显微镜
[0129]aꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
距离确定单元
[0130]cꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
特征
[0131]
c1
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
概览图像40中特征c的图像区域
[0132]dꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
数据集
[0133]hꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
对象载体高度
[0134]kꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
上下文数据
[0135]
l
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
损失函数
[0136]
m,m1,m2
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
机器学习模型
[0137]
p,p1,p2
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
机器学习模型的参考模型
[0138]rꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
样品载体上的参照物10
[0139]
s1,s2,s3,s3a
ꢀꢀꢀꢀ
根据本发明的方法的步骤
[0140]
t,t1
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
机器学习模型训练期间的目标变量
[0141]
ta-tf
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
不同训练图像的预定目标变量41a-41f
[0142]zꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
距离。