用于生成样品载体的伪影减少的概览相片的方法和显微镜与流程

1.本发明涉及一种用于在显微镜中生成样品载体的伪影减少的概览相片的方法。拍摄样品载体的概览原始图像，样品位于该样品载体上，其中，概览原始图像具有不应分配给样品的结构的伪影。
2.本发明还涉及一种用于对待布置在样品容腔中的具有样品的样品载体进行成像并用于生成伪影减少的概览相片的显微镜。显微镜具有检测装置，该检测装置具有带有像场的相机，样品容腔位于该像场中。显微镜还具有照明装置，该照明装置由多个照明元件组成并以透射光照明样品容腔。显微镜还具有处理装置，该处理装置控制照明装置并控制和读出检测装置，，以便拍摄具有不应分配给样品的结构的伪影的概览原始图像。


背景技术：

3.从de102017111718a1已知一种用于生成和分析概览对比图像的方法。使用二维照明模式以透射光照明样品载体，其中，产生至少两个概览原始图像。这些概览原始图像或是以样品载体相对于照明模式的不同的侧向位移位置被拍摄，或是以不同的照明模式被拍摄。然后将概览原始图像组合成概览对比图像。
4.通常，在概览原始图像中仅对样本所在的平面感兴趣。因此，样品平面由样品限定，例如由平面样品或样品内显微镜的焦平面限定。不过，在大多数情况下，在该样品平面中不仅包含样品，而且还包含不应分配给样品的结构。这种结构通常轴向延伸，即超出样品平面延伸到其他平面中。结构中的超出样品平面延伸的部分导致伪影。伪影在概览相片中是有干扰的，因为当伪影覆盖样品的区域时，伪影会限制样品的可见性。干扰结构可以分为两种类型。一方面，干扰结构可以位于样品载体上。示例有例如在室载片、多孔板或培养皿的情况下样品器皿的侧壁或盖。另一方面，干扰结构不会位于样品载体上，而是图像拍摄过程的元件。示例有照明单元、三脚架处的结构或周围空间中的物体。
5.应该提供一种用于在显微镜中生成样品载体的伪影减少的概览相片的方法和显微镜。


技术实现要素：

6.本发明在独立权利要求中作了限定。有利的改进方案在从属权利要求中给出。优选实施方式以相同的方式应用于该方法和该装置。
7.提供了一种用于在显微镜中生成具有样品的样品载体的伪影减少的概览相片的方法。还提供了一种用于生成伪影减少的概览相片的显微镜。
8.在所述方法中，在第一步骤中，从第一视角拍摄具有样品的样品载体的两个第一概览原始图像，其中，每个概览原始图像均以单独照明状态来拍摄。
9.在拍摄第一概览原始图像时的单独照明状态可以以不同的方式实现。为了生成单独照明状态，参照de102017111718a1，其在此方面完全并入本文。
10.在一个优选实施方式中，单独照明状态通过不同时间的照明来实现。在这里，两个
第一概览原始图像中的每一个均以单独曝光时间或以相同曝光时间下的单独照明来拍摄。在实施方式中，单独照明状态还可以通过空间不同的照明来实现。
11.优选地，为了生成单独照明状态，在拍摄每个第一概览原始图像时在照明装置中切换单独照明模式，从而在拍摄两个第一概览原始图像时单独照明样品载体。原则上，大量的照明模式适用于此。特别优选地，使用二维阵列状照明。当拍摄两个第一概览原始图像时，照明装置的单独照明元件单独或成组地被接通，以便为每个第一概览原始图像生成单独照明状态。在这里，必须始终接通单独照明元件的一部分。
12.也能够使单独照明元件中的某些发出不同颜色或偏振的光。如果是这种情况，则可以同时拍摄第一概览原始图像。然后同时实现照明状态，因为以不同颜色和/或偏振从不同角度照明样品载体。led、oled、光纤末端、dmd元件或其他光调制器优选用于照明。
13.生成单独照明状态的另一种可能方案在于，布置在样本容腔中的样品载体相对于照明装置位移。在这里，例如涉及垂直于成像光轴的侧向位移。然而，沿光轴的相对位移也是可能的。相对位移可以通过样品载体或照明装置或两者的位移来实现。
14.显微镜使用检测装置和处理装置实现两个第一概览原始图像的拍摄，所述检测装置具有至少一个相机，所述处理装置控制和读出检测装置。相机具有像场，样品容腔位于所述像场中。在该样品容腔中布置有具有样品的样品载体。显微镜还具有照明装置，所述照明装置由多个照明元件组成并以透射光照明样品容腔。处理装置如此构造，使得其控制和读出检测装置，以便以单独照明状态从第一视角拍摄第一概览图像。
15.在这里，检测装置与处理装置或照明装置与处理装置之间的通信可以不仅通过电线来实现，而且通过无线电等来实现。
16.对于概览相片，部分或完全去除不应分配给样品的结构的伪影。首先，为此从另外的第二视角拍摄具有样品的样品载体的两个第二概览原始图像。在这里，又以单独照明状态拍摄每个第二概览原始图像。单独照明状态可以与两个第一照明状态相同或不同。
17.第二概览原始图像的单独照明状态优选地以与第一概览原始图像中的单独照明状态相同的方式生成。然而，在拍摄第二概览原始图像时重要的是，所述第二概览原始图像不再从第一视角生成，而是从另外的第二视角生成。因此，不仅从第一视角而且从第二视角都以不同的照明状态拍摄两个概览原始图像，从而产生总共四个不同的概览原始图像。
18.类似于第一概览原始图像，在第二概览原始图像中也包含不应分配给样品的结构，如已经说明的那样。
19.从第一视角到第二视角的视角变化可以通过样品台相对于检测装置的相对位移，例如借助相对调节装置来进行。如果设置有相对调节装置，则所述相对调节装置可以具有可调节的样品台或调节检测装置或两者。
20.样品台的相对位移的大小以及与其相关联的样品平面相对于其中存在不应分配给样品的结构的伪影的平面的相对位移可以在实施方式中是可调节的并且例如依赖于待去除的结构来选择。如果产生伪影的结构位于样品载体上，则应如此选择位移，使得结构在视角变化之后改变了预定量。如果结构是周期性的，例如在周期性照明阵列的情况下，则位移应优选地是半个周期，因为然后可以将伪影特别容易地求平均去除。
21.在实施方式中，两个视角由设置在检测装置中的两个相机生成。然后使用第一相机从第一视角拍摄第一概览原始图像，所述相机以其像场对准样品容腔，并且使用第二相
机从另外的第二视角拍摄第二概览原始图像，所述第二相机的像场也指向样品容腔，其中，第二相机以其像场从另外的位置从另外的角度侧向观察样品容腔。由此，样品平面也相对于伪影位移。优选地，从所述视角在一个照明状态下同时拍摄概览原始图像，然后针对随后的同时拍摄改变照明状态。
22.检测装置可以优选地不仅使用远心相机，例如显微镜本身，而且使用非远心相机，例如从侧面观察样品容腔的网络摄像头或概览相机。由于在远心拍摄时，当执行样品载体的轴向位移时，仅一个焦平面相对于样品发生变化，因而在这种情况下只能部分或完全去除不位于样品载体上的干扰结构。
23.在实施方式中，除了使用多个相机拍摄概览原始图像之外，样品载体还可以相对于检测装置位移。检测装置的单独相机也可以彼此位移。这些实施方式是借助相对调节装置和具有多个相机的检测装置的位移的组合，由此可以生成另外的视角。此外，可以通过附加位移来增大视角之间的差异。
24.在从不同的视角拍摄概览原始图像之后，通过将概览原始图像组合来生成伪影减少的概览相片，其中，去除了不应分配给样品的结构的伪影。在显微镜中，这由处理装置来实现。
25.优选地，概览原始图像针对位于样品平面中的结构彼此配准。这被理解为概览原始图像如此相对位移，使得样品结构或其他预定结构在所有概览原始图像中都位于同一位置。合适的结构可以例如是样品本身的组成部分或不应分配给样品的结构，例如样品载体、盖等，只要这些结构位于样品平面中。由此，这些结构不依赖于视角，而位于样品平面之外并且会产生伪影的结构在配准后出现在概览原始图像中的侧向不同位置，这取决于它们是否以及以何种程度位于在用于配准的样品平面的上方或下方。在配准后，可以非常容易地弱化或去除伪影。在样品平面和背景伪影之间产生明显的对比。
26.概览原始图像的配准或是基于图像进行，或是根据关于相对位移和/或相机位置的情况的知识进行。如果基于图像进行配准，则可以使用常见的图像配准方法。当已知相机的准确位置时，可以将相对位移映射到相应的图像位移。然后可以在不考虑图像内容的情况下配准概览原始图像。如果能够将相对位移映射到相应的图像位移，则该方法由于更强的鲁棒性而优于基于图像的配准。
27.配准之后概览原始图像的组合可以通过不同方式进行。组合的可能方案例如是：对概览原始图像求平均、通过概览原始图像的单独像素的排序投影，识别和去除与配准像素的强度的偏差，以及它们与相邻强度偏差的关系。优选地，对伪影减少的概览相片进一步进行后处理，例如，与常规手段相比进行改进。
28.优选地，在将概览原始图像组合成伪影减少的概览相片之前从第一概览原始图像生成第一中间图像并且从第二概览原始图像生成第二中间图像。对此，可以使用第一图像处理方法将第一概览原始图像组合成第一中间图像，并且使用另外的第二图像处理方法将第二概览原始图像组合成第二中间图像。因此，可以例如使用第一概览原始图像执行最小投影，并且使用第二概览原始图像执行最大投影。
29.当然，在所述方法中，从第一视角或第二视角拍摄概览原始图像不限于恰好两个第一概览原始图像；也可以分别以单独照明状态拍摄三个或更多的第一概览原始图像。也不必给出恰好两个照明状态。概览原始图像的数量在本说明书中仅作为示例来选择。也可
以从每个视角以单独照明状态拍摄三个、四个或更多个概览原始图像。当然，也可以使用两个以上的不同视角，例如三个、四个、五个或更多个。当然，这不仅适用于所述方法，而且也适用于所述显微镜。
附图说明
30.下面参照附图通过示例更详细地说明本发明。在附图中：
31.图1示出了一种用于在显微镜中生成伪影减少的概览相片的装置；
32.图2示出了另一种用于在显微镜中生成伪影减少的概览相片的装置；
33.图3示出了一种用于将概览原始图像处理成伪影减少的概览相片的方案；
34.图4示出了另一种用于将概览原始图像处理成伪影减少的概览相片的方案；
35.图5示出了用于在显微镜中生成样品载体的伪影减少的概览相片的方法的流程图；以及
36.图6a至图6d示出了从第一视角和第二视角配准概览原始图像。
具体实施方式
37.在图1中示出了一种用于在显微镜1中生成布置在样品容腔3中的样品载体2的伪影减少的概览相片的装置，样品4位于该样品载体2上。显微镜1使用物镜(未单独示出)沿光轴oa检测样品容腔3。样品载体2位于样品台6上。具有像场8的相机10对准具有样品载体2和位于其上的样品4的样品容腔3，该相机10是检测装置的组成部分。在相机10的像场8中，具有样品4的样品载体2在样品容腔3内相对于相机10位移。在图1的实施例中，该位移由与样品台6连接的驱动器12实现，该驱动器12将样品台6以及因此样品容腔3从第一位置14位移到第二位置16，具有样品4的样品载体2位于该样品容腔3中。因此，驱动器12在实施例中用作相对调节单元。相机10通过电线18与处理装置20连接。处理装置20又通过电线18与成像装置22连接。
38.如果样品台6位于处于其上的样品载体2中的第一位置14，则由处理装置20控制的相机10从第一视角以单独的照明状态拍摄两个第一概览原始图像并将它们通过电线18传输到处理装置20。
39.单独的照明状态一方面可以通过不同时间的照明使用照明装置5来实现。在这里，第一概览原始图像的每个个体以不同的曝光时间或以在相同的曝光时间下的不同的照明被拍摄。此外，单独的照明状态可以通过空间不同的照明使用照明装置5来生成。在这里，例如为每个第一概览原始图像切换单独的照明模式，从而在拍摄每个第一概览原始图像时样品容腔由照明装置5单独照明。已经说明了在使用照明装置5照明样品容腔3的情况下的可能方案。
40.总是接通单独照明元件7的一部分。能够使照明元件7的一部分发出不同颜色或偏振的光。如果具有单独照明元件7的照明装置5发出单独颜色或偏振的光，则能够使用处理装置20通过相机10同时拍摄多个第一概览原始图像，因为通过照明装置5同时实现多个单独照明状态(从不同角度以不同颜色和/或偏振照明样品容腔3)。使用照明装置5以空间不同的方式照明样品容腔3并因此生成单独照明状态的另一种可能方案在于样品载体2相对于照明装置5的位移。
41.使用所描述的单独照明状态拍摄两个第一概览原始图像，其中，概览原始图像包含不应分配给样品4的结构。这种结构可以例如是位于样品载体2上的结构，例如样品器皿的侧壁或盖，但也可以是图像拍摄过程的元件，例如照明单元、三脚架处的结构或周围空间中的物体。如果这些结构不位于样品平面中，则这些结构在概览相片中会被视为干扰，因为这些结构会通过覆盖样品4的区域来限制样品4的可见性。这些伪影应在伪影减少的概览相片中被去除。
42.为此，根据图1，借助用作相对调节装置的驱动器12将样品台6以及因此样品容腔3从第一位置14位移到第二位置16，具有样品4的样品载体2位于该样品容腔3中。相机10的位置保持不变。通过另一视角使样品平面相对于产生伪影的结构所在的平面位移。如果具有样品容腔3的样品台6处于第二位置16，则相机10由处理装置20控制并且从第二视角拍摄两个第二概览原始图像。这些第二概览原始图像也是以单独照明状态拍摄的。伪影也包含在第二概览原始图像中，但是当单独概览原始图像的样品平面在样品平面中彼此配准时，伪影相对于样品平面中的结构发生变化。
43.图6a至图6d示意性示出了当具有单独概览原始图像的样品平面彼此配准时单独概览原始图像中的伪影的这种变化。图6a示出了当通过显微镜1的物镜o观察时位于样品平面pe中的样品载体2上的样品4。在样品4的上方和下方，产生伪影的结构9布置在第一、较高的结构层se1和第二、较低的结构层se2中。为了更好地理解，假设涉及通常非常薄的结构，这些结构仅位于平面pe、se1或se2中。图6b示出了从第一视角p1观察样品载体2。类似地，图6c示出了从第二视角p2观察。可以清楚地看到，平面se1和se2中的结构相对于视角p1和p2中的样品平面pe侧向位移，更确切地说，对于p1和p2不同。
44.如果图像针对样品平面pe彼此配准，则产生根据图6d的图像。样品平面pe中的结构当其相互配准时在所有图像中位于相同的位置，而当从不同的视角p1、p2观察时，产生伪影的结构9在其各自结构平面se1、se2中位移并由此并不总是位于相同的位置。因此，在通过图像处理配准后，可以简单地确保的是，样品4在样品平面pe中被强化并且结构9被弱化。
45.由此，当通过处理装置20将概览原始图像组合成减少伪影的概览相片时，伪影被弱化或完全被去除。这优选地通过图像处理方法来实现，这些图像处理方法将更详细地予以说明。
46.图2示出了用于在显微镜1中生成样品容腔3的伪影减少的概览相片的装置的另一实施方式。在结构上或功能上与图1的元件相对应的元件具有相同的附图标记。除了图1的实施方式之外，具有第二像场17的第二相机19和具有第三像场24的第三相机23也对准样品容腔3，样品载体2位于其中。第二相机19与第三相机23一样与处理装置20连接。
47.检测装置因此在这里包括三个相机，所有这些相机都由处理装置20控制和读出。第一相机10从第一视角以单独照明状态拍摄两个第一概览原始图像。第二相机19也以其第二像场17检测样品容腔3，不过是从另外的第二视角检测。这同样适用于第三相机23及其第三像场24。作为各种相机10、19、23的替代，具有各种例如电动可调节相机位置的相机10可以用作检测装置。使用根据图2的装置，类似于根据图1的装置，从多个角度分别又以如参照图1所说明的单独照明状态拍摄多个概览原始图像。概览原始图像的处理以与图1的实施方式中相同的方式进行并且将在下面更详细地说明。
48.在两个实施例(图1和图2)中，概览原始图像既可以使用远心相机，例如显微镜来
拍摄，也可以使用非远心相机，例如从侧面观察样品4的网络摄像头或概览相机或组合(图2)来拍摄。然而，由于在远心拍摄时，当执行样品载体2的轴向位移时，仅焦平面相对于样品4发生变化，因而在这种情况下只能去除干扰背景结构，即仅不在样品载体2本身上的结构。
49.继图像拍摄之后，概览原始图像由处理装置20彼此配准(参见图6d)并且使用图像处理方法来继续处理。在这里，概览原始图像的配准或是基于图像进行，或是根据关于相对位移(样品台6的位移和/或相机位置的情况)的知识进行。在这里，要注意的是，仅配准样品平面。
50.为了将已配准的概览原始图像组合成伪影减少的概览相片，需要考虑各种组合可能方案，例如，对概览原始图像求平均，通过概览原始图像的各个像素进行排序投影，识别和去除与已配准像素的强度的偏差，以及它们与相邻强度偏差的关系。
51.图3和图4示出了借助图像处理方法将概览原始图像组合成伪影减少的概览相片的可能方案。根据图3，从第一视角p1以单独照明状态(b1，b2)拍摄两个概览原始图像urp1b1和urp1b2，然后处理成中间图像zp1。类似地，从另外的第二视角以单独照明状态(b1，b2)拍摄两个概览原始图像urp2b1和urp2b2并处理成另外的中间图像zp2。然后将中间图像zp1和zp2组合成伪影减少的概览相片ua。由于概览原始图像在组合成概览相片之前首先组合成中间图像，因而在生成中间图像时可以使用与将中间图像组合成概览相片时不同的图像处理方法。因此，可以例如执行最大投影以从第一或第二概览原始图像生成中间图像，并且执行最小投影以从中间图像生成伪影减少的概览相片。
52.图4示出了另一种将概览原始图像组合成伪影减少的概览相片的可能方案。根据图4，还拍摄了四个概览原始图像urp1b1、urp1b2、urp2b1和urp2b2，其中，从第一视角p1以单独照明状态(b1，b2)拍摄第一概览原始图像，并且从另外的第二视角p2以单独照明状态(b1，b2)拍摄第二概览原始图像。然后将这四个概览原始图像直接组合成伪影减少的概览相片ua。
53.图5示出了用于在显微镜1中生成样品载体2的伪影减少的概览相片的方法的流程图。在第一步骤s1中，从第一视角拍摄样品载体2的两个第一概览原始图像，其中，每个第一概览原始图像均以单独照明状态来拍摄。在第二步骤s2中，从另外的第二视角拍摄样品载体2的两个第二概览原始图像，其中，每个第二概览原始图像以单独照明状态来拍摄。在这里，从第一视角到第二视角的视角变化可以根据图1通过样品台相对于检测装置从第一位置14到第二位置16的位移来实现，或者根据图2通过使用多个相机10、19、23从不同的视角进行图像拍摄或者使用具有各种例如电动可调节的相机位置的相机来实现。
54.在步骤s3中，将概览原始图像组合成伪影减少的概览相片，其中，去除了不应分配给样品的结构的伪影。
55.附图标记说明：
[0056]1ꢀꢀꢀꢀꢀꢀ
显微镜
[0057]2ꢀꢀꢀꢀꢀꢀ
样品载体
[0058]3ꢀꢀꢀꢀꢀꢀ
样品容腔
[0059]4ꢀꢀꢀꢀꢀꢀ
样品
[0060]5ꢀꢀꢀꢀꢀꢀ
照明装置
[0061]6ꢀꢀꢀꢀꢀꢀ
样品台
[0062]7ꢀꢀꢀꢀꢀꢀ
照明元件
[0063]8ꢀꢀꢀꢀꢀꢀ
像场
[0064]9ꢀꢀꢀꢀꢀꢀ
伪影
[0065]
10
ꢀꢀꢀꢀꢀ
相机
[0066]
12
ꢀꢀꢀꢀꢀ
驱动器
[0067]
14
ꢀꢀꢀꢀꢀ
第一位置
[0068]
16
ꢀꢀꢀꢀꢀ
第二位置
[0069]
17
ꢀꢀꢀꢀꢀ
第二像场
[0070]
18
ꢀꢀꢀꢀꢀ
电线
[0071]
19
ꢀꢀꢀꢀꢀ
第二相机
[0072]
20
ꢀꢀꢀꢀꢀ
处理装置
[0073]
22
ꢀꢀꢀꢀꢀ
成像装置
[0074]
23
ꢀꢀꢀꢀꢀ
第三相机
[0075]
24
ꢀꢀꢀꢀꢀ
第三像场
[0076]oꢀꢀꢀꢀꢀꢀ
物镜
[0077]
oa
ꢀꢀꢀꢀꢀ
光轴
[0078]
s1
ꢀꢀꢀꢀꢀ
步骤1
[0079]
s2
ꢀꢀꢀꢀꢀ
步骤2
[0080]
s3
ꢀꢀꢀꢀꢀ
步骤3
[0081]
ua
ꢀꢀꢀꢀꢀ
概览相片
[0082]
ur
ꢀꢀꢀꢀꢀ
概览原始图像
[0083]zꢀꢀꢀꢀꢀꢀ
中间图像