具有特定于样本的参考的合成的荧光图像

1.本公开的各种示例总体涉及用于对用显微成像模态采集的测量图像进行数字后处理的技术。特别是可以确定合成的荧光图像。


背景技术：

2.荧光成像使用在“绿色科学”(英文为lifesciences，即生命科学)的各个领域中。借助荧光成像能以很高的灵敏度和特异性识别生物样本中的区域和结构。在此，特异性通过构造用于与特定的分子或细胞结构特异性结合的标记物实现。特异性也可以通过仅在特定的化学环境中激活的标记物实现。特异性也可以通过细胞本身内所产生的标记物实现。这可能例如涉及自发荧光或在适当的遗传操作步骤后的标记物。通过标记物在特定波长时的荧光实现灵敏度。由此可以在频谱范围内过滤信号。
3.标记物通常包括荧光团或者由荧光团构成。荧光团是一种分子，其电子壳层可以借助特定波长的光激发并且然后发射出波长更长的光。荧光团的使用使得能在光谱中分离激发和光发射。因此可以测量仅包含一小部分背景光的信号。因此可以达到大的信噪比(snr)。
4.荧光成像的这两个优点，这就是说，特异性和灵敏度，使得能在相应的集合中辨别特定类型的细胞结构，如细胞核。另一种应用则例如涉及肿瘤的识别。
5.在使用显微荧光成像时可能出现一些缺点。例如由于暴露于光以激发荧光而出现了所谓的光漂白。荧光团在此失去了发出荧光的能力。使用光来激发荧光也可能造成光毒性。这意味着，相应的样本的细胞结构可能受损。因此实验可能被歪曲。
6.细胞结构集合的实时成像尤其可能受到光漂白和光毒性的负面影响。这是因为对实时成像而言，典型地必须以高时间密度采集大量荧光图像。因此暴露于光的程度特别大。因此可用的观察时段有限，例如限于几个小时，因为之后细胞结构就会受损，从而使实验被歪曲。
7.已知下列出版物：ep3553165a1；wagner,nils(瓦格纳
·
尼尔斯)等人在期刊《nature methods(自然-方法)》(18.5(2021)：557-563页)上发表的《deep learning-enhanced light-field imaging with continuous validation(具有连续验证的深度学习增强的光场成像》。


技术实现要素：

8.因此需要更好的技术来获得荧光图像。
9.该任务通过独立权利要求的特征解决。从属权利要求的特征定义了实施方式。
10.在此说明的一些示例通常基于这样的认识，即，经典的基于硬件的荧光成像可以通过使用光来激发荧光而对被检验样本的特性、特别是细胞的特性产生重大影响。另一方面，在此所说明的方法基于这样的认识，即其它成像模态侵入性较小，因为需要更少的样品曝光来采集相应的图像数据。在此所说明的示例还基于这样的认识，即，即使在这些侵入性
较小的成像模态中，在感兴趣的测量图像的对比度和相应的荧光图像的预期的对比度之间也存在关联。因此可以借助侵入性较小的成像模态、例如明场中的传统的透射光显微镜来采集测量图像，而不会有损样本的完整性。尤其也可以例如以高时间分辨率采集非常多的的测量图像。
11.在此所说明的一些示例还基于这样的认识，即，在使用预测算法来确定合成的荧光图像时，通常本身无法估计或难以估计预测算法确定合成的荧光图像有多可靠。例如可能不清楚包含在合成的荧光图像中的对比度是正确地表征了样本还是人为的。这意味着，包含在合成的荧光图像中的信息的承载量可能是不清楚的。合成的荧光图像的质量可能是不清楚的。
12.在本文中所说明的一些示例还基于这样的认识，即，有时可能出现这样的状况，在这些状况中，在结束生物实验后证实预测算法没有提供良好的结果。这意味着，合成的荧光图像的对比度无法正确地或仅有限地表征了样本。
13.接下来说明一些使得能验证合成的荧光图像或预测算法的技术。可以查明或评判合成的荧光图像的质量。此外，按照在本文中所说明的一些示例，还可以例如在相应的验证的结果表明了不准确时，通过训练来调整预测算法。可以进行特定于样本的训练。
14.在本文中所说明的各个示例中，可以在观察时段期间采集一系列测量图像。在此可以用一种相比荧光成像引起了样本的更小的曝光的成像模态来采集测量图像。在观察时段期间，也借助荧光成像采集更少数量的参考图像。
15.然后可以借助预测算法对测量图像进行数字后处理。这种预测算法可以基于测量图像确定合成的荧光图像。借助参考图像可以训练和/或验证预测算法。
16.各个示例均涉及到一种计算机实现的方法。这个方法包括驱控至少一个成像装置以借助显微成像来采集样本的测量图像。在观察时段期间采集测量图像。此外，所述方法还包括驱控至少一个成像装置以借助显微荧光成像在观察时段期间采集样本的至少一部分的多个参考图像。此外，所述方法还包括基于作为基本真实情况(grundwahrheit)的参考图像的至少一部分以及还基于测量图像的一部分执行对预测算法的参数的训练。所述方法也包括在训练结束后基于测量图像中的一个或多个测量图像并且使用预测算法的情况下确定合成的荧光图像。
17.预测算法因此可以是经机器学习的。
18.就所述观察时段而言，可以用比测量图像更小的位置空间密度和/或更小的时间密度来采集参考图像。
19.样本可以是生物样本。样本可以例如包括细胞结构的集合。细胞结构可能例如经受生物变化过程，生物变化过程分布在所述集合和观察时段上出现。
20.可能的是，计算机实现的方法还包括在训练结束后使确定合成的荧光图像与采集测量图像同步。同步在此可以指的是两个过程的时间的相协调。合成的荧光图像可以分别响应于测量图像的采集加以确定。这样使得能实时对测量图像进行数字的对比度后处理。
21.可以基于对损失函数的损失贡献执行训练。损失贡献可以基于参考图像的至少一部分的语义内容与测量图像的至少一部分的语义内容的对比。语义内容可以量化生物结构。
22.计算机实现的方法包括驱控至少一个成像装置以借助显微成像在观察时段期间
采集样本的测量图像。此外，计算机实现的方法还包括驱控至少一个成像装置以借助显微荧光成像在观察时段期间采集样本的至少一部分的多个参考图像。计算机实现的方法还包括基于测量图像和基于预测算法确定合成的荧光图像。计算机实现的方法还包括基于在参考图像的至少一部分和合成的荧光图像的至少一部分之间的对比执行对合成的荧光图像的验证。
23.计算机实现的方法例如还可以包括根据验证的结果调整预测算法的一个或多个参数值。针对经机器学习的预测算法，这个预测算法例如可以根据验证的结果有选择地重新训练或调整训练(英文为re-training，即重新训练)。
24.也可能的是，计算机实现的方法包括根据验证的结果调整参考图像的采集。验证失败时，例如可以选择性地或按需采集另外的参考图像，以便可以基于这些另外的参考图像重新训练预测算法。
25.验证可以基于参考图像的至少一部分的语义内容与测量图像的至少一部分的语义内容的比较。这样一来可能就没必要执行相应的测量图像与相应的参考图像的配准(registrierung)。不必存在基于像素的对应。
26.但也可以为了验证执行基于像素的比较。
27.原则上可以在观察时段期间与测量图像交错地采集参考图像。
28.也可以分别响应于触发事件地采集参考图像。
29.在此原则上可以设想不同的触发事件。示例例如是用户命令或测量图像的语义内容中的变化或者是对象识别算法的输出(对象识别算法例如可以在测量图像上运算)。
30.至少一个成像装置可以驱控用于在至少一个校准阶段期间(也可以称为校准时段)更为频繁地采集参考图像，所述校准阶段设置在观察时段开始和/或结束时或者与样本的生物变化过程的预期时间点相关地设置。在校准阶段期间尤其可以比在校准阶段外更为频繁地采集参考图像。
31.至少一个成像装置可以驱控用于在样本的第一区域中采集参考图像。至少一个成像装置也可以驱控用于至少部分在样本的不同于样本的第一区域的第二区域中采集测量图像。在此，不能在样本的第二区域中采集参考图像。因此保护了样本的第二区域。
32.至少一个成像装置可以驱控用于借助显微荧光成像用显微荧光成像的曝光参数的第一个值采集参考图像。至少一个成像装置可以驱控用于借助显微荧光成像用显微荧光成像的曝光参数的第二个值采集测量图像。在此，第一个值可以促成样本的和每个参考图像的第一次光照(lichtbelastung)并且第二个值可以促成样本的和每个测量图像的第二次光照。第二次光照在此小于第一次光照。
33.原则上可以在观察时段中采集比测量图像少得多的参考图像。观察时段内参考图像的数量例如不能大于同一观察时段内测量图像的数量的50％(或5％或百分之一)。
34.一种装置包括处理器。这个处理器设置用于驱控至少一个成像装置，以便借助显微成像在观察时段期间采集样本的测量图像。此外，所述处理器还设置用于驱控至少一个成像装置，以便借助显微荧光成像在观察时段期间采集样本的至少一部分的多个参考图像。此外，所述处理器还设置用于执行预测算法的参数的训练，更确切地说基于作为基本真实情况的参考图像的至少一部分以及还基于测量图像的至少一部分。所述处理器也设置用于，在训练结束后基于测量图像中的一个或多个测量图像并且在使用预测算法的情况下确
定合成的荧光图像。
35.一种装置包括处理器。这个处理器设置用于实施下列步骤：驱控至少一个成像装置，以便借助显微成像在观察时段期间采集样本的测量图像；和驱控至少一个成像装置，以便借助显微荧光成像在观察时段期间采集样本的至少一部分的多个参考图像；和基于测量图像及基于预测算法确定合成的荧光图像；以及基于参考图像的至少一部分和合成的荧光图像的至少一部分之间的比较执行对合成的荧光图像的验证。
36.计算机程序或计算机程序产品或能被计算机读取的存储介质包括程序代码。这种程序代码可以由处理器加载和运行。这促使处理器实施一种方法。这种方法包括驱控至少一个成像装置以借助显微成像采集样本的测量图像。在观察时段期间采集所述测量图像。此外，所述方法还包括驱控至少一个成像装置以借助显微荧光成像在观察时段期间采集样本的至少一部分的多个参考图像。此外，所述方法还包括基于作为基本真实情况的参考图像的至少一部分以及还基于测量图像的一部分执行对预测算法的参数的训练。所述方法也包括训练结束后基于测量图像中的一个或多个测量图像并且在使用预测算法的情况下确定合成的荧光图像。
37.计算机程序或计算机程序产品或能被计算机读取的存储介质包括程序代码。这种程序代码可以由处理器加载和运行。这促使处理器实施一种方法。这种方法包括驱控至少一个成像装置以借助显微成像在观察时段期间采集样本的测量图像。此外，计算机实现的方法包括驱控至少一个成像装置以借助显微荧光成像在观察时段期间采集样本的至少一部分的多个参考图像。计算机实现的方法还包括基于测量图像和基于预测算法确定合成的荧光图像。计算机实现的方法还包括基于在参考图像的至少一部分和合成的荧光图像的至少一部分之间的比较执行对合成的荧光图像的验证。
38.上述特征和随后说明的特征不仅可以以明确阐述的相应的组合使用，而且也能以另外的组合或单独使用，而不会脱离本发明的保护范围。
附图说明
39.图1示出了一种系统，其带有至少一个成像装置和用于对由至少一个成像装置采集的图像进行数字后处理的装置；
40.图2示意性地示出了对用至少一个成像装置采集的测量图像的数字的对比度后处理；
41.图3是示例性的方法的流程图；
42.图4示例性地并且示意性地示出了采集测量图像和采集参考图像的时间安排；
43.图5示例性地并且示意性地示出了采集测量图像和采集参考图像的时间安排；
44.图6示例性地并且示意性地示出了采集测量图像和采集参考图像的时间安排；
45.图7示例性地并且示意性地示出了采集测量图像和采集参考图像的时间安排；
46.图8示例性地并且示意性地示出了采集测量图像和采集参考图像的时间安排；
47.图9示例性地并且示意性地示出了采集测量图像和采集参考图像的时间安排；
48.图10示例性地并且示意性地示出了采集测量图像和采集参考图像的时间安排；
49.图11示例性地并且示意性地示出了采集测量图像和采集参考图像的地点和时间安排。
具体实施方式
50.结合对借助附图更为详细地阐释的实施例的下列说明可以更为清楚和更为明晰地理解本发明的上述特性、特征和优点以及如何达到这些特性、特征和优点的方式。
51.接下来参考附图借助优选的实施方式更为详细地阐释本发明。附图中，相同的附图标记标注相同的或相似的元件。附图是本发明的各种实施方式的示意性的代表。图中所示的元件不必忠于比例地示出。更确切地说，图中所示的各种元件被这样再现，使得它们的功能和一般用途可以被本领域技术人员所理解。图中所示的功能性单元和元件之间的连接和联接也可以实现为间接连接或联接。连接或联接可以有线或无线地实现。功能性单元可以实现为硬件、软件或硬件和软件的组合。
52.接下来说明一些对生物样本的测量图像的对比度进行数字后处理的技术。尤其可以借助本文中所说明的技术产生复制了特定的成像模态的对比度的计算机实现合成的图像，而不必真实使用相应的成像模态。
53.根据本文中所说明的各种示例，可以产生模仿染色样本的成像(英文为“virtual staining”，即虚拟染色)的合成图像。在染色样本的这种成像中，生物样本通常用相应的染料染色。这在染色过程中进行。在此使染料与样本接触。染料包含一个或多个标记。这些标记在成像中产生了特殊的对比度。标记例如可以与特定的细胞部分、如细胞核或线粒体特异性结合。借助标记可以使肿瘤组织变得可见。例如可以设想一些通过用特定波长照明被激活并且接着发出其它波长的光的标记，这就是说荧光标记。
54.作为进一步的通则，可以在本文中所说明的示例中检验最为不同类型的样本。可以检验生物样本。例如可以检验活细胞或死细胞、例如在组织样本中的活细胞或死细胞。可以例如检验细胞培养物。生物样本因此可以称为生物模型系统，例如细胞或球状体(这就是说普通细胞簇，例如肿瘤或神经细胞簇)或类器官(这就是说器官特异性细胞簇)。因此生物样本可以尤其包括细胞或组织。可以检验细胞培养物。例如可以检验原代细胞培养物，这就是说从生物体获取并且保持活性的细胞。也可以检验死细胞。这种样本因此包括例如细胞结构的集合。
55.接下来尤其结合荧光成像说明一些技术。这些技术使得能确定合成的荧光图像。荧光图像具有对比度，对比度表征性地展现来自具有高特异性和灵敏度的大量细胞结构的特定的细胞结构。这样就能够将特定类型的细胞结构与其它类型的其它细胞结构区分开来。
56.接下来尤其结合用于荧光成像的样本染色说明不同的技术，然而在其它示例中也可以将染色用于其它应用领域，例如组织病理学应用领域。
57.接下来说明一些技术，它们将借助合适的测量硬件用于荧光成像的、这就是说用于荧光的波长选择性激发和荧光的波段选择性探测的测量技术与数字的图像后处理的技术组合起来。
58.通过经典的基于硬件的测量技术与数字的图像后处理的这种组合，一方面可以确定具有高质量的荧光图像，另一方面则可以减少因为光暴露(lichtexposition)而激发荧光所造成的诸如光漂白和光毒性之类的效应。尤其可以达到图像质量的优化，这就是说特别高的可靠性，使得荧光图像关于确定类型的细胞结构具有必要的灵敏度和特异性。此外，通过减少光漂白和光毒性，还能实现例如与经典的基于硬件的荧光成像技术相比更长的观
察时段。也可以达到更高的时间分辨率，这就是说，每单位时间更多的图像。
59.借助在本文中所说明的技术也可以可靠地检查合成的荧光图像是否具有期望的准确性。尤其可以例如检查，用于确定合成的荧光图像的预测算法是否作出了按规定的预测。这意味着，能够验证合成的荧光图像或预测算法。
60.根据各种示例，在观察时段期间借助显微成像采集样本的一系列测量图像。在此涉及到生物样本。生物样本因此可以称为生物模型系统，例如细胞或球状体(这就是说普通细胞簇，例如肿瘤或神经细胞簇)或类器官(这就是说器官特异性细胞簇)。
61.生物样本因此可以尤其包括细胞或组织。可以检验细胞培养物。例如可以检验原代细胞培养物，这就是说，从生物体获取并且保持活性的细胞。也可以检验死细胞。这种样本因此包括例如细胞结构的集合。在同一观察时段期间也借助显微荧光成像采集参考图像。至少针对样本的一部分采集这些参考图像。
62.然后借助预测算法并且在考虑到参考图像的情况下产生了针对多个测量图像的合成的荧光图像。这意味着，借助预测算法数字地后处理测量图像的对比度(这就是说，像素值，其例如对颜色和/或亮度编码)。
63.预测算法原则上可以手动地参数化，即例如通过恰当的用户前置知识(vorwissen)恰当地进行设定。但也可以设想的是，预测算法是经机器学习的。然后可以以计算机实现的方式执行相应的训练。在此可以例如使用人工神经网络(knn)。knn包括大量实施各种运算的层。knn的一个示例是卷积网络(英文为convolutional neural network，即卷积神经网络)，在卷积网络中使用卷积层，卷积层用核对输入值执行卷积。各种层可以通过合适的权重相互连接。可以设想非线性的激活。可以执行池化运算：在那里丢弃信息。一个示例就是最大池化，在那里仅保留一个区域的最强值(例如2x 2神经元)。knn可以具有前馈架构。在此，一层的结果始终只传达给另一层。当存在所谓的跳跃连接时，则可以将一层的输出传达给随后的多个层。原则上可以使用不同类型的knn，例如特别是也使用生成对抗网络(gan)或自动编码器网络，例如变分自动编码器网络。
64.借助显微成像这样来采集测量图像，使得每个测量图像的诸如光漂白和光毒性之类的效应比起每个参考图像相对更低。这就是说，显微成像的用于采集测量图像的成像模态相对而言侵入性较小。
65.在此可以作为通则在各种在本文中说明的示例中为显微成像使用最为不同的成像模态以在观察时段期间采集测量图像。可以使用2d或3d的成像模态。原则上结合测量图像的采集可以设想分别在样本的一个层中采集测量图像。这可以通过使用合适的物镜和将有待采集的层布置在物镜的焦点中达到。也可以检测多个样本层面的所谓的z-stack。这可以例如通过样本台沿z方向在两个测量图像的采集之间的移动发生。
66.例如可以借助传统的透射光显微镜采集测量图像。可以使用明场成像。也可以使用暗场成像或相位对比、例如微分相位对比。另一些示例涉及到全息成像、全息断层成像、定量相位断层成像、光学的相干断层成像、动态的光学的相干断层成像、角度选择照明成像、相位梯度成像、结构化照明成像。另一个示例涉及到通过使用突发模式(这就是说在图像系列的原始图像之间的短暂的时间间隔，其尤其小于样本动态的时间刻度)用不同的曝光时间采集具有高动态范围的测量图像(hdr成像)。这意味着，每个测量图像可以采集多个原始图像，所述原始图像具有不同的曝光时间并且然后可以组合成一个测量图像。
67.显微成像因此可以使用不同于荧光成像的成像模态。在此，预测算法实现了图到图(b2b)预测算法，该预测算法将第一对比度(例如透射光中的明场成像)转换到第二对比度(荧光，例如用荧光标记染色的样本的荧光或自发荧光)。
68.在一些示例中可以为采集测量图像使用自发荧光成像模态。在此可以在不用标记对生物样本染色的情况下就发出荧光。这可以避免样本的由标记或标记物本身的时间变化引起的生理学变化。
69.但在一些示例中也可以设想，也为测量图像的采集使用荧光成像作为成像模态。不过可以这样设置荧光成像的曝光参数(例如光强和/或曝光时间)的为采集测量图像所使用的值，使得每个测量图像的和每个样本面的光照或光暴露小于用于采集参考图像的荧光成像的成像参数。这意味着，换句话说，每个测量图像的光漂白和光毒性效应可能比每个参考图像更小，尽管无论是为了采集测量图像还是为了采集参考图像，原则上均使用荧光成像的相同的成像模态。例如也可以设想的是，激活其它标记来采集测量图像而不是激活测量图像。例如可以为采集参考图像使用能以较小的光量或很小的侵入性激活的标记。但原则上也可以基于第一荧光对比度预测另外的第二荧光对比度，因而总体上可以减少光暴露。例如可以基于“绿色荧光蛋白”(gfp)标记和相应的荧光对比度预测tdtomato标记和相应的荧光对比度。
70.若也将荧光成像用于采集测量图像，但荧光成像造成了较小的光暴露，那么这典型地意味着，这样获得的荧光测量图像具有较小的snr。在这种场景中，合成的荧光图像与测量图像相比具有更高的snr。因此在这种场景中预测算法有时也称为去噪算法(英文为denoising，即去噪)。
71.由上文可知，在观察时段期间既采集测量图像也采集参考图像。可以最后采集测量图像。观察时段在此限定了测量持续时间。观察时段尤其可以与样本的基本的生物学特性相协调。这意味着，在观察时段期间，可能在样本的细胞结构集合的细胞结构处发生一个或多个生物变化过程，在此，测量的任务是检验这些生物变化过程。就此而言因此在真正的测量期间采集参考图像(而不是例如在单独的校准测量中)。
72.然后可以在使用算法的情况下基于测量图像确定合成的荧光图像。与测量图像相比，这些合成的荧光图像具有(增强的)荧光对比度。在这种相互关系中，参考图像可以获得一个或多个接下来结合表1所说明的功能。
73.74.[0075][0076]
表1：各种可行方案，用于使用在观察时段期间所采集的参考图像。各种可行方案也可以相互组合。例如可以设想的是，根据示例i将参考图像的一部分用于训练经机器学习的预测算法(下文：训练-参考图像)，和根据示例ii将参考图像的另一部分用于验证(下文：验证-参考图像)。
[0077]
预测算法可以利用在测量图像的图像对比度与荧光图像的图像对比度之间的关联。
[0078]
这种技术也可以称为“虚拟染色”(英文为virtual staining，即虚拟染色)，因为测量图像的对比度通过借助预测算法的数字的后处理发生改变或增强，从而获得了合成的荧光图像。通过这种虚拟染色可以达到各种优势，如减少曝光时间、减少用于扫描样本的时间、提高snr、减少光毒性、减少实验耗费等。
[0079]
各种技术均基于这样的认识，即，用于对细胞结构进行虚拟染色的参考技术具有一定的缺点。这些参考技术例如在christiansen,eric m.等人的《in silico labeling:predicting fluorescent labels in unlabeled images(计算机上模拟的标记：预测未标记图像中的荧光标记)》(《cell(细胞)》，173.3(2018)：792-803页)中以及ounkomol,chawin等人的《label-free prediction of three-dimensional fluorescence images from transmitted-light microscopy(通过透射光显微镜对三维荧光图像的无标记预测)》(《nature methods(自然-方法)》，15.11(2018)：917-920页)中说明。在这些参考技术中，基于在单独的样本处的参考测量或者在真正的测量之前执行预测算法的参数化。然后将参数化的预测算法用于基于在真正的样本的测量的观察时段期间所采集的测量图像来确定合成的荧光图像。不过在观察时段期间，在参考技术中没有采集另外的参考图像。这些参考技术具有的缺点是，需要单独的参考测量。这可能是耗时的。用户必须实现单独的工作流程以执行参考测量，这需要时间、用户技能和附加的实现耗费。这些参考技术还具有的缺点是，在参考测量和样本的真正的测量之间经常可能出现差异。在使用不同的样本以便一方面参数化预测算法以及另一方面执行测量时，可能会发生样本的参数化没有与测量相匹配的情况。这可能例如由于样本的不同的制备而出现这样的情况。也可能由于用于在参考测量中和真正的测量中采集测量图像的不同的成像模态而出现这种情况。若例如将监督学习的技术用于经机器学习的预测算法，那么这意味着，必须采集和注释大量训练数据。这可能特别昂贵。
[0080]
此外，在参考技术中还可能出现的缺点是，无法或者仅能有限地验证预测算法的预测质量，这就是说验证合成的荧光图像的质量。这意味着，用户无法检查合成的参考图像的信息内容。这可以例如导致，基于合成的荧光图像确定错误的诊断或错误的衍生出的测量参量。这也可能对相应的方法的安全性带来影响，例如当随后的数据评估因此受到影响时。
dimensional fluorescence images from transmitted-light microscopy(通过透射光显微镜对三维荧光图像的无标记预测)》(《nature methods(自然-方法)》，15.11(2018)：917-920页)付诸实践。
[0091]
另一种架构可以按照具有卷积层和越过一定的层的跳跃连接的u-net实现。参看例如ronneberger,o.,fischer,p.,&brox,t(2015年10月)的《u-net:convolutional networks for biomedical image segmentation(u-net：用于生物医学图像分割的卷积网络)》(国际医学图像计算和计算机辅助干预会议，234-241页，斯普林格出版社，卡姆市)；不过此时使用灰度值回归作为输出，而不是分类层(以便获得图到图的预测)。u-net也可以用附加的对抗性损失贡献训练。这也称为“条件生存对抗网络”。
[0092]
另一个示例例如是自动编码器网络，例如变分自动编码网络。
[0093]
原则上可能可取的是，为训练6001和验证6002使用不同的参考图像，以便独立于彼此地执行这些过程。训练-参考图像251和验证-参考图像261因此可以在观察时段期间在不同的时间点上和/或在样本的不同的区域处采集。结合图3相应地详细讨论一些方面。
[0094]
图3是示例性的方法的流程图。当处理器从存储器加载控制指令并实施控制指令时，所述方法例如可以由一种带有处理器和存储器的装置实施。按照图3，所述方法例如可以由图1的装置101实施，当处理器102从存储器103加载程序代码时则特别是由这个处理器实施。可选的方块在图3中用虚线示出。
[0095]
在方框3005中，在观察时段期间在相应的测量中采集多个测量图像(例如时间序列)。测量图像描绘了例如包括细胞结构的集合的生物样本。细胞结构在此可能经受生物变化过程。这种生物变化过程可以分布在所述集合和观察时段上出现。测量的目的因此可以是描绘或测量这种生物变化过程。更普遍而言，测量的目的可以是表征生物样本。
[0096]
因为分布在时间和位置空间中地出现了生物变化过程，这就是说，在不同的位置处在不同的时间点上观察，所以可能有帮助的是，用高重复率采集测量图像。这意味着，每单位时间采集许多测量图像。备选或附加地也可以用高位置空间密度采集测量图像，这就是说，可以例如(重复地)采集测量图像的z-stack。由此可以达到的是，可以描绘生物变化过程。当每一次单独出现生物变化过程的持续时间远小于集合中生物变化过程出现的时间离差时，这可能特别有帮助。
[0097]
为了采集测量图像3005，所述装置可以恰当地驱控相应的成像装置。处理器例如可以将控制命令发送给成像装置。控制命令可以指示用于触发曝光的时间点和/或一个或多个照明参数的值。
[0098]
在方框3010中采集参考图像。参考图像在同一观察时段期间采集，在该观察时段期间采集测量图像并且样本的集合的细胞结构在该观察时段期间例如经受了生物变化过程。
[0099]
所述过程在时间和位置中的典型的独立的分布尤其允许了也分散地沿着时间和/或空间维度地记录参考图像。可以设想将参考图像记录为不同区域的许多个单独图像，其中，样本在这些区域中实质上是相似的。参考图像备选或附加地可以时间分散地进行采集。
[0100]
借助显微荧光成像作为成像模态来采集参考图像。这意味着，为了采集参考图像，借助合适的光激发细胞结构，这就是说与荧光团的电子的激发状态相协调。光的波长与荧光团的相应的激发能量相协调。在观察时段之前因此可以用标记对样本染色。但也可以(例
如由在样本中天然存在的血红蛋白)激发自发荧光。
[0101]
因此在一些示例中也可以使用自发荧光成像模态来采集参考图像。在此在不用标记对生物样本染色的情况下就可以发出荧光。这可以避免样本的由标记或标记物本身的时间变化引起的生理学变化。然而受记录所限，自发荧光图像的采集会侵入样本，因而通过一种来自侵入性较小的成像模态的虚拟的自发荧光信号进行复制明显更为保护样本。
[0102]
原则上在方框3005中也可以使用不同于荧光成像的成像模态来采集测量图像。但也可以使用荧光成像来采集测量图像，其中，可以为一个或多个曝光参数使用其它值，因而每个测量图像的光照小于每个参考图像的光照。然后可以在方块3015中基于参考图像的至少一部分、这就是说训练-参考图像来训练预测算法。这意味着，恰当地设置预测算法的特定的参数值。训练-参考图像在此被用作基本真实情况。这意味着，将在相应的训练状态下的预测算法的输出与相应的训练-参考图像进行比较，其中，可以基于相关的测量图像确定预测算法的输出。
[0103]
机器学习的技术可以用于训练预测算法。例如可以训练knn。这意味着，例如可以使用梯度下降方法，以便以基于相应的训练-参考图像和相关的测量图像之间的比较(例如像点比较)的损失函数的一个值为出发点来调整预测算法的参数值。可以使用不同的损失函数，例如在像素值之间的偏差平方的和。可以使用所谓的反向调整(英文为backpropagation，即反向传播)来调整参数值。
[0104]
训练-参考图像用作特定的测量图形的基本真实情况。为了确定在训练-参考图像和测量图像之间的用于基于相应的比较求取损失函数的值的配对，可以考虑到时间中和/或位置空间中训练-参考图像和测量图像之间的间距。当训练-参考图像和测量图像描绘样本的同一区域并且以很短的时间间隔采集时，可以例如将训练-参考图像用作测量图像的基本真实情况。短的时间间隔可以指的是这样一些时间间隔，它们这样短，以至于无法出现或可能仅有足够小的概率出现生物变化过程。例如可能可取的是，在采集测量图像和采集一对601、602的参考图像251、261之间的时间间隔不大于1秒，可选不大于500ms，进一步可选不大于10ms。这基于这样的认识，即，这种时间刻度足够短，以至于在测量图像和相关的参考图像之间不存在荧光对比度的显著变化。
[0105]
有时可能的是，参考图像和测量图像可以固有地实质上以相同的姿势描绘样本的同一区域。当使用相同的成像光学器件时，可能就是这种情况，当无论是为了采集参考图像还是为了采集测量图像均使用成像装置111的特定的物镜时，例如就是图1的示例中这样的情况。当使用不同的成像光学器件时，可能需要将参考图像配对分别彼此配准，这就是说，分配图像中的对应的样本位置。
[0106]
但在此不是在所有的示例中都需要固有地描绘样本的同一区域或者执行在测量图像和训练-参考图像之间的配准以辨别对应的样本位置。在一些示例中可以与所描绘的具体的显微结构无关地通过恰当地选择在训练中所考虑到的相应的损失函数将在基于测量图像重建的合成的荧光图像中的和训练-参考图像中的对比度的基本的形态学特性相互比较。在损失函数中尤其可能是这样的情况，所述损失函数在没有合成的荧光图像和训练-参考图像之间的基于像素的比较的情况下使用损失贡献。
[0107]
可以例如通过使用循环生成对抗网络将未配准的图像相互比较。在那里在训练时考虑到了损失函数中的非像素相关的对抗损失贡献或循环损失。
fluorescence microscopy(内容感知的图像复原：突破荧光显微镜的极限)》(《nature methods(自然-方法)》，15.12(2018):1090-1097页)或prakash,mangal等人的《removing pixel noises and spatial artifacts with generative diversity denoising methods(用生成多样性去噪方法去除像素噪声和空间伪影)》(arxiv preprint arxiv：2104.01374(2021))。尤其可以将样本或样本的至少一些部分虚拟染色，这就是说，结果对应伴随单独的参考测量的用于虚拟染色的参考技术的结果。尽管如此，单独的参考测量仍是不必要的，因为在真实的观察时段期间采集参考图像。
[0115]
借助所说明的技术可以以高图像分辨率使样本成像，不过此时使用侵入性较小的成像模态来采集测量图像。此外，可以以高时间分辨率使样本成像，因为每个测量图像的光暴露在侵入性较小的成像模态中都较少。
[0116]
也可以验证合成的荧光图像的预测的可靠性。尤其可以使用独立的参考图像来评估预测的质量。
[0117]
接着给出了图3的方法的应用的具体示例。所述示例涉及到在观察活性细胞培养物时的延时实验。在此应当从一系列合成的荧光图像中创建“视频”，所述合成的荧光图像在很长的观察时段内、例如几个小时或甚至几天内被采集。细胞培养物经受多个生物变化过程，例如细胞周期的各个步骤，如特别是有丝分裂。在此尤其可以观察细胞器和细胞核以及dna。相应的特异性标记是已知的。但细胞周期的各个步骤的持续时间或细胞内其它过程相比观察时段特别短。因此有丝分裂过程典型地只持续几分钟并且囊泡运动可能需要几分钟的时间分辨率。因为在一些场景中细胞培养物的不同的细胞均匀分布地处在细胞周期的不同的步骤中，所以有丝分裂的时间点可以在细胞集合上再次均匀分布地出现。因此原则上可取的是，用高重复率采集测量图像，这就是说，一系列测量图像应当具有在相邻的测量图像之间的间距，所述间距处于和细胞周期的各个步骤的持续时间相同的量级。
[0118]
经典的基于硬件的荧光成像在此导致了非常大的光暴露，这可能导致细胞培养物受损，因而使细胞周期的各个有待观察的步骤不再没有受到测量的影响地发生。光毒性和光漂白不再可以忽略不计。因此在荧光成像的经典的基于硬件的技术中可能需要在相反的目标参量之间作出权衡：荧光图像的高信噪比；长观察时段；低光毒性和光漂白。
[0119]
可以补充性地说明的是，特定的生物变化过程不必在对集合的各个细胞的观察时段期间时间上均匀分布地发生。有时可以通过改变外部的情况，如添加一种化学物质或改变过程条件来有针对性地触发特定的生物变化过程，例如通过使用所谓的细胞同步。换句话说，特定的生物变化过程可能在观察时段内的特定的较短的时间间隔期间频繁发生。例如可以这样来制备细胞培养物，使得样本的细胞培养物的大部分细胞在短暂的时间间隔后从实验开始起，例如在1h后，进入有丝分裂阶段。在之前的时间里则仅很少发生或没有发生令人感兴趣的变化过程。但在这些场景中也可能难以借助经典的基于硬件的荧光成像达到合成的荧光图像的足够高的质量。
[0120]
因此可以借助之前所说明的技术通过使用合适的成像模态来采集测量图像而达到较少的光暴露并且因此减少光毒性和光漂白。由此又实现了较高的时间分辨率。总体上可以借助荧光成像采集比测量图像少得多的参考图像(训练-参考图像和/或验证-参考图像)。参考图像的数量在观察时段内例如可能不大于测量图像在同一观察时段内的数量的50％、可选不大于5％、进一步可选不大于1％。这意味着，参考图像的时间密度可以小于测
量图像的时间密度。这样的话既可以目标明确地基于参考图像训练预测算法和/或验证借助预测算法确定的合成的荧光图像，也能达到针对合成的荧光图像的高时间分辨率。
[0121]
作为这种在一定时间内通过参考图像的稀疏采样的备选方案或除了这种稀疏采样外，也可以在位置空间中通过参考图像并且参考测量图像对样本进行稀疏采样。
[0122]
在此，作为通则，存在各种可能性来配置参考图像的采集。可以在不同的时间位置处和/或样本的不同区域中采集参考图像。这些不同的实现方案可以在样本的光照、工作流程的效率、结果的有效性和执行测量所需的时间方面有所不同。接下来结合另外的图8至11详细讨论一些不同的示例。图4至11的各种变型方案也可以相互组合以形成新的变型方案。
[0123]
图4示出了关于采集测量图像201和采集用于训练的训练-参考图像251以及采集用于验证预测算法的验证-参考图像261的一些方面。图4尤其示出了关于观察时段301的相应的时间安排的一些方面。
[0124]
图4表明，在观察时段301期间以大致相同的采样率采集一系列200测量图像201。同时仅在校准阶段311期间采集训练-参考图像251，校准阶段处在观察时段301开始时。在校准阶段311期间也采集测量图像201，因此可以形成了相应的测量图像201和训练-参考图像251的配对601，其可以如之前结合图3的方法的方框3015所说明那样用于训练预测算法。配对601的测量图像201和训练-参考图像251被相邻地在一定时间内采集。
[0125]
在训练预测算法205之后，就可以基于测量图像201确定合成的荧光图像202。
[0126]
这些合成的荧光图像202然后可以基于验证-参考图像261进行验证。验证-参考图像261以较小的采样率在整个观察时段301期间进行采集。这就是说，光暴露受到限制。
[0127]
借助验证-参考图像261可以检查合成的荧光图像的可靠性。例如可以确定在相应的验证-参考图像261和测量图像201的最近邻(时段)之间的比较。这在之前在图3中结合方框3025说明。
[0128]
在图4的示例中，原则上可以设想的是，还在观察时段301期间在结束校准阶段311后进行对预测算法的训练。训练例如可以在一个时间点651上结束。然后可以紧接着时间点651地在观察时段期间在训练后执行对测量图像201的实时后处理并且将合成的荧光图像202通过相应的屏幕输出给用户。这意味着，一般而言，在使用之后训练的预测算法205的情况下可以与采集测量图像201同步地或时间耦合地确定合成的荧光图像。
[0129]
在图4的示例中可以看到，参考图像261、262的时间密度在观察时段301上测量时小于测量图像201的时间密度。
[0130]
图5示出了有关采集测量图像201和采集训练-参考图像251以及验证-参考图像261的一些方面。图5尤其示出了有关观察时段301中的相应的时间安排的一些方面。
[0131]
图5的示例基本上对应图4的示例。但在图5的示例中，校准阶段311不是布置在观察时段301开始时(参看图4)，而是布置在结束时。这样的话在相应的测量结束之后，当预测算法被训练时，就基于这个预测算法205对测量图像201进行数字的后处理。
[0132]
又可以根据图4的示例基于验证-参考图像261进行对预测算法205的验证，验证-参考图像在整个观察时段301期间均以很小的采样率采集。
[0133]
校准阶段311设置在观察时段301结束时，促使在大部分观察时段301期间光暴露例如与图4相比都较少，在图4中在观察时段301开始时就发生了用于采集训练-参考图像251的光暴露。
[0134]
图6示出了关于采集测量图像201和采集训练-参考图像251以及验证-参考图像261的一些方面。图6尤其示出了有关在观察时段301中的相应的时间安排的一些方面。
[0135]
在图6的示例中又使用校准阶段311，在该校准阶段期间采集训练-参考图像601。在图6的示例中，校准阶段311参照生物变化过程时段的预期时间点进行设置。
[0136]
例如可以如上文已经说明的那样取代在整个观察时段301期间出现生物变化过程的统计学均匀分布地存在相应的局部分布661。出现生物变化过程的频率的这种分布661定义了预期时间点。因此，一般而言，可以基于前置知识确定预期时间点。在示例中可以根据测量协议通过添加化学物质来改变过程条件以限定预期时间点。
[0137]
因为校准阶段311和采集训练-参考图像251参照预期时间点布置，所以可以用特别有说服力的信息来训练预测算法205。
[0138]
在图4、图5和图6的示例中，分别参照训练-参考图像251说明校准阶段311。作为这个校准阶段311的备选或除了这个校准阶段311之外，也可以将校准阶段用于采集训练-参考图像251，所述校准阶段造成了在关于采集训练-参考图像251的时段中的选通(gating)。例如可以设想的是，在设置在观察时段301开始时的校准阶段311中采集训练-参考图像251(参看图4)，在设置在观察时段301结束时的相应的校准阶段中采集验证-参考图像251。
[0139]
结合图4、图5和图6的示例说明了校准阶段311中采集训练-参考图像251的集中度。一般而言，这是可选的。在图7中示出了另一个示例。
[0140]
图7示出了关于采集测量图像201和采集训练-参考图像251以及采集验证-参考图像261的一些方面。图7尤其示出了关于在观察时段301中的相应的时间安排的一些方面。
[0141]
在图7所示的示例中，时间交错地更确切地说，大致在整个观察时段301上均匀分布地采集训练-参考图像251和测量图像201。
[0142]
例如可以使用固定的重复率(例如针对每第n个测量图像201的训练-参考图像251，其中，例如适用n≥10)。同样的说明原则上也适用于验证-参考图像261。
[0143]
通过训练-参考图像251在整个测量时段301上的这种分布，可以达到对相应的实验的不同的阶段的预测算法205的目标明确的训练，当相应的生物变化过程不是均匀分布在观察时段301上发生时，这尤为有帮助。
[0144]
上文说明了一些如何来目标明确地在一定时间内采集参考图像251、261的技术。作为对在一定时间内采集参考图像251、261的安排的备选或者除了这种安排外，也可以通过一个或多个事件来触发训练-参考图像251的采集和/或验证-参考图像的采集。相应的示例在图8中示出，在此针对验证-参考图像261(其中，相应的示例也可以用于训练-参考图像251)。
[0145]
图8示出了关于采集测量图像201和采集训练-参考图像251以及验证-参考图像261的一些方面。
[0146]
在图8的示例中，作为对触发事件的响应而采集验证-参考图像。但也可以备选或附加地响应于触发事件681地采集训练-参考图像251。
[0147]
在此原则上可以设想不同的触发事件。例如可以通过用户命令实现触发事件。可以备选或附加地监控，是否识别到了测量图像的语义内容中的变化。也可以备选或附加地使用对象识别算法。接下来对此进行详细阐释。
[0148]
例如可以将对象识别算法用于识别特定的生物变化过程的出现。作为输入，对象
识别算法例如可以获得测量图像201或合成的荧光图像202。若然后通过对象识别算法识别到了特定数量的生物变化过程，那么可能存在触发事件并且可以采集相应的验证-参考图像261。也可以监控其它的语义内容，例如细胞分裂、细胞元素的扩大或缩小等。这样可以保证，即使针对较为罕见地出现的生物变化过程也分别存在验证-参考图像261。
[0149]
除了特定于事件的对象识别算法外，也可以执行较为简单的实现方案，所述实现方案例如检查，在测量图像201中的图像对比度是否突然大幅改变。
[0150]
也可能的是，通过用户接口接收涉及到触发标准的相应的控制指令。
[0151]
图9示出了关于采集测量图像201和采集训练-参考图像251以及验证-参考图像261的一些方面。
[0152]
图9的示例基本上对应图4的示例。但在图9的示例中，在观察时段301结束时进行另一个校准阶段311。在那里采集另外的训练-参考图像251。例如可以根据基于在两个校准阶段311之间检测的验证-参考图像261的验证的结果选择性地执行另一个校准阶段311。若例如基于以验证-参考图像261为基础的验证确定了合成的荧光图像202的糟糕的质量，那么基于在后来的校准阶段311期间在观察时段301结束时采集的另外的训练参考图像251，可以在观察时段301结束时发生对预测算法205的新的(重新)训练。一般而言，可以根据验证的结果在(重新)训练的范畴内调整训练-参考图像251的采集以及还调整预测算法205的参数值。这样就可以不仅进行单纯的验证，而且也导入了合适的对策。合成的荧光图像然后可以基于测量图像201再一次在结束重新训练之后被重新确定。需要时可以采集另外的训练数据。
[0153]
这些技术基于这样的认识，即，相应的样本的细胞培养物可以经常在观察时段301期间发生改变，例如褪色或变色。样本的这种变化可能经常无法从一开始就预见到。尽管如此，曾经训练过的预测算法205仍失去了准确性。与对应的校准阶段311的间隔越长，准确度尤其就进一步降低。因此可能有帮助的是，选择性地在观察时段301结束时还再一次采集另外的训练-参考图像251。
[0154]
借助选择性的另外的校准阶段311也可以将样本的光暴露设定得尽可能少，但也设定得如所需那么多。
[0155]
图10示出了关于采集测量图像201和采集训练-参考图像251以及验证-参考图像261的一些方面。在图10的示例中，将校准阶段311用于采集训练-参考图像251并且也将校准阶段312用于采集验证-参考图像261。在图10的示例中，校准阶段311、312两者皆设置在观察时段301结束时。但也可以设想其它的解决方案，在那里校准阶段311例如设置在观察时段301开始时或正好相反。也可以设想与按图6的示例的组合。可以设想时间安排的不同的组合。
[0156]
在图10中也示出了回环3099(参看图3)。可选可能的是，根据验证的结果采集并且重新验证另外的训练-参考图像251，直至验证成功。采集训练-参考图像251因此可以取决于验证的结果。
[0157]
图10的示例具有样本的直至校准阶段311、312开始的特别少的光暴露，因而样本质量很少受测量的影响。
[0158]
之前参考图4至图10的场景示出了一些示例，在这些示例中采集参考图像251、261的时间安排发生了变化。作为采集参考图像251、261的时间安排的变化备选或除了该了所
述变化外，也存在涉及到采集参考图像251、261的位置空间安排的变化带宽。相应的技术结合图11示出。
[0159]
图11示出了关于采集测量图像201和采集训练-参考图像251以及关于采集验证-参考图像261的一些方面。图11尤其也示出了关于在位置空间中的布置(垂直轴)以及在时间中的布置(水平轴)的一些方面。在图11中表明，可以逐层地采集测量图像201(有时也称为z-stack)。又可能的是，基于在位置空间和时间中的尽可能小的间距形成了配对601、602，如图11所示那样。
[0160]
除了这种基于2d测量图像的z-stack的3d成像外，也可以设想用相应的成像方法的真实3d成像。示例就是光学相干断层成像或全息断层成像。在此获得了3d图像数据。与另外的特定的成像，如荧光成像结合，又可以推导出测量图像201和参考图像251、261。例如可以相应地确定3d图像数据的3d体积中的切割面。在此可以例如需要在测量图像201和参考图像251、261之间的配准，以便能验证6002它们的训练关系。
[0161]
按图11的示例也可以普遍化地使用于其它场景。例如可以设想的是，为不同的视野横向记录多个2d测量图像。然后可以设想的是，分别仅为多个横向错开的视野中的一个视野采集参考图像251、261。同样的说明也适用于多孔板(mwp)。在那里例如可以设想，仅为mwp的一个样本区域采集参考图像，为mwp的多个样本区域采集测量图像。尽管如此，仍可以为mwp的所有的样本区域确定合成的荧光图像。
[0162]
概括而言，之前已经说明了一些技术，这些技术使得能以时间上和/或位置空间上的高密度来采集测量图像；另一方面，则以时间上和/或位置空间上的较小的密度来采集参考图像，所述参考图像可以用于验证基于测量图像进行数字后处理的合成的图像和/或用于训练相应的预测算法。因为采集参考图像典型地较为具有侵入性，这就是说可能引起样本受损，所以可以通过这些技术实现更为温和的测量。但同时也可以提高或校验预测算法的可靠性和质量。
[0163]
概括而言，之前说明了一些通过对测量图像进行数字后处理而确定合成的荧光图像的技术。在此，用标记对样本或样本的一部分染色，其中，应当获得这个标记的虚拟的荧光替代物。然后沿着一个或多个维度(时间、z位置和/或横向偏移)采集这个样本的一系列测量图像。测量图像在此用侵入性较小的成像模态，这就是说，用相比提供了期望的荧光对比度的荧光成像造成了更小的光毒性和/或光漂白的成像模态采集。但也可以用正好这种荧光成像来采集参考图像。
[0164]
然后可以形成在时间和位置空间中具有尽可能小的间距的测量图像和参考图像的配对。必要时，当例如在位置空间中存在偏移时，可以进行配准。这些配对然后可以用于训练和/或验证确定了合成的荧光图像的预测算法。这意味着，预测算法利用在荧光图像和测量图像之间的关联来确定合成的荧光图像。预测算法然后可以用于为所有采集到的测量图像分别确定相关的合成的荧光图像。
[0165]
当然，本发明的之前所说明的实施方式的和方面的特征可以相互组合。所述特征尤其可以不仅能以所说明的组合使用，而且也能以其它组合或单独使用，而不会脱离本发明的范围。
[0166]
例如在之前说明了一些技术，在这些技术中，对2d的测量图像进行数字的后处理以获得合成的荧光图像。为此使用基于2d测量图像运算的预测算法。作为通则，也可以设想
的是，使用基于3d测量图像运算的预测算法。
[0167]
此外，还结合用于模拟荧光对比度的数字的对比度后处理共同说明了一些技术。相应的技术也可以用于模拟其它成像模态或应用场景。
[0168]
此外，之前还说明的一些技术，在所述技术中确定了合成的荧光图像，合成的荧光图像模拟荧光对比度，荧光对比度通过用于对样本染色的标记产生。但相应地也可以设想的是，在没有标记的情况下模拟自发荧光对比度。