用于处理显微镜图像的方法、计算机程序和显微镜系统与流程

1.本发明涉及用于处理显微镜图像的方法，计算机程序和显微镜系统，特别是使用光学显微镜记录的对比图像。


背景技术：

2.相物体在入射光方面没有表现出明显的吸收差异，但是会影响穿过的光的相位。已知各种对比度方法用于将由此类样本产生的相位差转换为所记录的显微镜图像中的亮度差。已建立的过程是记录微分干涉对比图像(dic图像)，在其中产生立体效果，即二维图像中的物体看起来是具有深度或高度。这有助于用户对显微镜图像进行视觉评估或评估，这是dic技术得到广泛使用的原因之一。然而，dic显微镜的操作是苛刻的，所需的分量相对昂贵，并且与其他测量技术(例如荧光图像记录)的组合可能仅在有限的程度上是可行的。
3.差分相位对比(dpc)与dic技术相比存在优势，如tian等人在《光学快报》，2015年，第1期，卷23，第9号中所描述的“定量差相对比”。可以通过处理两个具有向的dpc图像来重建相位图像。为了能够计算dpc图像所需要的就是两个相对的半瞳状照明记录，通常，不需要进一步设置其他分量。但是，dpc方法的缺点在于，在物镜光圈大于照明观察光圈的情况下，由于聚光镜(在较大工作距离处，聚光镜的典型na约为0.55)，dpc对比度无法测量样本的小相位梯度。因此产生的显微镜图像失去立体性，这使得在例如单元的情况下，由用户进行的光学评估更加困难。然而，为了能够向用户呈现通常的图像，例如，如他们从dic方法中所知道的，本发明应该能够从测量的图像中产生这种立体图像效果。为了更好的理解，参考图1，图1示出了类似于dpc的图像和类似于dic的图像，其引起了比类似于dpc的图像更好的空间效果。
4.原则上，可以想到对仪器进行更改；举例来说，通过将物镜光圈限制为照明光圈，可以重新建立一种也可以测量小的相位梯度的场景。但是，这限制了分辨率。而且，由于物镜光圈的限制，具有相同光学配置的荧光记录的检测效率降低。
5.因此，本公开集中于用于改善记录的显微镜图像的质量的计算方法。在用于处理显微镜图像的通用方法中，将至少一个显微镜图像作为输入图像输入到图像处理算法中。通过图像处理算法根据输入图像创建输出图像。因此，通用显微镜系统包括用于记录显微镜图像的显微镜和设置为执行图像处理算法的计算设备，其中图像处理算法根据显微镜图像创建一个输出图像作为输入图像。
6.举例来说，这样的方法描述于：“透射光显微镜对三维荧光图像的无标签预测”，chawin ounkomol等，biorxiv 289504；doi：https：//doi.org/10.1101/289504。在此，利用基于cnn(卷积神经网络)的机器学习算法，例如从作为输入图像的记录的透射光图像中估计荧光图像作为输出图像。此外，已知类似的方法来自于：“深度学习在荧光显微镜中实现超分辨率”，hongda wang等，biorxiv 309641；doi：https：//doi.org/10.1101/309641。在此，基于生成对抗网络(gan)训练机器学习算法，以便随后能够计算输出图像，在这种情况下为超分辨率荧光图像。在这种情况下，将较低分辨率的图像用作输入图像，特别是宽视场
荧光图像或衍射受限的共焦图像。于是，借助于关于在超分辨率参考图像中的图像结构看起来如何的教导关系，在前述机器学习算法中定性地产生了更高质量的图像。因此，机器学习算法经过训练，可以用输入图像中未包含的细节来补充低分辨率图像。在此过程中，无法排除图像结构在输出图像中“半透明”或在其中被发明的情况。
7.然而，通常，需要通过图像处理算法来评估记录的显微镜图像，而不会有更高的伪造样本结构图像表现的风险。图1关联一个示例性的应用涉及以上所提到的dpc图像。


技术实现要素：

8.本发明的目的可以认为是提供一种用于处理显微镜图像的方法，计算机程序和显微镜系统，该方法在没有伪造所示图像结构的风险的情况下，改善图像表现。
9.该目的通过方法，计算机程序和显微镜系统实现。
10.在上述类型的方法和显微镜系统中，根据本发明，输出图像的创建包括，将用于表示输入图像的立体(三维)图像结构的低频分量添加到输入图像，其中低频分量至少取决于这些图像结构的高频分量，并且其中高频分量由比低频分量更高的空间频率来定义。
11.本发明所述的计算机程序包括命令，这些命令在由计算机执行时，提示要执行本发明所述的方法。
12.较高频率的图像分量实质上承载显微镜图像中物体的边缘和位置信息。因此，没有较高频图像分量或几乎没有较高频图像分量被添加到输入图像，以便无法伪造该信息。确切地说，正是低频分量有助于产生立体的印象，并且由于某些记录技术(例如，一开始提到的差分相位对比(dpc))而可能在显微镜图像中被抑制或完全缺失。因此，由于所添加的图像分量实质上被限制为低空间频率，因此可以在不错误地添加新物体或新物体边缘的情况下获得改善的空间印象。
13.可选设计
14.根据本发明实施方式的有利变型是从属权利要求的主题，并且将在以下描述中进行讨论。
15.空间频率上限
16.可以将图像处理算法设计为根据图像内容或输入图像的频率分布来定义空间频率上限。因此，该上限不是严格的而是可变的频率极限，其取决于各个输入图像。现在，图像处理算法仅将低于空间频率上限的低频分量添加到输入图像。这确保了所添加的低频分量的频率间隔适应于各个输入图像。空间频率上限可以由精确的频率值或在整个频率范围内的下降来表示。该下降可以说明，随着频率的增加，所添加的低频分量的振幅会变小。
17.产生输入图像中不存在的低频信息
18.为了清楚起见，参考以下事实：与图像处理中常规的
‑
已知低通滤波器相比，生成新的低频信息，并且不仅是在显微镜图像中已经存在的低频分量被放大的情况。因此，仅由低通滤波器补充的低频分量是已经存在于输入图像中的低频分量的放大，其是独立于高频分量而计算的。即使已经存在的低频分量的增益因数不是由常数因数描述，而是由例如低通滤波器中的单调频率相关函数描述，这也不会实现本发明表示图像结构立体性的目的。
19.与此相反，可以这样设计本发明变型的图像处理算法，使得其将低频分量添加到输入图像，其中所添加的低频分量已经不表示存在于输入图像中低频分量的放大或倍增。
由于光学记录技术经常缺失低空间频率，因此放大/倍增也不是有效的。因此，新的所添加的低频分量不是，或者不仅是根据输入图像的可用低频分量来计算的，而是基于高频分量所表示的图像结构来计算的。
20.上下文信息
21.此外，还可以基于与显微镜图像有关的上下文信息来定义要添加的低频分量。举例来说，上下文信息可以涉及在记录各个显微镜图像时使用的显微镜参数。显微镜参数可以提供有关显微镜图像缺少哪个频率范围的信息，从而根据缺少的频率范围定义低频分量或空间频率上限。举例来说，显微镜参数可以是用来记录显微镜图像的光圈(照明光圈或物镜光圈)。
22.对于具有机器学习算法的以下变体，上下文信息也可以与训练数据一起存储，并且可以在训练机器学习算法时考虑。如果机器学习算法已经学习了具有用于训练数据的上下文信息的图像到图像的映射，则图像处理算法的输入数据除了实际的显微镜图像外，还可选地还包括上下文信息。
23.作为显微镜参数的补充或替代，上下文信息也可以与图像内容有关。举例来说，上下文信息可以表示成像的样本和/或样本容器的类型和/或相对位置。上下文信息可以借助于上下文信息机器学习算法从输入图像中来指定或初步确定。举例来说，可以将分割掩码作为上下文信息输出，所述分割掩码指定输入图像中多个样本(例如，生物单元)或多个样本分量的相对位置和大小。这样的上下文信息可能是有帮助的，使得可以添加特别适合于产生立体(即，空间/三维)印象的那些低频分量。
24.使用机器学习算法进行图像处理
25.可选地，图像处理算法可以包括机器学习算法，该机器学习算法被训练为将低频分量添加到输入图像。
26.特别地，可以通过监督学习来训练机器学习算法，其中利用显微镜图像作为输入图像，并将目标图像在空间上配准至显微镜图像。本地配准应理解为是指在显微镜图像中以及在与其空间对应的目标图像中记录了相同的样本。特别地，目标图像可以是微分干涉对比图像(dic图像)，或者更一般地表示，取决于dic数据的图像，例如，进一步处理的dic原始图像或由dic图像和输入图像制成的差异图像。训练数据的输入图像或显微镜图像可以是对比图像，尤其是，其中相位信息被转换为亮度信息。这样，无需特定的dic硬件即可计算出类似dic的图像。
27.机器学习算法可以包括神经网络，特别是具有编码器
‑
解码器结构的神经网络。解码器确定为输入图像提供的，特别是添加到输入图像的，低频分量。
28.与机器学习算法用于处理显微镜图像的已知用途相比，本发明的低频分量的确定特别得，可以在训练机器学习算法时借助于特定的损失函数来实现。损失函数也可以称为成本函数或报酬函数。在训练机器学习算法期间，借助参数(权重)将输入图像映射到输出图像，在学习过程中应确定其精确值。可以为输入图像存储目标/参考图像。损失函数现在指定使用当前(尚未完全训练)的参数根据输入图像计算出的输出图像与关联的指定目标/参考图像之间的偏差。因此，当前输出图像和指定目标图像之间的偏差越大，损失函数可以奖励或表示更多的惩罚积分。取决于损失函数输出的惩罚积分，优化函数随后可以确定用于改变的参数/权重的梯度，通过该梯度可以从输入图像中依次计算出输出图像。反复地重
复此过程。与传统的损失函数相比，本发明可以包括损失函数，该损失函数不仅考虑从训练数据计算出的输出图像与相关目标图像之间的偏差。而是，损失函数附加地惩罚或防止了随着空间频率的增加或高于空间频率极限而增加空间频率分量。如果输出图像与关联的指定目标图像具有非常好的对应关系，但是，该输出图像在高频率的图像分量方面与关联的输入图像有所不同，则损失函数将输出较高的惩罚值。由于这种特定的损失函数，可以对机器学习算法进行训练，使其从输入图像计算出输出图像，与关联的指定目标图像之间的差异被最小化，而无需补充高频率的图像分量或只能在较小程度上补充具有高频率的图像分量。
29.举例来说，损耗函数的频率相关表达式可以确定如下：首先，从输入图像的fft(傅立叶变换)和输出图像的fft计算差异图像。该差异图像指定了各种频率的振幅，这些振幅被添加到输入图像中以产生输出图像。像素在差异图像中的相对位置与其空间频率相对应，像素值指定该空间频率的振幅。水平轴和垂直轴(通常都穿过差异图像的中心)分别在水平方向和垂直方向上指定零频率。像素距图像中心越远，其频率越高。损失函数的频率相关表达式现在可以取决于，例如，每个像素距图像中心的距离，这些距离值中的每个都由像素值(即亮度值)加权。因此，以任何其他方式相加或组合(汇总)所有像素距图像中心加权的距离。随着增加到输入图像的图像分量的频率越高，所述表达式的量级变得越来越大。在该实施例的改进中，也可以使用到最接近的水平轴或垂直轴的距离(其垂直或水平频率为零)来代替像素距图像中心的距离。在本发明的意义内，在频率空间中的特定的距离可以被认为是要所添加的低频分量的频率。也可以使用任何其他表征频率的距离量度。
30.可选地，可以根据输入图像的图像内容，在损失函数中定义前述空间频率极限或前述增加的空间频率分量的空间频率依赖性，因此，对于所有输入图像而言，损失函数输出惩罚积分的空间频率极限并不相同；相反，它是根据(或基于)各个输入图像的图像内容确定的。与各个输入图像有关的上下文信息也可以包括在损失函数的参数级别中(例如，用于选择空间频率极限)。
31.除了惩罚增加高频率图像分量的特定损失函数，还可以在训练过程中使用特定训练数据：例如，可以使用准备好的目标图像，在这些图像中，通过高于指定的图像频率极限，可以确保它们与关联的输入图像没有差异。
32.带有验证算法的图像处理
33.验证算法可以在机器学习算法的变体中以及在没有机器学习分量的图像处理算法的常规设计的情况下进行补充。图像处理算法在第一工作步骤中生成输出图像，并且在第二工作步骤中将输出图像提供给验证算法并由其进行评估。
34.验证算法旨在评估与图像处理伪像有关的输出图像，这可能是在所添加的低频分量的范围内出现的。
35.根据评估结果，可以可选地重复第一工作步骤以产生新的输出图像，其中规定将空间频率极限或空间频率上限减小到较低的频率值。还可以预先学习机器学习算法的神经网络的多个权重集合，其中已经通过不同的损失函数确定了这些不同的权重集合。不同的损失函数在较高频率分量(尤其是随着频率增加或高于空间频率极限)的惩罚程度上可能有所不同。如果现在验证算法已经检测到图像处理伪像，则可以在再次执行图像处理时，对较高的频率分量使用以更强的惩罚确定的一组权重。这降低了图像处理伪像再次出现的可
能性。
36.如果验证算法随后即使在新的输出图像中也确定了图像处理伪像，则可以再次执行上述步骤。仅在评估结果指定没有图像处理伪像的情况下，输出图像才被使用，存储或输出给用户以进行进一步处理。
37.验证算法也可以设计为相对于相关输入图像的频域对输出图像的出现频域进行分析和评估。在某些变型中，验证算法将输出图像与输入图像进行比较，并评估所添加的低频分量是否遵守指定的频率上限。该频率上限可以是上述空间频率上限。
38.验证算法还可以包括机器学习验证算法。特别地，后者可能已经使用训练数据进行了训练，该训练数据包括已经提到的显微镜图像作为输入图像，以及通过图像处理算法计算的相关输出图像作为目标图像。在这里，也可能预先确保训练数据中使用的目标图像没有图像伪像。机器学习验证算法还可以类似的方式在频域中进行评估：在训练过程中使用相应的频率变换，例如傅立叶变换，代替显微镜图像和输出图像。
39.一般性质
40.用作输入图像的显微镜图像可以是对比度图像，特别地，其中，被检查对象的相位信息由亮度值表示。举例来说，这可以是dpc图像，相衬图像，dic图像，霍夫曼调制对比度图像或dodt对比度图像，其通过照明光阑的特定调节来记录。更普遍的，原则上这可以是由光学显微镜或任何其他显微镜记录的任何图像。
41.图像处理算法可以理解为是一种程序，该程序可以在计算设备上执行并且可以根据输入图像来计算输出图像。该程序可以完全用软件编写，或者至少部分用硬件编写。原则上，输入图像和/或输出图像也可以在频域中使用。
42.图像的频域可以通过例如傅里叶变换，特别是离散傅里叶变换从图像中计算出来。在频域中，图像由具有各自振幅和可选相位的不同频率分量/空间频率(例如，余弦波或锯齿波)表示。所有上述频率都是空间频率，而不是，例如，时间频率。
43.因此，低频分量或低频率的分量与空间频率有关。例如可以在将输入图像转换成频域之后，或者借助于首先将低频分量转换成空间域并随后被提供给，特别是叠加或添加到，输入图像上。作为低频分量的一般定义，这些低频分量可以理解为表示具有比输入图像中出现的某些频率分量更低的空间频率的频率分量，例如，小于输入图像频率分布中可表示的的频率分量的50％。因此，输入图像的高频分量可以理解为是指具有比低频分量更高的频率的频率分量。
44.立体性的表示是指立体(即三维对象)的印象。在dic图像和此处显示的图像计算中，此印象不必一定与实际的三维样本结构形状相对应。而是，相关的是用户习惯于的易于理解的表示。
45.输入图像的图像结构是非随机结构，该结构可能是由检查的样本或样本环境引起的。举例来说，图像结构可以代表输入图像内的多个生物单元。图像内容是指(输入)图像的多个或全部图像结构。
46.所添加的低频分量可以根据整个图像或各个局部对应的图像区域的高频分量来补充。举例来说，可以定义低频分量，该低频分量的贡献属于特定图像结构的图像区域(例如，多个生物单元之一)，该低频分量至少基于相同图像区域的高频分量，并可选地还基于其他图像区域或整个输入图像的高频分量。不需要排他性地依赖高频分量；确切地说，低频
分量也可以基于输入图像的整个频谱来确定，所述输入图像的整个频谱也可能仅部分地具有比低频分量更高的图像频率。
47.在一些实施例变型中，存在用于确定低频分量以及用于增加到输入图像的单独步骤。因此，图像处理算法可以至少基于这些图像结构的高频分量来初步确定用于表示输入图像的图像结构的立体性的低频分量。随后，将确定的低频分量添加到输入图像以便创建输出图像。或者，这两个步骤也可以通过单个过程进行。特别地，图像处理算法可以是用于图像到图像映射的程序，其中该映射的参数可能已经通过机器学习过程来确定。在此图像到图像的映射中，不需要显式输出低频分量；而是，直接计算输出图像，其中，输出图像和输入图像之间的差异(不必显式计算或输出)可以对应于低频分量。在神经网络下，低频分量可以对应于一层，而该层恰好不是神经网络的输出层。
48.此处描述的图像处理算法的步骤不应理解为工作步骤的完整列表。相反，图像处理算法原则上也可以执行其他步骤。
49.在这方面，输出图像的创建包括低频分量在输入图像上的增加或叠加，然而，其中，在产生输出图像之前还可以进行进一步的计算操作。例如，可以同时进行对比度拉伸或亮度归一化。特别地，如果图像处理算法被设计为机器学习算法，则可以在相同的图像到图像映射的范围内实施这种操作，作为与所述低频分量叠加的通用处理。
50.描述了如何训练机器算法的各种变体。通过执行相应的训练步骤，提供了进一步的发明变型。
51.显微镜系统应理解为至少包括显微镜和计算设备的仪器。该计算设备可以被物理地设计为显微镜的一部分，或者可以被单独地布置在显微镜的周围环境中。可替代地，改计算设备也可以具有分散的设计并且可以通过数据链路与显微镜通信。显微镜可以是光学显微镜，特别地或者，通常，可以是任何放大图像记录设备。
52.当根据本发明的显微镜系统按预期使用时，显微镜系统的可选特征还可产生根据本发明的方法的变型。相反，显微镜系统也可以设置成执行所述方法的变型。
附图说明
53.下面将参考所附的示意图描述本发明的其他优点和特征。
54.图1示意性地示出了可以通过本发明计算的显微镜图像和输出图像。
55.图2示出了根据本发明的方法的示例性实施例；
56.图3示出了根据本发明的方法的另一示例性实施例；
57.图4示出了根据本发明的方法的又一示例性实施例；以及
58.图5示意性地示出了根据本发明的显微镜系统的示例性实施例。
具体实施方式
59.下面参考附图描述各种示例性实施例。相同且作用相同的组成部分通常由相同的附图标记标识。
60.图1
61.图1示出了显微镜图像b，其在该示例中是对比图像。其中，透过光的相位变化，可以追溯到样本，由亮度差异表示。
62.此外，图1示出了输出图像3，通过本发明示例性地其可以从显微镜图像b计算出。输出图像3包含显微镜图像b的图像信息，并且由于立体图像而与后者不同。在该示例中，图像内容包括多个生物单元。这些图像结构在输出图像3中呈现为三维，因此，与显微镜图像b中的原始表示相比，观察者的视觉评价更加容易。
63.在立体印象方面，输出图像3类似于dic图像。在后者中，经历不同相位变化的干扰分光束之间的空间偏移会导致物体边缘处的亮区和暗区。这产生了三维印象，该三维印象不必与样本的实际3d轮廓相对应，而是有助于显微镜用户更快，更容易地感知和评估。
64.根据本发明的示例性实施例可以参考以下附图描述，该示例性实施例可以从显微镜图像b计算出输出图像3。作为本发明的重要方面，排除了该过程中图像内容的伪造。特别地，确保不由于图像处理而添加新的图像结构，例如新的单元或单元细节。原则上，该问题存在于已知的机器学习算法中，如在与现有技术有关的介绍部分中所指定的。
65.本发明利用了这样的发现，即，通过利用由低空间频率确定的叠加来补充显微镜图像b，可以实现输出图像3的空间印象.相反，较高的空间频率决定性地负责图像结构的可见边缘(即单元边缘)的相对位置和走向。通过不添加或几乎不添加更高的频率分量，可以避免伪造或添加图像结构。
66.图2的示例性实施例
67.图2描述根据本发明的方法的一个示例性实施例。该示例应有助于更好地理解。相反，在实际的实施方式中，可以通过单个操作以高效计算的方式执行多个步骤，或者可以修改，还将如下文解释的那样。
68.图2的示例使用基于机器学习算法m的图像处理算法10。示出了学习过程的过程。训练数据由多个显微镜图像b形成，在步骤s1中，这些显微镜图像b作为输入图像1被提供给机器学习算法m。为训练数据的每个显微镜图像b提供相关的目标图像5。显微镜图像b和相关的目标图像5可以是使用不同的显微镜技术记录的相同样本区域的图像。举例来说，目标图像5可以是dic图像，而显微镜图像b是dpc图像。
69.机器学习算法m包含一个神经网络p，在这种情况下由编码器
‑
解码器结构形成。编码器e从输入的显微镜图像b中产生一个特征向量，该特征向量原则上可以具有任何尺寸。该特征向量是解码器d的输入，解码器d在步骤s2中与其一起输出一个图像。后者应由低空间频率形成，因此被称为低频分量n。在步骤s3中将低频分量n添加到输入图像1中，从而产生输出图像3。一旦教导了机器学习算法，则输出图像3对应于图1中所示的输出图像3。
70.为了清楚地描述，应注意，该处理可以在空间域中，在频域中或部分在空间中且部分在频域中进行。在空间域中，图像(即，输入图像1，输出图像3和低频分量n)可分别表示为亮度值的2d矩阵。通过频率变换，例如傅立叶变换，能够将空间域中的表示转换成频域中的表示。在所示实施例的变型中，显微镜图像b的频率变换也可以作为输入图像(现在在频域中表示)提供给机器学习算法。同样地，或可替代地，基于输入图像1计算出的低频分量n可以在频域中输出，并且仅在变换成空间域之后才可以添加到关联的输入图像1中。
71.在学习过程中，将计算出的输出图像3提供给损失函数l。损失函数l计算输出图像3和关联的目标图像5之间的对应关系的度量，两者均属于同一输入图像1。当其尺寸增加时，该度量也可以被视为惩罚数，输出图像3和目标图像5之间的对应关系越小。常规的损失函数l计算像素之间的偏差或距离r，例如通过输出图像3和目标图像5中局部对应像素之间
的平方偏差之和。然而，根据本发明的示例性实施例的损失函数l不仅是这种距离r的函数。相反，损失函数l还取决于所添加的的低频分量n(在图2中示意性指定为f
n
)的频率值f。f
n
越高，损失函数l的值(惩罚数)就越高。例如，低频分量n可以分别包含振幅不同的不同频率。现在可以将这些通过其各自的振幅加权的频率以求和的方式合并到损失函数l中。因此，损失函数l不仅是衡量计算出的输出图像3与相关目标图像5对应程度的度量，还是在输出图像3的计算中是否所添加的了低空间频率或高空间频率的度量。损耗函数中的频率依赖性可以由参数f0表示，该参数可以表示空间频率极限。与低于空间频率极限f0的所添加的频率分量f
n
相比，更多的惩罚点被授予高于空间频率极限f0的所添加的频率分量f
n
。可选地，惩罚点可以更高，则高于空间频率极限f0的所添加的频率分量f
n
更多。
72.空间频率极限f0可以是一个指定的常数，也可以是损失函数中的变量。举例来说，变量可以取决于上下文信息，例如输入图像的照明光圈。
73.根据损失函数l的结果，优化函数o计算应如何更改神经网络p所要学习的参数/权重。使用更新的参数值来计算更新的低频分量n，并重复上述步骤，直到使损耗函数l最小的参数确定了为止。
74.作为输入，损失函数l不必一定获得输出图像3，低频分量n和输入图像1；而是，如虚线箭头所示，这三个中的两个就足够了。
75.步骤s3中的求和示出了作为低频分量n在输入图像1上的叠加的简单示例。然而，也可以使用其他计算操作来组合低频分量n和输入图像1。
76.在所有当前的描述中，损失函数l也可以由奖励函数代替，该奖励函数与损失函数l相反，应当被最大化。在奖励函数中，相对于频率fn的依赖性，空间频率极限f0和偏差r是相反的，即，奖励函数随着偏差r减小，所添加的频率fn降低以及当f0不足时增加。
77.与编码器
‑
解码器模型相比，神经网络p的形成方式也可以不同。
78.参考图3下文描述了进一步的修改。
79.图3的示例性实施例
80.图3示出了根据本发明的方法的示例性实施例，其不同于图2，神经网络p直接从输入图像1计算出输出图像3，如步骤s3所示。因此，在这种情况下，神经网络p不必一定明确地计算或输出低频分量n。
81.神经网络p的示例性设计包括残差跳跃结构：在此，低频分量n最初以类似于图2的方式来计算，其中，低频分量n和输入图像1都被输入到神经网络的随后的层中。因此，输入图像1会跳过神经网络p的各层。
82.在损失函数l中，可以通过比较输入图像1和关联的输出图像3来重建隐含的所添加的低频分量n。
83.图4的示例性实施例
84.图4示出了本发明的用于处理显微镜图像b的示例性方法的进展。图4示出了已经训练好的图像处理算法10的使用。
85.如先前的附图中所述，可以将已经训练的机器学习算法m限于神经网络p，其中，这里不需要用于训练神经网络p的功能，即用于定义其权重的功能。
86.在步骤s1中，还将显微镜图像b作为输入图像1提供给图像处理算法10，该图像处理算法10在步骤s3中计算出输出图像3，如图1所示，且关于训练过程在上面进行了描述。
87.参考图4，现在存在可选的验证过程，其旨在确保没有图像处理伪像被添加到输入图像1中。如果图像处理算法10是基于机器学习算法，则这样的安全步骤特别方便。
88.在步骤s4中，将输出图像3提供给验证算法v。后者(验证算法v)将输出图像3与输入图像1进行比较，并评估这些图像之间的差异的频率分布。可以将这些差异，即所添加的低频分量的频率f
n
进行比较，例如与频率上限f
g
的指定值进行比较。为了进行比较，可以使用从低频分量f
n
可变地导出或累积，例如其平均值。
89.如果f
n
小于f
g
，则可以确保没有添加高频分量，该高频分量可能添加能够伪造或去除输入图像1的图像结构，或者可能导致新添加的结构的“卤化”。因此，图像处理被评估为正确的，并且在步骤s5中输出输出图像3。
90.相反，如果f
n
大于f
g
，则验证算法v将输出图像3评估为可能被伪造的，并提示图像处理算法10进行重新图像处理。在此过程中，更改图像处理参数以抑制增加的高频图像分量。举例来说，图2和图3中所示的机器学习算法m可以预先在多个训练迭代中使用不同值的参数f0来训练。因此，使用不同的损失函数l，损失函数在不同的频率上授予惩罚积分不同，或者惩罚积分的奖励程度随着所添加的分量n频率的增加而增大。因此，确定多个神经网络p，它们在基础参数f0方面有所不同。如果图4中的验证算法v现在重新进行图像处理，在该过程中将参数值f0更改为较小的值f0'，并选择相应关联的神经网络p。这减小了图像处理伪像再次出现在输出图像3中的可能性。
91.验证算法v可以可选地同样使用机器学习算法来形成。
92.图5的示例性实施例
93.图5示意性地示出了根据本发明的显微镜系统40的示例性实施例。显微镜系统40包括一(光)显微镜20，借助于该(光学)显微镜20记录至少一个显微镜图像b。后者(显微镜图像b)被提供给图像处理算法10，并且可选地被提供给验证算法v。
94.图像处理算法10和可选的验证算法v被形成为计算机程序。通过图像处理算法10和验证算法v的上述示例性设计给出了根据本发明的计算机程序的示例性实施例。
95.图5所示的显微镜系统40包括计算设备30，该计算设备30设置为执行计算机程序，即图像处理算法10和验证算法v。举例来说，计算设备30可以是基于服务器的计算机系统，或者可以是一台(个人)计算机。在此，机器学习算法可以，特别地，使用计算设备30的图形处理器(gpu)来训练。
96.通过所解释的各种示例性实施例，借助于产生的立体印象可以从输入图像中计算出用户发现在视觉上更容易理解的输出图像，而没有伪造相关样本结构的风险。所描述的示例性实施例仅是说明性的，并且在所附权利要求的范围内可以对其进行修改。
97.参考标志清单
98.b
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
显微镜图像
99.d
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
解码器
100.e
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
编码器
101.f
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
要添加的图像分量的空间频率
102.f0ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
空间频率极限
103.f
g
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
频率上限
104.f
n
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
频率值
105.l
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
损失函数
106.m
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
机器学习算法
107.n
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
应添加到输入图像中的低频分量
108.o
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
优化函数
109.p
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
神经网络
110.r
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
损失函数中的术语，用于指定输出图像和目标图像之间的偏差。
111.s1
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
将显微镜图像作为输入图像输入图像处理算法
112.s2
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
计算并输出应添加到输入图像中的低频分量
113.s3
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
通过将低频分量添加到输入图像来创建输出图像
114.s4
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
将输出图像提供给验证算法
115.s5
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
通过验证算法输出输出图像
116.v
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
验证算法
[0117]1ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
输入图像
[0118]3ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
输出图像
[0119]5ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
目标图像
[0120]
10
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
图像处理算法
[0121]
20
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
显微镜
[0122]
30
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
计算机设备
[0123]
40
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
显微镜系统。