用于生成HDR图像的显微镜系统和方法与流程

如，百分比值)上纳入在hdr图像中。通过基于设置的系数组合原始图像来生成hdr 图像。
11.虽然在现有技术中确定哪些图像区域来自哪些原始图像被融合为hdr图像是基于 图像亮度的，但是根据本发明，该确定是基于所描绘的对象进行的。基于对象的融合允 许为特定对象选择理想的显示特性，该特定对象与基于其全部的原始图像的确定相比， 对对象的描绘是有利的。特别地，可以避免在同一对象内的亮度信息的扭曲。还可以排 除在其中一个原始图像中恰好显示的对象的质量被其他原始图像的叠加损害：基于对象 的评估还允许根据不同标准将来自原始图像中的不同对象包括在hdr图像中，如稍后更 详细地描述。
12.本发明不需要特殊硬件，尤其是特殊且成本密集的hdr相机传感器。
13.可选实施例
14.根据本发明的显微镜系统和根据本发明的方法的有利变体是从属权利要求的对象并 且在以下描述中解释。
15.所描述的处理步骤可以通过图像处理程序以自动化方式实施，特别地，图像处理程 序可以包括一个或多个训练好的机器学习模型，如下文更详细地描述。
16.语义区域
17.为了设置不同区域的系数，可以规定，首先通过将每个原始图像划分为区域并为每 个区域分配语义标签来在原始图像中确定语义区域。然后可以根据至少包含的语义区域 的语义标签为每个原始图像导出系数。语义标签被理解为表示分配给相应区域的图像内 容的含义，即一个或多个描绘对象的含义。语义标签使得区分多个预定义类别成为可能， 特别是区分以下类别中的两个或多个：样本载体、盖玻片、样本、固定框架和背景。还 可以进一步细分为多个不同类别的样本，以便区分例如需要不同曝光条件的显微样本。 因此，通常不以相同的方式处理原始图像中具有相同亮度的不同像素，而是作为它们对 应的语义标签的函数。
18.可以通过为此目的训练好的机器学习模型来确定原始图像中的语义区域。训练好的 机器学习模型被理解为表示具有模型参数的模型，其模型参数值已使用训练数据定义。 该定义通过学习算法进行，目标函数通常通过该算法进行优化，例如最小化损失函数。损 失函数取决于预定目标值(在有监督学习过程的标记训练数据的情况下)和根据当前模 型参数值从训练数据计算的输出之间的差异。模型参数值被迭代调整以最小化损失函数。 目标函数也可以包括奖励函数而不是损失函数并被最大化。
19.机器学习模型可以例如由一个或多个神经网络形成并且特别地，包括cnn(卷积神经 网络)。在这种情况下，模型参数包括卷积矩阵的条目。机器学习模型的示例实施例是或 包括分割机器学习模型、实例分割机器学习模型或检测机器学习模型。语义分割对应于 原始图像中结构或对象的逐个像素分类。原始图像的每个图像像素因此被分配给多个预 定类别的对象之一。在实例分割机器学习模型的情况下，也会发生逐个像素的分类，另 外，同一类的多个对象被区分。例如，原始图像可以分别显示具有两个或更多个显微样 本的样本载体。分类包括类别，例如样本载体、样本和背景，其中两个显微样本属于同 一类别。通过实例分割，两个显微样本也彼此区分，从而可以为两个样本的图像片段确 定不同的系数，其中基于各自确定的系数进行图像融合。在检测机器学习模型的情况下， 机器学习模型被训练以检测原始图像中的多个预定对象并将检测到的对象的坐标连同对 应的对象名称一
起输出。坐标可以描述对象周长，特别是检测到的对象的(矩形)边界。
20.分割原始图像的方式可以基于所有原始图像或仅基于单个原始图像或一些原始图像 来确定。例如，可以规定，仅将原始图像之一或原始图像的一部分输入到机器学习模型 中，由此计算分割掩模。现在可以针对所有原始图像，即包括未用于确定分割掩模的原 始图像，根据计算出的分割掩模划分语义区域。在分割掩模中，像素值表示特定类别， 因此不同像素值的数量对应于检测到的类别数量。如果原始图像是在相同的视场下捕获 的，则对象(例如样本载体)在每个原始图像中位于相同的位置。从原始图像之一生成 的分割掩模因此通常也适用于其他原始图像并且不必为每个原始图像单独计算。为了利 用来自多个原始图像的图像信息来确定分割掩模，还可以输入多个或所有原始图像的聚 合，例如将所有原始图像的平均值或总和，放入机器学习模型中，以便从中计算出分割 掩模。代替单个神经网络对所有所需类别执行语义分割，还可以由多个神经网络各自并 行执行语义分割，网络在可检测和分割的对象类别方面分别不同。例如，一个神经网络 可以创建一个二值分割掩模，其中区分样本区域和背景，而另一个神经网络计算二值分 割掩模，其中区分样本载体和背景。
21.更普遍地，语义标签的确定可以基于一个或多个原始图像或者基于未纳入hdr图像 中的另一图像发生。这样的另一图像可以，例如使用不同的捕获模式，特别是不同的对 比度方法来产生。例如，可以使用显微镜捕获相位对比图像，其中样本区域更清晰可见， 因此可以确定图像中包含哪些样本类型。然后可以在原始图像的语义分割中使用这种语 义标签的高级知识。
22.设置系数
23.确定多个原始图像的图像区域如何融合在一起的系数值可以以不同方式确定。
24.例如，可以提供系数表(查找表或通常的数据库)，其中包含用于不同图像捕获参数 和不同语义标签的系数。在接收到关于原始图像的图像捕获参数的信息后，可以从系数 表中读出为原始图像中的语义区域设置的系数。例如，图像捕获参数可以根据显微镜的 光源的照明强度而不同。例如，可以知道最好用高照明强度渲染样本区域，而(覆盖) 玻璃边缘的图像区域迅速过饱和，因此在较低照明强度下更清晰可见；另一方面，对于 以没有样本为特征的样本载体区域，可以优选中等或低照明强度，以抑制划痕、污垢或 其他不希望的或不相关的细节的描绘。在本示例中，分别采用系数表中基于图像捕获参 数“低/中/高照明强度”为上述三个语义标签预先确定的系数。因此不必为了设置系数值 而评估原始图像的图像内容。
25.替代地，还可以规定，原始图像之一的系数也根据其在语义区域中的图像内容来设 置。在这种情况下，可以单独评估每个语义区域的图像内容，从而可以为每个原始图像 的每个语义区域分别设置系数。因此，要设置的系数的数量可以对应于语义区域的数量 乘以原始图像的数量。然而，没有必要在hdr图像中包含来自每个原始图像的图像内 容；因此，也没有必要为对hdr图像没有贡献(取决于相应的选择标准)的原始图像设 置多个系数。
26.为了设置系数，还可以基于评估标准计算每个原始图像的语义区域中的图像内容的 图像质量评估。特别地，评估标准可以是过载(明亮图像值的剪裁，例如由于过度曝光 的)、欠载(例如，曝光不足)、噪声、亮度值的频率分布(对应于亮度直方图)和/或对 比度。
然后可以根据相应的图像质量评估和语义标签为每个原始图像中的每个语义区域 设置系数。因此，基于评估标准分别分析原始图像中的每个区域。随着图像质量评估的 增加可以选择系数，尽管与系数大小的相关性也可以取决于语义标签。例如，在样本的 图像区域中可能需要最大对比度，以便在该图像区域中的所有原始图像中具有最高对比 度的原始图像的语义区域被分配最大系数。另一方面，最好在样本载体的图像区域中抑 制干扰细节，以便这种情况下在该图像区域中所有原始图像中对比度最高的原始图像的 语义区域不分配最大系数。
27.不同的评估标准可以作为语义标签的函数应用于语义区域。例如，如果为一个区域 确定语义标签“盖玻片边缘”(或语义标签“背景”，包括盖玻片边缘)，则可以选择避免 过载作为评估标准。另一方面，如果确定了具有语义标签“样本”的区域，则可以优选 诸如尽可能高的对比度或亮度值的频率分布扩展的评价标准。因此，根据对象应用不同 的选择标准，以便从原始图像中选择图像区域以纳入到hdr图像中。
28.通过机器学习模型设置系数
29.系数的设置也可以通过机器学习模型(下文中的系数确定机器学习模型)来进行。 后者接收至少原始图像或从中计算出的图像作为输入，并生成到系数的映射作为输出。 系数确定机器学习模型可以是回归机器学习模型。原则上，输出系数可以是预定值范围 内的任何值。或者，系数确定机器学习模型也可以设计为分类器，并为系数生成到不同 类别(离散值)的映射。
30.特别地，系数确定机器学习模型可以根据上述图像质量评估进行训练。训练数据可 以包括，例如，来自不同原始图像的多个区域，其中图像质量评估已经被手动指定为标 签/目标值。可选地，还可以指示区域的语义标签。通过这样的训练数据，系数确定机器 学习模型学习生成不同区域的图像质量评估。
31.系数确定机器学习模型的输入可以是来自原始图像的区域或整个原始图像。此外， 输入还可以包括关于将原始图像划分为语义区域以及对应的语义标签的信息。多个原始 图像也可以共同构成输入。因此，系数确定机器学习模型可以输出标准化系数，例如， 与同一区域相关的不同原始图像的系数之和总是产生相同的恒定值，例如，1。标准化系 数可以在将不同原始图像的像素相加时直接用作权重。
32.系数确定机器学习模型可以设计为计算线性或非线性映射。它可以逐个像素地分配 系数，其中同一语义区域内的像素可以接收相同的系数或不同的系数。也可以考虑从原 始图像计算的至少一个分割掩模的结构信息，如下文更详细描述的。
33.对于系数确定机器学习模型的使用，语义区域可以在前面的步骤中确定，特别是通 过参考语义区域描述的机器学习模型。这两个机器学习模型也可以连接起来形成一个模 型。在这种情况下，确定的语义标签和分割仅作为计算过程中的中间步骤生成，例如由 神经网络的一层生成，而不必从神经网络输出。聚合机器学习模型的其他变体也可用于 端到端学习。因此，根据区域所描绘的对象的系数分配可以通过单个模型执行。或者， 该模型可以直接输出hdr图像，其中原始图像的图像区域根据依赖于那些原始图像区 域中描绘的对象的系数组合，其中不需要显式输出系数。也不需要将语义标签显式分配 给像素或区域。可以使用相应的标记训练图像来学习模型，例如使用多个原始图像和相 应的预定系数掩模或预定hdr图像，例如，其由用户根据区域中描绘的对象手动创建 的。因此，根据描绘
的对象选择预定标签/目标数据，以便模型学习如何在这种情况下设 置系数值或将原始图像组合成hdr图像。因此学习一个模型，该模型使用来自单个原 始图像或所有原始图像的结构信息来估计系数。上下文数据也可以被利用，稍后将更详 细地描述。
34.语义区域系数的相关性
35.可以以不同方式利用原始图像中不同区域的系数来生成hdr图像。
36.如果一个区域的系数被确定，例如基于该区域的原始图像内容和语义标签，那么该 区域内的每个像素都可以被分配相同的系数。该系数可以构成该原始图像区域的图像内 容纳入到hdr图像中的区域权重。
37.或者，可以通过混合同一原始图像中相邻语义区域的系数来生成连续转换。因此， 一个像素根据其与相邻语义区域的区域边界的距离，经受这些区域的相应系数进行混合。 区域之间的这种软过渡可以通过机器学习以基于结构的方式或通过经典混合来实现。原 则上，相同区域的所有像素因此接收不同的系数值，这些系数值形成为所述系数的组合。 例如，可以为具有三个语义区域的原始图像计算三个不同的系数，并且这些系数以这样 一种方式叠加，即所有像素(或至少在区域边界的过渡区域中的所有像素)接收不同的 系数值，基于这些值，随后发生合并到hdr图像中。
38.使用系数将原始图像组合成hdr图像
39.在将原始图像组合进入hdr图像期间，例如在原始图像的线性组合或非线性组合 中，设置的系数可以用作权重。加权可以，如上面参考混合所描述的，对于语义区域逐 个像素或者均匀地发生。例如，在位置方面彼此对应的不同原始图像的像素可以根据它 们的权重相加并且随后标准化为有效值范围。还可以授予零权重，以便原始图像相应的 像素或语义区域不纳入到hdr图像中。
40.除了用作权重之外，设置的系数还可以用于从不同的原始图像中选择语义区域。例 如，从原始图像中选择语义区域，对该语义区域确定最大系数。然后组合选定的语义区 域以形成hdr图像。在这种情况下，hdr图像中的每个语义区域都源自单个原始图像。
41.上下文数据
42.还可以利用上下文数据来确定语义区域和/或系数的设置。特别地，上下文数据可以 用于上述机器学习模型或没有学习模型的经典算法中。特别地，上下文数据可以涉及以 下一项或多项：
[0043]-原始图像中描绘的样本或样本载体的类型：例如，可以预先知道与不同类型的样 本或样本载体相关的几何信息，可以利用这些信息对原始图像中的对象进行分割或检测。 上下文数据也可以是关于哪些照明参数或图像捕获参数适合于不同类型的样本的知识， 这可以用于，例如，上述系数表。
[0044]-图像捕获参数：例如，可以考虑有关照明强度、照明/检测波长、相机灵敏度、曝 光时间(快门速度)、荧光激发、对比法、过滤器设置或样本台设置的信息。这些参数可 以提供关于在相应的原始图像中通常可以看到哪种对象的信息，从而有助于确定系数。 该信息还可用于确定分割区域的语义标签。
[0045]-来自其他原始图像的信息：例如，关于在其中一个原始图像中检测到的描绘对象 的结构信息/信息可用于其他原始图像。例如，显微样本在其中一张原始图像中清晰可见， 而在另一张原始图像中无法识别。
[0046]-整个图像特征的分类结果：原始图像—或多个原始图像/所有原始图像的集合—的 分类尤其可以通过额外训练好的机器学习模型发生。不同的类别可以区分，例如，腔室 载玻片、微量滴定板、带盖玻片的载玻片或培养皿。可能的分类结果允许，例如，预先 确定语义分割的不同边界条件，例如允许哪些语义标签，即可供选择。在上述情况下， 例如对于原始图像的语义分割，腔室载玻片的圆形样本区域/孔或矩形样本区域，或明亮 的盖玻片边缘都可以属于允许的语义标签。
[0047]-来自其他捕获模式的信息：捕获模式可以涉及，例如，其他对比法或其他概览图 像。这些还可以提供关于原始图像中包括或可能包括的对象的信息。
[0048]
具有不同图像亮度的场景的原始图像
[0049]
在本公开中，原始图像通常表示为计算hdr图像而评估或考虑的图像。特别地， 它可以是由相机捕获的图像、由其处理的图像或从多个图像计算的图像。特别地，原始 图像可以是经由显微镜物镜捕获的显微样本的样本图像。原始图像也可以是显微镜的概 览图像，显示例如样本载体和样本载体环境。还可以在显微镜上提供一个额外的用于捕 获概览图像的概览相机，它不通过显微镜物镜观察样本载体。原始图像也可以通过扫描 来捕获，在该扫描过程中，连续测量不同的采样点，例如在激光扫描显微镜的情况下。
[0050]
原则上，不同的图像亮度可能由图像捕获的任何差异引起。例如，就以下一个或多 个方面而言，一些或所有原始图像的捕获过程可能不同：
[0051]-光偏振：例如，可以使用线性偏振照明光，其中偏振方向因原始图像而异。也可 以使用椭圆偏振光或圆偏振光。
[0052]-照明光和/或检测光的光波长：特别是，显微样本可以包含不同元素(例如生物细 胞或细胞器、电子或半导体组件)，其可见性显著依赖于波长。在细胞器的情况下，可以 基于不同的细胞器，即样本组分来进行语义分割。
[0053]-照明设置、照明角度和染料激发，特别是荧光或磷光激发：这些方面也会影响原 始图像中哪些对象可见。
[0054]-捕获模式：特别地，原始图像可能因所使用的照明模式而不同。例如，可以使用 高斯光片照明显微镜(gaussian lightsheet microscopy)，贝塞尔光片照明显微镜(bessellightsheet microscopy)、sted照明显微镜或共聚焦显微镜捕获图像。
[0055]-相机灵敏度或不同的饱和度也会导致原始图像的图像亮度不同。
[0056]
在一些变体中，原始图像的不同图像亮度表示原始图像之间的平均亮度不同。然而， 一般而言，不同图像亮度的原始图像旨在理解为包括仅在位置上对应于不同原始图像的 单个图像像素具有不同亮度值的情况。在这种情况下，多个原始图像可以具有相同的平 均亮度甚至相同的亮度直方图。
[0057]
一般来说，原始图像中描绘的场景可以是任何主体。所描绘的主体可以包括一个或 多个对象，其原则上可以是任何结构。特别地，对象可以是样本或样本组件，例如生物 样本或半导体产品、样本架或载体、样本载体的固定框架、盖玻片、描述性领域或相同 的部分或表面。原始图像可以对应于它们的视场，特别是可以用相同的相机连续捕获。 在相应视场的情况下，每个原始图像覆盖场景的相同区域。在不同的原始图像中占据相 同位置的像素(例如每个原始图像左上角的像素)可以根据它们各自的系数相加在一起， 以形成在相应位置的hdr图像的像素。原始图像也可以可替代地显示场景的部分不同或 重叠部分，
即它们的视场仅部分对应。在这种情况下，不需要每个原始图像都包含所有 区域。例如，如果要创建微量滴定板的概览图像，则可以将概览相机捕获的多个图像缝 合在一起。可以进行关于评估是否应该对于其中一个有修改的图像捕获参数的部分捕获 其他图像。例如，可以根据上述图像质量标准进行语义分割和对分割区域的后续评估； 如果此评估显示质量不足(例如样本区域中的欠载)，则可以使用修改后的图像捕获参数， 例如，使用更高的照明强度，再次捕获该区域。然后使用额外捕获的原始图像生成hdr 图像。
[0058]
一般特征
[0059]
显微镜系统被理解为包括至少一个显微镜和计算设备的装置。具体地，显微镜可以 理解为光学显微镜、x射线显微镜、电子显微镜、宏观镜或具有一些其他设计的放大能 力的图像捕获设备。
[0060]
计算设备可以设计为显微镜的组成部分，单独布置在显微镜附近，或者布置在距显 微镜任何距离的远程位置。计算设备也可以设计为分散的，并经由数据链路与显微镜通 信。它通常可以由电子和软件的任何组合形成，并且具体包括计算机、服务器、基于云 的计算系统或一个或多个微处理器或图形处理器。计算设备还可以被配置为控制显微镜 相机，图像捕获，样本台驱动器和/或其他显微镜部件。
[0061]
根据本发明的计算机程序包括当所述方法变体由计算机执行时导致执行所述方法变 体之一的命令。
[0062]
已被描述为附加装置特征的本发明的特征在按预期实施时也产生根据本发明的方法 的变体。相反，显微镜系统也可以配置为执行所描述的方法变体。特别地，计算设备可 以被配置为执行所描述的方法变体并且输出用于执行所描述的方法步骤的命令。计算设 备还可以包括所描述的计算机程序。
附图说明
[0063]
下面参照附图描述本发明的进一步优点和特征：
[0064]
附图1是本发明的显微镜系统的示例实施例的示意图；
[0065]
图2是根据本发明的示例实施例的原始图像和计算hdr图像的步骤的示意图；
[0066]
图3是本发明方法的示例实施例的过程的示意图；以及
[0067]
图4是本发明方法的示例实施例的一个过程的示意图。
具体实施方式
[0068]
下面参照附图描述不同的示例实施例。通常，相似的元件和以相似方式起作用的元 件由相同的附图标记表示。
[0069]
图1
[0070]
图1示出了根据本发明的显微镜系统100的示例实施例。显微镜系统100包括计算 设备20和显微镜1，在所示示例中显微镜1是光学显微镜，但原则上可以是任何类型的 显微镜。显微镜1包括支架2，通过该支架2支撑其他的显微镜部件。后者具体可以包括： 物镜旋转器/转轮3，在所示示例中，物镜4安装在该物镜旋转器/转轮3上；具有用于 固定样本载体7和显微镜相机8的固定框架6的样本台5。如果物镜4已经旋转以位于显 微镜光路中，则显微镜相机8接收来自由样本载体7支撑的一个或多个样本的检测光以 捕获样本图像。
界。分割掩模22标记样本的区域22a，而所有剩余的图像区域22b融入到另一个区域中。 分割掩模23标记背景23a，从而将其与剩余图像内容23b划界。背景23a包括盖玻片 外部的图像内容，即盖玻片边缘17的外部，特别也是固定框架6的图像内容。在所示示 例中，分割掩模21-23是二元掩模；然而，它们也可以组合成单个分割掩模，该掩模使 用两个以上不同的像素值来区分区域。在一个变体实施例中，分割掩模21还可以将没有 样本的区域标记为盖玻片下的样本载体7的区域，即图2中的区域21a减去区域22a。
[0081]
分割掩模21-23用于定义如何将不同原始图像11-15的图像内容纳入hdr图像30 中。图2的最下部示出了一个简单示例。分割掩模21逐个像素地乘以原始图像14，原始 图像14是样本载体7的区域的最合适的原始图像。区域21a的每个像素具有例如值1， 使得原始图像14的对应图像内容被包括在内，而图像区域21b的每个像素的值为0以排 除原始图像14的对应图像内容。分割掩模22类似地逐个像素乘以原始图像12，其中样 本10是最清晰可见的。分割掩模23也逐个像素地乘以原始图像15，其抑制了背景并显 示盖玻片边缘而没有过载。然后形成这三个计算图像的总和，其生成hdr图像30。因 此hdr图像30包含不同原始图像12、14、15的图像内容，其中图像内容不是被选 择作为原始图像11-15的亮度值的直接函数(与典型的hdr方法一样)，而是基于语 义分割。
[0082]
在所描述的示例中，为每个语义标签(样本、样本载体、背景)分别选择原始图像 11-15之一。然后通过分割掩模21-23确定所选原始图像11-15的哪些像素将被纳入hdr 图像中。这可以被描述为向原始图像11-15的像素或区域分配系数：在原始图像14中， 样本载体7，对应于区域21a，的像素被分配非零系数。原始图像12中的样本10，对应 于区域22a，的像素同样被分配非零系数。最后，原始图像15中的背景，对应于区域23a， 的像素被分配非零系数。原始图像11-15的所有剩余像素或区域被分配系数为零。然后 将原始图像的每个像素乘以其分配的系数，然后将这些图像加在一起以获得hdr图像 30。
[0083]
与相同区域21a或22a或23a相关的多个原始图像11-15的图像内容也可以通过相 应的系数选择来组合。在这种情况下，系数可以在图像的组合或相加中充当权重。因此 在hdr图像30中形成由多个原始图像11-15的加权叠加组成的语义区域。不同语义区 域的权重不同。
[0084]
可能的计算步骤将在下面参考图3进行更详细的解释。
[0085]
图3
[0086]
图3示意性地示出了根据本发明的方法示例实施例的用于从多个原始图像11-15生 成hdr图像30的计算步骤。
[0087]
首先，接收例如，来自数据存储器，直接来自图1所示的显微镜系统100或来自其 他图像捕获设备的多个原始图像11-15。
[0088]
然后，在步骤s1中，使用机器学习模型m1来计算语义分割掩模21-23。机器学习 模型m1接收一个或多个原始图像11-15或从其计算的图像作为输入，例如，其可以是原 始图像11-15的平均值。此处的机器学习模型m1是一种分割机器学习模型，该模型已 被训练以从输入图像生成一个或多个分割掩模21-23。如上所述，还发生了逐个像素分 类，通过该分类为不同的图像区域指定语义标签。标记的训练数据可以用于训练(未图 示)。标记的训练数据包括与原始图像对应的多个训练图像以及对应语义标签的相关逐个 像素规范。从而在训练中定义机器学习模型m1的模型参数值。机器学习模型m1可以 具体得包括卷积神经
网络(cnn)和/或不同网络架构的组合。机器学习模型m1也可 以可选地设计为利用上下文数据i。上下文数据i可以提供有关某些对象存在的信息。 例如，可以知道正在使用哪种样本载体类型(例如带有矩形盖玻片的载玻片)。特别地， 这种上下文数据i可以通过用户输入或基于先前的分析而获知。
[0089]
在已经确定语义分割掩模21-23之后，定义系数k，其确定来自原始图像11-15的像 素是否以及在多大程度上纳入hdr图像30中。系数的确定通过进一步的机器学习模型 发生在所示示例的步骤s3中，这里称为系数确定机器学习模型m2(模型m2)。模型 m2从原始图像11-15之一接收语义区域连同相应语义标签的指示作为输入。在所示示例 中，为此在步骤s2中将原始图像11与分割掩模22相乘。分割掩模22仅选择区域用于 该乘法，为此它的两个区域具有两个不同的值，例如零和非零的值。在所示示例中，模 型m2的输入因此对应于来自原始图像11的样本10的图像区域，其中还指示了关联的 语义标签，即输入图像区域与类型“样本”相关。训练模型m2被训练根据语义标签对 输入图像数据进行评估。为此目的，模型m2可以用训练数据进行训练，该训练数据包 括各个图像数据，其具有用于不同语义标签图像质量的关联标签。例如，语义标签“样 本”的训练数据可以包括多个图像或样本的图像片段，用户预先手动指定了质量评估。 如上所述，对于不同的语义区域可以优选不同的评价标准。相应地，模型m2可以用训 练数据进行训练，其中与不同语义标签相关的图像数据已经以不同方式进行了评估。模 型m2还可以在过程中利用上下文数据i。上下文数据i可以指示例如样本类型，已知对 于不同的样本类型，在更亮或更暗的图像中是否更有可能实现最佳图像质量。作为输出， 模型m2生成输入图像区域的系数，即在所示示例中原始图像11的区域21a的系数k11。 同一原始图像11的剩余语义区域现在连续输入到模型m2中，该模型计算原始图像11 的区域22a的系数k12和原始图像11的区域23a的系数k13。系数k11、k12、k13 可以组合为原始图像11的系数向量k1。对于其他原始图像类似地执行相同的过程，由 此形成各自的系数向量，在所示示例中直到系数向量k5包含原始图像15的系数k51、 k52和k53。所有系数向量k1-k5的条目统称为系数k。
[0090]
然后在步骤s4中使用系数k从原始图像11-15计算hdr图像30。在所示示例中， 在步骤s2中确定的原始图像11-15的语义区域乘以各个系数；随后将所有图像数据一起 相加。
[0091]
生成的hdr图像30的特征在于样本结构特别清晰可见，没有图像区域被过载/过度 曝光并且样本区域外的细节被抑制。因此，hdr图像30在质量方面优于单个捕获的原 始图像。
[0092]
在一个变体实施例中，模型m2可以被设计和训练以执行图像到图像的映射，其中 输出图像中的不同像素值是对应的系数。因此，模型m2的输出构成具有原始图像11-15 之一关联系数的分割掩模。在这种情况下，模型m2的输出乘以相关联的原始图像 11-15，然后在步骤s4中一起相加。
[0093]
在所示实施例的进一步变体中，两个机器学习模型m1和m2可以由单个机器学习 模型构成。因此，机器学习模型不必输出分割掩模。而是直接输出系数k，尽管也可以 将步骤s4集成到机器学习模型中，从而直接输出hdr图像30。
[0094]
所说明的实施例还可以关于如何处理语义区域的边界而变化，例如图2中分割掩模 21的区域/图像区域21a和21b之间的边界。在到目前为止所描述的示例中，在两个系 数
之间的边界处存在显著的跳跃。或者，可以在两个相关系数之间发生混合，即连续或 逐渐过渡。例如，可以使用模型m2为区域21a、22a、23a确定系数k11、k12、k13， 如针对原始图像11所述。然而，在这种情况下，系数k11并未分配给原始图像11的 区域21a的每个像素；相反，在区域21a和图像区域21b/23a之间的边界区域中，系数 k11和k13之间存在连续过渡。因此，将所确定系数k11-k13的不同(线性)组合分配 给原始图像11的像素。
[0095]
图4
[0096]
图4示出了替代步骤s3'，其替代了本发明的一些示例实施例中的前图的步骤s3。
[0097]
在图4所示的示例中，使用包含分别用于不同语义标签s和不同图像捕获参数p的 系数值k的系数表t。语义标签s可以区分，例如“样本”、“样本载体”和“背景”。图 像捕获参数p可以指示，例如，不同的照明强度和/或曝光时间。原则上，可以有任意数 量的不同语义标签s和图像捕获参数p。在步骤s3'中，属于一个原始图像11-15的语义 标签s和图像捕获参数p作为输入被输入。语义标签s可以，例如根据图3的步骤s1， 确定。图像捕捉参数p直接从图像捕捉设备接收或从存储器检索或可以通过计算设备20 捕捉所讨论的原始图像11-15时确定。基于输入语义标签s和图像捕获参数p的输入值， 系数表t的对应条目被输出作为系数k。或者，多个条目的(线性)组合可以被输出作 为系数k，这是权宜之计，例如，当图像捕获参数p的输入值指示位于系数表t中包括 的两个照明强度之间的照明强度时。
[0098]
所示示例的进一步变化是可能的。特别地，可以采用没有机器学习模型的经典图像 处理算法所取代图3的机器学习模型m1和m2。可以使用，例如，边缘检测过滤器来创 建分割。根据分割内容的形式，然后可以进行分类，由此可以创建语义分割掩模21-23。 系数的确定，例如，可以通过基于图像质量标准，例如基于其对比度或噪声评估输入到 图3中的模型m2中的图像区域。
[0099]
图1的计算设备20和计算机程序80可以被配置为执行参考图2，图3和/或图4描 述的过程。所描述的示例实施例纯粹是说明性的并且可以在所附权利要求的范围内变化。 特别地，参考图1引用的样本图像和概览图像仅仅是原始图像的示例并且原则上具有不 同图像亮度的任何其他图像都可以用作原始图像。如图2中所示的原始图像也不必，如 所示的，在方向和放大率方面相同，以便使所有原始图像11-15中就其位置呈现相同的 图像内容；相反，如果所描绘的图像内容重叠就足够了。
[0100]
参考列表
[0101]
1 显微镜
[0102]
2 支架
[0103]
3 物镜旋转器
[0104]
4 显微镜物镜
[0105]
5 样本台
[0106]
6 固定框架
[0107]
7 样本载体
[0108]
8 显微相机
[0109]
9 概览相机
[0110]
9a 概览相机的视场
[0111]
9b 偏转镜
[0112]
10 样本
[0113]
11-15 原始图像(raw图像)
[0114]
16 背景
[0115]
17 盖玻片
[0116]
20 计算设备
[0117]
21-23 分割掩模
[0118]
21a 分割掩模21的图像区域/区域“样本载体”[0119]
21b 分割掩模21的非活动图像区域
[0120]
22a 分割掩模22的图像区域/区域“样本”[0121]
22b 分割掩模22的非活动图像区域
[0122]
23a 分割掩模23的图像区域/区域“背景”[0123]
23b 分割掩模23的非活动图像区域
[0124]
30 hdr图像
[0125]
80 本发明的计算机程序
[0126]
100 本发明的显微镜系统
[0127]
i 上下文数据
[0128]
k k11-k53系数，包括系数向量k1-k5和单独的系数k11-k53
[0129]
m1 机器学习模型
[0130]
m2 系数确定机器学习模型
[0131]
p 图像捕捉参数
[0132]
s 语义标签
[0133]
s1-s4，s3' 根据本发明的方法的示例实施例的步骤
[0134]
t 系数表