使用深度学习重建相位图像的制作方法

使用深度学习重建相位图像
1.本专利文件的公开内容的一部分含有受版权保护的材料。版权所有者不反对由任何人以专利文件或专利公开出现在美国专利与商标局专利文档或记录中的形式复制所述专利文件或专利公开，但是另外保留任何所有版权权利。
2.相关申请的交叉引用
3.本技术要求2019年9月26日提交、标题为“reconstructing phase images with deep learning”的美国临时专利申请no.62/906,605以及2020年9月22日提交、标题为“reconstructing phase images with deep learning”的美国非临时专利申请no.17/028,448的优先权，以上专利申请的内容以全文引用的方式明确地并入本文中。
技术领域
4.本公开总体上涉及用于使用机器学习技术由图像集(包括来自明场显微图像的图像集)重建相位图像的设备、方法和系统。


背景技术：

5.显微镜使我们能够以人眼无法看到的细节层次看到我们世界的某些部分。技术进步远远超出了过去的“镜子”方法，并且现代技术能够提供越来越清晰的微观世界图像。成像技术看起来既可以带来高水平的缩放分辨率来观察样品，也可以隔离感兴趣的主题元素。这些技术在生物细胞的研究中可能特别令人感兴趣。
6.定量相位成像就是这样一种技术。明场成像技术可照亮样本并收集穿过样本的光以供用户查看。由于通过样本中包含的不同元素的光学折射的性质，可处理和组合样本的不同焦平面处的一对明场图像以重建采样对象(例如在板上的样本中包含的细胞，以在显微镜中使用)的清晰图像。
7.通过使用相位成像可大大增强简单的明场成像。例如，可在两个或更多个不同焦平面处对样品的视图(例如，要成像的显微镜或其他样品视图)成像以提供两个或更多个明场图像，随后可使用折射率的对比来生成组合的、增强的相位图像。例如，在样本中含有水中细胞的样品中，水的已知折射率(n＝1.33)可用于隔离和识别细胞(例如，n＝1.35-1.38)并产生聚焦于样本中的细胞上的相位图像。明场图像可基于基本相位方程进行处理和组合，基本相位方程是近轴照明的强度传输方程的特殊形式(m.r.teague,“deterministic phase retrieval:agreen’s function solution,”journal of the optical society of america,vol.73,no.11,pp.1434
–
1441,1983):
[0008][0009]
其中i是作为空间坐标x、y和z上的函数的光强度，φ是作为空间坐标函数的光波相位，
▽
和δ是xy平面中的相应的梯度算子和拉普拉斯算子，并且是沿z轴的强度导数。有关明场相位成像的更多信息，请参见e.d.barone-nugent等人的论文“quantitative phase-amplitude microscopy i:optical microscopy”，ournal of microscopy,vol.206,pt.3june 2002,pp.193-203。
[0010]
明场相位成像可以是一个强大的工具。虽然它在某些用例中效果很好，但是当面对常见的伪影(例如，灰尘颗粒、水滴、孔边缘/孔边界)时，这种方法可能表现不佳，并且可能需要大量时间(即,3-5秒)来生成一个相位图像。光路中的干扰(例如，视觉伪影，或简称为“伪影”)可能会在相位图像中呈现特定问题，因为它们不会折射光而是吸收光。这些干扰或伪影可能会在生成的相位图像中导致非所要的结果，因为相位方程没有捕获吸收效应，并且考虑这些效应是不适定问题并且计算成本很高。如果没有适当地考虑吸收，相位求解将严重且非局部扭曲。
[0011]
明场相位成像的另一个缺点是图像的边界区域。例如，因为在图像边缘以外没有有用的数据，因此计算出的相位图像将包括在表示图像边缘的边界区域处的模糊。在另一个示例中，样本孔板的孔边界可能导致类似问题，因为部分光在成像区域内被完全吸收。其他问题包括照明不均匀性与不完全的近轴照明相结合，这会产生显著的背景分量。足够的背景去除也可能使信号恶化。
[0012]
本文描述的方面可使用基于训练数据集和模拟视觉伪影进行训练的新型机器学习模型来解决这些和其他缺点。通过本文所述的新技术，可由多组明场图像生成改进的相位图像。这可以提高科学家和研究人员例如通过增强的图像清晰度和细胞相对于背景成分的隔离来查看细胞样本的结构的能力。


技术实现要素：

[0013]
本文描述的是结合人工智能和机器学习以利用深度学习算法来自动重建高质量相位图像的技术，所述技术可减少本文识别的伪影和成像质量问题的影响。这些技术还可以在比现有技术更短的时间内生成相位图像(例如，与需要多秒的现有技术相比，少于1秒)。
[0014]
本文讨论的方面涉及使用机器学习技术由多个焦平面处的明场图像重建相位图像。可训练机器学习模型以基于多组明场图像生成相位图像。在对包括样本孔板的视图的样品进行成像的示例中，所述样本孔板还包括一个或多个样本(微)孔，可基于避免视觉伪影(例如样本孔板边界、(微)孔边界和/或其他视觉伪影，例如灰尘)的那些样本孔板视图和/或图像来选择训练数据集。通过考虑整个样品和/或其中包含的样本内的子区域，可训练机器学习模型以减少视觉伪影对所得相位图像的影响。可通过在训练数据集中创建图像的副本并添加模拟的视觉伪影以创建模拟的训练数据集图像来增强训练数据集。在监督训练方法中，机器学习模型可使用模拟的训练数据集图像进行训练，并且机器学习模型可学习基于模拟的视觉伪影来调整输出。
[0015]
数据集中的匹配图像集可在训练期间用作机器学习模型的输入，其中每个匹配图像集可包括：对应于样品视图的两个或多个明场图像，每个明场图像在不同的焦平面处；以及基于所述对应的两个或更多个明场图像生成的所述样品的真值相位图像。可将机器学习模型的基于匹配图像集生成的输出与对应的真值相位图像进行比较以训练所述模型。另外地和/或另选地，可采取使用不需要具有对应真值图像的训练数据集的无监督训练方法，其中使用相位方程来评估机器学习模型的所生成输出。训练后的模型可用于由明场图像对的输入数据集生成相位图像。
[0016]
对应的方法、设备、系统和计算机可读介质也在本公开的范围内。
[0017]
这些特征以及许多其他特征将在下面更详细地讨论。
附图说明
[0018]
本公开是举例示出并且不限于附图，在附图中相似的附图标记指示类似的元件，并且在附图中：
[0019]
图1绘示根据本文讨论的一个或多个说明性方面的计算装置的示例，所述计算装置可用来实现本公开的一个或多个方面；
[0020]
图2示出根据一些方面的明场相位图像的示例生成；
[0021]
图3a至图3c示出在生成的明场相位图像中可能会呈现复杂性的示例视觉伪影；
[0022]
图4a是根据一个或多个方面的用于开发用于训练机器学习模型以生成相位图像的训练数据集的方法的说明性示例的框图；
[0023]
图4b是根据一个或多个方面的用于开发用于训练机器学习模型以生成相位图像的训练数据集的方法的说明性示例的框图；
[0024]
图5示出根据一些方面的用于训练机器学习模型的示例性匹配图像集；
[0025]
图6示出根据一些方面的用于训练机器学习模型的示例性的已修改的匹配图像集；
[0026]
图7示出根据一些方面的与模拟视觉伪影相关联的光学原理；以及
[0027]
图8a至图8b示出经典方法与根据本文描述的一个或多个方面的新颖技术之间的比较结果。
具体实施方式
[0028]
在对各种实施方案的以下描述中，参考附图，附图形成本发明的一部分并且在附图中图解示出其中可实践本公开的方面的各种实施方案。应当理解，在不脱离本公开的范围的情况下，可利用其他实施方案并且可进行结构和功能修改。本公开的方面能够具有其他实施方案并且能够以各种方式来实践或实施。此外，应当理解，本文使用的用语和术语是为了描述的目的且不应被视为限制性的。相反，本文使用的短语和术语将被赋予其最广泛的解释和含义。“包括”和“包含”及其变体的使用意味着涵盖其后列出的项目及其等效物以及另外的项目及其等效物。
[0029]
作为介绍，本文讨论的方面可涉及采用深度学习来生成相位图像的设备、系统、方法和技术，所述相位图像可减少和/或消除视觉伪影(例如灰尘、水滴、孔边界(例如，在多孔板中)、图像边界等)的影响，从而解决了与此类伪影相关联的经典方法的缺点。出于本公开的目的，“无伪影”图像应被理解为基本上没有在不应用所公开的设备、系统、方法和技术的情况下将产生显著图像失真的视觉伪影和/或不连续性的图像。如本文中也使用，“样品”是指要成像的视图或“图像视图”的内容，例如显微镜视图，其中此类样品可包括一个或多个对象、结构、样本等。在一个实施方案中，可获得来自使用至少两个不同焦平面的样品(例如，显微镜视图)的无伪影视图的训练集图像以提供至少第一和第二明场图像，并且可由此获得所述视图的无伪影相位图像。此后，可通过模拟视觉伪影或已知存在于明场显微镜图像中的其他类型的挑战的存在来修改至少第一和第二无伪影的明场图像。已修改的明场图像连同无伪影相位图像(例如，从未修改的明场图像得到)作为输入提供至机器学习模型，
作为训练集。机器学习模型可基于相位方程和一个或多个模型参数来生成基于训练集的匹配图像的输出相位图像。在这样的实施方案中，鉴于无伪影相位图像(基于无伪影的明场图像)，调整机器学习模型的参数以补偿模拟的、伪影诱发的明场图像。在训练之后，当呈现包含实际伪影的样本明场图像时，所公开的设备、方法和系统能够利用已训练的机器学习模型来计算补偿伪影的对应视图的相位图像。
[0030]
在一些实施方案中，可训练机器学习模型(例如，神经网络)以由在不同焦平面处获取的样品的一对明场图像生成相位图像。可对模型进行训练，以消除可能导致以经典方式生成的相位图像部分无法使用的常见问题。可通过选择一组相对干净的匹配图像来构建训练数据集，该组匹配图像可被选择来提供样品或其(子)区域的示例图像视图，所述示例图像视图避免视觉伪影和其他问题。例如，可训练模型以对全明场图像内的剪切区域的训练图像(例如，来自至少两个不同的焦平面)进行操作，这可以允许模型进行学习以减少和/或消除图像边界的影响。可通过获取匹配图像集并修改图像以模拟视觉伪影或明场显微镜的实用性所面临的其他挑战的存在，来扩展训练数据集。因为视觉伪影是模拟的，所以模型的输出仍然可以对照已知的真值示例进行评估。此过程可能会导致已训练的模型进行学习以补偿视觉伪影，从而减少它们对生成的相位图像的影响。一旦被训练，所述模型便可用于由可能包含视觉伪影和/或不连续性的明场图像/图像视图生成改进的相位图像。
[0031]
模型训练可以是监督学习、无监督学习和/或混合学习方法。在监督学习中，训练数据集中的每个匹配图像集可包括对应的真值相位图像(例如，从未修改的、无伪影的明场图像得到的相位图像)。可将训练期间机器学习模型的输出与真值相位图像进行比较，并且可适当地调整模型参数。在无监督学习中，可将训练期间机器学习模型的输出与通过对未修改的、无伪影的明场图像应用相位方程(和/或额外增强)来计算的预期真值相位图像进行比较。在一些实施方案中，也可以使用混合方法，采用有监督和无监督学习的方面来获得改进的模型训练。
[0032]
根据一些方面，监督学习系统和/或方法可使用远离图像边界选择并且没有视觉伪影的来自样品或其部分的无伪影图像视图的以经典方式重建的相位图像作为用于训练机器学习算法的真值。可训练深度人工神经网络模型以再现相位图像重建。为了解决本文所述的干扰和伪影，可采用图像增强工具来模拟无伪影训练数据集的图像(和/或对应的真值相位图像)上的那些伪影，以允许人工神经网络学习处理那些(模拟)伪影的不同方式。例如，可创建无伪影训练数据和/或真值相位图像中的暗区域以模拟灰尘颗粒或液滴的影响，其中这种伪影创建/模拟可解释对应明场图像的焦平面和对正在模拟的伪影的影响(如果有的话)。可训练网络以忽略变暗的贡献。另外地和/或另选地，无伪影训练图像的一些区域可被“涂黑”以模拟图像边界或孔边界的效果。在这种情况下，可训练网络以将这些区域保持为涂黑区域，并且不影响附近图像区域中的相位信号。这些增强工具/技术可极大地提高监督方法的成功率。在一些实施方案中，所公开的设备、方法和系统可包括基于与第一明场图像相关联的第一焦平面和与第二焦平面相关联的第二焦平面之间的差异将模拟的视觉伪影投影到不同的明场图像。
[0033]
根据某些方面，无监督学习方法可能不依赖于以经典方式重建的相位图像。相反，无监督方法在训练人工神经网络模型时可能主要依赖相位方程直接作为损失函数。这种方法可能不需要以相同的方式使用图像增强工具/技术，并且能够解决之前识别的伪影和图
像质量问题。然而，由于无监督方法在很大程度上依赖于相位方程(和相关的增强)，它可能会在相位图像中重建额外的细节，这些细节可能会在经典重建中遇到类似的问题。因此，在一些无监督实施方案中，提供明场图像作为机器学习模型的输入，并且可使用随机权重来计算相位图像。相位方程可用于计算损失并调整权重。可重复该过程，直到获得产生预定或期望的损失的相位图像。
[0034]
根据一些方面，混合学习设备、系统和/或方法可使用监督和非监督方法来训练模型以执行重建。应用这些学习方法来训练机器学习模型可提供能够自动去除和/或减少视觉伪影的影响的模型，而无需与经典调整相关联的手动参数调整。
[0035]
使用在不同焦平面测量的一组明场显微图像生成相位图像的过程是一种已知方法。虽然它在某些用例中效果很好，但是当面对常见的伪影(例如，灰尘颗粒、水滴、孔边界)时，这种方法可能表现不佳，并且可能需要时间(即,3-5秒)来生成一个相位图像。
[0036]
然而，在更详细地讨论这些概念之前，将首先参看图1来讨论包括可用于实现和/或以其他方式提供本公开的各个方面的计算装置的系统和/或方法的几个示例。
[0037]
图1示出了可用于实现本文讨论的一个或多个说明性方面的计算装置101的一个示例。例如，在一些实施方案中，计算装置101可通过读取和/或执行指令并且基于所述指令执行一个或多个动作来实现本公开的一个或多个方面。在一些实施方案中，计算装置101可表示各种装置、结合在各种装置中和/或包括各种装置，诸如桌上型计算机、计算机服务器、移动装置(例如，膝上型计算机、平板计算机、智能电话、任何其他类型的移动计算装置等)和/或任何其他类型的数据处理装置。
[0038]
在一些实施方案中，计算装置101可在独立环境中操作。在其他情况下，计算装置101可在网络环境中操作。如图1所示，各种网络节点101、105、107和109可经由网络103(诸如因特网)互连。也可以或替代地使用其他网络，包括专用内联网、公司网络、lan、无线网络、个人网络(pan)等。网络103用于说明目的并且可用更少或更多的计算机网络来替代。局域网(lan)可具有任何已知lan拓扑中的一者或多者并且可使用各种不同协议中的一者或多者，诸如以太网。装置101、105、107、109和其他装置(未图示)可经由双绞线、同轴缆线、光纤、无线电波或其他通信介质连接到所述网络中的一者或多者。
[0039]
如图1中所见，计算装置101可包括处理器111、ram 113、rom115、网络接口117、输入/输出接口119(例如，键盘、鼠标、显示器、打印机等)和存储器121。处理器111可包括一个或多个计算机处理单元(cpu)、图形处理单元(gpu)和/或其他处理单元，诸如适于执行与机器学习相关联的计算的处理器。i/o 119可包括用于读取、写入、显示和/或打印数据或文件的各种接口单元和驱动器。i/o 119可与诸如显示器120的显示器联接。存储器121可存储用于将计算装置101配置为用于执行本文讨论的各种功能中的一者或多者的专用计算装置的软件。存储器121可存储用于控制计算装置101的总体操作的操作系统软件123、用于指示计算装置101执行本文讨论的方面的控制逻辑125、机器学习软件127、训练集数据129和其他应用程序129。控制逻辑125可结合到机器学习软件127中和/或可以是机器学习软件127的部分。在其他实施方案中，计算装置101可包括任何和/或所有这些组件中的两者或更多者(例如，两个或更多个处理器、两个或更多个存储器等)和/或本文未示出的其他组件和/或子系统。
[0040]
装置105、107、109可具有关于计算装置101描述的类似或不同架构。本领域的技术
人员将了解，如本文描述的计算装置101(或装置105、107、109)的功能性可分散在多个数据处理装置上，例如，以将处理负荷分布在多个计算机上，以基于地理位置、用户访问等级、服务质量(qos)等来分离事务。例如，装置101、105、107、109和其他装置可操作以提供并行计算特征来支持控制逻辑125和/或软件127的操作。
[0041]
本文讨论的一个或多个方面可体现为由一个或多个计算机或本文描述的其他装置执行的计算机可用或可读数据和/或计算机可执行指令，诸如体现为一个或多个程序模块。一般来说，程序模块包括在由计算机或其他装置中的处理器执行时执行特定任务或实现特定抽象数据类型的例行程序、程序、对象、组件、数据结构等。模块可用源代码编程语言编写，随后编译来执行，或者可用脚本语言编写，例如(但不限于)python或r。计算机可执行指令可存储在计算机可读介质上，诸如硬盘、光盘、可移动存储介质、固态存储器、ram等。如本领域技术人员将理解，程序模块的功能可根据需要组合或分布在各种实施方案中。此外，该功能可全部或部分体现在固件或硬件等效物中，诸如集成电路、现场可编程门阵列(fpga)等。特定数据结构可用于更有效地实现本文讨论的一个或多个方面，并且此类数据结构被设想在本文描述的计算机可执行指令和计算机可用数据的范围内。本文讨论的各个方面可体现为方法、计算装置、数据处理系统或计算机程序产品。
[0042]
已经讨论了可用于实现以下进一步讨论的一些方面的计算装置的几个示例，现在讨论将转向用于训练机器学习模型以生成明场相位图像的过程。
[0043]
图2示出由两个输入明场图像生成明场相位图像的示例。第一图像210和第二图像220可以是分别使用第一和第二焦平面从明场显微镜捕获的图像。例如，可在样本板的孔中制备具有含有细胞和水的样本的样品并适当放置以通过显微镜成像。第一图像210可以是在第一焦平面处捕获的样品的至少一部分的视图的图像，而第二图像220可以是在第二焦平面处捕获的样品的相同视图的对应图像。应用明场相位成像的原理，可处理第一图像210和第二图像220以基于相位方程235生成相位图像230。该过程可利用已知样本介质(例如，n＝1.33的水)和样本(例如，n＝1.35-1.38的细胞)的不同折射率来生成通过视觉对比将样本与背景隔离的图像。将相位方程应用于不同焦平面处的图像是基于认识到细胞的工作方式类似于透镜，当光从一层传播到下一层时，会聚集穿过细胞的光。光守恒定律控制着光如何在不损失光子的情况下从一个地方移动到另一个地方。应用相位方程可转换来自第一和第二焦平面的密度信息以生成相位图像(φ)。
[0044]
相位方程对输入明场图像的严格应用可能会生成由于存在视觉伪影(诸如灰尘或孔边界等)而具有不可用部分的相位图像，因为本技术不限于伪影的这些或其他示例，并且可扩展到图像中的其他视觉伪影和/或不连续性。经典方法已经开发出各种调整增强，以应用于使用相位方程生成的相位图像，但它们通常需要手动调整和应用。应用于所得的相位图像的校正违反了相位方程，但可减少在折射率方面是异常值的视觉伪影的影响。
[0045]
图3a至图3c示出相位成像中的复杂性，以及对应的适当结果可能看起来是什么样的。在实践中，明场成像会受到照明模式的缺陷、光损失、噪声/干扰、光路干扰和其他视觉伪影的影响。
[0046]
图3a示出与背景噪声和图像边界相关联的问题。在示例性图像310和320中，提供特定样品的两个视图，呈背景噪声和图像边界形式的视觉伪影和不连续性用于在样品的图像视图边界附近的区域中模糊或引入非所要的对比度。这种背景辉光可能是严格应用相位
方程造成的。在对应的处理后的图像315和325中，呈现了针对图像310和320的对比度问题进行调整的更合适的视觉化。补偿这些问题的经典方法包括背景截止/滑动截止方法。如所述，这些方法可能会违反相位方程，并且确实可能具有更高的错误率，但导致更适合观察的所生成的相位图像。虽然校正可能会偏离相位方程，但它们提供了有用信号与无用信号的改进分离。另一个增强可能包括对生成的相位图像应用高通滤波器。然而，高通滤波器可能会跳过图像并且可能无法令人满意地解决某些问题。更好的方法可能是使用滑动抛物线作为一种“剃刀”，在相位图像上的最小值之间进行插值以剃除背景辉光的细胞。然而，滑动抛物线方法可能需要操作员仔细调整和应用。
[0047]
类似地，图3b示出在灰尘颗粒在图像视图中时与图像视图相关联的问题。图像330显示了从经典方法得出的示例的所得相位图像，所述相位图像对被模糊和高对比度的光环包围的灰尘颗粒赋予过高的权重。样品图像视图中包含的灰尘颗粒(例如空气中的灰尘或实验室外套纤维)可能会产生非常糟糕的结果，因为它们具有光学吸收性并且违反了用于生成对比相位图像的守恒定律相位方程。图像335显示了对应于图像330的处理后的图像，其中灰尘颗粒的影响已经降低。图像340显示了类似的视觉伪影，其中视觉路径中的干扰已导致相位图像在图像的一部分中变黑(白)。图像345显示了已消除干扰影响的适当调整后的相位图像。
[0048]
图3c示出了孔边界(例如在多孔板上)可能对生成的相位图像产生的影响。可在显微镜观察的多孔板的小孔内测量样品内的样本(例如，生物材料、非生物材料和/或其他类型的研究中的材料)，尽管提供此类示例仅用于说明，并且所公开的方法和系统可应用于其他对象/样品的其他视图。板上的孔边界可作为一种强吸收介质，在光学上淹没有用的信号。未处理的相位图像350显示孔边界可能会吸收通过孔边界的光，因此在生成的相位图像上显示为高对比度区域，很大程度上无法用于观察。经典方法在图像中的孔边界方面存在很大问题，并且此类处理方法可能通过生成的相位图像具有长期的破坏性影响(例如，影响大的视觉区域)。根据一些方面，处理后的相位图像355显示了消除孔边界的影响的增强图像，揭示了在原始的、未处理的相位图像中可能无法观察到的样品细胞。如本文进一步描述的，使用具有模拟视觉伪影的机器学习方法来生成相位图像的显著优势可以是已训练模型对样品图像中的孔边界的稳健处理。
[0049]
图4a示出用于训练机器学习模型以生成相位图像的新颖方法4000的一个实施方案。方法4000可基于初始训练数据集来训练机器学习模型，所述初始训练数据集包括获得一组或多组初始的匹配明场图像，一组中的每个明场图像是在不同焦平面处获取。这样的初始数据集图像可包括基本上没有视觉伪影和/或不连续性的视图。可通过修改初始匹配图像训练集中的一者或多者(明场图像)以模拟视觉伪影和/或不连续性而生成额外的匹配图像集来增强训练数据集，经典方法在由初始匹配图像训练集生成相位图像时可能具有分类困难。可基于模拟视觉伪影和/或不连续性来训练机器学习模型以改进相位图像的生成，即便存在此类视觉伪影，所述视觉伪影包括但不限于灰尘、水滴、边界(诸如孔边界和板边界)以及明场成像中可能出现的其他视觉伪影和不连续性(例如，如参看图3a至图3c所讨论)。方法4000可由任何合适的计算装置(诸如图1的计算装置101)实现、体现在计算机可读介质中和/或体现在适当配置的系统中。机器学习模型可以是采用深度学习技术的人工神经网络，诸如卷积神经网络。深度神经网络可以是除了其输入层和输出层之外还包括一个
或多个隐藏层的神经网络。许多类型的人工神经网络适合于基于输入明场图像生成相位图像，并且本文描述的方面可同样适用，不管机器学习模型采用的特定神经网络结构。如本领域中将理解的，由机器学习模块生成的候选相位图像可使用监督学习、非监督学习和/或混合学习方法来评估，并且可基于所述评估来调整机器学习模型的参数以提高机器学习模型的准确性。
[0050]
在4010，实现方法4000的计算系统可选择包括一个或多个匹配图像集的初始训练数据集。初始训练数据集中的每个匹配图像集可包括在不同焦平面观察到的样品的两个或更多个图像。例如，匹配图像集可包括对应于第一焦平面处的视图的样品的第一明场图像和对应于第二焦平面处的视图的同一样品的第二明场图像。初始训练数据集可被选择为大体上包括匹配图像集，这些图像集基本上没有明显的视觉伪影和/或不连续性。例如，训练数据集可包括被选择为基本上避免灰尘颗粒或多孔板的孔边界的示例。对于监督学习应用，训练数据集可包括基于基本上无伪影的匹配图像集生成的对应的相位图像。可使用经典方法生成对应的相位图像，例如通过对第一和第二明场图像应用相位方程。相位图像可通过校正来进一步增强，例如通过应用滑动抛物线校正以减少背景辉光/噪声。
[0051]
在4020，计算系统可通过修改初始的匹配图像集以模拟视觉伪影来生成额外的匹配图像集来增强训练数据集。
[0052]
在4030，所述系统可基于增强的训练数据集(包括初始“无伪影”图像和修改后的图像)来训练机器学习模型。在训练期间，在4033，机器学习模型可由训练数据集中的匹配的明场图像集生成候选相位图像。在具有两个明场图像的示例实施方案中，可将匹配图像集的在第一焦平面处的第一明场图像和在第二焦平面处的对应的第二明场图像输入到机器学习模型。在一些实现方式中，在匹配图像集中捕获多于两个焦平面的情况下，输入可包括在不同焦平面处的每个明场图像。在本文描述的示例实施方案中，机器学习模型可输出基于匹配集的第一和第二明场图像生成的候选相位图像。在4035，可使用如下所述的监督学习、非监督学习和/或混合学习方法来评估生成的候选相位图像。并且在4037，可基于所述评估来调整机器学习模型的参数以提高机器学习模型的准确性。
[0053]
在监督学习方法中，根据前述示例，所述前述示例可使用图5所示的匹配图像集，可将由模型生成的并且对应于来自训练数据集的匹配图像集的候选相位图像与对应于第一和第二明场图像的、训练数据集的对应的真值相位图像(例如，通过经典方法由基本上无伪影的明场图像数据集生成的相位图像)进行比较。真值相位图像与机器学习模型生成的候选相位图像之间的差异可用于进一步训练模型。也就是说，可基于所述差异来调整模型的参数以调整和/或改进机器学习模型的输出。
[0054]
在无监督学习方法中，机器学习模型生成的候选相位图像可使用相位方程进行评估，如果需要，还可进行校正。也就是说，可对照在明场图像的多个焦平面中起作用的光学定律对从一组或多个明场图像(由模型)生成的候选相位图像的错误率进行评估。例如，在训练机器学习模型时，可将相位方程用作损失函数，将候选相位图像和对应的明场图像作为输入，并且可训练模型以在生成候选相位图像时最小化损失函数。方面可通过在每次模型通过训练周期时对神经网络权重执行小的随机更改来进行优化以实现最小损失，并且可在每个周期结束时观察获得的损失。可在许多周期内观察获得的损失，以评估最佳保存模型的性能。
[0055]
在混合学习方法中，可采用监督学习和非监督学习的方面。例如，针对匹配图像集由机器学习模型生成的候选相位图像可对照对应的真值相位图像进行评估，同时还考虑关于相位方程的错误率。可基于监督学习来更好地调整一些模型参数，而可基于无监督学习来更好地获知其他模型参数。有监督和无监督的方法可使用相同或不同的数据集。例如，第一训练数据集可通过多组明场图像和真值相位图像来支持监督学习，而第二训练数据集可省略真值相位图像。
[0056]
在步骤4040，可使用已训练模型来由实际数据生成相位图像。从明场图像源接收的数据，例如实况的明场图像集，可被馈送到模型中以生成可提供给研究人员以帮助观察的相位图像。
[0057]
图4b示出用于生成训练数据集的一种方法400，所述训练数据集用于训练机器学习模型以通过本文描述的设备、方法和系统生成所公开的相位图像。在图4b的示例中，视图是显微镜视图。方法400可实现方法4000(图4a)的方面。方法400可基于训练数据集来训练机器学习模型，所述训练数据集包括显微视图的至少两个明场图像的匹配集，其中每个明场图像是使用不同的焦平面来获取。如图4b中所示，可基于选择基本上和/或相当程度上没有视觉伪影或不连续性的匹配图像或图像视图的示例来建构初始训练数据集。可通过由初始训练数据集图像生成额外的匹配图像集(修改后的明场图像)以及模拟初始训练数据集图像上的视觉伪影和/或不连续性来增强初始训练数据集，经典方法可能对所述视觉伪影和/或不连续性可能难以分类或进行其他处理。对此类明场图像的修改可基于与不同明场图像相关联的不同焦平面，以及在不同焦平面处伪影/不连续性的潜在的不同视觉效果。在某些学习方案的实施方案中，所公开的方法和系统还可以包括像对明场图像做出的修改一样用对应的视觉伪影和/或不连续性来修改“真值”相位图像(由基本上无伪影的明场图像生成)。可基于模拟视觉伪影来训练机器学习模型以改进相位图像的生成，即便存在此类视觉伪影，在所示实施方案中，所述视觉伪影可包括但不限于灰尘、水滴、边界以及明场成像中可能出现的其他视觉伪影(例如，如参看图3a至图3c所讨论)。方法400可由任何合适的计算装置(诸如图1的计算装置101)实现、体现在计算机可读介质中和/或体现在适当配置的系统中。
[0058]
在401，实现方法400的计算系统可通过选择至少两个明场图像的匹配集来生成初始训练数据集，匹配集中的每个图像包括样品的在不同焦平面处的图像视图。例如，在两个明场图像的情况下，第一明场图像将是从样品的在第一焦平面处的特定显微视图获取，而第二明场图像将是从同一样品的但对应于第二焦平面的相同显微视图获取。在401选择的图像可以基本上“无伪影”，优选地基本上没有任何显著的和/或非所要的视觉伪影和/或不连续性。在监督学习实现方式中，在402，可基于在401获得的明场图像(无伪影，初始训练数据)的对应匹配集，通过对其应用相位方程来生成训练相位图像。因此可使用经典方法生成对应的训练相位图像(“真值相位图像”)，尽管可以使用其他技术。对应的训练相位图像可通过校正进一步增强，例如通过应用滑动抛物线校正以减少背景辉光/噪声。可存储“无伪影”明场图像及其对应的“无伪影”相位图像。在无监督学习实现方式中，可省略402。
[0059]
在403，可选择一个或多个视觉伪影，并且可包括任何一种或多种视觉伪影，这些视觉伪影是视图内的样品或样本类型的明场图像通常具有的，如本文先前所述。如先前提供的，此类视觉伪影可包括灰尘、孔或板边界、涂黑区域等，并且本公开不限于如本文所提
供的可选择用于模拟的视觉伪影类型，因为此类伪影和/或不连续性是基于样品及其特性。在404，可使用已知技术，例如通过使像素水平地和垂直地移位、使图像的像素旋转、添加随机背景噪声(例如，高斯噪声、椒盐噪声、泊松噪声、散斑噪声等)、使像素变模糊、在指定区域中生成涂黑区域以模拟微孔或微板边界等和/或在整个(先前的无伪影明场)图像内生成随机涂黑区域，以模拟方式对“无伪影”明场图像中的每一者应用此类一个或多个所选的视觉伪影。
[0060]
在405，可确定视觉伪影是否也应该以模拟方式应用于由“无伪影”明场图像生成并对应于“无伪影”明场图像的“无伪影”相位图像。这样的决定可基于所选的伪影以及此类伪影可能会学习过程造成的影响。例如，可选择微孔板边界和孔边界以及其他完全吸收的视觉伪影以在(无伪影)相位图像中进行复制，以更好地指导机器学习。相位图像中可能无法模拟其他伪影。
[0061]
如果决定用视觉伪影修改“无伪影”相位图像，则在406可生成对应的修改后的相位图像。修改后的明场图像和修改后的相位图像包括匹配图像集并且在407存储为训练数据集的一部分。否则，在视觉伪影不应用于相位图像的情况下，“无伪影”相位图像和修改后的明场图像包括匹配图像集并且在408存储为训练数据集的一部分。在修改后的匹配图像集被存储之后，可在409决定使用这些相同的但具有不同的伪影的初始图像创建另一个匹配图像集。在这种情况下，可在410重复本文描述的过程，基于相同的但具有不同伪影的“无伪影”明场图像和对应的“无伪影”相位图像410生成新的匹配图像集以扩增训练数据集。另外地和/或替代地，在步骤411，可通过返回到步骤401来获得一组新的“无伪影”明场图像，并且可重复图4所示的方法400以基于其他的初始的匹配明场图像集和/或先前生成的其他匹配训练数据集来生成修改后的匹配图像集。例如，在一些实现方式中，不是如410所示的“重置”，所述系统可选择已经被修改的匹配集，并且使用另一个伪影来进一步修改所述匹配集。一旦训练数据集包括所有期望的图像集，就可以在412提供所述训练数据集来训练机器学习模型以生成供研究人员和其他用户使用的相位图像。
[0062]
图5绘示示例性训练数据集的说明性的匹配图像集500，其中所获得的明场图像的数量(参见图4b，401)是二。匹配图像集500可包括在第一焦平面处取得的样品的第一明场图像510和在第二焦平面处取得的样品的第二明场图像520。可通过对图像510和520应用相位方程并且进行适当校正(诸如滑动抛物线校正)来生成相位图像530。
[0063]
示例图像510、520和530可以基本没有非所要的伪影，例如图像边界被移除，使得不会基于靠近图像边界附近的异常结果来训练机器学习模型。例如，可从训练数据集图像510、520和530移除在图像边界的某一像素范围内的图像数据。在一些实施方案中，机器学习模型可考虑来自图像510和520的数据，以进行信息更全面的训练以获得相位图像530作为真值。尽管所述模型旨在生成相位图像530的缩小区域，但在一些实现方式中，它可以考虑来自图像510和520中该区域外的额外数据以更好地预测缩小区域内的内容。
[0064]
图6绘示包括两个明场图像的示例性训练数据集的说明性的修改后的匹配图像集600。在第一焦平面610处的第一修改后的明场图像可被修改为包括模拟孔边界611和模拟灰尘颗粒613。这些模拟伪影可投影到对应于第二焦平面的对应的第二明场图像和对应的真值相位图像。例如，修改后的第二明场图像620被修改为包括模拟孔边界621，由于孔边界在超越样品的焦平面时的性质，所述模拟孔边界可能与模拟孔边界611基本上相同。但是，
由于第一明场图像与第二明场图像之间的焦平面不同，灰尘颗粒613可能预计对修改后的训练数据集的第二明场图像620具有更大的影响。例如，使用与灰尘相关联的光学性质以及第一焦平面与第二焦平面之间的距离，系统可计算出与灰尘看起来较明显(例如，更深和更暗)的第二焦平面620相比，在第一焦平面610中灰尘将看起来更不集中并且更分散。图7提供在模拟伪影从一个平面投影到另一个平面过程中涉及的光学原理的图示700。明确地说，由于灰尘颗粒与光实际上如何相互作用，上面的平面710比下面的平面720更模糊。另外，新月效应可能会导致所投影的灰尘颗粒在被投影到第二焦点水平时稍稍改变位置。因此，所公开的方法和系统包括通过基于所选伪影/不连续性和这种所选伪影/不连续性的在对应的焦平面上的关联视觉效果来修改无伪影(例如，“初始”)训练数据集来模拟伪影和/或不连续性。
[0065]
如图4b中所提供，在405至408，在适当的情况下，可修改对应于训练数据集的真值相位图像以投影模拟视觉伪影的期望影响。例如，系统可生成修改后的训练数据集相位图像630以包括与图像610和620中基本上相同形式的模拟孔边界631。但是如区域633中所示，可极大地减小模拟灰尘颗粒613的视觉影响。因此，模拟视觉伪影可被配置为将机器学习模型引导到期望的结果，以最大化有用信号和减少无用信号的方式适当地补偿视觉伪影。
[0066]
因为(初始或无伪影)训练数据集包括为避免视觉伪影和其他复杂性而选择的示例，例如图5中所示的那些，可训练机器学习模型以基于相对干净的输入数据来准确地生成相位图像。然而，根据本文描述的方面，修改后的示例匹配图像集，例如图6中所示的那些，可用于训练机器学习模型以处理样品的视图中的视觉伪影。
[0067]
在所公开的设备、系统和方法中，通过从干净的(例如，基本上没有非所要的伪影)图像/训练数据开始，可对匹配的明场图像集进行修改，同时系统仍然知道对应于匹配集的真值相位图像。因此，机器学习模型对具有模拟视觉伪影的修改后的示例的性能可基于机器学习模型能够获得模拟真值相位图像或未修改的原始真值相位图像的准确程度来进行评估。
[0068]
如本文所提供，例如，可将(同一个样品的)修改后的训练数据集的在第一焦平面处的第一明场图像和在第二焦平面处的对应的第二明场图像输入到机器学习模型。机器学习模型可输出基于修改后的训练数据集的第一和第二明场图像生成的候选相位图像。也就是说，机器学习模型生成的候选相位图像可基于模拟伪影。可使用与上述方法类似的监督学习、非监督学习和/或混合学习方法来评估所生成的候选相位图像。明确地说，所生成的候选相位图像可对照对应于监督学习方法中的修改后的训练数据集(无论它是否也包括模拟视觉伪影，或者是未修改的)的真值相位图像来进行评估。在一些实施方案中，所生成的候选相位图像可使用无监督方法、使用相位方程来评估，所述相位方程应用于示例的修改后的明场图像，作为指导模型训练的损失函数。在一些实施方案中，如上所述，可应用混合方法。如本文所述，可基于所述评估来调整机器学习模型的参数以提高机器学习模型的准确性。
[0069]
一旦已训练，便可使用机器学习模型来由实际明场图像数据生成相位图像。从明场图像源接收的数据，例如实况的明场图像集，可被馈送到模型中以生成可提供给研究人员以帮助观察的相位图像。在训练阶段期间已基于伪影模拟数据进行训练的模型可能对实际数据中的视觉伪影具有鲁棒性。
[0070]
图8a和图8b示出来自根据本文描述的一些方面进行训练的机器学习模型的结果与经典方法的结果进行比较的示例。图8a示出在图像810中呈现有孔边界时经典方法将如何失败。根据本文所述的一些方面的实现方式生成的图像820提供了孔边界的清晰视觉化，同时仍示出孔边界附近的细胞。再举例来说，图8b将通过本文所述的方面的实现方式对明场图像中的灰尘颗粒的处理与经典方法进行比较。第一明场图像831和第二明场图像833包括与样品的细胞和水相比具有高度光学吸收性的灰尘颗粒。在经典方法中，由于灰尘颗粒引起的无用信号，所得的相位图像840实际上是不可用的。相比之下，图像845(由本文所述的一些方面的实现方式生成)最小化由灰尘颗粒引入的无用信号并且保留灰尘颗粒周围的细胞的有用信号。
[0071]
如上所述，本文描述的方面涉及用于训练机器学习模型以由明场图像生成相位图像的过程。无论机器学习模型的结构如何，本文描述的方面都可以同样适用。示例性实现方式可将卷积深度神经网络结构用于机器学习模型。明确地说，下面详述了可使用的机器学习模型的一个示例实现方式。在该实现方式中，机器学习模型可基于谷歌提供的tensorflow库来实现。该模型可能具有“u”形，逐渐缩小输入图像以识别相关特征，然后再放大到结果图像。u形架构可通过一系列层来逐步缩小图像，直到达到单个像素级别，然后采用去卷积来恢复到全尺寸图像。
[0072]
u形网络可迭代地降低图像的分辨率，例如每步4倍。在每个卷积中，1个像素可能对应于先前级别的4个或16个像素。因此，在每个渐进层，各个像素都包含更多信息。这可以促进模型的分段训练，并允许神经网络识别相关特征以在各种细节层次上考虑。在一些实现方式中，u形网络可由32个滤波器的3x3或4x4卷积深度神经网络层组成。在两个平面(例如，上平面和下平面)中可能是256x256像素的输入图像可能会被逐步过滤掉。在每一层，图像可被分割成更多的组成图像。256个重叠的图像块可被馈入到网络中并在被平铺在一起之前单独进行处理。
[0073]
示例python代码使用tensorflow库来构建可用于实现本文描述的某些方面的卷积神经网络，如下所示：
[0074]
layer1＝tf.layers.conv2d(x，64，4，2，
′
same
′
，activation＝tf.nn.leaky_relu)
[0075]
layer2＝tf.layers.conv2d(layer1，128，4，2，
′
same
′
，activation＝tf.nn.leaky_relu)
[0076]
layer3＝tf.layers.batch_normalization(layer2)
[0077]
layer4＝tf.layers.conv2d(layer3，256，4，2，
′
same
′
，activation＝tf.nn.leaky_relu)
[0078]
layer5＝tf.layers.batch_normalization(layer4)
[0079]
layer6＝tf.layers.conv2d(layer5，512，4，2，
′
same
′
，activation＝tf.nn.leaky_relu)
[0080]
layer7＝tf.layers.batch_normalization(layer6)
[0081]
layer8＝tf.layers.conv2d(layer7，512，4，2，
′
same
′
，activation＝tf.nn.leaky_relu)
[0082]
layer9＝tf.layers.batch_normalization(layer8)
[0083]
layer10＝tf.layers.conv2d(layer9，512，4，2，
′
same
′
，activation＝tf.nn.leaky_relu)
[0084]
layer11＝tf.layers.batch_normalization(layer10)
[0085]
layer12＝tf.layers.conv2d(layer11，512，4，2，
′
same
′
，aetivation＝tf.nn.leaky_relu)
[0086]
layer13＝tf.layers.batch_normalization(layer12)
[0087]
layer14＝tf.layers.conv2d(layer13，512，4，2，
′
same
′
，activation＝tf.nn.leaky_relu)
[0088]
layer15＝tf.layers.batch_normalization(layer14)
[0089]
layer16＝tf.layers.conv2d_transpose(layer15，512，4，2，
′
same
′
，activation＝tf.nn.relu)
[0090]
layer17＝tf.layers.batch_normalization(layer16)
[0091]
layer18＝tf.layers.dropout(layer17，0.5，training＝is_training)
[0092]
layer19＝tf.concat((layer12，laye18)，axis＝3)
[0093]
layer20＝tf.layers.conv2d_transpose(layer19，512，4，2，
′
same
′
，activation＝tf.nn.relu)
[0094]
layer21＝tf.layers.batch_normalization(layer20)
[0095]
layer22＝tf.layers.dropout(layer21，0.5，training＝is_training)
[0096]
layer23＝tf.concat((layer10，layer22)，axis＝3)
[0097]
layer24＝tf.layers.conv2d_transpose(layer23，512，4，2，
′
same
′
，activation＝tf.nn.relu)
[0098]
layer25＝tf.layers.batch_normalization(layer24)
[0099]
layer26＝tf.layers.dropout(layer25，0.5，training＝is_training)
[0100]
layer27＝tf.concat((layer8，layer26)，axis＝3)
[0101]
layer28＝tf.layers.cony2d_transpose(layer27，512，4，2，
′
same
′
，activation＝tf.nn.relu)
[0102]
layer29＝tf.layers.batch_normalization(layer28)
[0103]
layer30＝tf.concat((layer6，layer29)，axis＝3)
[0104]
layer31＝tf.layers.conv2d_transpose(layer30，256，4，2，
′
same
′
，activation＝tf.nn.relu)
[0105]
layer32＝tf.layers.batch_normalization(layer31)
[0106]
layer33＝tf.concat((1ayer4，layer32)，axis＝3)
[0107]
layer34＝tf.layers.conv2d_transpose(layer33，128，4，2，
′
same
′
，activation＝tf.nn.relu)
[0108]
layer35＝tf.layers.batch_normalization(layer34)
[0109]
layer36＝tf.concat((layer2，layer35)，axis＝3)
[0110]
layer37＝tf.layers.conv2d_transpose(layer36，64，4，2，
′
same
′
，activation＝tf.nn.relu)
[0111]
layer38＝tf.layers.batch_normalization(layer37)
[0112]
layer39＝tf.concat((layer1，layer38)，axis＝3)
[0113]
layer40＝tf.layers.cony2d_transpose(layer39，1，4，2，
′
same
′
)
[0114]
本文描述的方面集中在神经网络模型的训练过程上。该模型可以被配置为使用经典技术的各个方面对候选相位图像应用校正，例如偏移校正和背景辉光减少。所述模型可以被设计为使用相位方程来测试质量(例如，作为损失函数)。但是校正通常会违反相位方程，因此可以适当地配置模型，在某些实现方式中在应用校正之前评估生成的相位图像的准确性。如上面关于样本神经网络结构所讨论的，输入图像可被平铺以方便处理，然后拼接在一起以组合成最终相位图像。神经网络结构的方面可以是可调的。例如，可调整元参数(和/或超参数)以进一步提高机器学习模型的性能。作为特定示例，可取决于实现方式来调整在每一层采用的滤波器的数量。
[0115]
可采用额外的神经网络和校正来进一步改善所得的相位图像。例如，在一些实现方式中，在短分辨率尺度上可能存在更高的误差。高频问题可能会导致生成的相位图像中出现噪声。可采用额外的神经网络对生成的相位图像进行去噪。类似地，可采用模糊检测技术来进一步改进生成的相位图像。
[0116]
尽管已经用特定于结构特征和/或方法动作的语言描述了主题，但是应理解，在所附权利要求书中限定的主题不必限于上面描述的具体特征或动作。相反，上文所述的具体特征和动作被公开为实施权利要求的示例形式。