用于数字病理学的用于处理图像以针对所处理的图像制备载片的系统和方法与流程

用于数字病理学的用于处理图像以针对所处理的图像制备载片的系统和方法
1.相关申请本技术要求2019年5月28日提交的美国临时申请号62/853,383的优先权，其全部公开内容通过引用整体并入本文。
技术领域
2.本公开的各种实施例一般涉及病理载片制备和相关的图像处理方法。更具体地，本公开的特定实施例涉及用于基于处理组织样本的图像来识别或检测缺乏足以提供诊断的信息的载片的系统和方法。本公开还提供了用于基于处理组织样本的图像自动命令（order）额外载片的系统和方法，所述额外载片可包含足以提供诊断的数据。


背景技术：

3.病理样本可被切成多个分段、制备成载片并染色，以供病理学家检查并做出诊断。当不确定载片上的诊断发现时，病理学家可命令额外的切割水平、染色或其他测试以从组织中收集更多信息。然后，技术人员可以创建新的载片，其可以包含供病理学家在进行诊断时使用的额外信息。这种产生额外载片的过程可能是耗时的，不仅因为它可能会涉及取回组织块、将其切割以制作一个新的载片、然后对该载片染色，而且因为它可能是针对多个命令分批处理的。这可能会显著地延迟病理学家做出的最终诊断。即使在该延迟之后，新的载片可能也仍不具有足以做出诊断的信息。
4.需要一种方法来加快载片制备过程或提高其效率，并确保在病理学家复查载片时病理载片具有足够的信息来做出诊断。所公开的实施例确保在病理学家复查载片之前载片可提供足以做出诊断的信息。所公开的实施例可使病理学家免于复查提供不足以做出诊断的信息的载片。
5.前面的总体描述和后面的详细描述仅仅是示例性和解释性的，而不是对本公开的限制。本文提供的背景描述是为了总体地呈现本公开的上下文。除非本文另有说明，否则本节中描述的材料不因其包括在本节中而是本技术权利要求的现有技术、或承认其是现有技术、或暗示其是现有技术。


技术实现要素：

6.根据本公开的某些方面，公开了用于基于对来自数字病理图像的组织样本的图像分析来确定命令额外载片的系统和方法。
7.一种用于处理对应于样本的电子图像的计算机实现方法，包括：接收对应于目标样本的载片的目标电子图像，目标样本包括来自患者的组织采样；将机器学习系统应用于目标电子图像以确定与目标样本相关联的缺陷，机器学习系统是通过处理多个训练图像以预测染色缺陷和/或预测所需重切（recut）而生成的，训练图像包括人类组织的图像和/或通过算法生成的图像；以及基于与目标样本相关联的缺陷，确定自动命令制备额外的载片。
8.根据另一实施例，一种用于处理对应于样本的电子图像的系统包括：存储指令的至少一个存储器；以及至少一个处理器，被配置为执行所述指令以实行包括以下的操作：接收对应于目标样本的载片的目标电子图像，目标样本包括来自患者的组织采样；将机器学习系统应用于目标电子图像以确定与目标样本相关联的缺陷，机器学习系统是通过处理多个训练图像以预测染色缺陷和/或预测所需重切而生成的，训练图像包括人类组织的图像和/或通过算法生成的图像；以及基于与目标样本相关联的缺陷，确定自动命令制备额外的载片。
9.根据另一实施例，一种存储指令的非暂时性计算机可读介质，所述指令在被处理器执行时使得处理器实行用于处理对应于样本的电子图像的方法，该方法包括：接收对应于目标样本的载片的目标电子图像，目标样本包括来自患者的组织采样；将机器学习系统应用于目标电子图像以确定与目标样本相关联的缺陷，机器学习系统是通过处理多个训练图像以预测染色缺陷和/或预测所需重切而生成的，训练图像包括人类组织的图像和/或通过算法生成的图像；以及基于与目标样本相关联的缺陷，确定自动命令制备额外的载片。
10.应当理解，前面的总体描述和下面的详细描述都只是示例性和解释性的，而不是对所要求保护的公开实施例的限制。
附图说明
11.并入本说明书并构成本说明书的一部分的附图示出了各种示例性实施例，并与说明书一起用于解释所公开的实施例的原理。
12.图1a是根据本公开的示例性实施例的用于基于对来自数字病理图像的组织样本的图像分析来确定命令额外载片的系统和网络的示例性框图。
13.图1b是根据本公开的示例性实施例的疾病检测平台100的示例性框图。
14.图1c是根据本公开的示例性实施例的载片分析平台101的示例性框图。
15.图2是示出根据本公开的示例性实施例的用于使用机器学习基于对来自数字病理图像的组织样本的图像分析来确定命令额外载片的示例性方法的流程图。
16.图3是根据本公开的示例性实施例的用于确定载片制备参数的示例性方法的流程图。
17.图4是根据本公开的示例性实施例的生成和使用染色命令预测工具的示例性方法的流程图。
18.图5是根据本公开的示例性实施例的生成和使用重切命令预测工具的示例性方法的流程图。
19.图6描绘了可以执行本文介绍的技术的示例系统。
具体实施方式
20.现在将详细参考本公开的示例性实施例，其示例已经在附图中示出了。在可能的任何情况下，在所有附图中使用相同的附图标记来表示相同或相似的部件。
21.通过示例并参考附图详细描述了本文公开的系统、设备和方法。本文所讨论的示例仅是示例，并且被提供以帮助解释本文所描述的装置、设备、系统和方法。对于这些设备、系统或方法中的任何一个的任何特定实施方式，附图中所示或以下讨论的特征或组件都不
应被认为是强制性的，除非被具体指定为强制性的。
22.此外，对于所描述的任何方法，无论该方法是否结合流程图来描述，应当理解，除非上下文另外指定或要求，否则在方法的执行中执行的步骤的任何显式或隐式排序都不暗示这些步骤必须以所呈现的顺序来执行，而是可以以不同的顺序或并行地执行。
23.如本文所用，术语“示例性”是在“示例”而非“理想”的意义上使用。此外，术语“一”和“一个”在此不表示数量的限制，而是表示存在一个或多个所引用的项目。
24.病理学涉及疾病的研究。更具体讲，病理学是指执行用于诊断疾病的测试和分析。例如，组织采样可被放置在载片上，以便由病理学家（例如，作为分析组织采样以确定是否存在任何异常的专家的医师）在显微镜下观察。也就是说，病理样本可以被切成多个分段、被制备成载片并染色，以供病理学家检查和做出诊断。
25.病理学家可以单独评估癌症和其他疾病的病理载片。本公开介绍了用于改进对癌症和其他疾病的诊断的统一的工作流程。该工作流程可以在一个工作站中集成例如载片评估、任务、图像分析和癌症检测人工智能（ai）、注释、磋商和建议。具体讲，本公开描述了在工作流程中可用的各种示例性用户接口以及可被集成到工作流程中以加快和改善病理学家的工作的ai工具。
26.使用计算机来辅助病理学家的过程被称为计算病理学。用于计算病理学的计算方法可以包括但不限于统计分析、自主或机器学习和ai。ai可以包括但不限于深度学习、神经网络、分类、聚类和回归算法。通过使用计算病理学，可以通过帮助病理学家提高他们的诊断准确性、可靠性、效率和可及性来挽救生命。例如，计算病理学可以用于辅助检测疑似癌症的载片，从而使病理学家在进行最终诊断之前检查和确认他们的初始评估。
27.组织病理学是指对已经放置在载片上的样本的研究。例如，数字病理图像可以包括包含样本（例如，涂片）的显微镜载片的数字化图像。病理学家可以用于分析载片上的图像的一种方法是标识细胞核并对细胞核是正常的（例如，良性的）还是异常的（例如，恶性的）进行分类。为了帮助病理学家标识和分类细胞核，可以使用组织学染色来使细胞可见。已经开发了许多基于染料的染色系统，包括高碘酸-schiff反应、masson三色、尼氏和亚甲蓝、以及苏木精和曙红（h&e）。对于医学诊断来说，h&e是广泛使用的基于染料的方法，其中苏木精将细胞核染成蓝色，曙红将细胞质和胞外基质染成粉红色，而其他组织区域呈现出这些颜色的变化。然而，在许多情况下，h&e染色的组织学制备物不能为病理学家提供足够的信息，以从视觉上标识可以帮助诊断或指导治疗的生物标记。在这种情况下，可以使用诸如免疫组织化学（ihc）、免疫荧光、原位杂交（ish）或荧光原位杂交（fish）之类的技术。ihc和免疫荧光例如包括使用与组织中的特定抗原结合的抗体，使得能够实现表达特定目的蛋白的细胞的视觉检测，这可以揭示出受过训练的病理学家不能基于h&e染色载片的分析可靠地标识的生物标记。根据所用探针的类型（例如用于基因拷贝数的dna探针和用于评估rna表达的rna探针），ish和fish可被用于评估基因拷贝数或特定rna分子的丰度。如果这些方法也未能提供足够的信息来检测一些生物标记，那么，组织的遗传测试可被用于确认生物标记是否存在（例如，肿瘤中特定蛋白质或基因产物的过表达、癌症中给定基因的扩增）。
28.可以准备数字化图像以示出染色的显微镜载片，这可以允许病理学家手动地查看载片上的图像并估计图像中染色的异常细胞的数目。然而，该过程可能是耗时的，并且可能会导致标识异常中的错误，因为一些异常难以检测。
29.计算病理学过程和设备可以用于帮助病理学家检测可能以其他方式难以检测的异常。例如，ai可以用于从使用h&e和其他基于染料的方法而染色的组织的数字图像内的显著区域中预测生物标记（例如蛋白质和/或基因产物的过表达、扩增或特定基因的突变）。组织的图像可以是全载片图像（wsi）、微阵列内的组织核心的图像或组织切片内的选定的感兴趣区域的图像。使用染色方法（如h&e），这些生物标记对于人类来说可能难以在没有额外测试的帮助下从视觉上检测或定量。使用ai从组织的数字图像推断这些生物标记具有改善病人照护的潜力，同时也更快且更便宜。
30.然后，检测到的生物标记或图像可以单独用于建议特定癌症药物或药物组合疗法以用于治疗患者，并且ai可以通过将检测到的生物标记与治疗选项的数据库相关联来标识哪些药物或药物组合不可能成功。这可以用于促进免疫治疗药物的自动建议以靶向患者的特定癌症。此外，这可被用于实现针对患者的特定子集和/或较罕见癌症类型的个性化癌症治疗。
31.在当今病理学领域中，可能难以在整个组织病理学工作流程中提供关于病理学样本制备的系统质量控制（“qc”）和关于诊断质量的质量保证（“qa”）。系统质量保证是困难的，因为它是资源和时间密集型的，因为它可能需要两个病理学家的重复努力。用于质量保证的一些方法包括（1）第二次复查第一次诊断癌症病例；（2）质量保证委员会对不一致或变化的诊断的定期复查；和（3）病例子集的随机复查。这些是非穷举的、大多是回顾性的和手动的。利用自动化和系统化的qc和qa机制，可以在整个工作流程中为每种病例确保质量。实验室质量控制和数字病理学质量控制对于患者样本的成功摄取、处理、诊断和存档是关键的。qc和qa的手工和抽样方法具有显著的益处。系统性qc和qa具有提供效率和提高诊断质量的潜力。
32.如上所述，本公开的计算病理学过程和设备可以提供集成平台，其允许全自动过程，包括经由web浏览器或其他用户接口的数字病理图像的数据摄取、处理和查看，同时与实验室信息系统（lis）集成。此外，可以使用患者数据的基于云的数据分析来聚合临床信息。数据可以来自医院、诊所、本领域研究人员等，并且可以通过机器学习、计算机视觉、自然语言处理和/或统计算法来分析，以在多个地理特异性水平上进行健康模式的实时监测和预测。
33.如上所述，本文描述的示例实施例确定是否从组织样本收集了足以进行诊断的信息。例如，计算机可被用于分析组织采样的图像以快速标识是否需要关于特定组织采样的额外信息，和/或向病理学家突显出他或她应该更靠近观看的区域。当与自动载片分割和染色机器配对时，这可以提供完全自动化的载片制备流水线。这种自动化至少具有以下益处：（1）最小化病理学家确定载片不足以进行诊断所浪费的时间量，（2）通过避免在命令额外测试和产生额外测试之间的额外时间来最小化从样本采集到诊断的（平均总）时间，（3）通过允许在组织块（例如，病理样本）在切割台中时进行重切来减少每次重切的时间量和所浪费的材料的量，（4）减少在载片制备期间浪费/丢弃的组织材料的量，（5）通过使该程序部分或完全自动化来减少载片制备的成本，（6）允许自动定制载片切割和染色，这将从采样得到更具代表性/信息性的载片，（7）通过减少请求病理学家进行额外测试的开销而允许每个组织块产生更大体积的载片，这有助于更可靠/准确的诊断，和/或（8）识别或验证数字病理图像的正确属性（例如，关于样本类型）等。
34.以下实施例描述了各种机器学习算法训练方法和实现。这些实施例仅仅是示例性的。任何训练方法都可用于训练机器学习模型和/或系统，以达到增强病理载片制备和分析的特定目的。下面将描述一些示例性术语。
35.整载片图像（wsi）可以包括整个扫描病理载片。训练数据集可以包括来自用于训练机器学习（ml）算法的一组病例的一组整载片图像和/或额外的诊断数据。验证数据集可以包括来自用于验证ml算法的普遍性的一组病例的一组整载片图像和/或额外的诊断数据。一组标签可用于训练数据中的每个实例，其包含算法正被训练预测的信息（例如，病理学家是否请求对wsi进行额外测试/重切等）。卷积神经网络（cnn）可以是指可以构建的能够扫描wsi的架构。一个实施例可以包括使用训练标签训练该cnn，以关于期望额外测试/载片制备的可能性对每个wsi做一个预测。cnn 聚合器可能是指一种架构，其可以被构建为合并来自在wsi的多个局部区域上执行的cnn的信息。一个实施例可以包括使用训练标签训练该cnn，以关于由于样本或扫描区域中的信息而可能需要额外测试/载片制备的可能性针对wsi中的每个区域进行预测。对于额外的水平/切割，使用的标准可能是染色不充分/异常，仅检测到少量肿瘤（例如，对于前列腺，如果检测到非典型小腺泡增殖（asap）的话），如果存在不足量的组织，组织褶皱等。对于重新扫描，这可以包括气泡、模糊和/或扫描伪影等的存在。更复杂的训练方法，如多实例学习，可用于克服当标签与wsi区域没有一对一匹配时出现的问题。在一些实施例中，第二模型可采用组织/样本/图像区域上的个别预测作为输入，并预测wsi可能需要额外测试/载片制备的可能性。模型不确定性可以是指这样的机器学习模型，其可以被训练以预测关于wsi或与之相关的任何参数，例如检测到存在癌症或其他疾病。机器学习模型具有的关于特定预测的不确定性水平可以使用各种方法来计算，例如，识别诸如接近阈值的概率值的模糊范围、使用分布外技术（神经网络的分布外检测器（odin）、调和混合、嵌入空间上的马氏距离）等。这种不确定性可用于估计载片可能需要额外测试/制备的可能性。
36.根据一个实施例，机器学习模型可以被训练以预测关于wsi的特点，所述特点通常是需要进行额外测试的指标，例如，存在高级别前列腺上皮内瘤（hgpin）或asap等。然后，可以将此模型的输出馈送到模型中，以估计载片可能需要额外测试/制备的可能性。
37.上述方法可以使用关于特定wsi的额外数据来实现。例如，根据一个实施例，额外数据可以包括以下中的一个或多个：（a）患者数据，如基因组测试、家族史、既往病史等；和/或（b）程序数据，如医师笔记/建议、来自实验室技术人员的观察等。
38.所公开的实施例的示例性全局输出可以包含关于整个载片的信息或载片参数，例如，所描绘的样本类型、载片中样本的整体切割质量、玻璃病理载片本身的整体质量或组织形态特征。示例性局部输出可指示载片的特定区域中的信息，例如，特定载片区域可被标记为模糊或包含不相关样本。本公开包括用于开发和使用所公开的用于载片制备自动化的实施例，如下文进一步详细描述的。
39.图1a示出了根据本公开的示例性实施例的系统和网络的框图，该系统和网络用于使用机器学习基于对来自数字病理图像的组织样本的图像分析来确定命令额外的载片。
40.具体讲，图1a示出了可以连接到医院、实验室和/或医生办公室等处的服务器的电子网络120。例如，医师服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和/或实验室信息系统125等可以各自通过一个或多个计算机、服务器和/或手持移动设
备连接到例如因特网的电子网络120。根据本技术的一个示例性实施例，电子网络120还可以连接到服务器系统110，其可以包括被配置为实现疾病检测平台100的处理设备，疾病检测平台100包括载片分析工具101，载片分析工具101用于确定与数字病理图像有关的样本属性或图像属性信息，并使用机器学习来确定命令额外的载片。
41.医师服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和/或实验室信息系统125可以创建或以其他方式获得一个或多个患者的细胞学样本、组织病理学样本、细胞学样本载片的图像、组织病理学样本载片的数字化图像或其任何组合。医师服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和/或实验室信息系统125还可以获得患者特定信息的任何组合，所述患者特定信息是例如年龄、病史、癌症治疗史、家族史、过去的活检或细胞学信息等。医师服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和/或实验室信息系统125可以通过电子网络120将数字化的载片图像和/或患者特定信息传输到服务器系统110中。服务器系统110可以包括一个或多个存储设备109，其用于存储从医师服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和/或实验室信息系统125中的至少一个接收的图像和数据。服务器系统110还可以包括用于处理存储在存储设备109中的图像和数据的处理设备。服务器系统110还可以包括一种或多种机器学习工具或能力。例如，根据一个实施例，处理设备可以包括用于疾病检测平台100的机器学习工具。作为替选或补充，本公开（或本公开的系统和方法的部分）可以在本地处理设备（例如，膝上型计算机）上执行。
42.医师服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和/或实验室信息系统125是指由病理学家用于检查载片图像的系统。在医院环境中，组织类型信息可以存储在lis 125中。
43.图1b示出了疾病检测平台100的示例性框图，该疾病检测平台100用于使用机器学习基于对来自数字病理图像的组织样本的图像分析来确定命令额外的载片。
44.具体讲，图1b描绘了根据一个实施例的疾病检测平台100的组件。例如，疾病检测平台100可以包括载片分析工具101、数据摄取工具102、载片摄取工具103、载片扫描仪104、载片管理器105、存储器106和查看应用工具108。
45.如下所述，根据本公开的示例性实施例，载片分析工具101是指用于使用机器学习基于对来自数字病理图像的组织样本的图像分析来确定命令额外的载片的过程和系统。
46.根据一个示例性实施例，数据摄取工具102指的是有利于数字病理图像传输到用于基于对来自数字病理图像的组织样本的图像分析来确定命令额外的载片的各种工具、模块、组件和设备的过程和系统。
47.根据一个示例性实施例，载片摄取工具103指的是用于扫描病理图像并将其转换为数字形式的过程和系统。可以用载片扫描器104来扫描载片，并且载片管理器105可以将载片上的图像处理成数字化病理图像，并将该数字化图像存储在存储器106中。
48.根据一个示例性实施例，查看应用工具108是指用于向用户（例如，病理学家）提供与数字病理图像有关的样本属性或图像属性信息的过程和系统。可以通过各种输出接口（例如，屏幕、监视器、存储设备和/或web浏览器等）来提供信息。
49.载片分析工具101及其每个组件可以通过网络120针对服务器系统110、医师服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和/或实验室信息系统
125发送和/或接收数字化载片图像和/或患者信息。此外，服务器系统110可以包括用于存储从载片分析工具101、数据摄取工具102、载片摄取工具103、载片扫描器104、载片管理器105和查看应用工具108中的至少一个接收到的图像和数据的存储设备。服务器系统110还可以包括用于处理存储在存储设备中的图像和数据的处理设备。服务器系统110还可以包括由例如处理设备而提供的一种或多种机器学习工具或能力。作为替选或补充，本公开（或本公开的系统和方法的部分）也可以在本地处理设备（例如，膝上型计算机）上执行。
50.上述设备、工具和模块中的任何一个可以位于通过一个或多个计算机、服务器和/或手持移动设备连接到诸如因特网或云服务提供商之类的电子网络120的设备上。
51.图1c示出根据本发明的一个示例性实施例的载片分析工具101的一个示例性框图。载片分析工具101可以包括训练图像平台131和/或目标图像平台135。
52.根据一个实施例，训练图像平台131可以包括训练图像摄取模块132、染色模块133和/或重切模块134。
53.根据一个实施例，训练图像平台131可以创建或接收训练图像，其用于训练机器学习模型以高效地处理、分析和分类数字病理图像。例如，可以从服务器系统110、医师服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和/或实验室信息系统125中的任何一个或任何组合接收训练图像。用于训练的图像可以来自真实源（例如，人、动物等）或者可以来自合成源（例如，图形渲染引擎、3d模型等）。数字病理图像的示例可以包括（a）用各种染色剂染色的数字化载片，例如（但不限于）h&e、单独的苏木精、ihc、分子病理学等；和/或（b）来自3d成像设备（例如microct）的数字化组织采样。
54.训练图像摄取模块132可以创建或接收数据集，其包括与人类组织的图像和经图形渲染的图像中的任一者或二者相对应的一个或多个训练图像。例如，可以从服务器系统110、医师服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和/或实验室信息系统125中的任何一个或任何组合接收训练图像。该数据集可以保存在数字存储设备上。染色模块133可以基于接收的数字图像和接收的数据来预测由于缺陷而应当为所选载片命令哪些新染色。重切模块134可以基于接收的数字图像和接收的数据来预测是否将需要重切。
55.根据一个实施例，目标图像平台135可以包括目标图像摄取模块136、缺陷预测模块137和输出接口138。目标图像平台135可以接收目标图像并且将机器学习模型应用于接收的目标图像以确定命令额外的载片。例如，可以从服务器系统110、医师服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和/或实验室信息系统125中的任何一个或任何组合接收目标图像。目标图像摄取模块136可以接收对应于目标样本的目标图像。缺陷预测模块137可以将机器学习模型应用于目标图像以对缺陷进行染色和/或预测与目标样本相关联的所需重切。
56.输出接口138可以用于输出关于目标图像和目标样本的信息。（例如，输出到屏幕、监视器、存储设备、web浏览器等）。
57.图2是示出根据本公开的示例性实施例的用于基于对来自数字病理图像的组织样本的图像分析来确定命令额外的载片的工具的示例性方法的流程图。例如，示例性方法200（例如，步骤202至206）可由载片分析工具101自动地或响应于来自用户（例如，医师、病理学家等）的请求来执行。
58.根据一个实施例，用于确定命令额外的载片的示例性方法200可以包括以下步骤中的一个或多个。在步骤202中，该方法可以包括接收对应于目标样本的载片的目标图像，目标样本包括来自患者的组织采样。例如，可以从服务器系统110、医师服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和/或实验室信息系统125中的任何一个或其任何组合接收目标图像。
59.在步骤204中，该方法可以包括将机器学习模型应用于目标图像以预测与目标样本相关联的病理学家命令信息。预测病理学家命令信息可以包括基于目标样本的样本信息来确定要制备额外载片的可能性，并响应于该可能性大于或等于预定量而确定自动命令制备额外的载片。
60.机器学习模型可以通过处理多个训练图像以预测染色命令信息和/或再切命令信息来生成，并且训练图像可以包括人体组织的图像和/或通过算法生成的图像。机器学习模型可以使用用于分类和回归的机器学习方法来实现。训练输入可包括真实或合成图像。训练输入可被加强，也可不被加强（例如，增加噪声）。示例性的机器学习模型可以包括但不限于神经网络、卷积神经网络、随机森林、逻辑回归和最近邻中的任何一个或其任何组合。卷积神经网络和其他神经网络变体可以直接从像素学习，以学习普适良好的特征，但是它们通常需要大量的训练数据。替代示例性模型通常对来自卷积网络的特征进行操作或者使用手工设计的计算机视觉特征提取技术（例如，sift、surf等），如果有大量数据可用，此类技术通常效率较低。可以从服务器系统110、医师服务器121、医院服务器122、临床试验服务器123、研究实验室服务器124和/或实验室信息系统125中的任何一个或其任何组合接收训练图像。该数据集可以保存在数字存储设备上。用于训练的图像可以来自真实源（例如，人、动物等）或者可以来自合成源（例如，图形渲染引擎、3d模型等）。数字病理图像的示例可以包括（a）用各种染色剂染色的数字化载片，例如（但不限于）h&e、ihc、分子病理学等；和/或（b）来自3d成像设备（例如microct）的数字化组织采样。
61.在步骤206中，该方法可以包括基于与目标样本相关联的预测的病理学家命令信息来确定自动命令制备额外的载片。可以响应于机器学习模型识别自动发起额外测试的诊断而自动命令额外的载片。该诊断可以是肺腺癌、乳腺癌、子宫内膜样腺癌、结肠腺癌、淀粉样蛋白的存在和/或真菌生物体中的任何一种或其任何组合。可以响应于机器学习模型识别自动触发基因组测试的形态而自动命令额外的载片。形态可以是bap 1缺陷型痣和/或琥珀酸脱氢酶缺陷型肿瘤中的至少一种。命令额外的载片可以包括命令为对应于目标样本的载片制备新的染色和/或命令为对应于目标样本的载片进行重切。该方法还可以包括在显示器上输出指示正在制备额外载片的警报。
62.如图3所示，根据一个实施例，用于确定载片制备参数的示例性方法300和320可以包括以下步骤中的一个或多个。在步骤301中，在训练阶段期间，该方法可以包括在数字存储设备（例如，硬盘、网络驱动器、云存储、ram等）中接收病理样本（例如，组织学、细胞学等）的数字图像。接收的图像可以是2d（例如，组织学切片或未经染色的组织切割）或3d（例如，微ct、重建的2d组织学等）。
63.根据一个实施例，在步骤303中，该方法可以包括接收病理学家是否针对数字图像中所示的样本命令了新信息的指示。该步骤可以包括接收病理学家或其他医疗专业人员针对该样本关联或输入的命令信息。新的命令信息可能包括额外染色、额外切割、基因组测
试、基因测试、体外实验室测试、放射学成像、计算（如人工智能）诊断测试等。
64.在步骤305中，该方法可以包括训练机器学习算法以预测该命令信息是否可与一个或多个输入/新数字图像相关联和/或什么命令信息可与一个或多个输入/新数字图像相关联。该算法可以通过多种方式实现。例如，根据一个实施例，该算法可以通过以下的任何一种或其任何组合来实现：（1）机器学习算法和/或架构，如神经网络方法，例如卷积神经网络（cnn）和递归神经网络（rnn）；（2）训练方法，如多实例学习、强化学习、主动学习等；（3）属性/特征提取，包括但不限于载片中组织的估计百分比、基于rgb、hsv或其他颜色空间的统计量、以及存在载片制备问题或成像伪影（如气泡、组织褶皱、异常染色等）中的任何一个或其任何组合；（4）使用模型预测中相对于其他指标的不确定性度量作为需要额外信息的指标；以及（5）来自在不同任务上训练的模型的输出或相关指标。
65.根据一个或多个实施例，任何上述算法、架构、方法、属性和/或特征可以与任何或所有其他算法、架构、方法、属性和/或特征相结合。例如，任何机器学习算法和/或架构（例如，神经网络方法、卷积神经网络（cnn）、递归神经网络（rnn）等可以用任何训练方法（例如，多实例学习、强化学习、主动学习等）进行训练。
66.下面对术语的描述仅仅是示例性的，并不打算以任何方式限制这些术语。
67.标签可以指的是关于算法试图预测的机器学习算法的输入的信息。
68.对于大小为nxm的给定图像，分割可以是另一个大小为nxm的图像，针对原始图像中的每个像素分配描述该像素的类别或类型的数字。例如，在wsi中，掩模中的元素可以将输入图像中的每个像素分类为属于例如背景、组织和/或未知的类别。
69.载片级别信息可以是指关于载片的一般信息，但不一定是该信息在载片中的特定位置。
70.启发式可以是指在给定输入的情况下确定性地产生输出的逻辑规则或函数。例如，如果应重新扫描载片的预测大于或等于32%，则输出1，否则输出0。另一示例启发式可以是如果超出预定百分比或部分的载片被分类为未知，则标记以重新扫描。
71.嵌入可以是指低维数据的概念性高维数值表示。例如，如果wsi通过cnn训练，以对组织类型进行分类，则网络最后一层上的数字可提供包含关于载片的信息（例如，关于组织类型的信息）的数字阵列（例如，以千计）。
72.载片级别预测可以指对整个载片的具体预测。例如，载片级别预测可以是该载片具有扫描问题、气泡、组织褶皱等。此外，载片级别预测可以是指一组定义类上的个别概率预测（例如，33%的可能是气泡，1%的可能是组织褶皱，99%的可能是扫描伪影，等等）。
73.分类器可以是指被训练为获取输入数据并将其与类别进行关联的模型。
74.根据一个或多个实施例，可以以不同的方式训练机器学习模型。例如，机器学习模型的训练可以通过监督训练、半监督训练、无监督训练分类器训练、混合训练和/或不确定性估计中的任何一种或其任何组合来执行。使用的训练类型可取决于数据量、数据类型和/或数据质量。下面的表1描述了一些训练类型和相应特征的非限制性列表。表1
75.监督训练可以与少量数据一起使用，以为机器学习模型提供种子。在监督训练中，机器学习模型可以寻找特定项（例如，气泡、组织褶皱等）、标记载片、并量化载片中有多少特定项。
76.根据一个实施例，示例完全监督训练可以采用wsi作为输入，并且可以包括分割标签。完全监督训练的流水线可以包括（1）1；（2）1，启发式；（3）1，4，启发式；（4）1，4，5，启发式；和/或（5）1，5，启发式。完全监督训练的优点可以是：（1）它可需要更少的载片和/或（2）输出是可解释的，因为（a）可知道图像的哪些区域有助于诊断；和（b）可知道为什么载片被拒绝（例如，发现气泡、发现组织褶皱等）。使用完全监督训练的缺点可以是，它可能需要大量的分割，这可能很难获得。
77.根据一个实施例，示例性半监督（例如，弱监督）训练可以采用wsi作为输入，并且可以包括载片级别信息的标签。半监督训练的流水线可以包括（1）2；（2）2，启发式；（3）2，4，启发式；（4）2，4，5，启发式；和/或（5）2，5，启发式。使用半监督训练的优点可以是：（1）所需标签的类型可存在于许多医院记录中；以及（2）输出是可解释的，因为（a）可知道图像的哪些区域对诊断贡献最大；和（b）可知道为什么载片被拒绝（例如，发现气泡、发现组织褶皱等）。使用半监督训练的缺点是训练可能比较困难。例如，模型可能需要使用训练方案，如多实例学习、主动学习和/或分布式训练，以虑及以下事实：关于该信息在载片中的位置的应得出决策的信息有限。
78.根据一个实施例，示例性无监督训练可以采用wsi作为输入，并且可以不需要标签。用于无监督训练的流水线可以包括（1）3，4；和/或（2）3，4，启发式。无监督训练的优点可以是它不需要任何标签。使用无监督训练的缺点可以是：（1）训练可能比较困难；例如，可能需要使用多实例学习、主动学习和/或分布式训练等训练方案来虑及以下事实：关于该信息在载片中的位置的应得出决策的信息有限；（2）可能需要额外的载片；和/或（3）它可能不太可解释，因为它可能输出预测和概率而不解释为什么进行该预测。
79.根据一个实施例，示例混合训练可以包括训练针对完全监督训练、半监督训练和/或无监督训练的上述示例流水线中的任何，然后将所得模型用作任何训练方法的初始点。混合训练的优点可以是：（1）它可需要较少的数据；（2）它可具有改进的性能；和/或（3）它可允许不同级别的标签的混合（例如，分段、载片级别信息、无信息）。混合训练的缺点可以是：（1）训练可能更复杂和/或更昂贵；和/或（2）它可需要更多的代码，这可能增加潜在错误的数量和复杂度。
80.根据一个实施例，示例性不确定性估计可以包括训练针对完全监督训练、半监督
训练和/或无监督训练的上述示例流水线中的任何，在流水线末端针对与载片数据相关的任何任务使用不确定性估计，此外，启发式或分类器可用于基于测试预测中的不确定性的量来预测是否应执行重切。不确定性估计的优点可以是它对分布外数据是稳健的。例如，当出现不熟悉的数据时，它仍然可以正确地预测它是不确定的。不确定性估计的缺点可以是：（1）它可需要更多的数据；（2）整体性能可能较差；和/或（3）它可能不太可解释，因为模型可能不一定识别载片或载片嵌入是如何异常的。
81.根据一个实施例，集成训练可以包括同时运行由上述任何示例流水线产生的模型，并且通过启发式或分类器组合输出以产生鲁棒且准确的结果。集成训练的优点可以是：（1）它对分布外的数据是稳健的；和/或（2）它可组合其他模型的优点和缺点，导致缺点的最小化（例如，与不确定性估计模型组合的监督训练模型，以及当传入数据在分布中时使用监督模型而当数据在分布外时使用不确定性模型的启发式算法等）。集成训练的缺点可以是：（1）它可能更复杂；和/或（2）训练和运行可能是昂贵的。
82.本文讨论的训练技术也可以分阶段进行，其中具有较好注释的图像最初用于训练，这可以允许使用具有较少注释、较少监督等的载片进行更高效的后续训练。
83.相对于可使用的所有训练载片图像，训练可以始于使用注释最完备的载片。例如，训练可以始于使用监督学习。第一组载片图像可以被接收或确定有相关联的注释。每个载片可具有标记和/或掩蔽的区域，并且可以包括诸如是否应拒绝该载片之类的信息。第一组载片可以被提供给训练算法，例如cnn，其可以确定第一组载片与其相关联注释之间的相关性。
84.在用第一组图像的训练完成之后，可以接收或确定具有比第一组更少的注释的第二组载片图像，例如具有部分注释。在一个实施例中，注释可仅指示载片具有与其相关联的诊断或质量问题，但可不指明可发现什么或在何处发现疾病等。第二组载片图像可以使用与第一组不同的训练算法来训练，例如多实例学习。第一组训练数据可用于部分训练系统，并可使第二轮训练更高效地产生准确的算法。
85.以这种方式，基于训练载片图像的质量和类型，可以使用任何数量的算法以任何数量的阶段进行训练。这些技术可以在接收到多个训练图像集的情况下使用，这些训练图像集可以具有不同的质量、注释级别和/或注释类型。
86.根据一个实施例，用于使用该工具的示例性方法320可以包括以下步骤中的一个或多个。在步骤321中，该方法可以包括在数字存储设备（例如，硬盘、网络驱动器、云存储、ram等）中接收病理样本（例如，组织学、细胞学等）的数字图像。在步骤323中，该方法可以包括应用来自训练程序（例如，方法300）的算法来预测数字图像提供用于诊断的不充分信息的可能性和/或数字图像可与制作改进的病理载片的命令信息相关联的可能性。该预测可以在样本、载片、组织块等级别上执行。
87.在步骤325中，该方法可以包括预测与接收的数字图像相关联的命令信息。命令信息可以包括要命令的测试类型或载片参数。测试可以包括额外染色、额外切割、基因组测试、基因测试、体外实验室测试、放射学成像、计算（例如人工智能）诊断测试等。该预测可以输出到电子存储设备。在一个实施例中，预测的可能性可用于自动触发来自组织学技术人员的新信息的命令。预测的可能性或预测的命令信息可用于提示自动制备流水线制备一个或多个额外的载片（例如，重切、染色等）。自动触发或载片制备可通过启发式或辅助系统来
执行。替代地或另外地，步骤325可以包括生成视觉指示符以警告用户（例如，病理学家、组织学技术人员等）可能需要载片上的新信息来进行诊断。然后，用户可以基于该警报来命令新信息。该警报可以允许用户更早而不是更晚地发起新载片的制备。
88.本文讨论的技术提供了用于确定是否要产生染色的启发式方法，以及用于提高病理载片分析效率的方法。提高载片分析效率的一个方面包括命令新的载片和/或自动化载片命令信息。上述载片命令机器学习实施例呈现了针对这一方面的解决方案。提高病理载片分析效率的另一方面可以包括使运行额外测试/生成额外样本载片的预期成本最小化。根据一个实施例，最小化成本可以遵循以下函数：，其中a：延迟诊断的平均成本；b：病理学家决定是否需要额外染色的平均成本；c：额外测试的成本；fn(th)：验证集的假阴性率，是阈值的函数；以及fp(th)：验证集的假阳性率，是阈值的函数。
89.上述训练和使用阶段可以包括在研究和/或生产/临床/工业环境中可用的实施例。下文将对此进行详细描述。
90.根据一个实施例，一种方法可以包括预测病理学家何时命令新的染色。例如，当病理学家正纠结于特定于癌症临界迹象的诊断或发现时，病理学家可要求制备具有额外染色的载片，例如，免疫组织化学（ihc）、分子病理学、刚果红等。
91.根据图4所示的一个实施例，用于开发染色命令预测工具的示例性方法400可以包括以下步骤中的一个或多个。在步骤401中，该方法可以包括在数字存储设备（例如，硬盘、网络驱动器、云存储、ram等）中接收包括病理样本（例如，组织学、细胞学等）的第一载片的第一数字图像。在步骤403中，该方法可以包括针对第一载片接收病理学家是否为该载片命令了新染色的指示。该步骤可以包括接收与第一载片相关联的染色命令。例如，针对该载片的指示可注明所命令的确切染色。还可以接收关于该载片的样本的额外信息，例如，关于从其获取样本的组织类型的数据和/或与跟该样本相关联的患者或病例相关联的任何诊断数据。
92.在步骤405中，该方法可以包括训练机器学习算法以接收病理样本的第二数字图像并接收与第二数字图像相关联的数据（例如，载片命令信息）。然后，经训练的机器学习算法可以基于接收的数字图像和接收的数据来预测是否针对所选载片命令了新的染色（例如，步骤405）。经训练的机器学习算法还可基于接收的数字图像和接收的数据来预测针对所选载片命令了哪些（新）染色（例如，步骤405）。该算法可通过多种方式实现，通过使用以下的任何组合：（1）神经网络，如cnn、rnn等；（2）训练方法，如多实例学习、强化学习、主动学习等；（3）特征提取，包括但不限于载片中组织百分比、基于rgb、hsv或其他颜色空间的统计量、存在载片制备或成像伪影（如气泡、组织褶皱、异常染色等）中的任何一种或其任何组合；（4）简单的分类方法，如随机森林、支持向量机（svm）、多层感知器（mlp）等。图3的机器学习算法的上述描述（例如，表1和相应描述）也可以应用于图4的机器学习算法。
93.使用所公开的染色命令预测工具的示例性方法420可以包括以下步骤中的一个或
多个。在步骤421中，该方法可以包括在数字存储设备（例如，硬盘、网络驱动器、云存储、ram等）中接收病理样本（例如，组织学、细胞学等）的载片的一个或多个数字图像（例如，步骤421）。可以接收关于样本的信息，例如，从中采集样本的组织类型和/或与所选患者或所选病例相关联的任何诊断数据。在步骤423中，该方法可以包括使用经训练的机器学习算法（例如，方法400的算法）来预测针对该载片期望新染色的可能性。步骤423还可以包括预测针对该载片的染色命令。
94.在步骤425中，该方法可以包括将预测输出到电子存储设备。预测的可能性或预测的染色命令可用于自动触发组织学技术人员的命令。在一个实施例中，可以生成视觉指示符以警告用户（例如，病理学家、组织学技术人员等）可能期望新的染色，使得用户可以迅速命令新的染色。替代地或另外地，预测的可能性或预测的染色命令可用作自动化载片染色流水线的一部分，以制备具有所需染色的一个或多个载片。示例方法包括但不限于低模型信息、预测高风险病变、识别可能自动需要额外测试的诊断以及识别自动触发遗传测试的疑似形态。
95.可自动需要额外测试的诊断示例可以包括以下中的任一个或其任何组合：（1）肺腺癌触发一组免疫染色和重切以进行分子测试（例如，egfr（表皮生长因子受体）、kras（柯尔斯顿大鼠肉瘤）、alk（间变性淋巴瘤受体酪氨酸激酶）、ros、braf（b-raf原癌基因）、met（met原癌基因、受体酪氨酸激酶）等）；（2）乳腺癌触发激素受体免疫染色组（例如，er（雌激素受体）、pr（孕酮受体）《her2（人表皮生长因子受体2型））；（3）子宫内膜样腺癌和结肠腺癌触发错配修复免疫染色（例如，mlh1、msh2、pms2、msh6基因；（4）淀粉样蛋白的存在触发刚果红；以及（5）真菌生物体触发例如pas（高碘酸-希夫）和gms（格罗科特高铁胺银）。
96.自动触发基因测试的疑似形态的示例可以包括：（1）bap1缺陷痣，触发bap1免疫染色；和/或（2）琥珀酸脱氢酶缺陷的肿瘤触发sdh（琥珀酸脱氢酶）免疫染色。
97.根据一个实施例，一些诊断和/或染色命令预测可提示可自动触发的至少一个额外染色，例如，如果方法420的算法已在阈值或确定性内确定了诊断和/或已确定了一组染色命令信息的话。此外，病理图像的一些特征可能是细微的，并且额外的染色可以帮助病理学家确定诊断。在一个实施例中，一旦方法420的算法检测到期望图像增强或改进载片，就可以提示/命令额外的染色。
98.根据一个实施例，可自动触发至少一种额外染色的情况的示例可以包括触发一种或多种免疫染色的诊断。例如，肺腺癌可触发一组免疫染色和重切，以进行分子测试（egfr、kras、alk、ros、braf、met等）。此外，乳腺癌可触发激素受体免疫染色组（er、pr《her2）。此外，子宫内膜样腺癌和结肠腺癌可触发错配修复免疫染色（mlh1、msh2、pms2、msh6）。
99.根据一个实施例，病理图像可以包括微妙且难以检测的某些特征。在这种情况下，可以触发自动命令更多的染色，以增强某些特征，从而帮助病理学家确定诊断。例如，通过该算法检测到的bap1缺陷痣可以预测肿瘤倾向，并且可以命令bap1免疫染色。作为另一示例，如果识别出琥珀酸脱氢酶缺陷肿瘤，则可以命令sdh免疫染色。作为另一示例，如果检测到淀粉样蛋白，则可以命令刚果红染色以突出显示淀粉样蛋白。作为另一示例，如果通过该算法检测到真菌生物体，则可以命令高碘酸-希夫（pas）和/或格莫瑞高铁胺银（gms）染色来突出显示真菌生物体。
100.根据一个实施例，一种方法可以包括预测病理学家何时命令重切。例如，当病理学
家在载片中检测到癌症的可能边界时，或者当病理学家检测到载片没有捕获足以做出诊断的样本横截面时，病理学家可以要求制作来自该样本的额外切割并制备新的载片。
101.根据图5所示的一个实施例，用于开发重切命令预测工具的示例性方法500可以包括以下步骤中的一个或多个。在步骤501中，该方法可以包括在数字存储设备（例如，硬盘、网络驱动器、云存储、ram等）中接收包括病理样本（例如，组织学、细胞学等）的第一载片的数字图像。在步骤503中，该方法可以包括接收针对样本的组织块的病理学家是否针对该组织块命令了重切的指示。该步骤可以包括接收与第一载片相关联的组织块的重切位置。例如，每个块的指示可以准确说明命令了重切哪里（例如，块中每个载片的上方或下方）。还可以接收关于样本的额外信息，例如，关于从其获取样本的组织类型的数据和/或与跟该样本相关联的患者或病例相关联的任何诊断数据。额外信息的其他示例可以包括关于样本的大体描述的信息（例如，大体样本的图像、测试描述、大小和形状尺寸等）。
102.根据一个实施例，在步骤505中，该方法可以包括训练机器学习算法，以基于接收的病理样本的数字图像和对应于每个数字图像/病理样本的额外信息来预测是否针对输入载片命令了重切。例如，所得到的经训练的机器学习算法可以预测是否针对每个组织块命令了重切和/或预测重切的位置（例如，在与组织块相关联的输入载片的切割的上方或下方）。该算法可以通过多种方式实现，通过使用以下的任何组合：（1）神经网络，如cnn、递归神经网络（rnn）等；（2）训练方法，如多实例学习、强化学习、主动学习等；（3）特征提取，包括但不限于（a）载片中组织百分比，（b）基于rgb（红、绿、蓝）、hsv（色调、饱和度、值）、hsl（色调、饱和度、亮度）或其他颜色空间的统计量，以及（c）存在载片制备或成像伪影，如气泡、组织折皱、异常染色等；和/或（4）简单分类方法，如随机森林、svm、mlp等。
103.用于开发重切命令预测工具的示例性方法520可以包括以下步骤中的一个或多个。在步骤521中，该方法可以包括在数字存储设备（例如，硬盘、网络驱动器、云存储、ram等）中接收病理样本（例如，组织学、细胞学等）的载片的一个或多个数字图像。可以接收关于样本的信息，例如，从中采集样本的组织类型和/或与所选患者或所选病例相关联的任何诊断数据。在步骤523中，该方法可以包括使用经训练的机器学习算法（例如，方法500的算法）来预测针对与该样本相关联的组织块期望重切的可能性。步骤523还可以包括预测针对该载片的重切命令（例如，重切位置）。
104.根据一个实施例，在步骤525中，该方法可以包括将预测输出到电子存储设备（例如，步骤525）。预测的可能性或预测的重切命令可用于自动触发组织学技术人员的命令。在一个实施例中，可以生成视觉指示符以警告用户（例如，病理学家、组织学技术人员等）可能期望新的染色，使得用户可以迅速命令新的染色。在一个实施例中，输出可以包括提示自动切片分割机器从与该样本相关联的组织块切割一个或多个额外的切片。输出还可以包括确定下一个重切命令的重切位置（例如，要切割到组织中多深）和/或轴。在一个实施例中，可以使用额外的系统来计算用于生成重切的准确参数（例如，重切位置、轴等）。用于确定或计算重切命令信息的一些示例方法可以包括但不限于：（1）根据过去的n次切割，将载片中存在的组织量估计为切割前一样本的位置的函数，并最大化所述函数以预测下一个最佳切割位置；（2）如果检测到病原体或癌症的小的/不明确的迹象，则命令靠近第一位置/深度（例如，在其预定距离/距离阈值内）的重切，以增加所收集的关于该疑似区域的信息的量，直到不明确被解决；和/或（3）如果分级不明确，则命令靠近第一位置/深度（例如，在其预定距
离/距离阈值内）的重切，以增加所收集的关于该疑似区域的信息的量，直到不明确被解决。
105.如图6所示，设备600可以包括中央处理单元（cpu）620。cpu 620可以是任何类型的处理器设备，包括例如任何类型的专用或通用微处理器设备。如相关领域的技术人员应当理解的，cpu 620还可以是多核/多处理器系统中的单个处理器，这样的系统可以单独操作，或者在集群或服务器场中操作的计算设备的集群中。cpu 620可以连接到数据通信基础设施610，例如总线、消息队列、网络或多核消息传递方案。
106.设备600还可以包括主存储器640，例如随机存取存储器（ram），并且还可以包括辅助存储器630。辅助存储器630（例如只读存储器（rom））可以是例如硬盘驱动器或可移动存储驱动器。这种可移动存储驱动器可以包括例如软盘驱动器、磁带驱动器、光盘驱动器、闪存等。在该示例中，可移动存储驱动器以公知的方式从可移动存储单元读取和/或向可移动存储单元写入。可移动存储单元可以包括软盘、磁带、光盘等，其由可移动存储驱动器读取和写入。如相关领域的技术人员应当理解的，这种可移动存储单元通常包括其中存储有计算机软件和/或数据的计算机可用存储介质。
107.在替选实施方案中，辅助存储器630可包含用于将计算机程序或其他指令加载到设备600中的其他类似装置。这种装置的示例可以包括程序盒和盒接口（例如在视频游戏设备中找到的）、可移动存储器芯片（例如eprom或prom）和相关插座、以及允许软件和数据从可移动存储单元传送到设备600的其他可移动存储单元和接口。
108.设备600还可以包括通信接口（“com”）660。通信接口660允许软件和数据在设备600和外部设备之间传输。通信接口660可以包括调制解调器、网络接口（例如以太网卡）、通信端口、pcmcia插槽和卡等。经由通信接口660传送的软件和数据可以是信号形式的，其可以是电子的、电磁的、光学的或能够由通信接口660接收的其他信号。这些信号可以经由设备600的通信路径提供给通信接口660，该通信路径可以使用例如电线或电缆、光纤、电话线、蜂窝电话链路、rf链路或其他通信信道来实现。
109.设备600还可以包括输入和输出端口650，以与诸如键盘、鼠标、触摸屏、监视器、显示器等的输入和输出设备连接。当然，各种服务器功能可以以分布式方式在多个类似平台上实现，以便分散处理负载。或者，服务器可以通过对一个计算机硬件平台的适当编程来实现。
110.在本公开中，对组件或模块的引用一般是指在逻辑上可以被分组在一起以执行功能或相关功能组的项。相同的附图标记通常用于表示相同或相似的组件。组件和模块可以用软件、硬件或软件和硬件的组合来实现。
111.上述工具、模块和功能可以由一个或多个处理器来执行。“存储”型介质可以包括计算机、处理器等的任何或所有有形存储器或其相关联的模块，诸如各种半导体存储器、磁带驱动器、磁盘驱动器等，其可以在任何时间提供用于软件编程的非暂时性存储。
112.软件可以通过因特网、云服务提供商或其他电信网络来进行通信。例如，通信可以使得能够将软件从一个计算机或处理器加载到另一个中。如本文所使用的，除非限于非暂时性的、有形的“存储”介质，否则诸如计算机或机器“可读介质”的术语指的是参与向处理器提供指令以供执行的任何介质。
113.前面的一般描述仅是示例性和说明性的，而不是对本公开的限制。通过考虑说明书和本文所公开的本发明的实践，本发明的其他实施例对于本领域技术人员来说应当是显
而易见的。说明书和示例仅被认为是示例性的。