放大图像的捕获和存储的制作方法

放大图像的捕获和存储


背景技术：

1.本说明书涉及捕获和存储由显微镜生成的放大图像。
2.显微镜可以多种放大级别中的任何放大级别生成样品的放大图像。图像的“放大级别”是指图像中描绘的实体(例如，细胞)与其实际大小相比看起来多大的度量。在更高放大级别下，可能需要更高分辨率图像或更大数量的离散图像来捕获样品的与较低放大级别下的单一图像相同的区域，由此在存储期间需要存储器中的更多空间。
3.病理学家可分析组织样品的放大图像以确定组织样品的部分(或所有部分)或是否有异常(例如，癌变)。病理学家可在较高放大级别下通过查看组织样品的看起来异常的部分来分析组织样品的放大图像。


技术实现要素：

4.本说明书描述了一种成像系统，所述成像系统在一个或多个位置的一个或多个计算机上被实现为计算机程序，其可高效地捕获和存储由显微镜生成的样品的放大图像。
5.根据第一方面，提供了一种成像系统包括：显微镜，所述显微镜用于生成组织样品的关注区域的放大图像；相机，所述相机用于捕获和存储由所述显微镜生成的所述放大图像；以及控制器。所述控制器被配置为，针对递增放大级别序列中的每个放大级别，以当前的放大级别对所述组织样品的一个或多个关注区域进行成像。这包括针对每个关注区域：使用所述显微镜以所述当前的放大级别生成所述组织样品的所述关注区域的放大图像；使用所述相机以所述当前的放大级别捕获和存储所述组织样品的所述关注区域的所述放大图像；以及基于所述当前的放大级别下的所述组织样品的所述关注区域的所述放大图像来生成定义一个或多个细化关注区域的数据。每个细化关注区域对应于所述组织样品的适当子集，并且所述组织样品的所述细化关注区域提供将要以来自所述递增放大级别序列中的下一个放大级别进行成像的所述关注区域。
6.另一方面，一种由一个或多个数据处理设备执行的方法包括对于递增放大级别序列中的每个放大级别以当前的放大级别对组织样品的一个或多个关注区域成像。这包括对于每个关注区域：使用显微镜以所述当前的放大级别生成所述组织样品的所述关注区域的放大图像；使用相机以所述当前的放大级别捕获和存储所述组织样品的所述关注区域的所述放大图像；以及基于所述当前的放大级别下的所述关注区域的所述放大图像来生成定义一个或多个细化关注区域的数据。每个细化关注区域对应于所述组织样品的适当子集，并且所述组织样品的所述细化关注区域提供将要以来自所述递增放大级别序列中的下一个放大级别进行成像的所述关注区域。
7.另一方面，一种非暂时性计算机可读存储介质被编码有指令，所述指令当由一个或多个计算机执行时使得所述一个或多个计算机执行操作，包括针对递增放大级别序列中的每个放大级别以当前的放大级别对组织样品的一个或多个关注区域成像。这包括对于每个关注区域：使用显微镜以所述当前的放大级别生成所述组织样品的所述关注区域的放大图像；使用相机以所述当前的放大级别捕获和存储所述组织样品的所述关注区域的所述放
大图像；以及基于所述当前的放大级别下的所述关注区域的所述放大图像来生成定义一个或多个细化关注区域的数据。每个细化关注区域对应于所述组织样品的适当子集，并且所述组织样品的所述细化关注区域提供将要以来自所述递增放大级别序列中的下一个放大级别进行成像的所述关注区域。
8.以上方面中的任何方面的实现方式可包括以下特征中的一者或多者。
9.每个细化关注区域可包括在所述关注区域中。生成定义一个或多个细化关注区域的数据可包括使用检测模型处理所述当前的放大级别下的所述组织样品的所述关注区域的所述放大图像以生成定义所述一个或多个细化关注区域的数据。所述检测模型可被配置为生成定义对应于所述组织样品的预测为癌变的部分的细化关注区域的数据。所述检测模型可包括一个或多个神经网络。对于所述递增放大级别序列中的每个特定放大级别，所述控制器可使用专用于处理特定放大级别下的放大图像的特定检测模型。对所述组织样品的关注区域进行成像可包括存储界定所述关注区域在所述组织样品中的位置的数据。使用所述显微镜生成所述关注区域的放大图像可包括调整：(i)所述显微镜的载物台的位置，(ii)所述显微镜的放大设定，或者(iii)上述两者，以使得所述显微镜以所述当前的放大级别生成所述组织样品的所述关注区域的放大图像。
10.可实施本说明书中描述的主题的特定实施方式，以便实现以下优点中的一者或多者。
11.本说明书中描述的成像系统可用于高效地捕获和存储使用显微镜生成的样品(例如，组织样品)的放大图像。特别地，不同于捕获和存储整个样品的放大图像，系统可以以不同放大级别捕获和存储样品的相应关注区域的放大图像。由于样品的关注区域可仅对应于整个样品的一小部分，因此样品的关注区域的放大图像在存储期间可比整个样品的放大图像在存储器中所占用的空间少得多。此外，本说明书中描述的成像系统可具有比在每个放大级别下捕获和存储整个样品的放大图像的常规的成像系统高的吞吐量(例如，以每小时处理的样品数测量)。
12.本说明书中描述的成像系统可处理在给定放大级别下捕获的样品的关注区域的放大图像来确定将要以更高放大级别进行成像的“细化”关注区域。例如，如果所述样品是组织样品，则所述系统可确定对应于所述组织样品的预测为“异常”(例如，癌变)的部分的细化关注区域。在该示例中，如果组织样本的某些关注区域的图像基于在较低放大率下捕获的组织样品的图像被预测为是异常的，则系统仅在较高放大率下捕获和存储这些关注区域的图像。以此方式，系统可避免捕获和存储组织样品的有可能与病理学家对组织样品进行的后续分析无关的部分的高放大率图像。由于高放大率图像的存储和传输的计算量很大，因此本说明书中描述的系统相对于被配置为捕获整个组织样品的高放大率图像的常规的成像系统可显著地减少计算资源消耗。
13.附图和以下描述中阐述了本说明书的主题的一个或多个实施方式的细节。本主题的其他特征、方面和优点将从说明书、附图和权利要求书变得显而易见。
附图说明
14.图1是示例成像系统的框图。
15.图2示出了不同放大级别下的样品的关注区域的示例放大图像。
16.图3是用于以递增放大级别序列中的每个放大级别对样品的相应关注区域进行成像的示例处理的流程图。
17.图4是示例计算系统的框图。
18.各图中相同的附图标记和名称指示相同的元件。
具体实施方式
19.图1示出了示例成像系统100。成像系统100是在一个或多个位置的一个或多个计算机上被实现为其中实现有下述系统、部件和技术的计算机程序的系统的示例。
20.成像系统100使用相机102来捕获和存储使用显微镜108生成的样品106(例如，组织样品)的放大图像104。系统100以不同放大级别112生成样品106的相应关注区域110的放大图像104。如以下将更详细地描述的，系统100可处理在给定放大级别112下捕获的关注区域110的放大图像104，以确定将要以更高的放大级别112进行成像的一个或多个“细化”关注区域110。
21.可安装在显微镜载片上的样品106可以是任何种类的材料的样本。例如，样品106可以是包括从人体获得的细胞集合的组织样品。在该示例中，组织样品的关注区域110可对应于组织样品的被预测为“异常”(例如，癌变)的部分，并且由系统100生成的放大图像104可提供给病理学家进行后续分析。
22.显微镜108可以是任何适当种类的显微镜，其可以以不同放大级别112生成样品106的放大图像104。例如，显微镜108可以是使用一个或多个透镜生成样品106的放大图像104的光学显微镜。图像的“放大级别”是指图像中描绘的实体(例如，细胞)与其实际大小相比看起来多大的度量。
23.相机102可以是任何适当种类的传感器阵列，例如ccd传感器，其可“捕获”由显微镜108生成的放大图像104(即，生成该放大图像的数字表示)。例如，相机102可被配置为将由显微镜108生成的放大图像104捕获为彩色图像(例如，使用红
‑
绿
‑
蓝(rgb)颜色表示)。相机102和显微镜108可以是医学载片扫描仪的一部分。
24.系统100以递增放大级别序列中的每个放大级别112对样品106的相应关注区域110进行成像。例如，递增放大级别序列可由以下给出：[5倍、10倍、20倍、40倍]，或者任何其他适当的递增放大级别序列。系统100可以以递增放大级别序列中的第一(即，最低)放大级别对整个样品106进行成像。此后，系统100可使用检测模型114确定将要以递增放大级别序列中的每个后续(即，更高)放大级别112进行成像的样品106的关注区域110。检测模型114被配置为处理在给定放大级别112下的给定关注区域110的放大图像104的数字表示，以生成定义一个或多个“细化”关注区域110的数据。随后，系统100以递增放大级别序列中在给定放大级别之后的下一个放大级别对细化关注区域进行成像。
[0025]
检测模型114可以是能够处理样品106的关注区域110的放大图像104以生成定义样品106的一个或多个细化关注区域的数据的任何由计算机实现的模型。在一个实现方式中，样品106可以是组织样品，并且检测模型114可被配置为生成定义对应于组织样品的被预测为异常(例如，癌变)的部分的细化关注区域的数据。在该实现方式中，系统100以每个放大级别112生成放大图像104，该放大图像104基于以之前的放大级别112生成的放大图像104而被预测为描绘组织样品的有异常(例如，癌变)的部分。参考图3更详细地描述检测模
型114的示例。
[0026]
系统100可在数据存储116中存储由相机102生成的样品106的关注区域110的放大图像104的数字表示。数据存储116可以是例如物理数据存储装置或逻辑数据存储区域。系统100另外地存储界定所成像的关注区域110中的每者的(例如，在样品106的参考系中的)位置的数据。例如，如果关注区域110的形状是矩形的，则系统100可存储界定(例如，在样品106的参考系中的)坐标的数据，该坐标界定(矩形)关注区域的角部的位置。
[0027]
系统100可使用由计算机实现的控制器以部分或完全自动化的方式(即，很少或没有人为干预)来以每个放大级别112生成、捕获和存储样品106的相应关注区域110的放大图像104。例如，控制器可通过自动地调整以下内容来使显微镜108以给定放大级别112生成关注区域110的放大图像104：(i)显微镜108的载物台的位置，(ii)显微镜108的放大率设定，或者(iii)上述两者。此后，控制器可使用相机102来捕获放大图像104，并且将放大图像104自动地传输到数据存储116和检测模型114(即，用于进一步处理以确定细化关注区域)。控制器可使用任何适当的硬件或软件来实现，其中一些位于系统100的其他部分的远端。
[0028]
图2示出了在不同放大级别下的样品的关注区域的示例放大图像。特别地，放大图像202描绘了在5倍的放大级别下样品的矩形关注区域204。(如参考图1所描述的)成像系统可使用检测模型处理放大图像202以生成定义细化关注区域206(即，细化关注区域206为关注区域204的适当子集)的数据。随后，成像系统可以以10倍的放大级别生成关注区域206的放大图像208。成像系统可使用检测模型处理放大图像208以生成定义细化关注区域210(即，细化关注区域210为关注区域206的适当子集)的数据。随后，成像系统可以以40倍的放大级别生成关注区域210的放大图像212。在图2中描绘的示例中，成像系统可仅捕获和存储相应的关注区域204、206和210的放大图像202、208和212，而不是以每个放大级别捕获和存储整个样品的放大图像。
[0029]
图3是用于以递增放大级别序列中的每个放大级别对样品的相应关注区域成像的示例处理300的流程图。为了方便，处理300将描述为由位于一个或多个位置的一个或多个计算机的系统执行。例如，根据本说明书适当地编程的成像系统，例如图1的成像系统100，可执行处理300。
[0030]
特别地，系统识别将要以当前的放大级别进行成像的样品的一个或多个关注区域。如果当前的放大级别是序列中的第一(即，最低)放大级别，则系统可识别将要以当前的放大级别进行成像的预定关注区域。例如，系统可识别对应于将要以当前的放大级别进行成像的是对应于整个样品的关注区域。如果当前的放大级别在序列中的第一放大级别之后，则系统可对细化关注区域成像。可通过分析在该处理的先前迭代期间获得的图像来获得细化关注区域。
[0031]
最初，将整个载片设定为关注区域，并且设定放大级别，使得相机可对整个载片成像(302)。
[0032]
然后，处理300进入迭代处理，其中每次迭代对应于递增放大级别序列中的相应放大级别。处理300的第一迭代对应于序列中的第一(即，最低)放大级别，并且每个后续迭代对应于序列中的下一个最高放大级别，如以下将更详细地描述的。
[0033]
系统使用相机以当前的放大级别捕获和存储样品的每个所识别的关注区域的相应图像(304)。例如，对于每个所识别的关注区域，系统可调整显微镜载物台的位置以使显
微镜以当前的放大级别生成关注区域的图像。这可包括将载物台移动到为每个关注区域所识别的坐标，例如，以使相应关注区域居于相机的视野的中心。
[0034]
相机可通过以任何适当的格式生成由显微镜生成的放大图像的数字表示来捕获放大图像。例如，相机可以以rgb颜色表示生成放大图像的数字表示，其中放大图像的数字表示的每个像素与界定像素的相应红色、绿色和蓝色颜色值的矢量相关联。系统可将所识别的关注区域的相应放大图像存储在数据存储(例如，物理数据存储装置或逻辑数据存储区域)中。对于当前的放大级别下的样品的每个所识别的关注区域，系统另外地存储将关注区域的放大图像与定义该关注区域的(例如，在样品的参考系中的)位置的数据相关联的数据。
[0035]
系统确定是否满足终止标准(306)。例如，如果当前的放大级别是预定最大放大级别，则系统可确定满足终止标准。作为另一个示例，如果截至当前的迭代为止存储在数据存储中的累积数据量(例如，以兆字节(mb)为单位测量)已经达到或超过预定阈值，则系统可确定满足终止标准。
[0036]
如果系统确定满足终止标准，则系统可提供在处理300的每个迭代中捕获和存储的相应关注区域的放大图像以供后续分析和处理(308)。例如，如果样品是组织样品，并且相应关注区域的放大图像描绘了该组织样品的被预测为异常(例如，癌变)部分，则系统可将放大图像提供给病理学家。在远程医疗环境中，病理学家可位于远离系统的位置，并且系统可通过数据通信链路(例如，互联网)向病理学家提供组织样品的相应区域的放大图像。在一些实现方式中，系统可在获得图像时通过数据通信链路提供图像，例如，不用一直等到识别出图像内的关注区域之后才发送该图像。
[0037]
如果系统确定不满足终止标准，则系统基于当前的放大级别下的样品的关注区域的图像来生成定义一个或多个细化关注区域的数据(310)。这些细化关注区域将以下一个放大级别进行成像。
[0038]
特别地，对于当前的放大级别下的样品的关注区域的每个图像，系统可使用检测模型来处理图像以生成一个或多个相应细化关注区域。组织样品的细化关注区域提供将要以递增放大级别序列中的下一个放大级别(即，在处理300的下一次迭代中)进行成像的关注区域。在一些情况下，通过处理当前的放大级别下的样品的给定关注区域的放大图像生成的每个细化关注区域对应于样品的适当子集，并且特别地，是给定关注区域的子集。
[0039]
检测模型可以是例如机器学习模型(例如，线性模型、支持向量机模型、随机森林模型或神经网络模型)，其被训练以生成定义具有某些特性的细化关注区域的数据。在特定示例中，样品可以是组织样品，并且机器学习模型可被训练以生成定义对应于组织样品的被预测为异常(例如，有癌变的)的部分的细化关注区域的数据。以下是几个示例。
[0040]
在一个实现方式中，检测模型可以是机器学习模型，其被训练为针对当前的放大级别下的组织样品的关注区域的放大图像的每个像素生成相应概率值。由检测模型为像素生成的概率值可表示该像素对应于组织样品的异常部分的可能性。系统可通过确定边界框的坐标来生成定义组织样品的细化关注区域的数据，其中由边界框的每一者所包围的像素的对应概率值具有超过预定阈值的集中趋势的度量(例如，平均值)。检测模型可基于训练示例来进行训练，每个训练示例指定：(i)描绘组织样品的关注区域的训练放大图像，以及(ii)定义训练放大图像的每个像素是否对应于组织样品的异常部分的标签。
[0041]
在另一个实现方式中，检测模型可以是机器学习模型，其被训练以生成定义边界框的坐标的数据，该边界框包围当前的放大级别下的组织样品的区域的放大图像的部分。每个边界框可被预测为对应于组织样品的异常部分，并且系统可确定每个所生成的边界框以定义组织样品的相应细化关注区域。检测模型可基于训练示例来进行训练，每个训练示例指定：(i)描绘组织样品的关注区域的训练放大图像，以及(ii)定义对应于组织样品的异常部分的边界框的坐标。
[0042]
系统可使用不同检测模型来处理不同放大级别下的样品的关注区域的放大图像。即，系统可在处理300的每个迭代中使用不同检测模型。例如，系统可使用具有第一组参数值的第一机器学习模型来处理第一放大级别处理下的图像，以及使用具有第二组参数值的第二机器学习模型来处理第二放大级别下的放大图像。在该示例中，第一组参数值可通过基于包括有第一放大级别下的训练放大图像的训练示例训练第一机器学习模型来确定。类似地，第二组参数值可通过基于包括有第二放大级别下的训练放大图像的训练示例训练第二机器学习模型来确定。通过使用专用于处理不同放大级别下的放大图像的检测模型，系统可生成细化关注区域，这比系统使用单一检测模型处理各个放大级别下的放大图像更准确。
[0043]
系统可在使用检测模型处理样品的关注区域的放大图像之前对该放大图像进行预处理，以生成细化关注区域。在一个示例中，样品可以是组织样品，并且系统可使用染色归一化技术对组织样品的关注区域的放大图像进行预处理。染色归一化技术是指用于修改组织样品的图像以减少因应用于组织样品的染色剂而引起的图像外观的变化的数值方法。
[0044]
在一些情况下，系统可确定当前的放大级别下的一个或多个关注区域不应以更高放大级别进一步进行成像。例如，样品可以是组织样品，并且检测模型可针对给定关注区域的放大图像的每个像素生成相应概率值，其指示了给定关注区域有可能对应于组织样品的正常部分。如果系统确定当前的放大级别下的关注区域都不应以更高放大级别进一步进行成像，则处理300可终止。
[0045]
样品的关注区域可具有任何适当的形状，例如矩形或圆形形状。定义样品的关注区域的数据可以任何适当的格式表示。例如，如果关注区域具有矩形形状，则定义关注区域的数据可包括矩形关注区域的角部的(例如，在样品的参考系中的)坐标。
[0046]
在识别新关注区域之后或与此同时，可将放大级别增大到下一个级别，例如，使用机器人致动器设定显微镜放大设置(312)。然后，该处理继续以新的放大级别捕获和存储关注区域的图像(返回到304)。
[0047]
为了方便起见，处理300将成像系统描述为以递增放大级别次序对样品的关注区域进行成像。更具体地，处理300描述了对应于较低放大级别的每个关注区域如何在对应于较高放大级别的每个关注区域之前进行成像。更一般地，系统可以任何适当的次序对关注区域成像。例如，系统可使用分层树方法。
[0048]
图4是可用于执行上述操作的示例计算机系统400的框图。系统400包括处理器410、存储器420、储存装置430和输入/输出装置440。部件410、420、430和440中的每者可例如使用系统总线450互连。处理器410能够处理用于在系统400内执行的指令。在一个实现方式中，处理器410是单线程处理器。在另一个实现方式中，处理器410是多线程处理器。处理器410能够处理存储在存储器420中或储存装置430上的指令。
[0049]
存储器420存储系统400内的信息。在一个实现方式中，存储器420是计算机可读介质。在一个实现方式中，存储器420是易失性存储器单元。在另一个实现方式中，存储器420是非易失性存储器单元。
[0050]
储存装置430能够为系统400提供大容量存储。在一个实现方式中，储存装置430是计算机可读介质。在各种不同实现方式中，储存装置430可包括例如硬盘装置、光盘装置、由多个计算装置(例如，云储存装置)通过网络共享的储存装置或一些其他大容量储存装置。
[0051]
输入/输出装置440提供用于系统400的输入/输出操作。在一个实现方式中，输入/输出装置440可包括一个或多个网络接口装置，例如以太网卡、串行通信装置(例如，rs
‑
232端口)和/或无线接口装置(例如，802.11卡)。在另一个实现方式中，输入/输出装置可包括被配置为接收输入数据并且将输出数据发送到其他输入/输出装置(例如，键盘、打印机和显示装置460)的驱动器装置。然而，也可使用其他实现方式，诸如移动计算装置、移动通信装置、电视机机顶盒客户端装置等。
[0052]
尽管图4中已经描述了示例处理系统，但是本说明书中描述的主题和功能操作的实现方式可实现在其他类型的数字电子电路中，或者可实现在计算机软件、固件或硬件中，包括本说明书中公开的结构及其结构等效物，或者它们中的一者或多者的组合。
[0053]
本说明书使用结合系统和计算机程序部件使用术语“被配置为”。一个或多个计算机的系统将被配置为执行特定操作或动作意味着该系统上已经安装了在操作中使系统执行操作或动作的软件、固件、硬件或它们的组合。一个或多个计算机程序将被配置为执行特定操作或动作意味着该一个或多个程序包括在由数据处理设备执行时使该设备执行操作或动作的指令。
[0054]
本说明书中描述的主题和功能操作的实施方式可实现在数字电子电路中、实现在有形地体现的计算机软件或固件中、实现在计算机硬件中，包括在本说明书中公开的结构及其结构等效物，或者它们中的一者或多者的组合。本说明书中描述的主题的实施方式可实现为一个或多个计算机程序，即，编码在有形非暂时性存储介质上以供数据处理设备执行或控制该数据处理设备的操作的计算机程序指令的一个或多个模块。计算机存储介质可以是机器可读储存装置、机器可读储存基板、随机或串行存取存储器装置或它们中的一个或多个的组合。替代地或另外地，程序指令可编码在人工生成的传播信号(例如，机器生成的电、光或电磁信号)上，该信号被生成以对信息编码来传输到合适的接收器设备以供数据处理设备执行。
[0055]
术语“数据处理设备”是指数据处理硬件并且涵盖用于处理数据的各种设备、装置和机器，例如包括可编程处理器、计算机或多个处理器或计算机。该设备还可以是或进一步包括专用逻辑电路，例如fpga(现场可编程门阵列)或asic(专用集成电路)。除了硬件之外，该设备还可可选地包括为计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统或它们中的一个或多个的组合的代码。
[0056]
计算机程序，也可称为或描述为程序、软件、软件应用程序、应用、模块、软件模块、脚本或代码，可用任何形式的编程语言编写，包括编译或解释语言，或者声明或过程语言；并且该计算机程序可以任何形式部署，包括作为独立程序或作为模块、部件、子例程或适合用在计算环境中的其他单元。程序可对应于但不必然对应于文件系统中的某一文件。程序可存储在保存其他程序或数据的文件(例如，存储在标记语言文档中的一个或多个脚本)的
一部分中，存储在专用于相关程序的单个文件中，或者存储在多个协调文件(例如，存储一个或多个模块、子程序或部分代码)中。计算机程序可部署为在一个计算机上执行或在位于一个站点处或跨多个站点分布并由通信网络互连的多个计算机上执行。
[0057]
在本说明书中，术语“引擎”被广泛地用于指代被编程为执行一个或多个特定功能的基于软件的系统、子系统或处理。一般来讲，引擎将实现为一个或多个软件模块或部件，安装在处于一个或多个位置的一个或多个计算机上。在一些情况下，一个或多个计算机将专用于特定引擎；在其他情况下，可在相同的一个计算机或多个计算机上安装和运行多个引擎。
[0058]
本说明书中描述的处理和逻辑流程可由一个或多个可编程计算机执行，该一个或多个可编程计算机执行一个或多个计算机程序以通过操作输入数据和生成输出来执行功能。处理和逻辑流程也可由专用逻辑电路(例如，fpga或asi)或由专用逻辑电路和一个或多个编程计算机的组合执行。
[0059]
适合于执行计算机程序的计算机可以是基于通用或专用微处理器或上述两者，或者任何其他种类的中央处理单元。一般来讲，中央处理单元将从只读存储器或随机存取存储器或上述两者接收指令和数据。计算机的基本要素是用于进行或执行指令的中央处理单元和用于存储指令和数据的一个或多个存储器装置。中央处理单元和存储器可由专用逻辑电路补充或整合到该专用逻辑电路中。一般来讲，计算机还将包括用于存储数据的一个或多个大容量储存装置(例如，磁盘、磁光盘或光盘)，或者可操作地耦接以从该一个或多个大容量储存装置接收数据或向该一个或多个大容量储存装置传输数据或上述两者。然而，计算机不需要具有这种装置。此外，计算机可嵌入到另一个装置中，例如移动电话、个人数字助理(pda)、移动音频或视频播放器、游戏机、全球定位系统(gps)接收器或便携式储存装置，例如通用串行总线(usb)闪存驱动器，这里仅举几例。
[0060]
适合于存储计算机程序指令和数据的计算机可读介质包括所有形式的非易失性存储器、介质和存储器装置，例如包括半导体存储器装置，例如eprom、eeprom和闪存存储器装置；磁盘，例如内部硬盘或可移动盘；磁光盘；以及cd
‑
rom和dvd
‑
rom盘。
[0061]
为了提供与用户的交互，本说明书中描述的主题的实施方式可实现在具有用于向用户显示信息的显示装置(例如，crt(阴极射线管)或lcd(液晶显示器)监视器)、用户可用来向计算机提供输入的键盘和定点装置(例如，鼠标或轨迹球)的计算机上。也可使用其他类型的装置来提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感官反馈，例如视觉反馈、听觉反馈或触觉反馈；并且来自用户的输入可以任何形式接收，包括声学、语音或触觉输入。此外，计算机可通过向用户使用的装置发送文档和从用户使用的装置接收文档来与用户交互；例如，响应于从web浏览器接收到的请求而将网页发送到用户的装置上的web浏览器。此外，计算机可通过向个人装置(例如，运行消息传递应用程序的智能电话)发送文本消息或其他形式的消息并从用户接收返回的响应消息来与用户交互。
[0062]
用于实现机器学习模型的数据处理设备还可包括例如专用硬件加速器单元，以用于处理机器学习训练或生产(即，推理、工作负载)的通用和计算密集部分。
[0063]
机器学习模型可使用机器学习框架(例如，tensorflow框架、microsoft cognitive toolkit框架、apache singa框架或apache mxnet框架)来实现和部署。
[0064]
本说明书中描述的主题的实施方式可在包括后端部件(例如，作为数据服务器)或
包括中间件部件(例如，应用服务器)或包括前端部件(例如，具有图形用户界面、web浏览器或用户可用来与本说明书中描述的主题的实现方式交互的应用的客户端计算机)或一个或多个这些后端、中间件或前端部件的任何组合的计算系统中实现。系统的部件可通过任何形式或介质的数字数据通信(例如，通信网络)互连。通信网络的示例包括局域网(lan)和广域网(wan)，例如互联网。
[0065]
计算系统可包括客户端和服务器。客户端和服务器一般彼此远离并且典型地通过通信网络交互。客户端和服务器的关系是由于在相应计算机上运行的计算机程序而出现的，并且彼此之间具有客户端
‑
服务器关系。在一些实施方式中，服务器将数据(例如，html页面)传输到用户装置，例如，用于向与用作客户端的装置交互的用户显示数据和从该用户接收用户输入的目的。在用户装置处生成的数据，例如用户交互的结果，可在服务器处从该装置接收。
[0066]
尽管本说明书含有许多具体实现细节，但是这些具体实现细节不应被解释为对任何发明的范围或可要求保护的内容的范围的限制，而应被解释为可特定于特定发明的特定实施方式的特定特征的描述。在本说明书中的单独的实施方式的上下文中描述的某些特征也可组合地实现在单一实施方式中。相反地，在单一实施方式的上下文中描述的各种特征也可分开地实现在多个实施方式中或以任何合适的子组合实现。此外，尽管特征可在以上被描述为以某些组合起作用并甚至最初是如此要求保护，但是在一些情况下可从该组合除去来自所要求保护的组合的一个或多个特征，并且所要求保护的组合可涉及子组合或子组合的变型。
[0067]
类似地，尽管在附图中以特定次序描绘了操作并在权利要求中记载了该操作，但是这不应被理解为需要此类操作以所示出的特定次序或以顺序次序执行，或者要求所有所示出的操作都被执行，以达到所期望的结果。在某些情况下，多任务和并行处理可以是有利的。此外，上述实施方式中的各种系统模块和部件的分开不应被理解为在所有实施方式中都需要这样分开，应理解，所描述的程序部件和系统一般可集成到单一软件产品中或打包到多个软件产品中。
[0068]
已经描述了主题的特定实施方式。其他实施方式在所附权利要求书的范围内。例如，权利要求中记载的动作可以不同次序执行并且仍达到所期望的结果。作为一个示例，附图中描绘的处理不一定需要所示出的特定次序或连续次序来实现所期望的结果。在一些情况下，多任务和并行处理可以是有利的。