细胞图像分割的用户辅助迭代的制作方法

1.本公开涉及用于分割细胞图像的方法和装置，特别是用于校正自动分割中的错误的方法和装置。


背景技术：

2.组织成像以标识细胞及其特征是显微镜的重要应用。病理图像是表示组织的图像。使用传统的可见光显微镜，可以从安装在载玻片上的单个组织切片获取二维(2d)图像。还可以通过合成(即组合)多个相邻的组织切片来生成2d图像，其中每个切片被不同地染色或荧光标记，以便突出显示不同的细胞类型和/或细胞特征。可以从用常规可见光显微镜获取的多个相邻组织切片生成三维(3d)图像。还可以通过在被称为z-叠层中获取一系列具有小的焦点深度的垂直偏移图像来生成3d图像，其中z-叠层的2d图像提供类似于在x-射线计算机层析成像(ct)中获取的切片的3d图像。其他固有的3d形态，诸如全息显微镜，可以被用以获取3d数据集，例如在us2013/057869a1中描述的技术。3d数据集允许3d图像以3d方式分割(并以2d格式显示给用户)。3d数据集还允许通过合成3d数据集的切片来确定2d图像，其中2d图像然后可以被分割。
3.细胞染色通常对感兴趣的特定组织特征(诸如细胞质或细胞核或细胞膜)具有选择性。细胞质染色剂的示例是苏木精伊红(h&e)。核染色剂的示例是dapi(4’,6-二氨基-2-苯基吲哚)，它对核dna进行染色，从而标识细胞核的位置。荧光标记的示例是荧光原位杂交(fish)，这是一种广泛使用的细胞遗传学技术，其基于将荧光探针附着在染色体上，以通过检测脱氧核糖核酸(dna)或核糖核酸(rna)的特定序列的存在来检测、分析和量化核异常。
4.在本文档中，我们一般使用术语
‘
染色’来包括经典对比染色以及荧光标记或其他标记，诸如放射性标记。在本领域中可以理解，通常使用其他术语来表示标记，诸如染料或探针，所有这些术语在本文档中都被概括地包括在术语“染色”中。
5.专业软件应用被用以处理和可视化细胞图像。这些软件应用包括针对2d或3d图像数据集的分割算法，其自动标识感兴趣对象。典型的感兴趣对象是细胞核或整个细胞，其中细胞的范围可以通过细胞质(“填充”)或质膜(“轮廓”/“边界”)来标识。在2d中，分割将通过它们的面积和/或边界线(诸如细胞质占据的面积和表示细胞核或细胞膜的边界线)来标识2d细胞特征，诸如整个细胞或细胞核。2d的分割算法可以是基于区域的，例如种子的膨胀(被称为斑点分析)，或者是基于线的，例如轮廓追踪，或者两者的组合。在3d中，分割将通过它们的体积和/或边界表面(诸如细胞质占据的体积和表示细胞核或细胞边界的表面)来标识3d细胞特征，诸如细胞或细胞核。3d的分割算法可以是基于体积的、基于表面的或两者的组合。
6.例如，通过勾勒由分割标识的对象的轮廓和/或以不同的颜色对不同类型的对象进行着色，可以以可视化的方式向用户显示由分割标识的对象。这样的软件应用还可以包括手动绘图工具，其允许用户使用铅笔或其他工具在图像上绘制(例如，使用带有指示笔的图形输入板)，例如添加注释。
7.本领域中用于处理和可视化软件应用的典型工作流如下。用户运行软件应用并发出命令以从图像数据库加载感兴趣的记录。该记录包含一个或多个组织图像数据集。用户通过图形用户界面配置软件应用以按需显示图像数据。从包含在记录中的图像数据中选择要显示的图像数据。例如，用户可以选择大量不同染色图像中的两个染色图像来合成以用于显示，例如染色和反染图像对。合成有时被称为融合。然后，用户配置用于对所选择的图像数据执行分割的设置。配置设置可以包括用于不同诊断目的的预设组合。然后，用户命令软件应用根据用户配置的分割设置将分割算法应用于图像数据。然后，软件应用将所选择的图像数据与分割数据一起显示，其中分割数据覆盖在图像数据上。例如，细胞特征的轮廓(例如，核轮廓和细胞轮廓)可以叠加在图像数据上显示给用户。
8.图1a示出了通过将来自不同探针或染色剂的探针通道图像融合在一起形成的组织图像的区域部分，每个探针或染色剂标记有人造颜色以用于显示目的。从图1a可以推断，细胞特征不是特别清楚。图1b示出了从分割数据生成的相应标记覆盖图像，该分割数据通过分析图1a中所示的图像数据而获取，其中细胞核和细胞膜用线条标记，细胞质占据核外表面和细胞膜内表面之间的区域。
9.图2示出了存储图像数据和相关分割数据的记录。
10.图3a至图3c示出了通常如何应用分割来标识细胞特征的三个主要步骤。作为第一步骤，如图3a所示，标识细胞核。核分割可以基于标识用核染色剂进行染色的2d中的像素(或3d中的体素)。作为第二步骤，如图3b所示，通过从第一步骤中确定的每个细胞核的边界向外生长来标识细胞质。细胞质分割可以基于标识用细胞质染色剂进行染色的2d中的像素(或3d中的体素)。作为第三步骤，如图3c所示，通过围绕在第二步骤中标识的细胞质区域的外周进行搜索来标识细胞膜，或者通过进一步的分割，例如sobel边缘检测，其可以基于标识利用细胞膜染色剂(如果使用了细胞膜染色剂)进行染色的像素或体素，或者可以通过参考细胞质的外表面定义细胞膜，例如具有一个或多个像素或体素的厚度的封闭表面，在没有基于细胞质分割的分割的情况下，更简单地实现。
11.图4是示出根据已知处理和可视化软件应用的示例工作流的流程图。参考图3a至3c描述的细胞分割步骤被共同示为步骤s1，相应的子步骤s1.1、s1.2和s1.3对应于图3a、3b和3c中所示的步骤。在执行细胞分割后，则在步骤s2中，软件应用通过根据分割结果计算特定于细胞的属性值来处理细胞特征以量化不同的染色剂，其中量化可以包括检测细胞特征内是否存在染色剂以及该细胞特征内的该染色剂的量，或者仅计算诸如细胞面积的几何参数。然后，在步骤s3中，为用户准备输出，这可以包括准备如何将分割数据显示在(原生)图像数据上、确定一般输出参数以及基于每个细胞确定结果数据。在步骤s4中，以图像数据和重叠分割数据的表示的形式显示结果。然后，记录被更新，即重新保存，以添加分割数据，以及与在步骤s4中如何显示图像有关的配置数据，以及任何其他相关数据，诸如用户注释。
12.一般而言，组织图像分割是一项非常重要的图像处理任务。即使图像数据集是完美的，分割中也可能出现错误，例如，可能很难单独标识正在接触的细胞。在任何情况下，图像数据集都很可能不是完美的。例如，所获取的图像可能包含伪影，诸如来自样本或载玻片上的灰尘的特征，或者图像可能是通过跨样本横向变化的聚焦来获取的。因此，分割的结果通常是不完美的，因此需要由专家(诸如在要从图像数据进行医疗诊断的情况下的临床专家)进行检查。例如，关于患者是否应该接受化疗的决定可以取决于在图像中标识的特定类
型的细胞的数目或其聚集面积，和/或取决于位于诸如定位于细胞膜、细胞质区域或细胞核的区域中的荧光染色剂的强度。为了提高结果的质量，用户可以决定拒绝整个分割结果，然后在调整配置设置之后执行新的分割。然而，如果自动分割的结果是大体可接受的，除了图像上的几个孤立的错误，则期望图像处理和可视化软件配备适当的图形用户界面(gui)工具，该工具支持用户通过人工干预来校正那些分割错误。


技术实现要素：

13.根据本公开的一个方面，提供了一种处理表示细胞的图像数据的方法，该方法包括：
14.通过找到存在于图像数据中的多个细胞核中的每个细胞核并确定它们的空间范围以获取核分割数据来执行图像数据的分割以获取细胞分割数据，然后基于核分割数据，确定细胞质分割数据和细胞膜分割数据；
15.在显示器上显示图像窗格以及数据窗格，图像窗格包括根据图像数据的组织图像和细胞分割数据的分割图像的选择，数据窗格包括行和列的表格，行特定于在细胞分割数据中标识的细胞，列特定于细胞属性；
16.在编辑会话中通过与显示器的用户交互从分割数据中选择用于删除的多个细胞，其中通过在表格中选择针对细胞的行，细胞从数据窗格中可选择，并且通过在图像中通过其分割数据选择细胞，细胞从图像窗格中可选择；
17.响应于经由数据窗格的选择，相应地更新图像窗格以示出该选择，并且响应于经由图像窗格的选择，相应地更新数据窗格以示出该选择；
18.响应于用户命令，执行重新分割，重新分割考虑选择的用于删除的多个细胞，重新分割通过以下来进行：编辑核分割数据以移除与选择用于删除的细胞相关的数据部分，并且然后基于编辑后的核分割数据，重新确定细胞质分割数据和细胞膜分割数据；以及
19.基于重新分割在显示器上重新显示图像窗格和数据窗格。
20.编辑会话还可以包括，接收图像窗格中的用户输入，以用于标识添加到分割数据的多个细胞，并且其中重新分割通过以下来考虑所标识的用于添加的多个细胞，通过编辑核分割数据以添加与所标识的用于添加的多个细胞相关的另外的数据部分。响应于标识用于添加的细胞，通过在表格中针对添加细胞的行，可以更新也可以不更新数据窗格。在后一种情况下，首先更新表格以在重新分割之后重新显示时添加新行。
21.因此，选择用于删除的单独的细胞或细胞组(并且还可选地指示要被添加的任何细胞)是两个阶段的过程，涉及首先编辑会话，然后重新分割考虑这些编辑。因此，编辑是临时的，并且在编辑会话期间所做的改变仅在重新分割时被锚定在分割数据中。
22.在某些编辑会话中，选择组织图像的特定区域中的一个或多个细胞用于删除，然后在相同区域中标识一个或多个细胞用于添加。用户由此用擦除和重绘过程校正初始分割中被用户认为有缺陷的部分。
23.可以通过在图像窗格上绘制封闭区域来添加细胞。这可以通过围绕在所显示的图像的二维表示中可见的细胞核、细胞膜或细胞质的边界进行追踪来完成。备选地，这可以通过标记位于包含该细胞的细胞周围的区域，然后应用图像处理算法来标识该细胞的分割数据(例如，通过侵蚀)，或者通过标记细胞内的点，然后应用图像处理算法来标识该细胞的分
割数据(例如，通过扩张)来完成。一种优选的方法是追踪细胞核边界。
24.对于图像窗格，用户被提供有用户界面控件，用户界面控件提供对以下每项的显示的独立控制：核分割数据、细胞质分割数据和细胞膜分割数据。因此，例如，用户能够仅查看核分割数据。
25.在大多数情况下，用于数字病理学的图像数据将包括多个通道图像，每个通道图像与不同的染色剂相关联。然后，组织图像将或者只有一个通道，或者它将是已经融合在一起的两个或更多个通道图像的组合。为了帮助处理不同的通道，用户可以被提供有用户界面控件，以实现哪些通道图像将被包括在组织图像中的独立控制。当组织图像是多个融合图像的组合时，每个融合图像与不同的染色剂相关联，细胞属性可以特定于一个特定的染色剂或特定的染色剂组合。例如，如果一个染色剂是标记特定蛋白质表达的荧光染色剂，则细胞属性可以测量该染色剂在每个细胞内或每个细胞的细胞膜附近的综合强度，从而根据该细胞属性进行分类将允许选择仅该染色剂小于阈值的所有细胞。
26.编辑和重新分割可以迭代地执行任何次数。即，在重新分割和重新显示之后，可以在另外的重新分割和重新显示之后执行另外的编辑会话。
27.如果重新分割被限制到受编辑会话影响的细胞所在的组织图像的特定区域，则在计算上可以更加有效。因此，重新分割可以被局部地限制在已编辑分割数据的近端区域。
28.对于编辑会话来说，利用用户界面控件使表格可以按列排序是有帮助的，从而按照特定细胞属性的值对表格中的行的显示进行排序。该分类特征便于从数据窗格中选择具有共同属性或属性值的一组细胞，例如具有高于或低于阈值的特定染色剂的综合强度的细胞。通过标记整个细胞的分割数据，或仅标记细胞膜的分割数据，或仅标记细胞质的分割数据，或仅标记细胞核的分割数据，可以在图像窗格中选择细胞。
29.数据窗格中的表格还可以包括细胞标签的列。细胞标签可以是任意的。数据窗格中的表格还可以包括其中显示细胞缩略图的列。细胞属性可以特定于细胞的一部分，例如细胞核、细胞质或细胞膜，或者可以与整个细胞相关，例如，细胞区域。一个细胞属性是指示该细胞是源自分割还是用户编辑会话的来源属性。
30.该方法还可以包括保存由重新分割确定的细胞分割数据。初始分割和重新分割可以在相同会话中执行，也可以在不同会话中执行。在后一种情况下，在包括保存初始分割数据集的第一会话中执行初始分割，并且在包括取回图像数据和初始分割数据集的第二会话中执行重新分割。
31.图像数据可以表示细胞的二维表示或细胞的三维表示。在一些实施例中，图像数据是2d图像数据集，诸如从安装在载玻片上的组织切片的传统显微镜导出，使得图像数据构成细胞的二维表示。在其他实施例中，图像数据是3d图像数据集，诸如从全息显微镜或2d图像的z-叠层导出，使得图像数据构成细胞的三维表示。
32.根据本公开的另一个方面，提供了一种承载机器可读指令的计算机程序产品，机器可读指令当在计算机装置上加载和执行时，使计算机装置执行上述方法。
33.还可以提供加载有机器可读指令的计算机装置。
34.本发明的又一个方面涉及一种临床网络，包括：
35.上述计算机装置；
36.数据存储库，被配置为存储记录，每个记录包括图像数据和分割数据，其中图像数
据表示细胞，并且分割数据表示在图像数据中标识的细胞特征；以及
37.网络连接，实现在计算机装置和数据存储库之间传送记录或其部分。
38.本发明的又一方面涉及一种图像获取装置，用于在2d或3d图像数据中获取表示来自组织样本的细胞的图像。该装置包括：
39.显微镜布置，可操作以获取组织样本的图像；以及
40.计算机装置，加载有：
41.第一机器可读指令，可操作为控制显微镜布置以获取图像数据(例如，用控制软件实现)；以及
42.第二机器可读指令，可操作为执行上述方法(例如，用图像处理和可视化软件实现)。
附图说明
43.在下文中，仅参考附图中所示的示例性实施例进一步以示例的方式描述本公开。
44.图1a&图1b示出了示例组织图像和从组织图像的分割数据生成的相应标记覆盖图像。
45.图2示出了存储图像数据和分割数据的记录。
46.图3a至图3c示出了如何应用分割来标识细胞特征的三个主要步骤。
47.图4是示出根据已知的处理和可视化软件应用的示例工作流的流程图。
48.图5是示出根据本公开实施例的处理和可视化软件应用的示例工作流的流程图。
49.图6是示出图5的工作流的一部分的子步骤的流程图。
50.图7a至图7d示出了根据图5的过程流的一个遍历，用于在用户使用细胞特征移除工具进行干预之后执行部分重新分割的工作流的所选择的步骤。
51.图8a至图8d示出了根据图5的过程流的另一遍历，用于在用户使用细胞特征添加工具干预之后执行部分重新分割的工作流的所选择的步骤。
52.图9a至图9i示出了示例编辑会话期间的图像窗格序列，其中移除了一组四个相邻细胞的分割数据，然后添加了不同形状的单个细胞的替代分割数据。图9j示出了正在分析的底层图像数据的图像。
53.图10a至图10i示出了如图9a至图9i所示的相同示例编辑会话期间的一系列数据窗格。
54.图11是适用于获取组织样本的2d病理图像的示例显微镜系统的示意图。
55.图12示出了可以结合本公开的实施例使用的示例计算机网络。
56.图13是可用于执行实现本公开的实施例所需的图像处理的计算装置的框图。
具体实施方式
57.在下面的详细描述中，出于解释而非限制的目的，阐述了具体细节以便更好地理解本公开。本领域技术人员显然可以在脱离这些具体细节的其他实施例中实施本公开。
58.在本文档中，我们使用术语分割来表示将图像(该图像可以是2d或3d图像)细分为链接的像素或体素组，以便标识感兴趣的细胞和/或细胞特征。(分割还可以标识不感兴趣的像素或体素，诸如背景。)有关分割的更多详细信息，请参阅：
59.·
教科书gonzalez和woods“digital image processing”(数字图像处理)第三版(2008年)，第1章，第3至18页，isbn 013168728。其全部内容通过引用并入本文。
60.分割可以基于阈值设定、区域生长和/或边缘检测。分割可以涉及形态运算符的应用。形态运算符被理解为指用于形状分析的数学运算符，特别是用于提取在形状的表示和描述中有用的图像分量，并且特别是用于例如通过计算对象边界来确定图像中对象的范围的数学运算符。对于2d或3d病理图像，这意味着细胞或细胞元素的形状，诸如细胞核。示例形态运算符有：膨胀、侵蚀、打开、关闭。有关更多详细信息，请参阅：
61.·
同上教科书gonzalez和woods，第9章，标题为“morphological image processing”(形态学图像处理)，第627至688页，isbn 013168728，以及
62.·
richard wootton、david springall和julia polak编辑的教科书“image analysis in organology”(组织学中的图像分析)(1995)，第14章，标题为“edge detection in microscope images”(显微镜图像中的边缘检测)，第241-261页，isbn 0521434823，其全部内容通过引用并入本文。
63.分割可以使用标准图像处理技术的任何组合来执行，例如，如上面引用的教科书章节中所描述的。图像可以是彩色的，也可以是灰度的。可以通过应用对比度增强滤光器来修改图像。用于标识图像中的感兴趣对象的分割可以涉及以下图像处理技术中的任何一项或全部：
64.1.基于方差的分析以标识种子面积
65.2.自适应阈值设定
66.3.形态学运算
67.4.轮廓标识
68.5.基于邻近度启发式规则的轮廓合并
69.6.不变图像矩的计算
70.7.边缘提取(例如，sobel边缘检测)
71.8.曲率流过滤
72.9.超像素聚类
73.这些用于执行分割的图像处理步骤是以示例的方式描述的，并且不应被解释为以任何方式限制本发明的范围。
74.图5是示出根据本发明实施例的处理和可视化软件应用的示例工作流的流程图。
75.在步骤s10中，该工作流开始于执行分割，其由用于标识细胞核的子步骤s10.1、用于生长细胞质区域的子步骤s10.2和用于生长细胞膜的子步骤s10.3组成，这三个子步骤对应于图3a、图3b和图3c的步骤。在执行了细胞分割后，则在步骤s11中计算各种细胞属性的特定于细胞的参数值。一些属性将仅基于分割结果，例如以确定诸如面积、形状或最大尺寸的拓扑参数。其他属性将基于将分割结果应用于组织图像的一个或多个通道以确定细胞区域内的组织图像的属性，例如，如果一个通道表示特定荧光探针的图像，则可以计算该探针在每个细胞(或细胞的一部分)中的荧光的综合强度，例如以测量特定蛋白质的表达量。另一个特定于探针或特定于标记的属性将是指示特定标记是否存在于细胞或细胞的一部分(例如，其细胞核、细胞质或细胞膜)中的二值属性。在一些情况下，该属性可以不在细胞区域内，但可以通过邻近细胞区域来实现，例如用于量化指示来自细胞膜的抗体分泌的标记，
该标记可以作为有限厚度的光晕存在于细胞膜之外的区域中。
76.针对用户的输出被准备，这包括在步骤s12中准备数据窗格和在步骤s13中准备图像窗格。
77.图像窗格呈现组织区域的图像，该图像包括以下三个组成部分中的一项或多项：组织图像、标记覆盖图像和细胞边界覆盖图像。
78.组织图像和标记覆盖图像旨在作为备选呈现，用户将在其间切换以进行比较。组织图像和细胞边界覆盖图像旨在用于在融合图像中共同呈现。
79.标记覆盖图像是呈现所有细胞部分(即细胞核、细胞质和细胞膜)的分割结果的可视化层，并且通常使用鲜艳的颜色和卡通设计方法，使得突出显示细胞及其主要部分。标记覆盖图像还可以对通过分割确定为不同类型的细胞(例如，肿瘤和非肿瘤)使用不同的颜色。
80.细胞边界覆盖图像是呈现分割结果的另一可视化层，但仅作为绘制为线的简单边界。细胞边界覆盖图像可以仅由核轮廓组成、仅由细胞膜轮廓组成，或者两者。
81.组织图像是从显微镜(通常是扫描仪)获取的图像。组织图像通常是多个探针通道的融合，即若干分量图像的叠加或其他组合，每个分量图像特定于特定的染色剂，有时还包括未染色的图像。这些可能是被不同染色的相邻组织切片的图像。通过选择和取消选择每个分量图像，诸如dapi、光谱绿、光谱橙，用户可以自由地选择这些分量图像中的哪些分量图像被包括在融合中。因此，组织图像是图像数据的二维表示，或者是图像数据的整体，或者是其选择的通道组合。
82.在图像窗格中，用户可以自由选择在图像窗格中显示组织图像、标记覆盖图像和细胞边界覆盖图像中的哪个图像。用户的一种常见表现是在组织图像和标记覆盖图像之间快速切换，以比较这两个图像，从而判断分割的质量。用户的另一常见表现是选择细胞边界覆盖图像(例如，核边界)和仅采用与相应染色剂(在本示例中为核染色剂)相关的通道的组织图像的叠加，用户可以从中看到分割标识了特定细胞成分(在本示例中为细胞核)的可靠性。
83.在数据窗格中，分割结果以包括行和列的表格的形式显示。每行特定于被标识为分割数据中的细胞的细胞。每列提供特定细胞属性的特定于细胞的值，诸如特定染色剂的面积或综合强度。最左边的列可以方便地是细胞标签(或名称)，其可以是任意的，例如由分割算法基于组织图像中的位置分配的数字。还可以包括显示组织图像中的细胞的缩略图的列。
84.除了特定于细胞的属性之外，还确定一些通用输出参数，诸如检测到的细胞核的总数、检测到的细胞核的面积、检测到的细胞核中相关染色剂/染料的平均浓度、每个相关隔室(隔室是例如，细胞核、细胞质、细胞膜)中相关染色剂/染料的百分比面积。
85.在步骤s14和s15中，分别在显示器上针对用户一起显示数据窗格和图像窗格。
86.在基于步骤s16至s21的编辑会话中，用户然后能够使用gui工具进行手动干预，该gui工具支持通过数据窗格和图像窗格校正分割中的错误。即，如步骤s16、s17和s18所示，用户可以根据需要选择通过数据窗格或图像窗格编辑分割。
87.步骤s16涉及用户手动干预基于图像的细胞特征移除工具，该工具允许用户通过标记表格中的一个或多个细胞来从数据窗格中选择用于删除的初始分割数据集的一部分。
88.步骤s17涉及用户手动干预基于数据的细胞特征移除工具，该工具允许用户通过在显示器上标记图像的二维表示来从图像窗格中选择用于删除的初始分割数据集的一部分。
89.步骤s18涉及用户手动干预细胞特征添加工具，该工具允许用户通过在显示器上标记图像的二维表示来向初始分割数据集添加新的分割数据。下面将进一步描述如何实现这对gui工具的示例。用户在图像窗格中的输入(诸如绘制细胞或细胞核的轮廓)标识用于添加到分割数据的细胞。数据窗格可以响应于标识用于添加的细胞而被更新，也可以不更新。在该阶段对数据窗格的可选更新是向表中的新细胞添加行，尽管在此阶段只知道所添加细胞的非常少的属性值，因为大多数属性值将首先在重新分割时计算。如果在步骤s18中进行添加的情况下，在步骤s20中不更新数据窗格，则作为下一次重新分割的结果，即在步骤s11和s12的下一遍历中，将发生对表的更新，以为新细胞添加行。
90.在步骤s19中，响应于在步骤s16中通过数据窗格的细胞选择，更新图像窗格以显示细胞选择。
91.在步骤s20中，响应于在步骤s17中通过图像窗格选择用于删除的细胞(或者可选地在步骤s18中通过图像窗格添加细胞)，更新数据窗格以显示该选择(或添加)。
92.在编辑会话期间的一种常见且有用的使用模式是，用户通过在步骤s16或s17中移除不正确的分割数据，并在步骤s18中添加正确的分割数据来校正分割数据中的错误，其中，我们所说的“正确”和“不正确”是通过参考显示给用户的图像数据的表示由用户主观地决定的。
93.在步骤s21中，编辑会话以接收接受编辑的当前状态的用户命令结束。该过程流然后循环以在考虑到编辑的情况下执行重新分割，即，考虑到可能已经选择了一些细胞以用于删除，并且可能已经标识了用于添加的其他细胞(或者更准确地说，用于其他细胞的分割数据)的事实。当用户通过接受编辑会话中的当前编辑状态来触发重新分析时，该过程流返回到子步骤s10.2(非子步骤s10.1)。也就是说，重新分割不涉及从图像数据从头开始重新分割细胞核，而是将由来自初始分割的核分割数据(或在反馈环已经被至少遍历一次的情况下的先前分割)减去与用户使用细胞特征移除工具已经选择的用于删除的内容相关的核分割数据，加上与用户使用细胞特征添加工具添加的内容相关的核分割数据而组成的修改集合，作为核分割数据。在循环回子步骤s10.2之后，从由修改后的核分割数据集定义的每个细胞核(重新)生长细胞质区域，以确定细胞质分割数据。细胞质重新生长可以使用诸如扩张运算符的形态学运算符来执行。然后，流程进行到子步骤s10.3，以基于细胞质分割数据标识每个细胞的细胞膜，从而(重新)确定细胞膜分割数据。接下来，重新计算细胞属性和其他通用参数，并在图像窗格和数据窗格中显示重新分割的结果。然后，用户可以查看结果并决定是否开始新的编辑会话和随后的进一步分割。
94.还可以提供进一步的gui控件，诸如恢复到最近的用户编辑和/或重新分割之前存在的分割数据的
‘
撤销’命令。可以提供另一gui控件来删除所有现有的分割数据，使得然后可以执行新的新分割，可能使用不同的配置设置。
95.在过程流中的适当点处，并且最迟在结束会话时，记录被更新，即重新保存，以添加其当前形式的分割数据，以及与如何在图像窗格和数据窗格中显示图像相关的配置数据，以及任何其他相关数据，诸如用户注释。
96.图5暗示所有步骤都在单个会话中执行，但不必如此。备选方案是在较早阶段(例如，在获取图像数据之后立即)对图像数据执行自动分割，然后将其作为记录保存到诸如幻灯片(slide)数据库的数据存储库。然后，可以在后续会话开始时加载具有来自自动分割的分割数据的图像数据，该后续会话的目的是允许用户查看并且如果必要的话，校正或重新进行原始的自动分割。就改变图5所示的工作流而言，这意味着在步骤s10之后添加中间保存步骤，然后随后的编辑会话将通过从记录中取回保存的图像数据和分割数据并在步骤s11进入图5的工作流来开始。以此方式，在不同的用户会话中执行初始分割和重新分割，在包括保存图像数据和初始分割数据集的第一用户会话中执行初始分割，并且在包括取回图像数据和初始分割数据集的第二会话中执行重新分割。
97.图6是示出图5的工作流的一部分的子步骤的流程图。在子步骤s11.1、s11.2和s11.3中，针对细胞核、细胞质和细胞膜中的每个，分别对染色剂进行定量。应该理解，执行这三个子步骤中的哪些将是特定于应用的，因此这些选项中的一个或多个的任何组合都是可能的。例如，这些子步骤中哪些是相关的将取决于样本是如何染色的，即，使用了什么染色剂并用于哪些细胞特征，以及诊断目的。
98.图7a至图7d示意性地示出了根据图5的步骤s17的工作流的选择的步骤，用于利用基于图像的细胞特征移除工具在用户干预的辅助下执行重新分割。
99.图7a示意性地示出了与来自初始的全自动分割的重叠分割数据一起显示的一组细胞。
100.图7b示意性地示出了用户如何通过使用细胞特征移除工具选择用于删除的细胞之一来进行手动干预，根据用户对图像数据的评估，这些细胞中的一个细胞实际上不是图像中的细胞，而是自动分割在不存在细胞时错误地认为细胞存在。选择用于删除的细胞特征将用十字符号示意性地显示。在真实系统中，利用显示窗格进行编辑，该显示窗格仅通过选择核染色通道图像来显示组织图像，与覆盖的细胞边界覆盖图像(例如，仅核边界)相结合，并且可以通过不再显示该细胞的细胞边界(例如，通过不再显示该细胞的细胞核轮廓)来在视觉上指示选择用于删除的细胞的动作。其他显示选项包括使利用gui工具选择用于删除的细胞或细胞特征黯淡或模糊。
101.图7c示意性地示出了重新分割的中间结果，其中通过取自图7b的细胞核(即，最初发现的细胞核减去用户取消选择的细胞核)来启动重新分割。图7c所示的中间结果是生长细胞质区域后得到的结果。为了解释起见，在原始分割中存在，但在重新分割中不存在的细胞被显示为模糊(即黯淡的)，但这通常不会出现在实际系统的显示中。细胞质区域从它们各自的细胞核同时生长，以便在竞争空间之间进行调解。也就是说，如果两个(或更多个)相邻的细胞核彼此之间的距离比正常细胞大小通常允许的更近，那么在细胞质分割计算中加入某种形式的调解或协商，以达到准确的总体结果。该调解可以在生长或以其他方式确定细胞质时考虑对细胞质像素(或体素)的识别。
102.图7d示意性地示出了基于图7c的中间结果确定细胞膜之后的重新分割的最终结果，再次模糊显示在重新分割中不存在的细胞。
103.图8a至图8d示出了根据图5的步骤s18的工作流的选择的步骤，用于利用细胞特征添加工具在用户干预的辅助下执行重新分割。
104.图8a示意性地示出了与来自初始的全自动分割的重叠分割数据一起显示的一组
细胞。
105.图8b示意性地示出了用户如何通过使用细胞特征添加工具手动干预以添加细胞特征，根据用户对图像数据的评估，该细胞特征存在但当前未包括在分割数据中。添加的细胞特征显示为细胞核。用户使用细胞特征添加工具在显示器上标记新的细胞核，如通过围绕细胞核的周长绘制轮廓所指示的，用户可以使用铅笔工具在图像数据中看到该轮廓。作为铅笔工具的备选方案，可以使用能够提供该功能的任何其他标记工具。作为线条绘制的备选方案，可以通过对显示器上的区域进行着色(即，使用着色工具)来定义感兴趣的对象。另一备选方案是使用几何形状选择和大小调整工具标记对象。例如，如果诸如细胞核的细胞特征通常不是圆形的，则可以适当地使用另一几何形状。例如，几何形状可以从以下各项中的一项选择：圆、用弦截断的圆、卵形或椭圆形、正方形或矩形。
106.图8c示意性地示出了重新分割的中间结果，其中重新分割是从与图8b中的细胞核(即，最初找到的细胞核)相关的核分割数据开始的，加上用户添加的细胞核。图8c所示的中间结果是在细胞质区域生长之后。细胞质区域从它们各自的细胞核同时生长，以便在竞争空间之间进行调解，如上面参考图7c进一步描述的。
107.图8d示意性地示出了基于图8c的中间结果确定细胞膜之后的重新分割的最终结果。
108.考虑到分别如图7a至图7d和图8a至图8d所示的细胞移除和添加，将理解，组合使用这两个gui工具向用户提供了强大的功能，因为用户可以首先使用细胞特征移除工具从自动分割内包含错误的局部区域中选择用于删除的细胞特征，然后使用细胞特征添加工具在这些局部区域中采取校正动作，特别是通过细胞质区域和细胞膜的重新分割添加回正确的核分割数据，该核分割数据随后被用作种子。也就是说，由细胞特征添加工具添加的新分割数据中的至少一些涉及与由细胞特征移除工具选择用于删除的分割数据一致的图像的二维表示的区域。
109.总之，细胞特征添加工具由用户用来在图像的二维表示上，将用户可以从图像的二维表示中的图像数据看到的细胞特征，但是未被所显示的分割数据标识的细胞特征(或者是因为初始分割数据集合未标识所讨论的细胞特征，或者是因为用户决定初始分割数据集合错误地分割了所讨论的区域，因此用户通过细胞特征移除工具选择删除分割数据的该部分，从显示器中移除了该部分)，标记为所显示的细胞特征。例如，当初始分割将两个细胞标识为一个细胞，或者将一个细胞标识为两个细胞时，通常需要进行校正。在这两种示例情况下，用户将使用细胞特征移除工具选择删除与所显示的图像中的该区域相关的分割数据，然后使用细胞特征添加工具重新绘制正确的表示。重新绘制可以通过用户分别绘制两个细胞核或一个细胞核来完成。
110.在上述实施例中。图像数据和分割数据可以被存储在记录中，如图2所示。此外，图像数据可以在没有分割数据的情况下被存储，或者是因为还没有对图像数据执行分割，或者是因为分割总是在运行中进行，而不是保存到记录中。此外，当存储在记录中时，分割数据可以是来自如上所述的初始分割和/或重新分割的分割。
111.在上述实施例中，重新分割可以延伸到图像数据的整个区域或体积。然而，节省计算能力并因此节省处理时间的备选方案是将重新分割限制在分割数据已经被细胞特征移除工具和/或细胞特征添加工具修改的区域附近。例如，选择的用于删除的细胞的每个细胞
周围的区域可以被限制为仅包括相邻细胞。相邻细胞可以只是最近的邻居，或者是最近的和次最近的邻居。相邻细胞的另一定义可以是接触或接近被选择删除的细胞的细胞，可选地包括接触或接近接触的相邻细胞的任何进一步的细胞，使得例如重新分割将包括所有细胞，并且仅包括作为细胞聚集体的一部分的那些细胞，诸如细胞菌落。相邻细胞的另一定义可以是基于区域的任意几何定义，该区域的大小由选择的用于删除的细胞的尺寸的某个倍数来定义，例如2、3、4、5、6、7、8、9或10倍，加上/减去该细胞的最大横向尺寸0.5。
112.在上述实施例中，利用上述gui工具执行的动作可以通过包括显示器和用户输入机制的图形用户界面来控制，诸如具有指示笔的图形输入板、触摸屏显示器或具有鼠标或轨迹球驱动光标的传统显示器。
113.在上述实施例中，存在各种用于实现细胞特征添加工具的选项。最简单的实现将是实现细胞特征添加工具，使得期望用户在显示器上的图像的二维表示上标记新的细胞核。然后，软件应用可以不加修改地接受用户绘制的内容，或者可以应用分割计算，以参考轮廓附近的像素(或体素)属性来细化用户绘制的轮廓。备选实现是实现细胞特征添加工具，使得用户点击图像的二维表示上的由用户定义为存在细胞核的点，并且分割计算采用该点的紧邻(比通常的细胞核大小小得多的接近度，例如小10倍)作为提供该细胞核的像素(或体素)的定义，该定义然后被馈送到形态运算符(诸如扩张运算符)中，以确定用于添加的细胞核的范围。另一备选方案是实现细胞特征添加工具，使得用户在被认为包含用户希望添加的细胞核的较大区域周围绘制，并且分割计算例如通过应用侵蚀运算符在该较大区域内查看以标识细胞核。又一选项将是实现细胞特征添加工具，使得期望用户绘制细胞膜，并且分割计算从细胞膜向内生长，例如通过侵蚀，以标识细胞质分割数据，然后将细胞质分割数据用作寻找用于添加的细胞核的细胞核分割数据的基础。
114.在上述详细描述中，假设分割数据仅包括单一类型的感兴趣对象的分割数据，其中，例如，对于可能出现在给定种类的样本中的多种不同细胞类型中的每一种，可以存在一种对象类型。然而，可能存在不同的分割数据子集，每个子集对应不同类型的特征。例如，用不同的荧光标记标记的特征和/或在图像数据中在拓扑上区分的不同特征，诸如细胞轮廓和细胞核轮廓。如果是这样的话，将会理解，上述方法可以被扩展，使得其在每个对象类型的基础上被应用。
115.图9a至图9i示出了示例编辑会话期间的图像窗格序列，其中移除了一组四个相邻细胞的分割数据，然后添加了不同形状的单个细胞的分割数据。图10a至图10i示出了如图9a至图9i所示的同一示例编辑会话期间的一系列数据窗格。换言之，图9a&图10a是在可视化应用的相同显示中分别示出图像窗格和数据窗格的对。图9b&图10b等也是如此。
116.该示例的起点是用户已经访问了文件数据库，找到了想要查看的图像数据文件，并且将该文件加载到可视化应用中。可视化应用已经显示了图像，用户已经从该图像中选择了要分析的子区域。在某些情况下，子区域可以是整个幻灯片图像，但通常是选定的区域部分。
117.图9a&图10a示出了用户在所选子区域上运行初始分割之后的图像和数据窗格。图像窗格显示带有标记覆盖图像的图像，其中三种细胞类型已经被标识为以不同颜色着色。在图9a(以及图9f、图9g、图9h和图9i)的单色表示中，三种细胞类型是浅灰色、深灰色和非常深灰色。对于这些图中的每个细胞，都可以看到细胞核轮廓和细胞膜轮廓。用户可以利用
合适的gui控件在该视图和组织图像的视图之间快速切换图像窗格。数据窗格的主要部分是表格。表格行显示在细胞分割数据中标识的细胞。表格列显示细胞属性值。从列标题以及细胞属性的列可以看出，还有一列用于细胞的缩略图图像，一列用于细胞名称(这里仅基于顺序整数编号方案，其中编号由分割算法自动分配)，还有一列显示细胞的来源。细胞来源几乎在所有情况下都是分割算法，例外情况是细胞是用户在编辑会话中添加的细胞。示例中显示的示例细胞属性为：
118.·
存在于强细胞核类别中，例如强荧光
119.·
存在于强细胞质类别中，例如强荧光
120.·
存在于未分类的细胞类型的类别中
121.·
细胞核面积
122.·
核隔室中的dapi反染色面积
123.从图10a可以看出，数据窗格还显示了一些用于分析的通用数据，诸如通过分割发现的细胞核的总数目、核的总面积和每个细胞核的平均面积。
124.基于对图9a和图9b的图像和数据窗格的查看，可能通过对图像窗格进行一些切换以将组织图像(参见图1a)与标记覆盖图像进行比较，用户决定分割不够好，因此想要开始编辑会话以修改分割。
125.图9b&图10b示出了图像和数据窗格，其中用户已经通过进入“删除细胞模式”启动了编辑会话。为了便于删除，用户调整了图像窗格的设置，以去激活除dapi核反染色通道图像之外的所有图像。例如，图像数据中的光谱橙色和光谱绿色探针通道可能已经被去激活。因此，组织图像不再是融合在一起的所有通道图像的组合，而是只显示其中细胞核强烈可见的一个通道。通过调整对比度、亮度、色图等其他图像控件，可以进一步增强dapi图像中细胞核的可见性。图9c、图9d和图9e也具有相同的核通道设置。
126.图9c&图10c示出了仍然处于“删除细胞”模式中的情况，其中用户已经通过使用适当的gui控件的图像窗格选择了四个相邻细胞用于删除。这一说法实际上不是严格正确的，因为实际上用户已经选择了这四个细胞的核分割数据(而不是组织图像中的细胞表示)。换言之，用户已经从它们的分割数据，特别是它们的核分割数据中选择删除这些细胞。通过对这些细胞的核分割数据使用不同的颜色或其他视觉标记，所选细胞在图像中被突出显示，如图9c所示。参考图10c，还可以看到，响应于通过图像窗格选择这四个细胞，数据窗格已经被更新，以通过突出显示相关的四行(在图中只有一行可见)来显示选择，例如通过将行着色为绿色。例如，通过使用诸如鼠标或轨迹球的定点设备点击细胞，或者通过在区域周围拖动框以选择框中的一个或多个细胞，可以在图像窗格中选择细胞。框可以是矩形、圆形或任何其他形状，其形状可以是用户可定义的。作为通过图像窗格选择细胞的备选方法，可以通过选择表格中该细胞的行从数据窗格中选择细胞。通过表格行选择细胞将导致高亮显示相关行，并在图像窗格中高亮显示该细胞，其方式与通过图像窗格选择该细胞的方式相同。通过按列对行进行排序可以方便地通过数据窗格选择细胞。例如，点击“细胞核区域”列的顶部将对行进行排序，以便按面积顺序(升序或降序)列出细胞。因此，用户能够块选择某一区域上方或下方的所有细胞。这样，表格中行的显示可以按任何所需细胞属性的值排序。
127.图9d&图10d示出了用户删除了图9c&图10c中标记为删除的细胞之后的情况。此时，这些细胞实际上并未被删除，而只是这些细胞的分割数据现在不会显示在图像窗格中
(参见图9d)，并且已经删除细胞的行现在会以不同的方式突出显示，例如着色红色而不是绿色。换言之，删除动作不会影响底层数据，而只会影响在显示器中呈现给用户的内容。
128.图9e&图10e示出了用户仍在编辑会话中但已经从“删除细胞模式”切换到“添加细胞模式”以便接收用户在图像窗格中的输入以标识用于添加到分割数据的细胞的情况。为此，用户使用绘图工具在用户认为对应于细胞核的一个或多个区域周围绘制轮廓。在图示的示例中，用户已经围绕在原始分割中确定的表示三个细胞核的核物质区域绘制了单个轮廓-以表示单个细胞核(参见图9a、图9b和图9c)。从图10e还可以看出，响应于标识要用绘图工具添加的细胞，数据窗格已经通过在表格中添加用于新细胞的行来更新，该新细胞在原始列中被标记为“用户添加的”并且被突出显示，例如着色绿色。
129.在我们的示例中，此时，用户决定使这些删除和添加生效，并获取一组新的每个细胞的结果和一般结果。重新分析基于重新分割，并且通过用户激活具有诸如“分析注释”的适当标签的gui按钮来启动。
130.图9f&图10f示出了重新分析的结果。对于图9a&图10a所示的初始分割，首先显示的图像窗格是标记覆盖图像。参考数据窗格中的通用数据表，可以看到细胞核的总数现在是208个，即减少了3个，与重新分析之前编辑会话的最终状态一致。参考图5，重新分割已经从编辑会话结束时获取核分割数据，然后执行步骤s10.2和s10.3以重新生长细胞质和细胞膜。特别地，我们可以在图9f中看到添加的细胞，它的细胞质和细胞膜正在重新生长。
131.图9g&图10g示出了在重新分析之后，用户如何想要查看添加的细胞的重新分割。这是通过选择添加的细胞来完成的，这可以通过在停留在标记覆盖图像中的同时重新进入“删除细胞模式”来方便地完成(即使在这一点上没有删除添加的细胞的预先意图)。例如通过将其行着色为绿色来突出显示所选择的细胞。可以方便地从数据窗格中选择添加的细胞，通过对一个原始列进行排序以找到“用户标识的”细胞，或者像以前一样通过选择从图像窗格中选择添加的细胞-假设用户可以识别添加的细胞。
132.图9h&图10h示出了进一步的进展。用户现在使用表格排序功能对几个细胞进行块标记以进行删除(在图9h中选择了九个细胞进行删除)。这个特定示例选择了核面积低于特定值的所有细胞。参考图10h，可以看出该块选择是如何通过在“细胞核面积”列上的先前升序排序来协助的。块选择的细胞被突出显示，例如通过将其行着色为绿色。选定用于删除的小的核区域细胞在表格中高亮显示其行，并在图像窗格中高亮显示其核轮廓。
133.图9i&图10i示出了在图9h&图10h中选择用于删除的细胞被删除之后的下一阶段(在图9d&图10d的意义上)，以及在重新分析以重新进行分割之后的下一阶段。如图9i所示，在重新分割之后，图9h&图10h中选择用于删除的细胞现在不存在。此外，可以看到，通过从分割中移除某些细胞，剩余的一些细胞的几何属性和分类也改变了。从图10i中的通用数据表格还可以看出，细胞核的数目已经从208个减少到158个，即大量删除的是50个细胞，而不仅仅是图9h中可见的9个细胞。这只是因为图9a至图9i的图像没有包括分析覆盖的整个面积，所以它们可以被放大到足以看到单独的细胞。
134.包括图9j是为了完整起见。它是图1a的再现，示出了该示例所基于的图像数据的组织图像，该组织图像是包含在底层图像数据中的所有探针通道的融合。
135.显微镜平台
136.图11是示例反射模式(即epi)荧光显微镜系统5的示意图，其是适用于获取组织切
片样本10的2d病理图像的示例图像获取设备。图像可以是荧光染色的，例如fish图像，或被非荧光染色的样本的图像，或未被染色的样本的图像。显微镜系统5中的光学装置包括激发滤光器12(显示为滤光轮上的几个这样的滤光器中的一个滤光器)、二向色镜15、显微镜物镜17(例如，60x至100x图像捕获放大倍数)和发射滤光器20(有时也称为屏障滤光器)。来自光源25的激发光通过激发滤光器12，部分被二向色镜15反射，通过显微镜物镜17到达样本10。朝向样本的激发光用空心箭头示意性地表示。从样本10发射的荧光辐射通过物镜17返回，通过二向色镜15，并通过发射滤光器20，以在像平面30中形成图像。远离样本的荧光光以实心黑色箭头示意显示。该图像由电荷耦合器件(ccd)摄像机32数字化，并且数字化图像被发送到计算机35以用于后续处理。
137.如果滤光器具有单通带，则特定滤光器和分色镜专用于样本中的单一染料。样本中其他染料的图像是通过将为激发和发射波段配置的光学元件替换为彼此而获得的。二向色镜和发射滤光器通常刚性地安装到支撑结构40(如虚线所示)，该支撑结构通常被称为立方体，多个立方体可移动到光路中和从光路中移出。相反方向的箭头42表示适当的机构，诸如可旋转的转塔或固定的滑动机构。多个励磁滤光器通常部署在可旋转的滤光器轮上(如图所示)。该系统可以用于单色图像获取或彩色图像获取。对于颜色获取，ccd摄像机是彩色ccd摄像机，在具有各自光源的三个色带中提供多波段激励，或者提供宽带光源和适当的滤光器，并且提供三个相应的发射滤光器，它们仅在三个发射波段中的一个发射波段内发射。用于fish的示例染料包括：dapi、fitc(异硫氰酸荧光素)和菁染料，诸如cy3、cy3.5、cy5、cy5.5和cy7。
138.计算机35可以加载各种机器可读指令集，诸如实施在其组合中的软件、固件、硬件，特别是：控制显微镜布置以获取图像；单独或共同处理图像集中的所获取的图像以分割图像数据，从而生成标识图像中的感兴趣对象的分割数据；以及允许用户通过如上所述的图形用户界面通过人工干预来编辑分割数据。
139.计算平台和网络环境
140.所提出的图像处理和gui设计可以在各种计算体系结构上执行，尤其是针对图像处理进行优化的计算体系结构，其可以基于中央处理单元(cpu)、gpu、现场可编程门阵列(fpga)和/或专用集成电路(asic)。在一些实施例中，图像处理软件在来自加利福尼亚州圣克拉拉的nvidia公司的nvidia gpu(诸如tesla k80 gpu)上运行。在其他实施例中，图像处理软件可以在通用cpu上运行。可以通过专门设计用于执行图像处理计算的处理器来获得更快的处理。
141.应当理解，用于运行图像处理软件的计算能力，无论其是基于cpu、gpu还是某种其他处理器类型，都可以在临床网络(例如下面描述的网络)中本地托管，或者远程托管在数据中心中。
142.所提出的计算机自动化方法在实验室信息系统(lis)的上下文中操作，该实验室信息系统(lis)通常是更大的临床网络环境的一部分，诸如医院信息系统(his)或图像存档和通信系统(pacs)。在lis中，图像数据文件将保留在数据库中，通常是包含个别患者的电子病历的患者信息数据库。由于获取图像数据文件的显微镜配备了条形码阅读器，因此图像数据文件将从安装在载玻片上的染色组织样本中获取，载玻片带有打印的条形码标签，通过该打印的条形码标签，图像数据文件被标记有合适的元数据。从硬件的角度来看，lis
将是传统的计算机网络，诸如根据需要具有有线和无线连接的局域网(lan)。
143.图12示出了可以结合本发明实施例使用的示例计算机网络。网络150包括医院152中的lan，即，是临床网络的示例。医院152配备有多个计算机工作站154，每个计算机工作站154都可以通过局域网访问具有关联存储设备158的医院计算机服务器156。lis、his或pacs档案存储在存储设备158上，使得可以从任何工作站154访问档案中的数据。档案是被配置为存储记录的数据存储库，该记录包括组织切片样本的2d图像的图像数据和感兴趣对象的分割数据。网络的连接使得能够在各个工作站154和档案之间传送记录或其部分。一个或多个工作站154可以访问图形卡和用于计算机实现如上所述的生成图像的方法的软件。软件可以本地存储在工作站154或每个工作站154处，或者可以远程存储并在需要时通过网络150下载到工作站154。在其他示例中，可以在计算机服务器上执行方法，其中工作站154作为终端操作。例如，工作站可以被配置为接收定义期望的图像数据集的用户输入，并在系统中的其他地方执行图像处理分析的同时显示结果图像。此外，多个2d病理图像获取设备和其他医学成像设备160、162、164、166连接到医院计算机服务器156。利用设备160、162、164、166收集的图像数据可以直接存储到存储设备156上的lis、his或pacs档案中。然后，可以在记录相应的2d图像数据之后立即查看和处理病理图像。局域网通过医院互联网服务器170连接到互联网168，医院互联网服务器170允许远程访问lis、his或pacs档案。这对于远程访问数据和在医院之间传输数据是有用的，例如，如果病人被移动，或者允许进行外部研究。
144.图13是示出可结合在此描述的各种实施例使用的示例计算装置500的框图。例如，计算装置500可以用作上述lis或pacs系统中的计算节点，例如，结合合适的cpu或gpu从其执行2d病理图像的处理的主机计算机。
145.计算装置500可以是服务器或任何常规的个人计算机，或能够有线或无线数据通信的任何其他启用处理器的设备。也可以使用其他计算设备、系统和/或体系结构，包括不能进行有线或无线数据通信的设备，这对本领域技术人员来说是明显的。
146.计算装置500优选地包括一个或多个处理器，诸如处理器510。处理器510可以是例如cpu或gpu或阵列或其组合，诸如cpu和gpu组合。可以提供附加处理器，诸如用于管理输入/输出的辅助处理器、用于执行浮点数学运算的辅助处理器(诸如张量处理单元(tpu))、具有适合快速执行信号处理算法的体系结构的专用微处理器(例如，数字信号处理器、图像处理器)、从属于主处理系统的从属处理器(例如，后端处理器)、用于双或多处理器系统的附加微处理器或控制器、或协处理器。这样的辅助处理器可以是分离的处理器，或者可以与处理器510集成。可以与计算装置500一起使用的cpu的示例是pentium处理器、core i7处理器和xeon处理器，所有这些处理器都可以从加利福尼亚州圣克拉拉的英特尔公司获得。可与计算装置500一起使用的示例gpu是加利福尼亚州圣克拉拉的nvidia公司的tesla k80 gpu。
147.处理器510连接到通信总线505。通信总线505可以包括用于促进计算装置500的存储器和其他外围组件之间的信息传输的数据信道。通信总线505还可以提供用于与处理器510通信的一组信号，包括数据总线、地址总线和控制总线(未示出)。通信总线505可以包括任何标准或非标准总线体系结构，例如，符合工业标准体系结构(isa)、扩展工业标准体系结构(eisa)、微通道体系结构(mca)、外围组件互连(pci)局部总线的总线体系结构，或者由电气和电子工程师协会(ieee)颁布的标准，包括ieee 488通用接口总线(gpib)、ieee 696/
s-100等。
148.计算装置500优选地包括主存储器515，并且还可以包括辅存储器520。主存储器515为在处理器510上执行的程序提供指令和数据的存储，诸如上述功能和/或模块中的一个或多个。应当理解，存储在存储器中并由处理器510执行的计算机可读程序指令可以是汇编指令、指令集体系结构(isa)指令、机器指令、机器相关指令、微码、固件指令、状态设置数据、集成电路的配置数据、或者以一种或多种编程语言(包括但不限于smalltalk、c/c 、java、javascript、perl、visual basic、.net等)的任意组合编写和/或编译的源代码或目标代码。主存储器515通常是基于半导体的存储器，诸如动态随机存取存储器(dram)和/或静态随机存取存储器(sram)。其他基于半导体的存储器类型包括例如，同步动态随机存取存储器(sdram)、rambus动态随机存取存储器(rdram)、铁电随机存取存储器(fram)等，包括只读存储器(rom)。
149.计算机可读程序指令可以完全在用户的计算机上、部分在用户的计算机上、作为独立的软件包、部分在用户的计算机上和部分在远程计算机上或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络(包括局域网(lan)或广域网(wan))连接到用户的计算机，或者可以连接到外部计算机(例如，使用互联网服务提供商通过互联网)。
150.辅存储器520可以可选地包括内部存储器525和/或可移除介质530。可移除介质530以任何公知的方式读取和/或写入。可移除存储介质530可以是例如，磁带驱动器、光盘(cd)驱动器、数字多功能盘(dvd)驱动器、其他光学驱动器、闪存驱动器等。
151.可移除存储介质530是其上存储有计算机可执行代码(即，软件)和/或数据的非瞬态计算机可读介质。存储在可移除存储介质530上的计算机软件或数据被读入计算装置500以用于处理器510执行。
152.辅存储器520可以包括用于允许将计算机程序或其他数据或指令加载到计算装置500中的其他类似元件。这样的手段可以包括例如，外部存储介质545和通信接口540，其允许软件和数据从外部存储介质545传输到计算装置500。外部存储介质545的示例可以包括外部硬盘驱动器、外部光学驱动器、外部磁光驱动器等。辅存储器520的其他示例可以包括基于半导体的存储器，诸如可编程只读存储器(prom)、可擦除可编程只读存储器(eprom)、电可擦除只读存储器(eeprom)或闪存(类似于eeprom的面向块的存储器)。
153.如上所述，计算装置500可以包括通信接口540。通信接口540允许在计算装置500和外部设备(例如，打印机)、网络或其他信息源之间传输软件和数据。例如，计算机软件或可执行代码可以通过通信接口540从网络服务器传送到计算装置500。通信接口540的示例包括内置网络适配器、网络接口卡(nic)、个人计算机存储卡国际协会(pcmcia)网卡、卡总线网络适配器、无线网络适配器、通用串行总线(usb)网络适配器、调制解调器、网络接口卡(nic)、无线数据卡、通信端口、红外接口、ieee 1394火线或能够将系统550与网络或另一计算设备接口的任何其他设备。通信接口540优选地实现行业公布的协议标准，诸如以太网ieee 802标准、光纤通道、数字用户线(dsl)、异步数字用户线(adsl)、帧中继、异步传输模式(atm)、综合数字服务网络(isdn)、个人通信服务(pcs)、传输控制协议/网际协议(tcp/ip)、串行线路网际协议/点对点协议(slip/ppp)等，但是也可以实现定制的或非标准的接口协议。
154.通过通信接口540传送的软件和数据通常是电通信信号555的形式。这些信号555可以通过通信信道550提供给通信接口540。在实施例中，通信信道550可以是有线或无线网络，或者任何种类的其他通信链路。通信信道550承载信号555，并且可以使用各种有线或无线通信装置来实现，包括有线或电缆、光纤、常规电话线、蜂窝电话链路、无线数据通信链路、射频(“rf”)链路或红外链路，仅举几例。
155.计算机可执行代码(即，计算机程序或软件)存储在主存储器515中和/或辅存储器520中。计算机程序也可以通过通信接口540接收并存储在主存储器515和/或辅存储器520中。这样的计算机程序在执行时使计算装置500能够执行本文别处描述的公开实施例的各种功能。
156.在本文档中，术语“计算机可读介质”用于指用于向计算装置500提供计算机可执行代码(例如，软件和计算机程序)的任何非瞬态计算机可读存储介质。这种介质的示例包括主存储器515、辅存储器520(包括内部存储器525、可移除介质530和外部存储介质545)、以及与通信接口540通信耦合的任何外围设备(包括网络信息服务器或其他网络设备)。这些非瞬态计算机可读介质是用于向计算装置500提供可执行代码、编程指令和软件的装置。在使用软件实现的实施例中，软件可以存储在计算机可读介质上，并通过可移除介质530、i/o接口535或通信接口540加载到计算装置500中。在这样的实施例中，软件以电通信信号555的形式加载到计算装置500中。该软件当由处理器510执行时，优选地使处理器510执行本文其他地方描述的特征和功能。
157.i/o接口535提供计算装置500的一个或多个组件与一个或多个输入和/或输出设备之间的接口。示例输入设备包括但不限于，键盘、触摸屏或其他触敏设备、生物测定传感设备、计算机鼠标、追踪球、基于笔的定点设备等。输出设备的示例包括但不限于，阴极射线管(crt)、等离子体显示器、发光二极管(led)显示器、液晶显示器(lcd)、打印机、真空荧光显示器(vfd)、表面传导电子发射显示器(sed)、场发射显示器(fed)等。
158.计算装置500还包括促进语音网络和/或数据网络上的无线通信的可选无线通信组件。无线通信组件包括天线系统570、无线电系统565和基带系统560。在计算装置500中，射频(rf)信号由天线系统570在无线电系统565的管理下通过空中发送和接收。
159.天线系统570可以包括一个或多个天线和一个或多个多路复用器(未示出)，这些多路复用器执行切换功能以向天线系统570提供发射和接收信号路径。在接收路径中，接收的rf信号可以从多路复用器耦合到低噪声放大器(未示出)，低噪声放大器放大接收的rf信号并将放大的信号发送到无线电系统565。
160.无线电系统565可以包括被配置为在各种频率上通信的一个或多个无线电。在实施例中，无线电系统565可以将解调器(未示出)和调制器(未示出)组合在一个集成电路(ic)中。解调器和调制器也可以是分开的组件。在传入路径中，解调器剥离离开基带接收音频信号的rf载波信号，该音频信号从无线电系统565发送到基带系统560。
161.如果接收到的信号包含音频信息，则基带系统560解码该信号并将其转换成模拟信号。然后信号被放大并发送到扬声器。基带系统560还从麦克风接收模拟音频信号。这些模拟音频信号被转换成数字信号并由基带系统560编码。基带系统560还对用于传输的数字信号进行编码，并生成基带传输音频信号，该基带传输音频信号被路由到无线电系统565的调制器部分。调制器将基带发射音频信号与产生rf发射信号的rf载波信号混合，该rf发射
信号被路由到天线系统570并且可以通过功率放大器(未示出)。功率放大器放大rf发射信号并将其路由到天线系统570，在天线系统570中信号被切换到天线端口以用于发射。
162.基带系统560还与处理器510通信耦合，处理器510可以是中央处理单元(cpu)。处理器510可以访问数据存储区515和520。处理器510优选地被配置为执行可以存储在主存储器515或辅存储器520中的指令(即，计算机程序或软件)。还可以从基带处理器560接收计算机程序，并将其存储在主存储器510或辅存储器520中或在接收时执行。这样的计算机程序在执行时使计算装置500能够执行所公开的实施例的各种功能。例如，数据存储区域515或520可以包括各种软件模块。
163.计算装置500还包括直接附连到通信总线505的显示器575，其可以被提供来代替或附加于连接到上述i/o接口535的任何显示器。显示器575或连接到i/o接口535的显示器可以用于显示上述图像数据和分割数据。
164.各种实施例也可以主要使用例如诸如专用集成电路(asic)、可编程逻辑阵列(pla)或现场可编程门阵列(fpga)的组件在硬件中实现。能够执行这里描述的功能的硬件状态机的实现方式对于相关领域的技术人员来说也是明显的。还可以使用硬件和软件的组合来实现各种实施例。
165.此外，本领域技术人员将理解，结合上述附图和在此公开的实施例描述的各种说明性逻辑块、模块、电路和方法步骤通常可以实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，各种说明性组件、框、模块、电路和步骤在上面总体上根据它们的功能进行了描述。这种功能是以硬件实现还是以软件实现取决于对整个系统施加的特定应用程序和设计约束。技术人员可以针对每个特定应用以不同的方式实现所描述的功能，但此类实现决策不应被解释为导致偏离本发明的范围。此外，为了便于描述，模块、框、电路或步骤内的功能分组。特定功能或步骤可以在不脱离范围的情况下从一个模块、块或电路移动到另一模块、框或电路。
166.此外，结合本文公开的实施例描述的各种说明性逻辑块、模块、功能和方法可以用通用处理器、数字信号处理器(dsp)、asic、fpga或其他可编程逻辑器件、离散门逻辑或晶体管逻辑、离散硬件组件或它们的任何组合来实现或执行，这些逻辑块、模块、功能和方法被设计成执行这里描述的功能。通用处理器可以是微处理器，但也可以是任何处理器、控制器、微控制器或状态机。处理器还可以实现为计算设备的组合，例如dsp和微处理器的组合、多个微处理器、一个或多个结合dsp核心的微处理器或任何其他这样的配置。
167.另外，结合本文公开的实施例描述的方法或算法的步骤可以直接体现在硬件中、体现在由处理器执行的软件模块中、或者体现在这两者的组合中。软件模块可以驻留在ram存储器、闪存、rom存储器、eprom存储器、eeprom存储器、寄存器、硬盘、可移除磁盘、cd-rom或包括网络存储介质的任何其他形式的存储介质中。示例性存储介质可以耦合到处理器，使得处理器可以从存储介质读取信息以及向存储介质写入信息。在备选方案中，存储介质可以集成到处理器。处理器和存储介质也可以驻留在asic中。
168.这里所指的计算机可读存储介质本身不应被解释为瞬态信号，诸如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，通过光缆的光脉冲)、或通过导线传输的电信号。
169.这里描述的任何软件组件可以采取各种形式。例如，组件可以是独立的软件包，也
可以是作为“工具”并入较大软件产品中的软件包。它可以作为独立产品或作为用于安装在现有软件应用中的内插附件包从网络(例如，网站)下载。它还可以作为客户端-服务器软件应用、作为启用web的软件应用和/或作为移动应用程序来使用。
170.这里参考根据实施例的方法、装置(系统)和计算机程序产品的流程图说明和/或框图来描述实施例。应当理解，流程图和/或框图的每个框以及流程图和/或框图中的框的组合可以由计算机可读程序指令来实现。
171.计算机可读程序指令可以被提供给通用计算机、专用计算机或其他可编程数据处理设备的处理器以生产机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令创建用于实现流程图和/或框图块中指定的功能/动作的装置。这些计算机可读程序指令还可以存储在计算机可读存储介质中，该计算机可读存储介质可以指示计算机、可编程数据处理设备和/或其他设备以特定方式运行，使得其中存储有指令的计算机可读存储介质包括包括实现流程图和/或框图块中指定的功能/动作的各方面的指令的制品。
172.计算机可读程序指令还可以被加载到计算机、其他可编程数据处理设备或其他设备上，以使得在计算机、其他可编程设备或其他设备上执行一系列操作步骤，以产生计算机实现的过程，使得在计算机、其他可编程设备或其他设备上执行的指令实现流程图和/或框图块中指定的功能/动作。
173.所示的流程图和框图示出了根据各种实施例的系统、方法和计算机程序产品的可能实现的体系结构、功能和操作。就此而言，流程图或框图中的每个框可以表示指令的模块、段或部分，其包括用于实现(多个)指定逻辑功能的一个或多个可执行指令。在一些备选实现方式中，框中注明的功能可以不按附图中注明的顺序发生。例如，根据所涉及的功能，实际上可以基本上同时执行连续显示的两个块，或者有时可以以相反的顺序执行这些框。还应注意的是，框图和/或流程图的每个框以及框图和/或流程图中的框的组合可以由执行指定功能或动作或执行专用硬件和计算机指令的组合的基于专用硬件的系统来实现。
174.本领域技术人员将清楚，在不脱离本公开的范围的情况下，可以对前述示例性实施例进行许多改进和修改。