用于计算病理学的可解释的AI（xAI）平台的制作方法

用于计算病理学的可解释的ai（xai）平台
1.相关申请的交叉引用
2.本技术要求2019年3月15日提交的标题为“an explainable ai(xai) platform for computational pathology”的美国第62/819,035号临时专利申请的优先权和权益，此处以引证的方式将该申请的整个内容并入。
技术领域
3.本公开总体涉及一种执行图像分析和处理的基于人工智能(ai)的系统，具体涉及一种可基于由图像的一个或多个区域指示的相应条件来辅助对这些区域进行分类的系统，其中，这些条件是使用基于可释释的人工智能(xai)的平台来确定的。


背景技术：

4.随着数字病理学全切片图像(wsi)平台的最近发展，越来越多的病理学家已经过渡到在计算机监视器上观察患者切片的数字图像。在长时间的过程之后，fda最近批准第一wsi系统作为ii类医疗设备，并且存在若干附加的wsi平台供应商(例如，莱卡(leica)、飞利浦(philips)、罗氏(roche)等)。响应于这些新的市场力量和病理学之外的最新技术进步，将机器学习应用于wsi的计算病理学的新领域正在出现。这也导致了创新的新概念，诸如用于病理学家的计算机辅助诊断(pcad)，其提出了将机器学习集成到病理工作流程中的方法。
5.卷积神经网络形式的深度学习在早期计算病理学工作中是流行的。尽管在诸如有丝分裂计数或癌症检测的孤立的、较低级的应用中是强有力的，但是深度学习尚未产生经验证的、全面的、高级的系统。也存在病理学家对将ai应用于病理学的恐惧和怀疑，并且没有关于病理学家应当如何监督计算病理学系统或如何与计算病理学系统一起工作的共识。


技术实现要素：

6.为了解决上述挑战，本文所述的各种技术使用xai来分析和推断病理。作为示例，使用xai辅助病理学家导出乳腺活检的推断。关键的新概念是可解释的ai(xai)，其是指可以用数据证明其结果正确的ai。这旨在解决与基于ai的分析有关的某些问题，诸如偏差、透明度、安全性和因果关系。偏差是指由有偏差的训练数据导致的潜在有缺陷的ai，这些训练数据可能在最初看起来起作用，但稍后可能灾难性地失败。在各种实施方式中，我们的xai平台(也称为histomapr)可通过向其用户提供关于xai的导出推断的过程的实时反馈来防止这种事件。使用该反馈，用户(例如，病理学家)可以确定xai推断是否基于偏差的训练数据集。透明度是相关的； xai可以向用户证明其结果是正确的，这向他们提供基于xai推荐做出良好决策所需的所有信息。
7.在各种实施方式中，这种信息可以包括：
8.1)为什么
‑
定量特征的列表，各个特征具有影响诊断标签及其置信得分两者的正/负得分；
9.2)为什么不
‑
与上述相同，而且有另选临时诊断的排序列表，该排序列表具有其自己的定量特征的正/负记录。与另选临时诊断相关联的特征与上述相同，但是它们通常对于各种不同的临时诊断具有不同的正/负值；
10.3)我知道你成功在哪里
‑
在roi图像的背景下，在病理学家用户的领域知识的背景下，1和2中的特征；如果一致，那么用户确信histomapr成功
11.4)你何时失败
‑
与#3相同的特征，但是如果它们不一致，那么病理学家知道xai可能已经失败
12.5)何时信任
‑
基于关于所有roi的为什么/为什么不、成功/失败的完全情况认知
13.6)何时不信任
‑
基于前述因素的执行决策；可以向病理学家提供不信任xai的选择，并继续用人工wsi审核进行诊断。
14.在病理学中，患者安全性是最重要的，并且是病理学家、其他医师和实验室人员与包括计算病理学应用的计算机系统之间的复杂交互的结果。患者安全性可以通过xai来改善(不仅仅通过减少未检测到的偏差或通过向病理学家提供透明度)，其还涉及病理学家能够对个体患者样本实时监测xai的功能。换言之，本文所述的xai系统的各种实施方式在病理学家审核特定个体的病理时提供对该病理的解释。该解释不限于多个患者的回顾性或累积数据审核。
15.最后，因果关系是指科学地理解构成xai系统的基础的病理机制。许多深入的学习努力仅仅追逐工程学统计(例如，曲线下面积，auc)，而没有获得对病理学本身的新的洞悉。然而，通过公开定量特征，histomapr的实施方式揭示了构成由xai系统所作决策的基础的病理机制。由此可见， histomapr的实施方式可以允许研究人员理解可以导致有意义的诊断或治疗进步的新的疾病机制。
16.因此，在一个方面，提供了一种用于执行医学图像的可解释的病理分析的方法。方法包括：对于组织的全切片图像(wsi)中的感兴趣区域(roi)，识别若干不同特征类型的特征，其中，至少一个特征类型至少部分地指示 roi内的组织的病理状况。方法还包括：将roi分类到多个组织状况类别中的一个类别中；以及(ii)向roi指定指示与类别相关联的组织状况的标签，其中，标签然后将识别roi中的组织的状况。对于分类，使用被训练为使用所识别的特征类型的特征进行分类的分类器来将组织图像分类到若干组织状况类别中的一个中。
17.另外，方法包括：存储关于标签的指定的解释性信息。解释性信息包括关于所识别的特征的信息。此外，方法包括：显示：(i)wsi的其中roi 的边界被突出显示的至少一部分；(ii)被指定给roi的标签；以及(iii) 用户界面(ui)，该ui具有：(a)第一ui元素，该第一ui元素用于向用户提供对所存储的解释性信息的访问；以及(b)一个或多个附加ui元素，这些ui元素使得用户能够在指定标签上提供反馈。
18.在一些实施方式中，组织包括乳腺组织，并且组织状况的类别包括以下两种或更多种：浸润性癌、导管原位癌(dcis)、高危良性、低危良性、导管上皮非典型增生(adh)、平坦型上皮非典型性(fea)、柱状细胞变化(ccc)和正常导管。在一些其他实施方式中，组织包括肺组织，并且组织状况的类别包括：特发性肺纤维化(ipf)和正常。在一些实施方式中，组织包括脑组织，并且组织状况的类别包括：传统细胞肿瘤和原神经细胞肿瘤。
19.不同的特征类型可以包括细胞学特征和/或架构特征(af)。细胞学特征可以具有
子类型，诸如：细胞核大小、细胞核形状、细胞核形态或细胞核纹理。架构特征可以具有子类型，诸如：基于roi中的一组超像素的颜色的架构特征(af
‑
c)；(ii)基于roi中的细胞核的细胞学表型的架构特征(af
‑
n)；或(iii)基于roi中的一组超像素的颜色和roi中的细胞核的细胞学表型两者的组合架构特征(af
‑
cn)。架构特征还可以具有子类型，诸如：细胞核排列、基质细胞性、导管中的上皮图案、腺体中的上皮图案、细胞鹅卵石样、基质密度或增生性。
20.在一些实施方式中，关于特征的信息包括以下信息中的一个或多个：在roi中检测到的并且对应于由标签指示的组织状况的特征类型的总数；在roi中检测到的特定特征类型的特征的计数；roi中的特定特征类型的特征的测量密度；或者特定特征类型在指示组织状况方面的强度。
21.解释性信息可包括由分类器在指定标签时计算的置信得分。置信得分可以基于以下内容中的一个或多个：在roi中检测到的并且对应于由标签指示的组织状况的特征类型的总数；对于第一特征类型：(i)第一特征类型在指示组织状况方面的强度；或(ii)在roi中检测到的第一特征类型的特征的计数；或者特征类型的另一总数，这些特征类型在roi中检测到，但对应于和与标签相关联的状况不同的组织状况。
22.在一些实施方式中，方法还包括：响应于用户与第一ui元素交互，使用标准病理词汇和存储的解释性信息生成解释性描述，并且在覆盖窗口、侧面板或页面中显示解释性描述。方法还可以包括：使用指定给特定特征类型的颜色在roi中突出显示特定特征类型的特征，该特征至少部分地指示由标签指示的组织状况；以及在覆盖窗口、侧面板或页面中显示突出显示的roi。
23.在一些实施方式中，方法包括：对多个不同roi重复识别、指定和存储步骤。在这些实施方式中，方法还包括，在显示步骤之前：(i)计算针对各个roi的相应风险度量，其中，roi的风险度量可以基于：(a)roi的指定标签；和/或(b)roi的置信得分；以及(ii)根据roi的相应风险度量对roi进行排序。在这些实施方式中，显示步骤包括：在一个面板中显示：(i)突出显示了具有最高风险度量的roi的边界的、wsi的至少一部分；(ii)指定给该roi的标签；以及(iii)向用户提供对所存储的对该roi 的指定标签的解释的访问的用户界面(ui)。显示步骤还包括：在另一面板中显示roi序列的缩略图。
24.在一些实施方式中，方法包括：获得全切片图像(wsi)；以及在wsi 中识别roi。roi的识别可以包括：(i)在wsi中标记至少两种类型的超像素，一种类型对应于苏木精染色组织，另一种类型对应于伊红染色组织；以及(ii)标记第一类型的超像素的片段以将封闭区域定义为roi。方法可以包括：识别wsi中的若干不同的roi。
25.在一些实施方式中，方法包括：更新用于分类器的训练数据集。更新训练数据集可以包括：经由一个或多个附加ui元素从用户接收针对指定给roi的标签的反馈，其中，反馈指示如由用户感知的指定标签的正确性；以及将wsi的与roi和指定标签相关联的部分存储在训练数据集中。分类器可以是决策树、随机森林、支持向量机、人工神经网络或基于逻辑回归的分类器。
26.在另一方面，提供了一种用于在一组病理学家之间分配病例的方法。方法包括：对于若干病例中的每一个，处理组织的对应全切片图像(wsi)，其中，wsi的处理包括：识别wsi中的一个或多个感兴趣区域(roi)，其中，各个roi向其指定了指示roi中的组织的状况的相应诊断标签。诊断标签可以由分类器生成或者可以已经由病理学家提供。
27.方法还包括：对于各个roi，计算相应指定的相应置信得分；对于wsi 计算：(i)基于指定给wsi中的一个或多个roi的相应诊断标签的严重性得分；以及(ii)基于一个或多个roi的相应置信得分的置信级。另外，方法包括：将严重性得分、置信级和相应的置信得分存储为解释性信息。可以针对平台所建议的标签或者针对病理学家所提供的标签来计算roi的置信得分。
28.方法还包括：确定严重性得分是否等于或高于指定的阈值严重性得分，并且如果确定是，则将wsi发送给病理学家组中的紧急病理学家，该病理学家可以立即(或以高优先级)审核wsi。方法包括：如果严重性得分低于指定的阈值严重性得分，则确定置信级是否等于或低于指定的阈值置信级，并且如果确定是，则将wsi发送给病理学家组中的次专科医师；否则，将病例发送给病理学家组中的普通病理学家。由此，次专科医师能够审核具有高优先级的相对困难的病例。将病例发送给普通病理学家可以包括：从病理学家组内的普通病理学家的库中选择普通病理学家，使得在将病例发送给所选择的普通病理学家时，维持库的平衡工作负荷。
29.在一些实施方式中，方法包括：向至少一个wsi中的至少一个roi指定相应的诊断标签。向特定roi指定相应的诊断标签包括：使用分类器(该分类器被训练为使用在图像中识别的若干不同特征类型的特征来将图像分类到多个组织状况类别中的一个)，以：将roi分类到多个组织状况类别内的类别中；以及向roi指定指示与类别相关联的组织状况的标签。在一些其它实施方式中，对于至少一个wsi中的至少一个roi，相应的诊断标签由先前的审核者提供，并且病理学家组代表随后的审核者组。
30.在一些实施方式中，方法还包括：响应于用户经由ui元素请求对特定 wsi的发送的解释：使用标准病理词汇和存储的解释性信息生成解释性描述，并且显示解释性描述。方法还可以包括：从特定wsi选择指定的标签指示严重状况或置信得分等于或低于指定的阈值置信得分的roi。另外，方法可以包括：使用指定给特定特征类型的颜色在roi中突出显示该特征类型的特征，该特征类型至少部分地指示由指定给roi的标签指示的组织状况；以及显示突出显示的roi连同解释性描述。
31.对于第一wsi中的第一roi，解释性信息可以包括以下信息中的一个或多个：在第一roi中检测到的并且对应于由指定给第一roi的标签指示的组织状况的特征类型的总数；在第一roi中检测到的特定特征类型的特征的计数；第一roi中的特定特征类型的特征的测量密度；或者特定特征类型在指示对应组织状况方面的强度。
32.第一wsi中的第一roi的置信得分可以基于以下内容中的一个或多个：在第一roi中检测到的并且对应于由指定给第一roi的标签指示的组织状况的特征类型的总数；对于第一特征类型：(i)第一特征类型在指示对应组织状况方面的强度；或(ii)在roi中检测到的第一特征类型的特征的计数；或者特征类型的另一总数，这些特征类型在第一roi中检测到，但对应于和与指定给第一roi的标签相关联的状况不同的组织状况。
33.在另一方面，提供了一种用于对用于训练分类器的图像进行真值标记的方法。方法包括：获得组织的全切片图像(wsi)；以及识别wsi中的一个或多个感兴趣区域(roi)。roi的识别包括：(i)在wsi中标记至少两种类型的超像素，一种类型对应于苏木精染色组织，另一种类型对应于伊红染色组织；以及(ii)标记第一类型的超像素的片段以将封闭区域定义为 roi。方法还包括：按顺序显示一个或多个roi；以及对于各个roi：显示一个或多个ui元
素，其中，第一ui元素可以提供或确认要被分配给roi 的相应的真值标签。另外，方法包括：响应于用户使用第一ui元素进行交互，向roi指定相应的真值标签并且将roi存储在训练语料库中。
34.在一些实施方式中，第一ui元素指示用户同意所提供的建议，并且方法包括：对于一个或多个roi的至少子集中的每个roi：识别若干特征类型的特征，其中，至少一个特征类型至少部分地指示roi内的组织的病理状况。方法还包括：使用分类器(该分类器被训练为使用若干不同特征类型的特征将图像分类到多个组织状况类别中的一个中)，以：(i)将roi分类到多个类别内的类别中；(ii)向roi指定指示与类别相关联的组织状况的建议标签；以及(iii)存储关于对建议标签的指定的解释性信息。解释性信息包括关于所识别的特征的信息。方法还包括：将建议的标签显示为所提供的建议。
35.方法还可以包括：响应于用户经由ui元素请求针对特定roi的建议标签的解释：使用标准病理词汇和存储的解释性信息生成解释性描述，并且显示解释性描述。在一些实施方式中，方法包括：使用指定给特定特征类型的颜色在特定roi中突出显示该特征类型的特征，该特征类型至少部分地指示由指定给roi的标签指示的组织状况；以及显示突出显示的roi 连同解释性描述。
36.对于特定roi，解释性信息可以包括以下信息中的一个或多个：在特定roi中检测到的并且对应于由指定给特定roi的建议标签指示的组织状况的特征类型的总数；在特定roi中检测到的特定特征类型的特征的计数；特定roi中的特定特征类型的特征的测量密度；或者特定特征类型在指示对应组织状况方面的强度。
37.特定roi的置信得分可以基于以下内容中的一个或多个：在特定roi 中检测到的并且对应于由指定给特定roi的建议标签指示的组织状况的特征类型的总数；对于第一特征类型：(i)第一特征类型在指示对应组织状况方面的强度；或(ii)在特定roi中检测到的第一特征类型的特征的计数；或者特征类型的另一总数，这些特征类型在特定roi中检测到，但对应于和与指定给特定roi的建议标签相关联的状况不同的组织状况。
38.在另一方面，提供了一种系统，该系统用于：(i)执行医学图像的可解释的病理分析；(ii)在一组病理学家之间分配病例；或者(iii)对用于训练分类器的图像进行真值标记。系统包括第一处理器和与第一处理器电通信的第一存储器，其中，第一存储器包括可由处理单元执行的指令，该处理单元可包括第一处理器或第二处理器，并且与可包括第一存储器或第二存储器的存储模块电通信。指令对处理单元编程，以执行根据上述方法的一个或多个操作和/或其一个或多个步骤。
39.本文所述的各种实施方式具有若干技术效果。例如，可以极大地提高组织的全切片图像的图像分析的准确度，因为识别全切片图像中的感兴趣区域的过程扫描整个图像而不省略其任何部分，并且将可能关联有诊断状况的任意区域标记为感兴趣区域。由此，使遗漏全切片图像中具有应当被诊断的状况的区域的可能性最小化，这可以最小化遗漏诊断的误差，由此可以通过最小化可能由遗漏诊断引起的疾病、严重健康状况或并发症的风险来提高护理质量。
40.而且，因为本文描述的各种实施方式不仅建议临时诊断，而且建议如何进行特定诊断确定的解释，所以这些实施方式可以提高诊断的准确度，并且还可以提高审核病理学家之间的一致性。另外，为了建议临时诊断，各种实施方式采用基于人工智能的系统，该系
统可以持续地进行训练，尤其是当具有在临时诊断与由审核者执行的最终诊断之间存在不一致的图像时。在一些实施方式中，系统本身便于生成可以用于初始和/或持续的训练的标有真值的数据集。这可以进一步提高诊断的准确度。
41.一些实施方式可以以又一种方式提高诊断的准确度。特别地，这些实施方式可以根据例如病理学家的审核者的专业知识将病例分配给他们。这种分配可以作为最终确定初始诊断的一部分来执行，或者在最终诊断之后执行，以便进行质量检查和保证。根据审核者的专业知识将病例分配给审核者还可以提高诊断准确度，因为专科医师或次专科医师不负担必须审核简单病例，并且可以集中于难以诊断病例。同样，普通医师(generalist) 或经验较少的审核者不负担审核难以诊断的病例，因为他们的审核可能是错误的或者他们可能根本不能审核这样的图像。而且，由于潜在的状况是严重的而需要立即关注的病例可以通过将它们引导至负责审核这些病例的审核者来给予这样的关注，这也可以提高护理质量。
附图说明
42.专利或申请文件包含着色执行的至少一个附图。具有(多个)颜色附图的该专利或专利申请公报的副本在请求并支付必要费用时将由专利局提供。
43.鉴于附图和所附的详细描述，本公开将变得更加明显。其中描绘的实施方式是作为示例而非限制提供的，其中同样的附图标记/标号通常指代相同或类似的元件。然而，在不同的附图中，相同或类似的元件可以使用不同的附图标记/标号来引用。附图不是必须为等比例，而是把重点放在例示本发明的方面上。附图中：
44.图1a至图1c示意性地描绘了根据各种实施方式的基于xai的平台在病理学中的使用；
45.图2a例示了分析全切片图像的常规过程；
46.图2b例示了可使用xai平台的实施方式执行的典型病理分析；
47.图3示出了在组织的空间组织中发现的自然层次，其中，这种层次用于由xai平台的各种实施方式执行的分析；
48.图4示出了根据一些实施方式由xai平台执行的分析的流水线；
49.图5例示了可使用xai平台的实施方式执行的病理分析；
50.图6示出了根据一个实施方式的显示证明由xai平台执行的分析正确的信息的示例；
51.图7示出了与不同组织状况相关的图像特征的示例，其中，这种特征由xai平台的实施方式使用；
52.图8示出了示例图形用户界面(gui)，其可用于真值标记，以便生成用于训练xai平台的实施方式的训练语料库；
53.图9示出了根据一个实施方式的显示证明由xai平台执行的分析正确的信息的另一示例；
54.图10示出了根据一个实施方式的显示证明由xai平台执行的分析正确的信息的又一示例，其中，显示的信息包括与被分析的感兴趣区域类似的感兴趣区域；
55.图11是根据一些实施方式的由xai平台执行的分流的流程图；
56.图12比较了根据常规技术执行的病理分析与经由xai平台的各种实施方式执行的
分析；
57.图13示出了可以由xai平台的实施方式使用的组织状况的类别的表格；
58.图14示出了允许用户诊断并相应地标记组织图像的示例gui，其中, 没有提供关于组织状况的建议；
59.图15示出了根据一个实施方式的允许用户诊断并相应地标记组织图像的另一示例gui，其中，关于组织状况的建议由xai平台提供；
60.图16示出了乳腺组织的各种架构特征和具有不同架构特征的不同乳腺组织样本的示例，xai平台的一些实施方式可以将乳腺组织的各种架构特征用于分析乳腺组织样本；
61.图17示意性地示出了根据常规技术的病例分流；
62.图18示意性地示出了根据一个实施方式的使用xai平台的病例分流；
63.图19示出了xai平台的实施方式可提供的用于病例分流的gui的示例；
64.图20示出了xai平台的实施方式可执行病例分流的环境；
65.图21a至图21f示出了识别组织图像的特征的过程，其中，这些特征用于确定与组织相关联的状况，并且其中，可以使用xai平台的实施方式使用特征来解释该确定；
66.图22a1至图22a12示出了具有不同架构特征的不同肺组织样本的示例；
67.图22b示出了肺组织的不同架构特征；
68.图22c示出了根据一些实施方式的具有过密的某些类型的特征的肺组织样本的图像，其中，组织图像被标记以突出显示那些类型的特征；
69.图22d示出了根据一些实施方式的具有过密的某些其他类型的特征的另一肺组织样本的图像，其中，组织图像被标记以突出显示那些其他类型的特征；
70.图23a至图23d示出了脑组织样本的图像的示例；
71.图24a示出了脑组织的不同架构特征；
72.图24b示出了根据一些实施方式的在图23a中示出并且具有过密的某些类型的特征的脑组织样本的图像，其中，组织图像被标记以突出显示那些类型的特征；
73.图24c示出了根据一些实施方式的在图23c中示出并且具有过密的某些其他类型的特征的另一脑组织样本的图像，其中，组织图像被标记以突出显示那些其他类型的特征；以及
74.图25a至图25f示出了根据一些实施方式的从组织的全切片图像识别感兴趣区域以便对其进行进一步分析的过程。
具体实施方式
75.病理学被认为是医学诊断的金标准。因此，病理学家对于进行大的实践改变一直是保守的。计算病理学受到相当大的关注，但是也是忧虑，因为由计算机造成的任何误差都可能对人造成伤害并且甚至造成生命损失的严重风险。很可能的是，xai可以便于采用计算病理学，因为它不仅高效地呈现结果，而且还解释结果如何获得。人，通常是病理学家，然后可以容易地确定计算机生成的结果是否应该被接受或者是否需要进一步的审核。可释释的ai也可以辅助推动对构成癌症和其它难以理解的疾病的基础的病理学的科学理解。重要的是注意，我们使用xai是为了支持病理学家进行高效且更准确的“呼叫”76.参考图1a至图1c，导致由xai平台的实施方式做出的决策的信息的揭示可使这种
平台成为计算病理学的关键特征。通常，在各种实施方式中， histomapr xai可产生基于内容的图像应用，这些应用基于感兴趣区roi 的分析。histomapr可以分析wsi以发现一个或多个roi，然后向各个roi 提供诊断标签。histomapr还可以生成关于偏差、透明度、安全性、因果关系等的描述性信息。histomapr可由病理学家用来辅助诊断，其中，描述性信息可提供histomapr分析的实时解释。在一些实施方式中，还实现了基于内容的图像搜索，这促进了若干相关活动，诸如决策支持、教育或临床试验筛选(较低中心)。最后，可以促进质量保证活动，并且包括由histomapr 和病理学家进行的持续监测、以及通过标准化术语的推广进行的改进报告。
77.参考图2a，传统的人工病理诊断，无论是使用显微镜载玻片还是使用人工wsi，通常效率低且容易出错。图2a示出了简化的、通常的显微镜或人工wsi 202和典型的观察路径204(虚线和实线黑色箭头)。病理学家必须以系统的方式观察组织以确保所有组织都被观察到。这可能导致效率问题，其中诊断区域(圆圈206)被不可预知地发现并且没有警告。如果小或不易察觉，则诊断区域甚至可能被遗漏。在作出识别感兴趣的诊断区域(或roi)的决策之后，对潜在诊断区域的持续搜索也比确信的审核慢。最后，没有关于个体病理学病例是否将是困难的或者是否需要加速的事先知识。
78.由此可见，当诊断乳腺活检中的诸如导管上皮非典型增生的困难病变时，一组报告了病理学家之间的低诊断一致性(52％一致性)。该报告还注意到，不同种类的病理学家(即，乳腺病理学家相对于普通病理学家)经受不同水平的表现。关于效率，考虑到wsi的成本和工作流程的变化，包括切片扫描的时间延迟，人工wsi观察与传统的载玻片显微镜检查相比无法提供足够的效率来证明其用于初步诊断的实施是正确的。这基于未公布的数据，但是也由近年来用于初步诊断的数字病理学的缓慢采用而证实，尽管在2017年监管开放。
79.图2b描绘了被称为histomapr
‑
breast的histomapr的实施方式的示例显示250，其被配置成分析乳腺组织wsi。中央面板252示出了计算机识别的roi边界254为绿色的wsi观察区域。可以使用其它颜色或技术来生成边界。右边的面板256示出了已经分析过的并可用于观察的wsi 258。左边的面板260示出了患者信息和由histomapr
‑
breast产生的临时诊断。底部面板262示出了histomapr的关键元素，包括“为什么？”、xai 264 的ui元素(例如，按钮)、histomapr诊断标签266“adh”(导管上皮非典型增生)、指示关于histomapr标签的同意、不同意或不确定性的病理学家ui元素(例如，按钮)268a
‑
c、以及完成ui元素(例如，按钮)270。在指示符和按钮下方，存在roi子面板272，其示出了从最非典型到最不非典型进行分流的roi 274。roi 274通常以比中央面板252中所示的roi 的尺寸更小的尺寸示出。roi 274也可被示出为缩略图像。
80.根据我们对pcad模型的模拟，计算病理学，诸如由histomapr
‑
breast 促进的计算病理学，可以比用于乳腺核心活检的传统显微镜检查更高效 56％。效率增益看起来来自若干因素，包括早期发现感兴趣的诊断区域 (roi)；由于分流效果而降低的不确定性；以及在做出主要诊断决策之后以加速方式审核较少诊断roi的能力。
81.定义：
82.如以下讨论中使用的，以下术语通常可以根据其在计算病理学领域的背景下的普通和一般含义来解释。以下对各种术语的描述不必是限制性的，而是可以告知其普通和一般的含义。
83.病理病例
‑
这是由医师提交给实验室的患者样本(诸如乳腺核心活检) 或样本的集合(诸如具有单独淋巴结活检的乳房切除术)。这些样本或病例被描述并加工成显微镜载玻片，随后可以将其成像为全切片图像(wsi)。病理学家观察显微镜载玻片和/或wsi以做出诊断决策，然后将其作为结果报告发出。
84.数字病理学
‑
这是指在病理学中使用数字成像。最初的努力集中在利用人工和机器人遥控显微镜的显微镜检查的远程观察、或者包括生物标记读数的基本图像分析。全切片图像(wsi)是数字病理学的更近的领域，既用于早期应用(例如远程病理学或图像分析)也用于更近的初步诊断应用 (即显微镜的替换)。计算病理学是新形式的数字病理学。
85.计算病理学
‑
这是将包括机器学习或ai的计算技术应用于病理学数据。这包括诸如wsi的图像数据和诸如患者人口统计、临床信息或病理学家的观察的非图像数据。
86.人工智能(ai)
‑
计算机化系统执行通常与自然生物相关联的任务的能力。该术语经常应用于开发具有人类的心智过程特性(诸如推理、发现含义、概括或从经验中学习的能力)的系统的项目。
87.机器学习
‑
人工智能研究中的计算机科学学科，其主要涉及可自主学习的计算机软件的实施。专家系统和数据挖掘程序是使用机器学习来改进算法的最常见的应用。
88.深度学习(dl)
‑
与任务特定算法相反的基于学习数据表示的更广泛的机器学习方法族的一部分。深度学习算法通过利用人工神经网络的层次等级来模仿人脑在处理数据和创建用于决策的图案中的工作。深度学习增强的程序在机器学习中通常被称为“黑盒”，其中甚至它们的设计者也不能解释为什么ai达成特定的决策。
89.用于病理学家的计算机辅助诊断(pcad)
‑
一种概念框架，其为将计算病理学应用于现实世界实践安排了一种前进路径。意图是用智能计算机指导来增强病理学家，该智能计算机指导允许病理学家委托可能的一切，使得他们可以集中于只有病理学家才能做出的关键决策。这需要病理病例信息、高度详细的临床情况计划和计算病理学流水线的高度集成。 histomapr表示这种类型的智能指导的早期迭代。
90.逐点互信息(pmi)
‑
由细胞表型的总数定义的二维图，用于记录组织样本中空间分布的细胞表型的相对同现和反相关。具有强对角线元素和弱非对角线元素的pmi图描述了就细胞表型的空间分布而言局部同质而整体异质的肿瘤样本。具有强非对角线元素的pmi图描述了在不同细胞表型之间具有许多局部相互作用的肿瘤，由此表明肿瘤样本表现出强的局部异质性。
91.可解释的人工智能(xai)
‑
也称为透明的ai或可解释机器学习，是动作可被人类信任并容易理解的人工智能。xai算法被编程以用普通人可理解的方式描述其目的、基本原理和决策过程。xai通常关于深度学习进行讨论，并且在fat ml模型中扮演重要角色(机器学习中的公平性、责任和透明度)。尽管术语xai通常用于解释黑盒dl工具，但是其不限于fl 工具，并且一般应用于机器学习，包括ai算法，并且可以生成描述机器学习/ai过程的推断以及中间和最终结论的人类可理解的陈述。
92.histomapr和xai
93.为了解决在病理学诊断中对效率和准确度的未满足的需要，并且为了加速在病理实践中采用计算病理学，我们开发了称为histomapr
tm
的xai 平台。上文参考图2b描述的histomapr
‑
breast是histomapr平台的一个示例。在各种实施方式中，histomapr反映在人
类组织的空间组织中发现的自然层次，如图3所示的金字塔图所示。在最低层次，进行简单的图像分析，诸如细胞核大小/形状确定、有丝分裂计数、颜色优化等。该分析可以与第二层的逐点交互信息(pmi)图集成，以识别和分类wsi中的潜在特征，例如，诸如乳腺组织中的导管、炎症浸润、或肿瘤的组织结构以及它们在感兴趣区域(roi)内的位置。
94.在第三级识别感兴趣区域(roi)的诊断标记，其中标记基于组织结构的空间关系和/或细胞群，并且也在第3层/级用这种诊断信息标记roi。然后，可以基于第4层/级处的诊断意义来对标记的roi进行分流。这样，出现xai histomapr指导；wsi被表示为在病理学家的诊断任务的背景下对被分流的roi的引导审核。关于该过程中的各个步骤和在各个等级进行分析的方式的另外细节在以下附录a中提供。
95.通过包括组织微环境(例如，肿瘤、基质细胞和免疫细胞)的不同细胞群之间的关系，histomapr的各种实施方式使得精确的医学方法能够被结合到常规诊断和预后活动中。作为示例，病理学家可能难以一致地诊断乳腺核心活检。因此，我们创建了histomapr的实施方式histomapr
‑
breast (上面参考图2b讨论的)，其分析乳腺的wsi。histomapr
‑
breast能够使用基本图像分析和pmi图定位包含诊断乳腺组织结构(诸如导管、血管或基质浸润)的感兴趣区域(roi)，来分析整个乳腺核心活检，该活检可以包括一个或多个wsi。
96.具体地，图4示出了用于实施方式histomapr
‑
breast的计算病理学流水线，其特征在于用于wsi的端到端高风险良性乳腺病变检测器。在步骤 404中，从在步骤402接收的wsi中，选择wsi并对其进行分析。特别地，在子步骤(a)中执行wsi染色颜色归一化，随后在子步骤(b)中执行导管roi分割。分别在子步骤(c)和(d)中执行细胞学和架构特征提取(表型分析)，这导致步骤406中的导管roi分类，其中，各个区域可被标记为或被识别为高风险或低风险。
97.在一些实施方式中，histomapr
‑
breast分析roi，以找到预训练的特征并对它们进行定量(如果存在的话)。该分析可用于用诊断术语，诸如“导管上皮非典型增生”、“浸润性癌”等标记roi。这种标记基于对架构特征的图案和强度的分析，其中强度可以指示特定特征的区别有多强。 histomapr还可以使用结合了特征和特征量的置信得分来指示其在标签中的置信。然后，可以基于诊断标签和那些标签的置信得分两者来对标记的 roi进行分流。
98.例如，roi可以从良性分类到恶性，或者如果癌症不存在，则从良性分类到非典型。在诊断类别内，roi可基于置信得分进行分流。这些步骤发生在病理学家开始观察病例之前，可能是在夜间或者在周末下班时间期间。使用以病理学家为中心的交互界面，histomapr可以以分流顺序显示 roi，使得病理学家首先看到最恶性或最非典型区域(如果存在的话)，如图5所示(与图2b相同)。具体地，在一些实施方式中，使用风险度量以如下方式对roi进行排序：首先向病理学家示出高风险roi 502a、502b，随后在histomapr
‑
breast的底部子面板272中示出较低风险roi 504a、 504b。首先在中央面板252中示出与最高风险相关联的roi。关键地，在任何时候，病理学家可以完全控制并且可以采取wsi观察器系统的手动控制。特定roi的风险度量可以基于分配给roi的标签的严重性、对应于标记的置信得分、导出roi的难度或不确定性、或这些因素中的两个或更多个的组合。
99.参考图6，各种实施方式的xai方面显现为“为什么？”按钮，该按钮提供关于ai如何达成特定决策的补充信息的一个或多个面板。病理学家可以通过点击“为什么？”或“解释”按钮604访问界面面板602或页面(未示出)来解释xai输出。histomapr
‑
breast xai系统的
显示面板606 示出了被分类为“adh”610的有绿色边界的感兴趣区域608。点击名为“为什么？”的按钮604打开名为“关键发现”的解释面板602，其中，来自所讨论的roi的理由向病理学家示出为xai系统决定将该区域分类为adh的原因。通常，这些理由基于关于在roi中识别的特征的信息。该信息包括所识别的特征的类型或种类、它们在确定所选择的标记时的强度、不同类型的特征的计数、暗示不同标记的特征的类型和/或计数等。可以使用特征信息和病理学家通常理解的标准词汇来显示理由。
100.在本文讨论的示例中，理由包括：(i)刚性架构的有力证据；(ii)确定所检测的组织是非增生的；和(iii)具有非常高的基质密度。在一些情况下，刚度的强度可以例如在数值尺度上或作为相对于范数的百分比被量化。同样，也可以量化基质密度。另外，还可以呈现置信得分，该置信得分使用t值或z值确定并且指示xai在标记roi时的置信。
101.由此，病理学家可以具有完整的情况认知，由此能够做出非常最佳的诊断决策。histomapr的实施方式还通过管理诊断信息并跟踪病理学家对所提供的诊断标签的同意或不同意来促进病理学家的工作。病理学家也可以指示不确定性，并且histomapr的一些实施方式收集该信息用于可能的附加染色病情检查或咨询。当病理学家准备完成病例时，他或她可以按下“完成”按钮612，并且作为响应，histomapr可以使用病理学家对roi审核的解释并且还使用建议的/标准化的术语来自动地构造结果报告。在一项研究中，histomapr
‑
breast的实施方式表现良好，并且示出了导管上皮非典型增生的83％f
‑
特征测量一致性(n＝300个wsi和约2000个roi)。
102.图7示出了通过histomapr
‑
breast的实施方式识别的乳腺roi中的微空间区别特征。histomapr识别了四个导管roi，表示：(a)导管上皮非典型增生(adh)702、(b)平坦型上皮非典型性(fea)704、(c)柱状细胞变化(ccc)706、和(d)正常导管708。histomapr
‑
breast提供了其在roi中发现的架构图案的可视化，并将这些图案覆盖在原始图像上，如在roi 702
‑
708中可以看到的。图案源自细胞学和架构特征的组合，这些特征被可视化为颜色编码的对象。在四个roi的每一个中识别总共18个不同特征，并且将不同颜色分配给各个对象，如直方图710的x轴所示。
103.注意adh 702中的图案#5、fea 704中的图案#7和正常导管roi 708 中的图案#15的相对较高群体。如本文所用的，术语roi中的图案的相对较高的群体通常意味着病理学家或受过训练的技术人员可以看到，相对于正常或基线roi，该特定图案更频繁地发生。图案的相对较高的群体并不一定意味着该图案比待评估roi中的任何其它图案更频繁地出现。直方图 710支持这种观察，其中我们分别测量在以下类别的每一个中的架构图案的相对比例：adh、fea、ccc和正常导管。这些架构图案通常由我们的病理学家基于它们表示的视觉特性来命名。
104.除了病理学家指导之外，histomapr的实施方式还包括用于附加应用/ 使用的特征，诸如真值数据标记、病理工作的基于图像内容的分配、以及用于护理或临床研究的纵向连续性的关键诊断信息的存档，如图1a至图 1c所描绘的。真值数据标记对于机器学习训练是必要的，但是在历史上一直是瓶颈。实施不佳的标记工具也会浪费稀有的病理学家时间。
105.histomapr的一些实施方式可以利用自动化roi发现和利用病理学家友好的界面两者来有效地解决这个问题。如上所述，实施方式histomapr 可以分析一个或多个wsi，并从各个wsi提取roi。使用高效的界面，病理学家能够快速地将诊断标签应用于识别的roi。
在一些实验中，病理学家能够在一小时内标记由histomapr的实施方式识别的大约1000个roi。
106.图8描绘了用于从分割的感兴趣区域收集注释的以病理学家为中心的图形用户界面(gui)。我们在java环境中采用gui，以容易地用于任何操作系统中，因为histomapr的实施方式可以用于病理学家的工作站或个人计算机中。然而，gui可以使用任何其他编程语言或脚本语言来实施。在一些情况下，histomapr实施方式是与要标记的roi图像一起安装在加密的usb驱动器中的即插即用系统。用于真值注释的gui设计易于学习并且使用高效。病理学家不需要手动绘制或键入他们的输入。相反，他们被示出有一系列roi，一次一个roi 802，并且被要求点击键盘或一组按钮 (未示出)中的显示按钮以对示出的roi进行分类。在一个示例中，要求病理学家点击从1到5的按钮之一，各个按钮对应于标签“良性”、“高危良性”、“dcis”、“浸润性癌”和“其他”。
107.各个roi 802被示出为具有绿色分割边界804，以收集来自病理学家的关于由histomapr的实施方式产生的分割结果的质量的反馈。例如，在病理学家不能决定所示出的roi的性质或确定所识别的分割边界804存在问题的情况下，他们可以使用选项“其他”。可以要求病理学家一次完成250 个roi的组，具有保存的选项以能够在以后继续该过程。然后，可以创建关系数据库，以存储、管理和检索真值注释，即，标记的roi。被标记roi 可以用作训练数据集以训练histomapr的实施方式。在诊断使用期间，在诊断工作期间导出的校正标记也可以包括在训练数据集中，并且用于基于现实世界病理诊断来改进histomapr。
108.在一些实施方式中，先前提到的置信得分由histomapr在wsi预览和分析期间自动生成。然后，与不同roi相关联的聚合置信得分数据可以用于估计病例的难度，并且还与roi的数量组合以估计观察病例所需的工作时间量。这允许基于病例属性的工作分流；困难的病例可能被分配给专家的次专科医师病理学家而不是普通的病理学家。病理工作也可以均匀地分配给病理学家的库，从而提高病理学家时间利用的效率。
109.xai导出的roi或整个病例的统计数据是也可以用于其它基于内容的目的种类的指纹。统计数据包括存在的特征、这些特征的定量和/或置信得分。通常，置信得分是诊断标签中的置信。诊断标签通常基于定量的特征，其中各个特征的定量得分可有助于置信得分。置信得分允许roi与已知诊断图像库的匹配，以用于决策支持、教育、质量保证活动或图像内容搜索和检索。基于内容的分析也可以通过补充或自动化患者筛选和/或病理的中央审核来促进临床试验。
110.最后，如上面在因果关系的xai讨论中描述的，在一些实施方式中，存档的histomapr信息可用于便于随后重新访问先前活检病例。这包括比较旧的活检与比较新的材料或集中审核临床试验。病理学家可以容易地观察诊断roi，而不需要人工搜索wsi。先前记录的计算特征也可以在针对风险或诊断准则重新评估诊断实体的研究中起作用。
111.histomapr的一些实施方式被设计用于透射光应用，其中组织样本用苏木精和伊红(h&e)、免疫组织化学(ihc)标签和/或其它染色(例如特殊染色、显色原位杂交、酶金相学等)染色。在一些实施方式中还提供了用于多路复用至超复用荧光的智能指导的伴随平台，称为tumormapr
tm
。
112.可解释的ai/histomapr的特征概述
113.在各种实施方式中，histomapr可以有效地将病理学家对病例的观察从一个或多
个wsi改变为指导的一系列分流的、诊断相关的感兴趣区域 (roi)。histomapr预览整个wsi以发现相关的结构/特征。对于乳腺核心活检，histomapr
‑
breast使用基于成对互信息(pmi)的空间统计来发现导管、血管结构和基质特征。通过分析pmi图，histomapr可以找到包含这些结构的roi。在一些情况下，roi表示单个结构。为了加速观察更容易 /良性roi的目的，有影响的roi通常更小，具有更少的结构，并且更少的诊断roi(即，在分流列表末尾的那些)可表示若干归并在一起的良性 roi。一旦roi被识别，histomapr然后就分析它们的某些特征。例如，histomapr
‑
breast的实施方式使用18个特征来将roi分类为非典型的或不是非典型的(图7)。这些类别中的每一个可以包括两个或更多个子类，并且histomapr通常可以将roi分类到一个或多个子类中。
114.通常，在一组特征中将存在若干特征，并且机器学习过程本身可以确定这些特征的子集可以可靠地指示感兴趣的状况。在histomapr的一个实施方式中，从总共考虑的33个特征中，ai发现18个特征是显著的，并且其中3个是最能提供有用信息的。其它15个特征起到一些作用，但不如其它特征那样有影响力。在该分析中，histomapr发现roi中存在哪些特征，并且它对它发现的各个特征进行定量。roi分析是可以与histomapr的诊断标签库匹配的图案。然后，诊断标记和roi定量的组合用于对roi进行分流。由此，对于各个roi，将生成特征向量。例如，向量的各个元素可以包括roi中的特定特征的计数。机器学习的分类或预测功能将被应用于将roi分类为例如adh、fea、ccc和/或正常。在边界roi中，各个 roi仅被指定一个分类，或者在一些情况下，一个或多个roi可被指定多个分类，各个分类具有可能性得分，即，当两个或更多个可能诊断的可能性得分类似时，histomapr可呈现最佳拟合诊断以及几乎是可能的其他诊断。基于特定roi被确定为所属的类别的严重性，roi将被分流。例如，分类为adh的roi将首先示出给病理学家。
115.对于乳腺核心活检，histomapr
‑
breast可以在临床图谱中将roi从一端的浸润性癌分流到另一端的低风险良性(图5)。在交互式工作会话中，病理学家以分流的方式逐个roi地审核整个病例。这种方法是高效的，因为histomapr首先向病理学家呈现临床上最有影响的roi；这种指导使得病理学家能够首先集中在最难的决策上。如果必要，histomapr还持续跟踪可能需要用附加染色作进一步病情检查的roi，或者可能需要向另一病理学家进行咨询的roi。
116.histomapr还可以加速用于训练机器学习的真值数据标记。病理学家可以快速地观察roi并提供流线型的诊断标签。这种独特的方法可以每小时提供数百个标记的roi。在自动化roi发现中，histomapr比传统的真值标记高效得多，并且有效地解决了机器学习中的瓶颈。具体地，roi发现可用于生成用于训练xai系统的标记数据集。而且，根据病理学家已经分配了什么标签，xai系统可以确定训练数据集是否有偏差。histomapr具有用于对分割roi进行高效注释的以病理学家为中心的图形用户界面 (gui)，其采用可以在病理学家的工作站或个人计算机上实施的gui。用于真值注释的gui设计易于学习并且使用高效(图8)。病理学家不需要手动绘制或键入他们的输入；相反，他们被示出一系列roi，并被要求从标签之一中进行选择：“良性”、“高危良性”、“dcis”、“浸润性癌”和“其他”。roi可以用绿色(或另一合适的颜色)分割边界示出，以收集来自病理学家的关于分割结果的质量的反馈。在病理学家不能决定roi的标签或者分割边界存在问题的情况下，他们可以使用选项“其他”。可以要求病理学家每次至多完成250个roi(或另一合适数量，例如50、100、300等) 的
组，具有保存他们的进度的选项，以能够在以后继续。histomapr具有数据库，以存储、管理和检索真值注释。在一些实验中，病理学家能够在被用于平台后的一小时内标记约1000个roi。
117.可解释的ai(xai)：histomapr输出的分析通常产生可以用病理学家友好的语言描述的多个特征(定量这些特征)，从而将有影响的特征与诊断标签链接，该诊断标签可以用于在后续临床会话中解释histomapr标签，这向病理学家提供他们做出可能的最佳决策需要的所有信息。在一项研究中，使用计算病理学流水线(图4)，我们提取乳腺核心活检中的感兴趣的乳腺导管区域(roi)并且然后将其分流为非典型的对比不是非典型的 (n＝46个病例)。为此，产生269个去识别的全切片图像(wsi)(使用美国伊利诺伊州布法罗市的莱卡生物系统公司的20倍的scanscope xt)。ai 使用了细胞核形态和架构布置的组合来产生18个微空间导管特征，这些特征描述了训练集(1009个roi)的95％(图7)。roi在18个特征的背景下审核，尤其是在非典型的对比不是非典型的导管中区别地看到的(如也在图7中的直方图710中看到的)特征5、9和15。特征5看起来与细胞的架构刚性和鹅卵石样相关；特征9看起来表示紧邻导管周围的基质密度；并且特征15看起来与导管的增生性相关。使用该信息，创建了结合有 xai的histomapr的实施方式。该实施方式提供了ai反馈覆盖、特征示例的自动呈现等(图7)。
118.xai实时可视化：“为什么？”用户界面(ui)按钮可以通过实时呈现附加信息来提供完整透明度，该附加信息解释histomapr的标签，充实相关的鉴别诊断(其中xai确定特定roi不明确并为其指定两个或更多个标签，用于病理学家的最终决定)，并经由一个或多个置信评分确认histomapr 分析的强度。histomapr可以向病理学家显示其roi分析的结果。 histomapr
‑
breast的实施方式包括“为什么？”按钮(图6)。如前所述， histomapr发现roi中的特征并随后对其进行定量。当病理学家按下“为什么？”按钮时，她或他可以看到histomapr以病理学家友好的语言(例如，使用诸如强刚性架构、高度单态细胞核图案等的术语)进行的roi分析的可视化。
119.在各种实施方式中，病理学家可以通过点击“为什么？”或“解释”按钮(图6)访问界面面板或页面来解释xai输出。图9示出了由histomapr 的实施方式显示的示例显示面板900。在一些情况下，可以显示窗口或页面而不是面板。在roi 902中检测到的特征与一个或多个特征的定量一起列出。在一些情况下，特征可以与数字或定性得分相关联，诸如高、温和、中等等。也可以在面板900上显示特征的置信得分分析(例如，0.5，如图 9所示)，该分析透明地提供histomapr对其标记的强度和roi的难度的估计。可基于从roi导出的可解释特征的存在来确定置信级。用户可以将 roi转发给其他人，例如专家，以便在不明确的情况下咨询。
120.在各种实施方式中，与roi相关联的置信得分基于个体特征的定量的合成和/或还基于roi的标记。在一些情况下，可以呈现来自其他病例的可以充当用于决策支持的参考指导的类似roi的示例。例如，图10描绘了包括roi 608(图6)的面板1000，该roi被标记为adh。响应于点击面板606(图6)中的“为什么？”按钮604，示出了关于特征的信息。在点击“为什么？”按钮604时，示出了覆盖面板1002。覆盖面板1002包括来自一个或多个其他病例的两个参考roi 1004、1006，其中，参考roi也被标记为adh并且具有与在覆盖面板602中示出的用于正在审核的roi 608的特征类似的特征。病理学家可以在确定roi 608的标记的正确性时
评估不同roi的相似性。通过视觉地比较正在审核的roi 608与具有相同标签的其他roi(例如，roi 1004、1006)，审核者可以感觉到对指定标签更确信，其中这样的标记被接受。
121.在一些实施方式中，讨论中的特征的示意性表示具有允许病理学家观察该特征从低到高的连续性的控件(例如，滑块)，其中基于特征对于针对 roi标记的特定状况的重要性来对特征进行排序。在一些实施方式中， histomapr xai系统呈现其鉴别诊断并显示所考虑的各种诊断的利弊。如果是不明确的，则histomapr的实施方式可建议进一步用染色进行病情检查，或加快(例如，在线)与另一病理学家的咨询。
122.xai系统的一些实施方式提供了基于置信得分(基于内容)的患者活检分流。高于某一难度阈值的病例可以被分配给次级专业专家病理学家，而其他病例可以被发送给一线的普通病理学家。由histomapr的实施方式和图像体积提供的对病例难度的估计可以用于将病理病例更均匀地分配给一组病理学家，以便更好地利用专业资源。具体地，如上所述，histomapr 的实施方式提供支持其诊断标记的数据，并且可包括histomapr的决策的强度的度量(例如，置信得分)，该度量可指示该决策是简单的还是不明确的/困难的。
123.这是从histomapr到病理学家的有力通信，因为它允许病理学家理解 histomapr为什么像它那样标记roi以及histomapr是否认为roi是困难的或不明确的。这允许病理学家具有用于进行诊断的所有必要信息，并且它允许病理学家实时全面检查histomapr的性能。在更高的等级，这种评估也可以被利用来驱动病例分流；可以将难以显现的病例按路线发送给次级专业专家病理学家而不是一线的普通病理学家进行审核。
124.图11例示了示例分流过程1100。在步骤1102，histomapr的实施方式预览和分析病例(例如，一个或多个wsi)，识别一个或多个roi，并向各个roi分配标签和置信得分。在步骤1104，基于指定的标签确定一个或多个roi是否指示关键发现。例如，标记的浸润性癌或导管原位癌(dcis) 可以被认为是严重的，而标记的低风险良性病变可以不被认为是严重的。如果病例roi的一个或多个标记被确定为关键的，则可将病例转发给紧急病理学家(步骤1106)。
125.病例的各个roi的标记未被确定为严重的，在步骤1108中可考虑不同roi的置信得分。如果置信得分或一个或多个roi(高达roi的阈值数量)小于指定的置信阈值(例如，40％、50％、75％等)，则可以将病例转发到基于标记选择的次专科医师(例如，癌次专科医师、adh次专科医师等)(步骤1110)。roi的阈值数量可以是指定的数量，例如3、5、10等，或者它可以是与病例相关联的roi的总数量的百分比，例如10％、20％、 50％等。在一些情况下，可以诸如通过选择不同roi的置信得分的最大值、基于roi的大小和/或指定给roi的标签的严重性的简单平均或加权平均等来聚合不同roi的置信得分，以导出病例/wsi的置信级。
126.如果在步骤1108中确定roi的置信得分或wsi的置信级是可接受的，则在步骤1112中，可基于所分析的wsi的数量和/或所检测的roi的总数来计算工作负荷估计得分。在步骤1114中，使用工作负荷估计得分，可以将病例均匀地分配给病理学家库。由此，在一些实施方式中，histomapr 可以基于病例中的置信级和关键发现来分流患者活检。高于某一难度阈值的病例可以被分配给次级专业专家病理学家，而其他病例可以被发送给一线的普通病理学家。
127.使用诊断标签的标准化术语，实施方式histomapr可以鼓励病理学家以更统一的方式报告结果，从而提高报告的质量。当病理学家和histomapr 一起完成病例时，
histomapr可以使用病理学家的决策来使用标准化的语言实时地构建病理报告。这可以标准化病理实践，并且由于标准化，可以通过使实践报告更容易理解来提高实践报告的质量。这种标准化报告的示例在图1a至图1c中示出。
128.通常，病例(例如wsi)或其单独的roi经由xai由histomapr的实施方式注释。除了诊断标签之外，还有特征、特征定量(数字的和/或定性的)和置信得分。这些形成指纹，该指纹可以用于将roi与其他病例、与已知诊断的库或与其他病理学家的病例进行匹配以用于多种目的(图1)。带注释的wsi/roi的一些用途包括：(1)决策支持
‑
来自其他病例、来自已知诊断库或来自教导材料的类似roi的示例可被示出给病理学家，以辅助作出关于所分析roi的决策。(2)教育
‑
roi与已知的良好诊断示例的比较、以及roi与具有不同诊断的几乎类似的roi的比较(即，呈现鉴别诊断)。(3)质量保证(qa)活动
‑
由其他病理学家对病理学家工作的第二次审核(例如qa审核、标准第二意见情况等)的部分自动化。而且，histomapr 性能的持续监测作为病理实践的qa框架的一部分。(4)临床试验
‑
计算机辅助筛选患者对潜在临床试验的适用性，使病理材料的中心审核流线型化 (即roi呈现，而无需审核整个病例)。(5)用于上述目的或用于其它原因的基于内容的图像搜索。
129.histomapr xai系统的重要性和评估
130.histomapr的实施方式可以使用xai以透明的方式辅助病理学家，并且可以指导他们做出他们可以做出的最佳诊断。这是histomapr的独特方面，因为目前已知用于病理学的ai技术是基于深度学习。当前不可能询问深度学习系统“为什么？”，并且不可能获得对由ai执行的分析的洞悉。然而，可解释的ai是早期计算病理学系统的重要特征，因为它可以帮助先锋病理学家开始建立信任，即使使用高度验证的智能软件指导，如图12中示意性地示出的。
131.使用xai技术的另一个重要方面来自未来可能的ai在决策过程中的使用法规，这些法规可能影响人类的权利和/或健康。在欧盟之前提出的法规禁止“自动处理”，除非用户的权利得到保护。用户现在具有关于基于个人信息的算法/机器创建的决策的“解释权”。未来的法律可能进一步限制 ai在专业实践中的使用，这可能对工业提出重大挑战。而且，企业和临床所有者可能不以机器学习模型的完全自动化为目标，因为他们可能不会盲目地信任模型，因为在常规机器学习模型如何工作方面没有可量化的置信，并且常规ai的决策的透明度通常是不够的。健康护理必须在其中操作的法规约束为可解释的ai提供了机会，并且histomapr xai系统可利用解释界面向病理学家引入信任等级。
132.在histomapr xai系统的设计中，考虑了用于评价xai系统的测量和人机性能的关键概念。这些关键概念包括解释优度、解释满意度、求知欲度量和用户性能。简言之，解释优度代表xai系统所提供的解释的清晰度和精度。对该准则的评估可以通过以下方式来进行：简单地向用户询问是/否问题，以学习：a)解释是否帮助他们理解软件如何工作，b)解释是否令人满意、足够详细和完整，c)解释是否可执行的(即帮助用户了解如何使用工具)，d)解释是否让用户知道软件有多准确和可靠，以及e)解释是否让用户知道软件有多值得信赖。在各种实施方式中，histomapr在解释界面中提供详细的特征解释(例如，置信级、特征对决策的影响、特征的详细解释，让用户对输出采取行动)，由此可见，histomapr的解释优度度量可能较高。
133.解释满意度是要告知用户感觉他们理解ai系统或对他们解释的过程的程度。该准
则对于许多xai系统是通用的，因为它旨在满足用户理解ai 过程的目标。为了满足该准则，xai系统应该能够解决用户的问题，诸如， a)我如何避免失败模式？(示出了用户减轻误差的期望)，b)如果出错，我做什么？(示出了用户避免错误的期望)，c)它实现了什么？(示出了用户对理解系统功能的兴趣)，d)它刚刚做了什么？(用户对实现了系统如何做出特定决策的理解的满意度感觉)，以及e)为什么它不做“z”而不是“x”？(示出了用户对实现了对决策的理解的求知欲的解决)。histomaprxai系统可以通过借助其解释界面回答用户的问题来解决解释满意度准则。 histomapr gui中的“为什么？”按钮专门设计为通过解释histomapr为什么认为roi属于特定类型病变来解决这些问题。
134.求知欲度量也是重要的准则，因为解释可以抑制求知欲并且加强有缺陷的人工过程。这可以以多种方式发生：a)解释可能由于细节而使人应接不暇，b)xai系统可能不允许问题或者可能使用户难以提出问题，c)解释可能使人沉默，因为他们缺乏知识，以及d)解释可能包括太多的开放变量和零碎资料，并且当混淆和复杂性增加时求知欲降低。由于这些原因，用户求知欲感觉的评估在xai系统的评估中可能是提供有用信息的。 histomapr xai系统被设计为通过询问简单的调查问题来从最终用户接收反馈。使用用户反馈，信息面板可以被定制以实现高求知欲度量。
135.最后，包括联合用户系统性能的度量的用户性能将由于被给出满意解释而改善。用户性能测量的主要方面是用户的性能质量，诸如用户对ai将做什么的预测的正确性。对于性能的这些方面，就像histomapr的性能一样，我们测量响应速度和正确性(命中、误差、遗漏、错误警报)，但是在这种情况下，测量用户对机器输出的预测。可以对典型和非典型病例/情况进行检查。另外，histomapr可以测量用户对罕见、异常或反常病例的机器输出的解释的正确性和完整性。
136.histomapr
‑
breast：验证研究
137.该研究的主要目标是：i)在大量乳腺活检全切片图像(wsi)上验证 histomapr
‑
breast(hmb)的实施方式；ii)从专家病理学家收集关于roi 的真值注释，其中，这样的注释可以用于训练hmb的实施方式；iii)以高准确度和高效率检测高风险良性乳腺病变，高准确度和高效率对于病理学家以高一致性达成共识是非常具有挑战性的；以及iv)证明hmb的实施方式可以增加病理学家“呼叫”的效率和准确度，并且还可以增加病理学家之间的一致性。
138.为了这些目标，我们a)收集4865个乳腺活检wsi；b)测试和评价 hmb的不同实施方式在区分广谱乳腺病变(良性、非典型增生(“非典型”)、导管原位癌(dcis)和浸润性癌)中的性能；c)证明基于诊断性地分流的 (良性到恶性)roi的wsi的导航；和d)测试3名专家病理学家与都有和没有hmb帮助的2名训练病理学家的表现之间的一致性。
139.由病理学家选择的总共2171个病例包括3347个乳腺核心样本。使用 0.5微米/像素分辨率(20倍放大率)的aperio scanscope at2对来自这3347 个样本的总共4865个组织载玻片进行成像和去识别。通过hmb的实施方式处理所得到的4865个wsi，以分割约201000个roi。我们选择4个主要诊断类别(浸润性癌、dcis、高危组织和低危/良性组织)来映射24种不同的诊断以得到潜在注释，如图13中的表1所示。虽然表1示出了各个主要诊断类别中的若干子类别，但在我们的实验中，我们仅将四个主要诊断类别用于真值标记。在其它情况下，来自一个或多个主类别的一个或多个子类别可用于真值标记。
140.真值数据标记对于机器学习训练是必要的，但是在历史上一直是瓶颈。实施不佳的标记工具也会浪费很少的病理学家时间。hmb的实施方式可以利用自动化的roi发现和病理学家友好的真值注释gui二者来有效地解决这个问题。
141.hmb的各种实施方式以具有基于java的gui的注释工具为特征，并且这些实施方式或注释工具可容易地安装在许多操作系统平台上。图14描绘了快速注释gui的一个实施方式，其允许病理学家通过histomapr检测到的roi并且使用键盘快捷方式来标记roi。界面中的视场通常以roi 1402为中心。侧面板1404示出了可用类别1406和对应的键盘快捷方式。
142.与许多其他注释系统不同，hmb的实施方式中的gui不需要病理学家手动绘制或打印/键入他们的输入。相反，在一个实施方式中，他们被逐个地示出有一系列roi，并被要求从1到6点击键盘按钮，1到6分别对应于标签“浸润性”、“dcis”、“高风险”、“低风险/良性”、“不知道”和“其他/图像问题”。在一些实施方式中，按钮可以作为显示器的一部分设置在屏幕上。根据类或类别的数量，可以设想少于或多于六个按钮。
143.在实验中，首先，使用gui，要求三个病理学家的每一个标记4462个 roi。所使用的hmb的实施方式在该阶段没有提供任何指导，即hmb没有建议roi的标签。三个病理学家中至少有两个在标签上同意(多数票决) 的roi被命名为共识标记集，其包括4281个roi。病理学家完全同意3172 个roi的诊断标签，这导致71％的总体一致性。从4281个共识标记的roi 中，我们选择了在四个主要诊断类别之间平衡的1077个roi的测试图像集。为了一致性分析，该测试集的fleiss'kappa计算为κ＝0.66。我们还使用1077个roi评价了两个临床指导者(“乳腺/妇科同事”)在病理学上的表现。基于来自三个专家的一致性标签，在四个主要类别中，他们的准确度为约67％，如表2所示。在表2中，“不使用histomapr
‑
breast”是指不使用来自hmb的指导；使用gui。
144.然后我们重新运行实验，但是这次所使用的hmb的实施方式被配置成通过向各个roi指定相应的xai生成的标签来提供指导。图15描绘了示例gui 1500。示出了roi 1502，并且在右侧，在面板1504中，示出了 hmb的推荐或建议的标签1506。关键发现1508(即，解释标记的特征) 连同可用于标记的类别1510一起也被示出在右面板1504中，以在注释和 /或诊断期间辅助用户。在实验的这个阶段中，我们通过向病理学家示出roi以及来自hmb的针对给定roi的推荐标签来测试hmb的实施方式的有效性，以确定它们的性能是否改善。
145.具体地，要求三个专家病理学家再次标记1077个选择的roi，但是这次使用hmb建议的标签的指导，如图15所示。它们的一致性得到改善，如fleiss’kappa增加至κ＝0.75所指示的。我们还使用1077个roi重新评价了两个同事的表现，但是使用了hmb建议的标签的指导。他们的表现明显改善，如表2所示，准确度从67％(无指导)提高到91％(有指导)。在表2中，“使用histomapr
‑
breast”意指使用来自hmb和gui的指导。由此，所使用的hmb的实施方式证明了增加的诊断准确度和同事的表现。由此可见，histomapr平台的实施方式可以极大地增强数字病理学的图像的注释。
146.表2
‑
临床同事在诊断1077个roi中的表现
[0147][0148]
实验：使用hmb的实施方式区分从良性至非典型至dos至浸润性癌的乳腺病理谱
[0149]
如上所述，hmb计算流水线通常包括wsi染色颜色归一化、导管roi 分割和细胞学/架构特征提取，以进一步分类导管roi。该过程可以以每个wsi大约90秒的速率分析大的wsi。利用专家管理，我们在图像数据集中保留了乳腺病变类别的平衡分布。我们用50％的注释数据训练了我们的 ai系统，并使用剩余的注释数据进行验证和测试。
[0150]
对于roi的细胞学表型，我们为各个导管roi生成了精确的细胞核掩膜集合。各个细胞核由196个特征来表征，包括形态、强度和纹理特征。作为是高危良性乳腺病变中正常、非典型和多形细胞核的结果，我们发现了三种显性表型(nuclei1、nuclei2、nuclei3)。对于架构表型分析，组织由5 个不同对象表示：三个细胞学表型分析的细胞核(nuclei1、nuclei2、nuclei3) 和两个基于超像素的成分(基质和内腔)。通过从各个对象的宽度优先遍历来构建空间网络。收集各个对象的邻域统计，并使用k
‑
均值聚类成q个不同的架构图案，这覆盖95％的输入方差。
[0151]
我们基于以下内容来构建三个不同场景的架构特征向量：(i)使用超像素衍生的细胞核(即基质和内腔对象)的基于颜色的架构特征(af
‑
c)； (ii)基于细胞学表型分析的细胞核的架构特征(af
‑
n)，其单独使用细胞核表型；和(iii)组合的架构特征(af
‑
cn)，其使用细胞核表型结合基质和内腔超像素。当没有限定的导管结构时，诸如在浸润性癌中，我们预期捕获细胞核表型的频率和同现的细胞学表型分析足以用于分类。更复杂的特征，诸如我们的架构表型，可以被认为是用于浸润前导管病变的更精细的子分类。用于分析wsi的hmb的实施方式的运行时间性能在8核64 gb ram工作站上平均少于2分钟每个wsi。
[0152]
我们发现了另外的有区别的架构表型以扩展我们的用于xai的特征词汇。图16描绘了这些有区别的架构表型。面板(a)示出了在以下类别的每一个中最有区别的架构表型的相对比例(所分析的67个中的8个)：浸润性癌、dcis、高危病变和低危/良性病变。注意以下相对较高的架构表型群体：#1在浸润性癌和dcis中；#2在高危病变中；并且#3在低风险/
良性病变中。所有这些表型已由专家病理学家进一步审核，因为他们被示出有包含该表型的最高比例的roi。图16中的面板(b)
‑
(i)分别描绘了包含显性表型#1至#8的roi。这些表型具有如下组织学意义的解释：
[0153]
表型#1(面板b)是“细胞核纹理平滑度”特征；表型#2(面板c) 是“细胞核之间的均匀间隔”特征；表型#3(面板d)是“良性基质”特征；表型#4(面板e)是“细胞填充的良性基质”特征；表型#5(面板f) 是“顶泌和非典型细胞核”特征；表型#6(面板g)是“非典型&恶性细胞核”特征；表型#7(面板h)是“可变细胞核间距离”特征；并且表型#8 (面板i)是“较大细胞核”特征。这些解释稍后在hmb的一些实施方式中用于向用户提供解释，例如在图6所示的面板602中。
[0154]
在与专家病理学家和执业临床医生的讨论之后，我们设计了分层分类策略以适合病例分流和回顾性qa的目的，其中首先进行浸润性对比非浸润性的调用，接着将非浸润性诊断分成浸润前病变(非典型和dcis)或良性，最后应用dcis或非典型分类步骤。浸润性癌破坏正常组织结构，因此它被放置在分类梯上较高的位置，以对更困难的高风险非典型定制特征空间。
[0155]
因为细胞学和架构表型分析严重地依赖于精确的导管分割，所以我们通过对所有任务中最具挑战性的以下任务使用改进的导管分割算法(在附录a中描述)来测试了hmb流水线的实施方式：低风险(正常组织和柱状细胞变化(ccc)/柱状细胞增生(cch))对比高风险(平坦型上皮非典型性(fea)和导管上皮非典型增生(adh))良性病变。
[0156]
交叉验证实验重复100次，在报告平均准确度之前，用子采样步骤分成训练和测试数据集，这确保所有诊断类别中的训练数据大致相等。我们用朴素贝叶斯、决策树、随机森林、支持向量机(svm)和逻辑回归以及用作分类器的人工神经网络测试了hmb流水线的不同实施方式。观察到我们的模型使用颜色架构特征(af
‑
c)、细胞核架构特征(af
‑
n)、组合架构特征(af
‑
cn)和细胞学特征(cf)的性能。
[0157]
表3总结了三个群组类别的分类性能结果：浸润性对比非浸润性； dcis对比高风险和低风险组织；以及高风险组织对比低风险组织。如表3 中可以看到，使用af
‑
cn的决策树在1077个roi的测试集上产生最好的性能。在hmb的一些实施方式中，可以考虑细胞核和内腔的空间组织和形态测定特性，以进一步增强分类性能得分。尽管存在关于乳腺组织图像中的癌症检测的若干研究，但是据我们所知，我们的使用hmb的实施方式的研究是其解决以高精度将高风险对比低风险良性乳腺病变从wsi分类的最具挑战性任务的第一种。
[0158]
表2
‑
对实施方式histomapr
‑
breast在三个乳腺核心活检群组上的性能的评价
[0159][0160]
智能病例分流
[0161]
如上所述，实施方式histomapr xai平台的一个益处是使用xai特征来分层属于患者的所有切片(例如，乳腺核心切片、脑切片等)。例如，实施方式histomapr可以通过定位和分割roi来分析患者活检的所有wsi。这些roi可以基于分类结果根据它们的诊断重要性进一步排序。例如，实施方式histomapr
‑
breast(hmb)可以将roi排序为：恶性，然后dcis，然后非典型，最后良性。histomapr的一些实施方式使用该信息来提供三级的分流系统，该系统可以在病理实践中准备和分流所有病例。下面描述这三个等级的分流。
[0162]
roi分流：根据感兴趣区域的严重性和复杂性，对感兴趣区域进行发现、分割、空间表征和分流。这可以辅助病理学家首先评估诊断上的关键区域，并且还可以辅助做出诊断。此外，观察xai反馈可以帮助病理学家在审核过程中非常早地做出关键诊断决策。在首先审核关键roi之后，病理学家可以快速地仔细检查其余roi，因为关于病例的决策可能已经通过病理学家首先查看最关键roi而形成。病理学家还可以访问从中识别roi 的wsi，在wsi中，他们可以视觉扫描组织的剩余部分(即，非roi区域)以进行最终诊断。
[0163]
图17区分了不使用histomapr平台的当前的审核和分析过程(“非 histomapr过程”)和使用histomapr平台的实施方式的增强过程(“histomapr过程”)。特别地，在非histomapr过程中，审核者必须顺序地仔细检查每个wsi，每次分析所选区域。审核者没有关于要观察的区域是否对诊断至关重要的先验知识。由于可能遗漏一些区域，所以该过程易于出错。而且，基于扫描顺序，可以迟早检查关键区域。此外，可以在观察/检查相对容易决策的相对明确的区域之前，观察/检查难以决策的不明确区域。严格的扫描顺序通常不允许审核者在困难/不明确的区域的分析中受益于容易/明确的区域的分析，除非审核者返回到该区域。
[0164]
histomapr过程的实施方式可以避免许多这些问题，因为所使用的 histomapr的实施方式首先识别了wsi的重要或与分析相关的区域并将其与不重要或与分析无关的区域分离。这些相关的、重要的、关键区域用合适的边界清楚地标记(例如，如图2b、图5、图6所示)。而且，histomapr 的实施方式提供了建议的诊断标签，并且在用户请求时提供该区域如何被识别为roi、建议的标签如何被导出的解释、以及指示平台在其确定中的置信的置信得分。(参见图6和图9以及所附的讨论)。基于建议的标签的严重性和/或置信得分，被认为最关键的roi首先被呈现给审核者，随后是被认为不太关键的roi。该过程可以确保审核整个wsi，而不遗漏任何区域，可以较早地执行关键诊断，这最小化关键状况的发现的延迟，并且关于相对容易/明确的roi的诊断决策可以通知关于相对困难/不明确的roi 的诊断决策。
[0165]
切片分流：在这种情况下，对要由病理学家观察/检查的wsi进行排序。为此，histomapr的实施方式分析wsi集合中的每个wsi，如上所述。然后，可以基于roi的数量、识别的状况的数量、roi的严重性(其可以是wsi中所有roi的最大严重性、平均严重性、加权平均严重性等)、roi 的置信得分(其可以是wsi中所有roi的最大置信得分、平均置信得分、加权平均置信得分等)、或这些因素中的两个或更多个的组合来对wsi排序。对wsi分流，即，被认为更关键的wsi(例如，它们可以具有大量 roi，可以具有若干状况，可以表示严重状况，和/或平台可能对其分析不太确信)可以在其他wsi之前被呈现给审核者以供分析/审核。由此可见，如图17中可以看到的，审核者(例如病理学家)不会浪费时间首先看可能不包含诊断区域的wsi。
[0166]
病例分流：在我们与病理学家的讨论中，我们了解到由于病例向病理学家的随机转发，大量病人遭受不平衡的病例分配。为了解决这个问题， histomapr的一些实施方式可以分流病例，并且根据其次级专业和/或工作负荷将病例转发给适当的病理学家。图18示出了非histomapr过程和 histomapr过程的比较。在非histomapr过程中，病例分配系统(或个人) 没有关于病例的性质的先验知识。由此可见，如果将困难或棘手的病例分配给普通医师或不专门针对病例的诊断问题的专科医师，则诊断将存在延迟，因为病例可能需要被转发给正确的专科医师/次专科医师，如图18所示。这也可能导致普通医师负担过重。而且，存在误诊的风险。另一方面，如果相对容易的病例被转发给专科医师，则这可能导致专科医师负担过重，并且将花费他们分析更难病例的时间。然而，在histomapr过程中，简单的良性和恶性病例可以转发给普通医师，而边界和困难的病例可以转发给次专科医师。这可以帮助维持病例负荷平衡以及专科医师和次专科医师的时间和专业的更好使用。上文参考图11描述了histomapr过程的实施方式。
[0167]
为了在病例分流界面中应用xai，一些实施方式根据“病例严重性”、“病例难度”和“非典型发现”使用病例子分类和xai，以用于高效分流。例如，“严重性”可以基于诊断，因为癌症是严重的，良性的不是。另外，如果实施方式histomapr确信其决策(例如，病例具有简单的dcis或浸润性病变)，那么可以将非专科医师病理学家分配给病例，并且可以指定该病例在良性病例之前登出。如果histomapr的实施方式的置信低，则病例可被标记为“难以”分析，并且它可被转发给次专科医师(例如，如果 histomapr的实施方式70％确信病例是dcis，它将被指定转到次专科医师)。最后，如果histomapr的实施方式确信病例具有“非典型发现”，那么该病例可以被分配给次专科医师。由此，病例分流的实施方式可以提高病理实践的吞吐量，例如，提高25％或更多。根据我们的模拟，使用本文所述的各种实施方式的计算病理学可以比传统的显微镜检查(例如，对于乳腺核心活检)高效高达56％。
[0168]
我们在上面参考图6和图9讨论了例如histomapr平台的各种实施方式关于它已经做出的标记决策提供的有价值的解释。以类似的方式，一些实施方式提供解释分流决策的原因或理由。为此，一些实施方式使用更新的术语，以响应于病理学家使用“为什么？”或“解释”选项而提供答案。特别地，在一些实施方式中，对于病例分流，各个被分流的病例与解释为什么病例以该特定方式被分流的信息相关联。图19描绘了用于病例分流的gui 1900的实施方式。gui 1900包括病例/患者列表1902、患者类型指示符1904(例如指示患者是新的还是返回的)、以及描述用于分析病例的 histomapr平台的实施方式得出的结论的指示符1906。对于各个病例/患者， gui包括“为什么？”、“解释”或类似按钮1908、以及指示应将病例转发给谁进行审核的指示符1910。指示符1906指示的结论可以包括“紧急发现”，指示病例/患者可能具有恶性肿瘤或另一严重状况，并且应当在其他病例之前被看到。紧急病理学家通常是非专科医师解剖病理学家，其没有针对任何特定类型的疾病/解剖进行训练，但是他们可以容易且快速地跨所有器官诊断恶性肿瘤和良性病例。指示符1906的另一示例是“需要注意”，指示histomapr平台关于其结论“高风险”不是高度确定(例如，超过60％、 80％、90％等)，“高风险”指示关于病例检测到严重状况等。
[0169]
在点击“为什么？”按钮1908时，显示面板1912(或窗口或页面)，其中histomapr平台将显示与病例相关联并且可以解释病例的特定分流的信息1914。还可以在面板1912中显示可以进一步通知解释的一个或多个相关roi 1916。这些解释/理由可以基于histomapr平
台量化的证据来指示病例的难度(例如，“涉及非典型发现的困难病例”、“具有明确浸润性发现的容易病例”等)以及它为什么困难或容易。histomapr平台的一些实施方式还使用“分流置信得分”来指示其在分流决策中的置信，该得分在该病例内结合了特征、特征量、对roi分类的置信等。
[0170]
图20示意性地描绘了histomapr分流系统的实施方式的典型操作环境。该环境可以包括以下三个模块：(1)数据中心接口：能够处理对存储在远程数据中心(例如，在病理实践中)的wsi数据的访问(例如，安全、 vpn访问)的接口；(2)由第三方(例如，如图20所示的splntellx
tm
)操作的histomapr的实施方式。数据中心接口将允许histomapr的实施方式访问和分析wsi数据，并如上所述分流roi、wsi和/或病例；以及(3) 安装在分流管理员或病理学家计算机上的histomapr病例分流工具的实施方式，其提供如上所述的gui。
[0171]
wsi可以在第三方合作者设施(例如，病理学家实验室/办公室)处被生成、保存、过滤和去识别，并且将可用于经由数据中心接口访问histomapr 平台的实施方式。通过运行xai核心算法可以按时间顺序处理wsi，以检测可疑状况，然后基于分析的结果和置信得分对wsi进行标记。wsi可以被转发到病例分流工具，病例分流工具可以从histomapr的实施方式访问用于执行分析的histomapr的实施方式的分析结果以及相关联的解释性信息。病例分流工具也可以从病理实践的信息系统访问患者数据。然后，病例分流工具可以自动地(或者由管理员使用)执行分流和优先化，如上所述。在这样做时，通过将关键病例分配给次专科医师或专科医师，病例分流可以帮助以平衡和准确的方式分配病例。在一些情况中，histomapr平台的实施方式也可以安装在病理学家的办公室，并且分流工具可以是平台的集成部件。
[0172]
病例分流gui(例如，图19中的gui 1900)可以在从高优先级病例 (例如，恶性、非典型)分流的病例准备好时显示这些病例的列表，该列表具有带有可疑发现的新病例的弹出文本通知。在gui中，列表中的各个病例可以具有“为什么？”或类似的按钮。点击列表中病例的“为什么？”按钮会弹出来自病例的关键发现的文本解释以及压缩的、小的、有色的、未标记的roi图像，这些图像标题为“非诊断用途”，并显示为关键发现的预览，如图19中可以看到的。该压缩预览仅用于信息目的，并且可以包含或不包含对发现的任何注释/解释。向病理学家呈现分流病例列表和解释反馈可以通过提示用户评估相关的原始切片或wsi来促进早期分流。由此，可疑病例可以比它们根据不使用如本文所述的病例分流的过程更早地受到关注。histomapr平台的实施方式不改变原始医学图像。它们可以基于平台的分析来提供对谁分配病例的推荐。可以在监督者、管理员或将把分流的病例转发给病理学家的领导病理学家的控制下使用病例分流工具。另选地，分流工具可以自主操作，并且可以自己将病例转发给病理学家。
[0173]
回顾性质量保证
[0174]
对于病理实践的最迫切的未满足的一个临床需求是能够减少病理学家之间的诊断不一致的工具和技术。许多涉及诊断挑战的研究仅报告病理学家之间的中等一致性。例如，良性乳腺病变是不一致和不确定性的重要来源，这导致adh诊断的高达52％的不一致。对于如非典型的顽固病例，如果病理学家不是次专科医师，则诊断准确度通常显著下降。这些不准确度可能导致不必要的外科切除或导致恶性肿瘤的漏诊，这导致医疗事故诉讼的可能性增加。adfi诊断必须可靠，因为它给患者带来了重大的后果，并且由于不必要的手术的
可能性和这些患者需要频繁的筛选，它可能成为健康护理递送系统的经济负担。由此，存在对技术和工具的显著未满足的临床需求，这些技术和工具允许病理实践来评估它们的病理学家在呼叫时的一致性如何并且使他们能够从不良一致性学习。尽管一些质量保证(qa) 机制是已知的，诸如随机选择10％的最近回顾性病例用于面板审核等，但是它们通常既不是有效也不是高效的qa过程，因为它们中的许多是粗略的和半定量的。
[0175]
为了解决这些挑战，提供了回顾性质量保证工具retroqa的实施方式。 retroqa可以是histomapr平台的一部分。在各种实施方式中，retroqa可以审核先前完成的病例，以便继续进行诊断后监视。工具的xai特征可用于帮助识别潜在的病理结果差异或误差。这种重要的qa活动可以降低风险，提高临床医生的信心，并帮助病理学家及时监测他们的诊断工作。与其他histomapr xai应用程序一样，“为什么？”按钮提供识别qa问题的细节(诸如“诊断为良性的活检的恶性可能性很大”)以及可以支持工具所执行的分析的支持证据，诸如具有突出显示特征的roi图像(诸如图7所示)。在一些情况下，以类似的方式为完成的诊断计算置信得分，其中为 histomapr平台的实施方式所确定的标记计算置信得分。如果置信得分低，则可以响应于用户点击“为什么？”按钮而提供消息“致使诊断的非常弱的置信得分”。retroqa的实施方式在许多情况下可以将病理学家的诊断后准确度提高多达25％，在其它情况下甚至更高。根据我们的研究(参见上表2)，非专科医师对高危组织诊断的真值的敏感性表现是中等的(仅 27.9％)。使用retroqa实施方式的辅助，可以改善这种表现。
[0176]
从我们与病理学家的讨论中，我们了解到许多实践目前对约10
‑
15％的病例应用质量控制，这些病例是从在特定时间段内分析的所有病例中随机选择的。病例或者回顾性地在完成之后选择、或者在完成之前在正在进行的分析期间选择，以用于第二次审核。这些病例由与第一次分析病例的病理学家不同的病理学家进行审核。由于选择过程是随机的，所以仍然存在遗漏误诊病例的显著风险，这对于相对困难的病例、例如涉及乳腺病变中的非典型尤其关键。retroqa的实施方式也可以改进选择过程。
[0177]
在各种实施方式中，retroqa选择能够从第二次审核中受益的病例。可以通过使用histomapr平台的实施方式分析与病例相关联的wsi来选择病例。平台可以向wsi中的roi指定标签，并且如果所分配的标签与严重状况相关联，则选择wsi。另选地，或另外，基于分配的标签和/或由平台在分配标签时计算的置信得分，平台可以确定wsi是否包括一个或多个难以决策的roi。在回顾性选择中，平台可以计算wsi中(多个)roi诊断的(多个)置信得分。基于上述任何因素或得分或它们的组合，retroqa 的实施方式可以确定病例/wsi可以从进一步的审核中受益，并相应地选择病例。
[0178]
retroqa的实施方式还以“为什么？”、“解释”或类似按钮为特征，执行第二次审核的病理学家可以使用该按钮来例如对于qa评估理解为什么选择该特定病例。在点击“为什么？”按钮时，可以显示面板、覆盖图或页面，其中retroqa将呈现选择过程中使用的因素和/或得分。解释性信息或理由的示例包括病例可能是困难的指示(例如，消息：“涉及非典型发现的困难病例，有误诊的潜在危险”)、或其它原因(诸如：“潜在差异，置信级85％”)。另外，在一些实施方式中，retroqa还可以提供其选择的支持证据，诸如具有突出显示特征的roi图像(诸如图7所示)，其可以支持工具的分析。
[0179]
由此，具有retroqa的histomapr的实施方式可以分析所有先前完成的病例以用于诊断后监视，并且可以用于识别将被转发用于第二次审查(例如，用于质量控制)的病例。可
以选择病例，因为histomapr/retroqa 可以确定这些病例可能相对于完成的病理结果具有潜在的差异或误差，和 /或使用histomapr对他们的分析导致低置信得分，这反映了该病例难以诊断并且潜在地具有误诊的风险。由histomapr选择的所有病例将被转发到病理实践中的病理学家的共识以进行第二次审核。这可以通过检测显著差异(例如，良性对比恶性)来帮助降低风险，向监管者提供关于正在进行的且有效的qa活动的证据，并提高临床医生和患者在诊断中的信心，尤其是诸如乳腺非典型的困难诊断。“为什么？”按钮可以提供透明度并示出为何病例潜在有差异。这可以帮助提高实践的准确度和患者安全。
[0180]
histomapr
‑
lung：肺组织的分析
[0181]
组织染色已经广泛用于疾病或子类型诊断的病理学中，但它具有局限性。计算病理学，即，利用通过来自患者的高通量数据收集而增强的计算方法对医学图像的处理和分析，可以通过组合多个互补的信息源来改进疾病诊断。例如，病理学家使用苏木精和伊红(h&e)染色的组织图像来诊断疾病或疾病子类型，并且h&e图像数字化已经为数字病理学开创了道路。开发了新的算法来解析图像特征并辅助诊断或研究疾病的分子机制。然而，这些算法不总是捕获复杂的组织学异质性。此外，组织图像仅给出高等级的疾病病理。为了解决这些问题，我们提出了一种解析h&e图像以捕获组织的可解释的异质性特征的方法，组织诸如乳腺、肺和脑组织。在一些实验中，我们将我们的分析流水线应用于我们从患有特发性肺纤维化(ipf)的患者和从对照受试者收集的新数据集。
[0182]
按照机构审查委员会批准的研究方案从匹兹堡大学和肺组织研究联合会(ltrc)收集福尔马林固定的石蜡包埋(ffpe)肺组织。病理学家和临床医生的多学科组在研究中审核了受试者的组织病理学、临床和人口统计特征，并确认了ipf诊断。ipf(n＝23)和对照(n＝7)组织在本研究中用作训练组，而ipf(n＝10)和对照(n＝10)组织用作验证组。
[0183]
所有h&e染色的组织用aperio组织扫描仪(莱卡生物系统公司)扫描并提交用于图像分析。用20倍物镜以0.5pm/像素的分辨率扫描数据集中的组织切片，这产生大约20000
×
30000像素的数字全切片图像(wsi)。在组织对象分解步骤之后，如图21a至图21f中可以看到的，各个图像由大约1百万个四种不同类型的组织对象(内腔、深色基质、浅色基质和细胞核)表示。
[0184]
图21a至图21f描绘了对组织学组织的架构特征(例如，空间组织) 进行建模的计算流水线。特别地，图21a至图21b例示了颜色归一化。由于生物差异、切片制备技术的差异、成像硬件差异等，为全切片图像(wsi) 形式的组织病理数据可具有宽范围的颜色外观。我们可以通过将原始wsi 2102(其剪裁版本在图21a中示出)预处理为图21b中示出的颜色归一化版本2110来降低该可变性，该原始wsi具有细胞学成分细胞核2104(深紫区域)、基质2106(具有粉红色阴影的区域)和内腔2108(白色)。图21c 至图21d例示了对象图生成：然后，将wsi 2102分解为圆形的原始对象，即，组织对象2112，以近似地表示组织的细胞学成分，如图21c所示。通过狄洛尼(delaunay)三角剖分2114在整个wsi的组织对象中心上构建邻域图，其中相邻对象通过边连接，如图21d所示。图21e至图21f例示了空间统计和特征提取。我们在图21e所示的组织对象图2116上执行随机游动，以对各个对象周围的空间邻域统计进行编码。如以下进一步描述的，为各个组织对象2112构建诸如图2116的图。然后，由表示各个组织对象2112的邻域的空间特性的100维向量表示该组织对象，如图21f所示。例如，对应于向量元素#31的空间特性#31表示对于中心的组织对象在四跳距离处的细胞核到细
胞核相互作用。
[0185]
病理学家对组织架构的分析是许多疾病诊断决策的关键方面之一，并且对于ipf的诊断是必要的。因此，我们开发了图像处理和分析流水线以捕获肺组织内的不同细胞的空间组织。首先，我们定位细胞成分(诸如细胞核)和细胞外成分(诸如基质和充满空气的肺泡腔)。在我们的技术的各种实施方式中，我们将分别对应于细胞核、基质和内腔的图像的紫色、粉红色和白色像素分解成原始圆形组织对象2112，而不是分割细胞学组织成分，该组织对象然后用作组织的细胞学成分的近似表示。在本讨论中，提及“内腔”通常是指组织的内腔或白色区域。
[0186]
由于分解是在由于上述各种因素而具有宽范围的颜色外观的组织病理学图像的颜色上进行的，因此我们使用颜色归一化方法来对数字组织图像进行预处理。这对于组织病理学图像的鲁棒且正确的分析是重要的步骤。对于我们的数据集，我们使用已知的wsi可缩放颜色归一化方法。在颜色归一化之后(图21b)，在一些实施方式中，我们考虑在基质区域中观察到的不同粉红色深浅，并且我们使用k均值聚类算法将图像像素聚类为四个不同组(紫色、浅粉红色、深粉红色和白色)，对于k均值聚类算法，从颜色分布上的主成分分析(pca)计算聚类中心。接下来，我们将适当大小的圆形对象2112拟合到这些聚类的像素中(注意考虑噪声)，以表示组织的细胞核2112a、浅色基质2112b、深色基质2112c和内腔2112d对象，如图21c所示。圆形形状用于分析方便，并且用作推定的细胞核及其邻域的表示。各个图像i由一组组织对象o(i)＝[o
i
]表示，其中各个o
i
由其中心坐标(x
i
，y
i
)连同其类型t
i
∈[细胞核，浅色基质，深色基质，内腔]表示，其用作原始细胞核及其邻域的表示。
[0187]
为了捕获空间架构特征，我们使用狄洛尼三角剖分2114基于组织对象的坐标(x
i
，y
i)
(图21c至图21d)来构造邻域图2116。然后，我们通过将各个组织对象o
i
设置为对应邻域图2116中的树的根2118并通过使用邻域图(也称为狄洛尼图)2116的边以宽度优先顺序访问根的相邻对象，来定义各个组织对象o
i
的宽度优先遍历。我们将遍历的最大深度设置为从根组织对象2118开始的h次跳跃。
[0188]
接下来，对于每个深度等级，我们计算找到每种类型的组织对象的概率，如图21e所示。由于我们具有四种组织对象类型，所以对于每个深度等级存在十种不同类型的边。我们选择h＝10，如我们在测试随机游动对于 h＝10收敛的不同距离(例如，h＝5、10、15、20、25)之后观察到的。结果，对于10次跳跃的最大深度，我们具有一组100个概率值，其描述了各个组织对象的空间特性。例如，在曲线图2116中，在深度等级1处从中心对象o
i
找到另一细胞核对象的概率是42.9％(＝3/7)。
[0189]
理论上，这些空间特性向量捕获各种细胞学成分的分布及其在限定邻域中的相互作用。因此，我们将表示邻域特性的这些向量聚类为q个聚类，以找到组织对象邻域的代表性架构特征。为此，首先计算训练数据的主成分，并选择q，使得它将覆盖输入方差的95％。在聚类中心初始化之后，将各个组织对象邻域分配给它们的最接近的聚类。最后，对于各个图像，计算q个不同类型的聚类的比例作为图像的架构特征向量。
[0190]
上述技术不限于肺组织，并且通常可应用于任何类型的组织，诸如乳腺组织、脑组织等。在一些情况下，基质可以不被细分成浅色基质和深色基质。而且，代替如在上述肺组织的分析中的仅一种类型的细胞核，可以存在不同类型的细胞核，例如，如上文结合乳腺组织讨论的三种类型的细胞核。由此，邻域图中的对象的类型的数量以及对应地邻域图中的
边的类型的数量可以变化。而且，邻域图的随机游动将收敛的深度h可以随组织类型而变化。由于表示各个对象的邻域统计的向量的大小取决于邻域图中的边类型的数量和深度h，所以向量的大小以及因此可以大致(例如，超过85％、90％、95％等)考虑输入方差的向量的聚类的数量q也可以随组织类型而变化。
[0191]
histomapr的实施方式可以识别与肺病理生理学一致的架构特征(af)。在我们的实验中，我们使用图像作为整体从wsi捕获空间特性，而没有任何裁剪或平铺。为此，我们掩蔽组织区域以避免围绕组织的白色区域，并构造邻域图、组织区域内的计算空间特性和概括如上所述的组织结构的捕获的架构特征。在捕获邻域统计并基于这些空间统计将分解的对象聚类成架构特征之后，我们发现覆盖总输入方差的95％的总共12个架构特征，即，在该实验中q＝12。如上所述，q可以随组织类型而变化。
[0192]
图22a示出了组织特征的代表性示例。所描绘的一般图案与我们从外科病理学观点预期的一致。各个示例来自ipf或正常样本，这取决于哪个是该特定特征的主要类别。对于下面的af的注释，病理学家也检查周围区域。在图22b中示意性地示出了如颜色编码的12个af。
[0193]
在图22a中，面板1中的示例对应于af#1(主要在ipf中)并示出纤维母细胞病灶。面板2中的示例对应于af#2，寡细胞纤维化似乎与正常的肺泡肺实质并列。这可能意味着各种情况：胸膜下瘢痕形成、吸烟相关的间质纤维化(即吸烟者中的瘢痕形成，其通常在癌症切除的肺背景中看到)、ipf区域、其他病因的纤维化肺病(例如结缔组织病、过敏性肺炎等) 的区域等。相关特征是无纤维母细胞病灶。这种突然的转变将支持在nsip 图案之上的uip图案。在没有弥漫性纤维化肺病的对照患者中，这表示非特异性瘢痕形成。
[0194]
面板3中的图像示例对应于af#3并描绘了基本正常的肺。这里肺是萎陷的。红细胞2202是人造的(即由于获得该组织的过程)。我们的技术可以在图像特征提取之前排除红色区域2202。面板4中的示例对应于af#4，并且表示远端支气管血管束中的肺动脉分支周围的外膜纤维化。这种现象是常见的，并且通常随着年龄而增加。支气管血管束周围的结缔组织对于允许肺在其周围伸展和在不同运动状态下高度可变的血管负荷是重要的。注意如何有到正常周围肺的同样突然的转变，如在对应于af#2的面板2 的示例中看到的，但是这个在中心具有中等大小的血管，这指示这是不同结构的一部分。血管实际上不是很正常。它们较小并且有些杂乱地布置。黑色色素似乎是碳尘。
[0195]
面板6的示例对应于af#6，并且示出了具有非特异性间质性肺炎 (nsip)图案的细胞性和纤维化间质性肺炎的特征。在此，肺泡隔或多或少地被纤维母细胞、炎症细胞和胶原均匀地扩增。在该肺小叶的外周(其由右上方的胸膜界定)中没有瘢痕形成的加重，而是相反，瘢痕形成相当扩散地涉及小叶。该气腔是不显著的。在小图中，我认为我看到了一些嗜酸性粒细胞，特别是在右上象限。这是非特异性的发现。组织嗜酸性粒细胞增多可以在患有过敏性肺炎、下层结缔组织或其他全身性疾病、药物毒性(意味着由于药物治疗副作用引起的慢性纤维化间质性肺炎)、慢性嗜酸性粒细胞肺炎(如果这种瘢痕形成，将是长期存在的)的患者中看到。当我们在uip患者中看到该特征时，我们提出了他们的uip可能是由于结缔组织病(而不是特发性＝ipf)的可能性。
[0196]
对应于af#7的面板7中的示例是ipf的特性。该示例在构造上完全重塑并示出纤维化肺实质，其在下部似乎是蜂窝状囊肿。具有浓缩粘液的扩张气腔对于ipf肺是典型的。周
围纤维化中慢性炎症的量也在ipf的正常谱内。在底部的一个大囊肿之外的上皮通常具有在(各种)肺炎中反应性肺细胞的嗜酸性粒细胞外观。
[0197]
面板8中的示例对应于af#8，并示出了呼吸性细支气管炎，其特征在于吸烟后的气腔着色巨噬细胞。肺泡隔大部分是正常的，尽管一些显示出最小和不易察觉的增厚。更突出的是在图像的左半部分中从顶部到底部延伸的小叶间隔。这比通常的纤维化程度稍高，并且不是非常蜂窝状的。除了巨噬细胞外，气腔是正常的。最常见的内容物是来自吸烟的色素、来自矿物粉尘暴露的色素和来自血液的血铁黄蛋白。气腔中的血液发生在支气管扩张、感染/ards、先前的活检(这种含铁血黄素沉着在肺同种异体移植活检中是常见的，因为人们进行了多次活检)。
[0198]
对应于af#11的面板11中的示例描绘了正常肺。肺泡隔是薄且脆弱的，毛细血管并不突出。没有肺泡隔水肿。对应于af#12的面板12中的示例类似地描绘了正常肺。肺泡隔是正常的。气腔包含一些着色的巨噬细胞。靠近图像边缘的左上方的小动脉看起来正常(没有洋葱表皮或肌肉肥大)。
[0199]
由此，图22a例示了上述架构特征可以区分正常和纤维化肺区域。特别地，图22a的面板1
‑
12示出了源自细胞学组织成分的邻域的架构特征可帮助区分ipf。这些面板示出了各种架构特征的原型区域。例如，面板1 示出了af#1表示的细胞核到浅色基质相互作用的主要区域；面板11示出了细胞核到内腔和内腔到内腔相互作用的主要区域；这些区域通常由病理学家分别注释为成纤维母细胞病灶和正常肺泡区域。
[0200]
图22b示出了为ipf和对照组分离的架构特征的相对群体。注意，架构特征#1和#7在ipf图像中是主要的，而特征#8和#11在对照图像中是主要的。为了在要分析的wsi中可视化这些图案中的一些，histomapr的实施方式通过分配给各个af的颜色突出显示它们。在图22b中，在x轴下方示出了所分配的颜色。wsi中的对象根据如图22c至图22d所示的特征来着色。具体地，图22c示出了来自ipf患者的示例wsi，其中特征 #1 2212(蓝色)和#7 2214(深绿色)占大多数。图22d示出了来自对照组的示例wsi，其中特征#2 2216(浅绿色)和#11 2218(粉红色)是主要的。
[0201]
这12种特征的频率百分比示于图22b中，其中ipf与对照类型之间的差异是清楚可见的，尤其是对于af#1、#7、#8和#11(即特征#1和#7在纤维化组织中是主要的，而特征#8和#11在正常组织中是主要的)。注意，这些架构特征连接到组织结构，因为它们依赖于组织对象相互作用。例如，就随机游动图中的连接而言，af#1表示组织对象细胞核和浅色基质比其他类型的相互作用显著更多地相互作用的邻域，并且这之后是浅色基质对象之间的相互作用；af#11表示组织对象细胞核和内腔比其它类型的相互作用显著更多地相互作用的邻域，这之后是内腔对象之间的相互作用。将这些邻域特性表示为架构特征，histomapr
‑
lung的实施方式可以基于多久检测到这些特征一次来概括各个wsi。通过比较图22c和图22d，可容易地观察到ipf与对照样本之间特征的差异。
[0202]
histomapr
‑
brain：脑组织的分析
[0203]
histomapr的一些实施方式，称为histomapr
‑
brain的实施方式，可以分析脑组织。在我们的实验中，我们从ivy gap收集了脑组织的99个wsi，其含有细胞肿瘤(ct)区域。在此，获得的wsi已经进行了针对颜色归一化的h&e染色。然而，如果接收到未处理的wsi，则将执行染色和颜色归一化以便鲁棒和正确地分析wsi。用20倍物镜以0.5pm/像素的分辨率扫
描从其生成wsi数据集的组织切片，这产生大约15000
×
18000像素的数字wsi。所接收的图像也由ivy gap半自动地注释以识别图像中的某些解剖特征。注释包括前缘(le)、浸润性瘤(it)、细胞肿瘤(ct)和坏死 (ne)。为了我们的实验，我们经由上述过程从wsi的ct区域提取图像的架构特征。使用上述过程，也可以导出wsi的其它区域的架构特征。在图23a至图23d中描绘了ct区域用绿色注释的wsi的两个示例。
[0204]
特别地，传统的和原神经子类型2302c、2302p的代表性胶质母细胞瘤组织切片分别在图23a和图23c中示出。在参考图23a至图23d时，字母“c”与传统图像/区域/特征相关联，字母“p”与原神经图像/区域/特征相关联。图23b和图23d分别将这些图像中的每一个的注释区域示出为：细胞肿瘤(ct)区域2304c、2304p(绿色)；浸润性瘤(it)区域2306c、 2306p(品红)；前缘(le)区域2308c、2308p(蓝色)；坏死(n)区域 2310c、2310p(黑色)；和细胞肿瘤中的增生血管(cthbv)区域2312p(橙色)。
[0205]
histomapr
‑
brain的实施方式使用由ivy gap提供的注释基于ct区域掩蔽分解对象图。然后，我们构造邻域图并捕获这些掩蔽ct区域内的空间统计，如上文结合总体histomapr计算流水线所述。在捕获邻域统计并基于这些空间统计将分解的对象聚类成架构特征之后，我们发现覆盖总输入方差的95％的总共14个架构特征(即，q＝14)。
[0206]
图24a示出了这14个特征的频率百分比，其中传统和原神经类型之间的差异是清楚可见的，尤其是对于特征#1、#2和#6。特征#1和#6在原神经类型细胞肿瘤区域中是主要的，而特征#2在传统类型细胞肿瘤区域中是主要的。
[0207]
具体地，图24a是架构特征的直方图，这些架构特征被编号为1至14，并且被颜色编码。代表性的传统和原神经胶质母细胞瘤子类型的频率对于一些特征是不同的。例如，注意在原神经子类型中的特征#1和#6的相对较高的群体以及在传统子类型中的特征#2的相对较高的群体。然后，如图24b 所示，通过将对应的对象2402c标记为红色(其是特征#2的分配颜色)，在wsi特征#2的相应ct区域2304c、2304p中识别histomapr
‑
brain的实施方式。同样，如图24c所示，通过将对应的对象2404p、2406p分别标记为绿色和深蓝色(其是特征#1和#6的相应分配颜色)，也在wsi特征#1 和#6的相应ct区域2304c、2304p中识别histomapr
‑
brain的实施方式。通过比较图24b和图22c，可以容易地观察到传统wsi区域与原神经wsi 区域之间的标记特征的差异。在传统wsi中，架构特征2402(红色)是主要的，而在原神经wsu中，架构特征2404p(绿色)和2406p(深蓝色) 是主要的。
[0208]
附录a
[0209]
感兴趣区域的确定：
[0210]
我们表征组织图像中细胞核的空间排列，并使用该信息分割感兴趣区域(roi)(参见图25a至图25f)。分割roi所涉及的各种步骤包括：
[0211]
1.在wsi 2500(图25a，左上方)中，我们在苏木精染色的组织区域(h)中以超像素(例如，圆形对象)的形式识别推定的细胞核位置，并且使用从伊红染色的(e)和白色组织区域(w)导出的超像素来表征邻域统计。在一些实施方式中，在颜色归一化之后，将h超像素2502标记为紫色，将e超像素2504标记为粉红色，并且将w超像素2506标记为青色。 (图25b，右上方，和图25c，右上方)。
[0212]
2.为了表征细胞核邻域，我们组合来自所有三个类别h、e和w的超像素，并使用它们的中心坐标执行狄洛尼三角剖分(图25d，左下方)。
[0213]
3.我们计算相同类别的超像素之间的成对距离。然后，对于各个类别，我们构建单独的图，其中作为节点的各个超像素和该类别的相邻超像素在它们的距离低于指定阈值τ时通过边缘连接。
[0214]
4.我们将距离阈值τ设置为至少是相邻超像素之间的距离分布的中值(图25e，中下方)。
[0215]
5.我们使用贪婪连接分量分析算法来将超像素聚类成片段。
[0216]
6.我们基于h和w类别的组织区域以降序排序所述类别中的片段。我们将来自这两类的片段与一个简单的后处理规则组合：如果片段w
i
与片段h
j
重叠，则不管重叠区域如何，重叠部分都被吸收到h
j
中。
[0217]
7.在合并来自h和w类别的片段之后，我们得到roi 2508、2510的优化分割(图25f，右下方)。
[0218]
感兴趣区域的排名：
[0219]
roi可以基于它们的细胞学和架构特征进行排名，如下所述：
[0220]
1.为了量化细胞学特性，我们首先通过在各个roi中生成更精确的细胞核掩膜集来分割细胞核。在该背景下的分割通常包括对苏木精颜色通道应用阈值并获得推定的细胞核区域。分水岭可以用于分离接触和重叠的细胞核，并且可以使用形态学操作来填充任何剩余的孔。接下来，可以消除小的和大的分割对象以及图像边界附近的对象。最后，执行一轮侵蚀，随后进行扩张，以使细胞核形状平滑。细胞核掩膜是单独地且更精确地表示各个细胞核的像素的连接分量。这些掩膜有助于定位所讨论的细胞核的形状特性和中心坐标。
[0221]
2.在细胞核分割之后，我们针对roi中的各个细胞核计算196个细胞核特征。
[0222]
3.对于乳腺病变，我们发现了三种显性细胞学表型，我们使用k均值聚类算法捕获了这三种表型。k
‑
均值聚类用于鉴定显性细胞学表型。一旦它们被识别，xai将简单地使用它们用于某种分析。如果要进行不同类型的分析，例如皮肤癌的诊断，则不同的细胞学表型可能是相关的/显性的，并且需要识别，这可以使用k均值聚类来完成。由此，通常，对于不同的组织状况，可能存在不同数量和/或不同类型的显性细胞学表型。对于不同数量和/或类型的显性细胞学表型，可以重复这些步骤。
[0223]
4.这些表型可能是高危良性乳腺病变中正常、非典型和多形细胞核的结果(图2c)。这些细胞学表型的量和类型对于不同类型的组织可能不同。
[0224]
5.对于roi排名的任务，我们为各个roi构造细胞学特征(cf)向量，其是在考虑的roi中的所有细胞核上的196个特征中的每个特征的汇总统计(例如，均值、中值、标准偏差等)。
[0225]
6.为了量化架构特性，我们捕获组织内容的空间特性。
[0226]
7.主要地，roi由5个不同的对象表示：来自先前步骤的三个细胞学表型分析的细胞核(nuclei1、nuclei2、nuclei3)和来自roi分割步骤的两个基于超像素的成分(基质和内腔)，如图2c所示。在此，nuclei_l、nuclei_2 和nuclei_3是计算表型，其可以由专业病理学家指定组织学意义。通常，内腔超像素对应于空白和开口，并且基质超像素对应于连接的组织。这些超像素不与细胞核重叠。
[0227]
8.在该数据集中，多形表型示出为不同的子组。
[0228]
9.为了表征各个对象周围的邻域，通过来自各个对象的针对少量深度等级的宽度
优先遍历来构造空间网络(图2d)。
[0229]
10.在各个深度等级，我们计算发现15(这受在先前步骤中定义的对象类型的数量的影响，对于3种类型的对象，该数量将是6)个不同对象连接(例如细胞核1(nuclei1)
‑
细胞核1(nuclei1)、细胞核1(nuclei1)
‑
基质、细胞核1(nuclei1)
‑
内腔等)的概率。在一些实施方式中，对象连接是连接作为邻居的两个对象的狄洛尼三角剖分中的边。结果，对于最大深度 5，我们生成一组75个概率值，其描述各个对象的邻域统计，即，类型为 nucleus_1、nucleus_2或nucleus_3的另一细胞核靠近/邻近细胞核
‑
a、或基质靠近/邻近细胞核
‑
a、或内腔靠近/邻近细胞核
‑
a的概率，其中针对各个深度等级单独计算概率。各个深度等级表示在给定距离处的邻居组，其中距离通过在图上从中心细胞核取得的跳或跳跃的数量来测量。对于每一跳，可以以宽度优先搜索方式到达另一深度等级。
[0230]
11.为了表型空间网络，我们通过注意捕获95％的输入方差的主子空间来将邻域统计聚类成q个聚类。在此，cf向量定义了细胞核表型。可以考虑q的候选值的任何合适的范围。在一个研究中，q从5变化到38。
[0231]
12.通过应用k
‑
nn(k最近邻居)算法学习架构表型，其中对于各个候选q，k＝q。
[0232]
13.然后由q个架构图案的相对比例表示各个roi。
[0233]
在一些实施方式中，我们以架构图案作为新对象来执行随机游动，并且以分层方式执行新对象，目标是在空间上表征全切片组织图像。
[0234]
14.我们基于以下内容构造三个附加集的架构特征向量：
[0235]
a.使用超像素衍生的细胞核、基质和内腔对象的基于颜色的架构特征 (af
‑
c)；
[0236]
b.基于细胞学表型细胞核的架构特征(af
‑
n)，其单独使用细胞核表型；以及
[0237]
c.组合的架构特征(af
‑
cn)，其使用细胞核表型结合基质和内腔超像素。
[0238]
15.在我们的初步研究数据(46个乳腺病变病例，93个全切片图像) 中，我们发现q＝18个图案/特征，包括表示roi的架构和/或细胞学图案/ 特征(图3)。
[0239]
16.我们使用逻辑回归基于特征集cf、af
‑
c、af
‑
n和af
‑
cn对roi 进行分类/排名。
[0240]
分流：
[0241]
·
各个roi标记有诊断和置信得分。
[0242]
·
roi通常基于1)诊断标签的严重性和/或2)置信得分以降序来排序，使得最确信、最严重的标记roi通常排在较不确信的roi或较不严重的 roi之上。
[0243]
·
在各个roi具有标签或排名之后进行分流。
[0244]
临时诊断
[0245]
histomapr不是诊断系统。它是被设计成在病理学家的日常登出病例的努力期间指导他们的辅助系统。
[0246]
1.histomapr预览病例，然后基于病例难度(专家次专科医师病理学家对比普通病理学家)或工作量(病理病例在病理学家之间的均匀分配)将病例动态地分配给一个或多个病理学家。
[0247]
2.病理学家登录访问分配给他们的病例，其作为具有可排序字段的表出现，可排序字段包括病例id、histomapr状态和关于病例的附加信息(例如，器官、处理日期、关于紧急性的标记、重新就诊患者等)。
[0248]
3.他们打开一个将带来histomapr病例观察界面的病例(图4)。xai 平台可根据紧
急性(例如，更难或不明确的病例、简单的、高置信的病例等)对字段/roi进行排序。
[0249]
4.在界面的中间是全切片图像观察器
‑
病理学家总是控制病例。
[0250]
5.基本用户的标准和熟悉控件；审核中的病例的乳腺核心活检图像在右面板中，并且在左面板中存在患者信息。
[0251]
6.histomapr预览所有wsi并找到诊断相关roi，并且修改边界像素以标记roi，在底部面板处，从病例的所有wsi收集的roi被从恶性到良性分流(从左到右)。
[0252]
7.对于各个roi，所选的histomapr提供具有关键区别的诊断标签：可释释的ai
‑
histomapr具有“为什么？”按钮，该按钮为具有标签的各个 roi提供诊断解释，解释histomapr为何关于该标签决策以及关联的置信得分。
[0253]
8.histomapr通过其对roi的标记、用“为什么？”信息支持这些标签来提供决策支持；这降低了不确定性并提高了诊断置信。
[0254]
9.病理学家具有若干工作流程选项
‑
同意/不同意框意味着支持病理学家的工作。当病理学家希望结束histomapr审核时，使用“完成”按钮来提出评估的总结。
[0255]
10.总结页是为了向病理学家示出对已被观察的roi和已被同意/不同意/可能的标签的审核(图5)。可以进一步审核不同意/可能的roi，并使用在原始文献“创新特征，第2项”中描述的histomapr注释工具来给出新的标签。
[0256]
响应于用户激活“为什么？”界面提供解释
[0257]
对roi标签进行的生成推理/解释的工作顺序是：
[0258]
1.分割roi。
[0259]
2.为各个roi计算描述性空间特征。
[0260]
3.基于特征与描述架构图案的主子空间的相似性进一步表型化特征。
[0261]
4.在使用xai平台分析新的、先前未分析的wsi之前，由专家(病理学家)从视觉上检查来自其它图像的架构图案，并分配组织病理学上有意义的描述(即，刚度、基质密度、增生性等)。
[0262]
5.使用逻辑回归基于roi的相对架构图案比例对roi进行分类/标记 (分类可使用其它方法(例如svm、随机森林等)来完成)。
[0263]
6.基于roi分类结果的严重性等级对roi进行排序(各个标签的严重性由病理学家在文献中预先定义)。排序也可以以两个步骤执行：基于步骤a中的严重性等级和步骤b中的置信得分，任一步骤都可以在另一步骤之前执行。
[0264]
7.量化各个roi内的架构和/或细胞学图案/特征的分布，并且在解释界面中报告它们的存在/不存在(即，低/中/高刚度等)。各个图案特征可以具有正/负指示符，指示该图案/特征如何对roi诊断标签作出贡献。这提供了置信得分的基础。
[0265]
清楚的是，存在构造这里所描述的装置和/或系统部件、界面、通信链路以及方法的许多方式。所公开的方法、装置以及系统可以部署在方便的处理器平台上，包括网络服务器、个人和便携计算机、和/或其他处理平台。其他平台可以被预期为处理能力改善，包括个人数字助理、计算机化表、蜂窝电话和/或其他便携装置。所公开的方法和系统可以与已知的网络管理系统和方法集成。所公开的方法和系统可以作为snmp代理操作，并且可以用运行适型管理平台的远程机器的ip地址来构造。因此，所公开方法和系统的范围不受这里给出的示例限制，而是可以包括权利要求及其合法等同物的全范围。
[0266]
本文所述的方法、装置以及系统不限于特定硬件或软件构造，并且可以在许多计算或处理环境中找到应用。方法、装置以及系统可以在硬件或软件或硬件和软件的组合中实施。方法、装置以及系统可以在一个或更多个计算机程序中实施，其中，(多个)计算机程序可以被理解为包括一个或更多个处理器可执行指令。计算机程序可以在一个或更多个可编程处理元件或机器上执行，并且可以存储在可由处理器读取的一个或更多个存储介质(包括易失性和非易失性存储器和/或存储元件)、一个或更多个输入装置、和/或一个或更多个输出装置上。由此，处理元件/机器可以访问一个或更多个输入装置来获得输入数据，并且可以访问一个或更多个输出装置来传达输出数据。输入和/或输出装置可以包括以下中的一个或更多个：随机存取存储器(ram)、独立磁盘冗余阵列(raid)、软盘驱动器、cd、dvd、磁盘、内置硬盘、外接硬盘、记忆棒、或能够由如这里所提供的处理元件访问的其他存储装置，其中，这种前面提及的示例不是穷尽的，并且是为了例示而不是限制。
[0267]
(多个)计算机程序可以使用一个或更多个高级过程式或面向对象编程语言来实施，以与计算机系统通信；然而，(多个)程序可以用汇编或机器语言来实施(如果期望)。可以编译或解释语言。集合和子集通常包括一个或多个成员。
[0268]
由此，如本文所提供的，(多个)处理器和/或处理元件可以嵌入在组网环境中独立或一起操作的一个或更多个装置中，在组网环境中，网络例如可以包括局域网(lan)、广域网(wan)，和/或可以包括内联网和/或因特网和/或另一个网络。(多个)网络可以为有线的或无线的或其组合，并且可以使用一个或更多个通信协议来促进不同处理器/处理元件之间的通信。处理器可以被构造为分布式处理，并且在一些实施方式中可以按需使用客户
‑
服务器模型。因此，方法、装置以及系统可以使用多个处理器和 /或处理器装置，并且处理器/处理元件指令可以在这种单个或多个处理器/ 装置/处理元件中划分。
[0269]
与(多个)处理器/(多个)处理元件集成的(多个)装置或计算机系统例如可以包括(多个)个人计算机、工作站(例如，戴尔、惠普)、个人数字助理(pda)、手持装置(诸如蜂窝电话)、膝上型电脑、掌上电脑、或能够与可以如这里所提供的操作的(多个)处理器集成的另一个装置。因此，这里所提供的装置不是穷尽的，并且是为了例示且不限制而提供。
[0270]
对“处理器”或“处理元件”、“所述处理器”以及“所述处理元件”的引用可以被理解为包括可以在(多个)独立和/或分布式环境中通信且由此可以被构造为经由有线或无线通信与其他处理器通信的一个或更多个微处理器，其中，这种一个或更多个处理器可以被构造为在可以为类似或不同装置的一个或更多个处理器/处理元件控制的装置上操作。由此，这种“微处理器”、“处理器”或“处理元件”术语的使用还可以被理解为包括中央处理单元、算术逻辑单元、专用集成电路(ic)、和/或任务引擎，这种示例为了例示且不限制而提供。
[0271]
此外，除非另外指定，否则对存储器的引用可以包括一个或更多个处理器可读且可访问存储元件和/或部件，这些元件和/或部件可以在处理器控制装置之内，在处理器控制装置之外，和/或可以使用各种通信协议经由有线或无线网络访问，并且除非另外指定，可以被设置为包括外部和内部存储装置的组合，其中，这种存储器可以连续的和/或基于应用分区。例如，存储器可以为闪存盘、计算机盘、cd/dvd、分布式存储器等。对结构的引用包括链路、队列、曲线图、树，并且这种结构为了例示且不限制而提供。这里对指令或可执行指令的引用根据上述内容可以被理解为包括可编程硬件。
[0272]
虽然已经关于方法和系统的特定实施方式描述了方法和系统，但它们不如此受
限。由此可见，许多修改例和变型例可以鉴于上述示教而变得显而易见。本领域技术人员可以进行这里所描述并例示的零件的细节、材料以及设置的许多另外变化。因此，将理解，这里所提供的方法、装置以及系统不限于这里所公开的实施方式，可以包括除专门描述之外的实践，并且应以法律允许的最宽范围来解释。