利用医学图像的自动肿瘤识别与分割的制作方法

利用医学图像的自动肿瘤识别与分割
1.相关申请的交叉引用
2.本技术要求2019年12月20日提交的美国临时申请第62/952,008号和2020年3月16日提交的美国临时申请第62/990,348号的权益和优先权。这些申请中的每个申请出于所有目的特此通过引用整体并入本文。


背景技术：

3.医学成像(例如ct扫描、x射线或mri扫描)被广泛用于肿瘤检测，以辅助癌症(例如肺癌、乳腺癌等)的诊断和治疗。在许多情况下，医疗保健专业人员通过测量肿瘤大小或体积的变化来评估药物和/或治疗方案的疗效。实体瘤疗效评价标准(recist)是一种评估癌症受试者疗效的标准化方法，并且是用于新肿瘤药物批准的监管标准的一部分。recist需要训练有素的专业人员(例如，放射科医生)花费大量时间。具体地，(例如，由放射科医生)手动操作注释器识别多达5个靶病变和多达10个非靶病变。注释器会在描绘靶病变横截面的每次扫描中识别每个靶病变的周界，并记录每个靶病变的横截面直径。然后为所有靶病变确定定量度量(例如，最长直径的总和)。定性评估非靶病变，指示在扫描中是否观察到非靶病变，以及是否有明确的变化。可以在多个时间点采集扫描，并且可以为每个时间点确定用于靶病变和非靶病变的度量。然后可以使用一段时间内度量的变化来评估疾病进展和/或被有效治疗到什么程度。
4.然而，recist包括若干限制。即，该方法不考虑整个疾病“负荷”，因为recist经常只测量每个受试者的一小部分肿瘤(例如，少于5-10个)。鉴于仅跟踪最多5个肿瘤的大小，该技术无法准确地评估癌症已转移至包括大量病变(例如，超过5个病变)的受试者的疾病进展和/或治疗效果。此外，由于病变选择的可变性，靶病变的选择也存在不一致，这导致读取器内部和读取器之间的显著可变性，导致即使在同一受试者中对肿瘤负荷的评估也不同。例如，可以(例如，不经意地)在不同的时间点识别出一组不同的病变。许多肿瘤在ct上通常具有异质外观，并且因位置、大小和形状而异。例如，肺部病变可能是空洞型或钙化型，并且骨转移可能(例如)采取溶血(破坏骨骼组织)或爆裂(异常骨生长)形式，其中每种病变类型与不同的结构外观和视觉外观相关联，使得由于病变的高度可变性，很难在没有获得完整读取的情况下评估疾病的阶段和/或该病变类型的每个病变。因此，使用更全面的数据集和更客观的技术来识别评估肿瘤生长和/或转移的自动化技术将是有利的。
5.本公开尝试通过提供一种肿瘤检测和测量的自动化方法来解决至少上述限制，该自动化方法既一致又考虑到受试者的整个疾病负荷。


技术实现要素：

6.本文描述的技术公开了一种使用一个或多个医学图像来识别和分割生物对象的方法。
7.在一些实施例中，提供了一种计算机实现方法，其中访问受试者的至少一个或多个医学图像。将该一个或多个医学图像
8.输入到检测网络中以生成一个或多个掩膜，该掩膜识别该一个或多个图像内的一组区域。检测网络预测在一个或多个掩膜中所识别的一组区域中的每个区域包括对受试者内的肿瘤的描绘。对于一组区域中的每个区域，使用肿瘤分割网络处理一个或多个医学图像的区域，以生成存在于受试者内的肿瘤的一个或多个肿瘤分割边界。针对一个或多个肿瘤中的每个肿瘤并且通过使用多个器官特定分割网络来确定肿瘤的至少一部分位于其内的器官。然后基于一个或多个肿瘤分割边界和器官位置生成输出。
9.在一些实施例中，提供了另一种计算机实现方法，其中访问受试者的一个或多个医学图像。还访问针对存在于一个或多个医学图像中的一组肿瘤病变的一组器官位置。将一个或多个医学图像和一组器官位置输入到与多个治疗性处理中的一个治疗性处理相关联的网络中，以生成分数，该分数表示该受试者相对于已经接受过该处理的其他先前受试者是否是特定处理的良好候选者。然后返回该分数以评估受试者和多种处理中的每种处理的可行性。
10.在一些实施例中，提供了一种系统，其包括：一个或多个数据处理器；以及包含指令的非暂时性计算机可读存储介质，所述指令在所述一个或多个数据处理器上被执行时使所述一个或多个数据处理器执行本文公开的一种或多种方法的部分或全部。
11.在一些实施例中，提供了一种计算机程序产品，其有形地体现在非暂时性机器可读存储介质中，并且其包括指令，所述指令被配置为使一个或多个数据处理器执行本文公开的一种或多种方法的部分或全部。
附图说明
12.结合以下附图描述本公开：
13.图1a图示了用于使用多级神经网络平台来使用、采集和处理医学图像的示例性交互系统。
14.图1b图示了示例性图像堆栈，其包括用于检测到的生物对象的一组补丁和边界框。
15.图2图示了用于在两个或更多个受试者之间生成一个或多个成对比较的示例性系统。
16.图3图示了用于使用多级神经网络平台来处理医学图像的示例性方法。
17.图4示出了用于肿瘤检测的一组示例性图像。最左边的图描绘了预处理后的轴向切片的全身扫描，而右边的图描绘了检测到的边界框，该边界框由边界框检测网络自动生成并标记，用于轴向切片内的肺、肝和纵隔区域。
18.图5示出了使用轴向ct扫描进行肿瘤分割的示例。顶部图中的每个顶部图描绘了肿瘤的确定区域。对应的底部图描绘了肿瘤的示例性分割边界。
19.图6a-6b图示了将使用recist的手动评估与用于示例性训练集的自动化方法进行比较的图。图a：对识别的病变的数量的比较，图b：对确定的最长直径总和(sld)的比较。
20.图7a-7b图示了将使用recist的手动评估与用于示例性测试集的自动化方法进行比较的图。图a：对识别的病变的数量的比较，图b：对确定的sld的比较。
21.图8图示了将使用由放射科医生执行的完整读取识别的病变的数量与使用示例性训练集的自动化方法识别的病变的数量进行比较的图。
22.图9图示了将使用由一名或多名放射科医生执行的完整读取识别的病变的体积与使用示例性训练集的自动化方法识别的病变的体积进行比较的图。
23.图10a-10b图示了将使用完整读取识别的病变的平均体积和中值体积与使用示例性训练集的自动化方法识别的病变的体积进行比较的图。图a：平均体积数据。图b：中值体积数据。
24.图11a-11c图示了用于示例性训练集的kaplan-meier曲线。图a：通过手动评估的recist得出的sld，基于得出的sld分为四分位数，图b：通过手动评估的recist得出的病变的数量，基于病变的数量分为四分位数。图c：通过自动化方法得出的总sld，基于得出的总sld分未四分位数。
25.图12a-12b图示了用于示例性训练集的kaplan-meier曲线。图a：通过自动化方法得出的总体积，按四分位数划分，图b：通过自动化方法得出的病变的数量，按四分位数划分。
26.图13a-13b图示了用于示例性训练集的使用位于肺区域内的病变的kaplan-meier曲线。图a：通过自动化方法得出的肺病变的体积，按四分位数划分，图b：通过自动化方法得出的肺病变的数量，按四分位数划分。
27.图14a-14b图示了用于示例性训练集的kaplan-meier曲线。图a：通过自动化方法得出的肝受累量度，按四分位数划分，图b：通过自动化方法得出的骨受累量度，按四分位数划分。
28.图15a-15b图示了用于示例性验证集的kaplan-meier曲线。图a：通过手动评估的recist得出的sld，按四分位数划分，图b：通过手动评估的recist得出的病变的数量，按四分位数划分。
29.图16a-16c图示了用于示例性验证集的kaplan-meier曲线。图a：通过手动评估recist得出的sld，按四分位数划分，图b：通过自动化方法得出的总sld，按四分位数划分，图c：通过自动化方法得出的总体积，按四分位数划分。
30.图17a-17b图示了用于示例性验证集的kaplan-meier曲线。图a：通过自动化方法得出的总肿瘤体积，按四分位数划分，图b：通过自动化方法得出的病变的数量，按四分位数划分。
31.图18a-18b图示了用于示例性验证集的使用位于肺区域内的病变的kaplan-meier曲线。图a：通过自动化方法得出的肺病变的体积，按四分位数划分，图b：通过自动化方法得出的肺病变的数量，按四分位数划分。
32.图19图示了用于示例性验证集的通过自动化方法得出的用于肾受累量度的kaplan-meier曲线。肾受累数据按四分位数划分。
33.图20示出了使用自动检测和分割方法从轴向ct扫描中检测和分割肿瘤的示例。左上图示出了在肝中检测到的三个病变，下方的图中示出了相关联的病变分割。同样，右上图示出了在肺/纵隔中检测到的四个病变及其相关联的分割。底部图中的两个示例分别示出了在肾和肺空间中检测到的病变。
34.图21图示了分割的示例，每行从左到右为：放射科医生注释，概率。unetβ＝10，概率。unetβ＝＝2，肿瘤分割网络的联合，实现为概率unet。
35.图22a-22b图示了用于另一示例性测试集的kaplan-meier曲线。图a：通过手动评
估recist得出的sld，按四分位数划分，图b：通过自动化方法的sld，按四分位数划分。
36.在附图中，相似部位和/或特征可具有相同的参考标号。此外，可通过在参考标号后面加上破折号和区分相似部位的第二标号来区分相同类型的各种部位。如果说明书中仅使用第一参考标号，则该描述适用于任何一个具有相同的第一参考标号的相似部位，而与第二参考标号无关。
具体实施方式
37.i.概述
38.最近的图像分析工作集中在开发自动化算法上，该自动化算法可以通过执行肿瘤检测和分割来辅助放射科医生的工作流程。最近的方法侧重于在单个轴向ct分区中检测和/或分割recist病变。由于仅在单个切片上或单个器官(例如肺部)中分割肿瘤以进行肿瘤筛查，最近的这些工作受到限制，而晚期受试者将遭受更高和更多变的肿瘤负荷。
39.如本文所述，技术用于分析受试者的一个或多个图像扫描(例如，诸如ct扫描或mri扫描)。每次图像扫描可以包括对应于不同切片(例如，不同轴向切片)的一组图像。对于图像扫描的图像中的每个图像，第一神经网络可以用于检测包括对特定类型的生物对象(例如，肿瘤)的描绘的每个区域。第一神经网络(即，边界框检测神经网络)可以包括卷积神经网络和/或三维神经网络，例如retinanet。第一神经网络可以被配置为将每个区域定义为边界框，该边界框包括所描绘的生物对象和潜在的预定义大小的填充(例如，使得框的宽度被定义为生物-对象描绘加上两倍的填充的估计最大宽度)。第一神经网络可以被配置为处理具有单独焦点的图像扫描(例如，为每个单独图像定义区域)，但是使用描绘单独扫描上方的切片的扫描和描绘单独扫描下方的切片的另一扫描来提供上下文。
40.第二神经网络(例如，分割神经网络)可以被配置为处理图像扫描的较小部分以分割单独对象。更具体地，可以将由第一神经网络处理的图像的一个或多个裁剪部分输入到第二神经网络。每个裁剪部分可以对应于为特定图像定义的边界框。裁剪部分可以具有(例如)等于边界框面积的面积或等于边界框加上填充的面积的面积。第二神经网络可以被配置为从表示相邻切片的其他图像接收对应部分。第二神经网络可以包括卷积和/或三维神经网络，例如unet。对于每个框，第二神经网络的输出可以识别一组像素，该组像素被估计为对应于图像中描绘的对象横截面的横截面的周界或面积。
41.在一些情况下，对象分割在图像上对齐和/或平滑。然后可以获得单独对象的三维表示。
42.神经网络(例如，第一神经网络、第二神经网络或另一神经网络)可以被配置为估计对象的环境。例如，网络可以输出生物对象在受试者的肺、肝、骨、纵隔或其他位置内的概率。可以独立地评估概率(例如，然后该概率不需要在各种概率中总和为1)。预测上下文可以促进分割、对齐和/或其他处理。例如，特定类型的生物对象(例如，肿瘤)在不同环境中通常可能具有不同的特点。因此，环境预测可以告知使用什么类型的图像特征来生成对象分割和/或执行其他图像处理。在一些情况下，网络输出图像真实描绘特定类型对象的估计概率。
43.在一些情况下，第三神经网络可以通过执行图像内的目标位置的第二分割来确定生物对象的环境。例如，第三神经网络可以输出肺、肝、肾和/或对应于受试者的另一位置的
分割(例如，以二维和/或三维掩膜的形式)。在一些情况下，可以训练第三神经网络来分割单个目标位置，并且额外的神经网络可以被配置为分割额外的目标位置。例如，第三神经网络可以输出肺的分割，第四神经网络可以输出肝的分割，并且第五神经网络可以输出肾的分割。
44.使用二维分割或三维分割，可以生成一个或多个对象特定统计数据来表征每个估计的对象描绘。一个或多个对象特定统计数据可以包括(例如)面积、最长维度长度或圆周界度。可以为每次扫描生成一个或多个扫描特定统计数据。扫描特定统计数据可以包括(例如)每次扫描检测到的对象的数量、基于每次扫描检测到的对象的数量的统计数据(例如，平均值、中值或最大值)、基于对象特定统计数据的统计数据(例如，平均值、中值或最大值)或基于在每次扫描中检测到的对象的体积的统计数据(例如，平均值、中值或最大值)。可以进一步为给定受试者生成受试者级统计数据，诸如(例如)在所有扫描中检测到的对象的总数(例如，与给定受试者相关联)、在所有扫描中检测到的对象的最长维度长度的总和、和/或在所有扫描中检测到的对象的累积体积。
45.可以输出扫描特定、对象特定的统计数据和/或受试者级统计数据。在一些情况下，统计数据可以与时间点和受试者标识符相关联地存储。然后可以随时间跟踪和比较统计数据以估计医疗状况进展的程度、给定治疗的疗效和/或给定受试者的预后。
46.ii.定义
47.如本文所用，“医学图像”是指受试者的内部身体的图像。医学图像可以包括ct图像、mri图像和/或x射线图像。医学图像可以描绘受试者的组织、器官和/或整个解剖学区域的一部分。医学图像可以描绘受试者的躯干、胸部、腹部和/或骨盆的一部分。医学图像可以描绘受试者的全身。医学图像可以包括二维图像。
48.如本文所用，“全身成像”是指采集共同描绘受试者的全身的一组图像。该组图像可以包括与从受试者的第一端(例如，前端)跨越到第二端(例如，后端)的虚拟“切片”相关联的图像。该组图像可以包括受试者的至少大脑区域、胸部区域、腹部区域和骨盆区域的虚拟切片。
49.如本文所用，“图像堆栈”是指描绘一组相邻虚拟切片的一组图像。因此，该组图像可以与(例如)不同的深度相关联。图像堆栈可以包括(例如)至少2个图像或至少3个图像。图像堆栈可以包括底部图像、中间图像和顶部图像，其中与中间图像相关联的深度在底部图像的深度和顶部图像的深度之间。底部图像和顶部图像可用于提供与中间图像处理相关的上下文信息。
50.如本文所用，“生物对象”(例如，也称为“对象”)是指生物结构和/或与该生物结构相关联的一个或多个目标区域。示例性生物结构可以包括受试者的一个或多个生物细胞、器官和/或组织。对象可以包括(但不限于)这些识别的生物结构和/或在所识别的生物结构内或与其连接的类似结构(例如，在较大的正常细胞体内识别的多个肿瘤细胞和/或组织，受试者的器官和/或组织)。
51.如本文所用，“掩膜”是指代表检测的对象的表面区域或其他目标区域的图像或其他数据文件。掩膜可包括强度非零的像素以指示一个或多个目标区域(例如，一个或多个检测的对象)以及强度为零的像素以指示背景。
52.如本文所用，“二进制掩膜”是指其中每个像素值为两个值之一(例如，0或1)的掩
膜。零强度值可指示对应的像素是背景的一部分，非零强度值(例如，1值)可指示对应的像素为目标区域的一部分。
53.如本文所用，“3d掩膜”是指对象在3维图像内的完整表面区域。可以组合对象的多个二进制掩膜以形成3d掩膜。3d掩膜可以另外提供有关对象或其他目标区域的体积、密度和空间位置的信息。
54.如本文所用，“分割”是指确定对象或目标区域在(2维或3维)图像或其他数据文件内的位置和形状。分割可涉及确定描绘图像内对象的区域或周界的一组像素。分割可涉及生成对象的二进制掩膜。分割可进一步涉及处理对应于对象的多个二进制掩膜以生成该对象的3d掩膜。
55.如本文所用，“分割边界”是指图像内对象的估计周界。分割边界可在分割过程中生成，在该分割过程中，分析图像的特征以确定对象边缘的位置的。分割边界可进一步由二进制掩膜表示。
56.如本文所用，“治疗”是指开出或给予治疗、药物和/或放射和/或开出或执行外科手术以治疗医学病症(例如，以减缓医学病症的进展、停止医学病症的进展、降低医学病症的严重性和/或程度、和/或治愈医学病症)。
57.iii.示例性交互系统
58.图1a图示了用于使用、采集和处理医学图像以使用多级神经网络平台的示例性交互系统。在该特定示例中，交互系统被具体配置为定位和分割医学图像内的肿瘤生物结构和器官的描绘。
59.a.输入数据
60.一个或多个成像系统101(例如，ct机、mri机和/或x射线机)可用于生成一组或多组医学图像102(例如，ct图像、mri图像和/或x射线图像)。成像系统101可以被配置为在采集多个图像时迭代地调整焦点和/或位置，使得一组图像中的每个图像相对于该组中的其他图像与不同的深度、位置和/或透视图相关联。成像系统201可以包括光源(例如，电动和/或x射线源)、光检测器(例如，照相机)、透镜、物镜、滤光片、磁体、匀场线圈(例如，以校正磁场中的不均匀性)、梯度系统(例如，以定位磁共振信号)和/或rf系统(例如，以激发样品并检测产生的核磁共振信号)。
61.每组图像102可以对应于成像会话、会话日期和主题。受试者可以包括人或动物受试者。受试者可能已被诊断患有特定疾病(例如癌症)和/或患有一种或多种肿瘤。
62.每组图像102可以描绘对应受试者的内部。在一些情况下，每个图像描绘受试者的至少一个目标区域(例如，一个或多个器官、胸部区域、腹部区域和/或骨盆区域)。
63.该组图像102中的每个图像可以另外具有相同的视角，使得每个图像描绘与该组中的其他图像中所描绘的其他平面平行的平面。在一些情况下，该组图像中的每个图像可以对应于沿着不平行于(例如，垂直于)平面的轴的不同距离。例如，该组图像102可以对应于一组水平虚拟切片，该组水平虚拟切片对应于沿着受试者的前后轴的不同位置。可以(例如，共同地或单独地)预处理该组图像102。例如，预处理可以包括标准化像素强度、将图像彼此对齐或与另一参考点/图像对齐、将图像裁剪为统一尺寸和/或调整对比度以区分亮像素和暗像素。在一些情况下，可以处理该组图像102以生成3维(3d)图像结构。然后该3d图像结构可以用于生成对应于虚拟切片的不同角度的另一组图像。
64.b.训练数据
65.由成像系统101中的至少一个成像系统采集的一些医学图像可以包括将被包括在训练数据集中以训练一个或多个神经网络(例如，边界框检测网络和分割网络)的训练图像。与使用训练的网络的受试者相比，训练图像可以与其他受试者相关联。
66.每个训练图像可以具有本文描述的医学图像102的一个或多个特点并且可以与指示图像是否和/或在何处描绘肿瘤和/或器官的注释数据相关联。为了识别该注释数据，由成像系统101采集的图像可用于(例如，传输到)注释器装置103。
67.可以在注释器装置103处呈现图像，并且注释器用户(例如，诸如放射科医生)可以使用(例如)鼠标、跟踪板、手写笔和/或键盘来提供输入，该输入指示(例如)图像是否描绘任何肿瘤(或一种或多种特定类型的器官)；图像中描绘的肿瘤的数量；注释器正在注释(例如，概述)的肿瘤的数量；一个或多个肿瘤和/或一种或多种特定类型的器官中的每一个的周界。
68.注释器装置103可以将输入转换成(例如)标签数据104。每个标签数据集可以与对应的图像数据集相关联。标签数据104可以指示图像是否包含肿瘤和/或一种或多种特定类型的器官。标签数据104可以通过识别肿瘤和/或器官的空间特征(例如，周界和/或面积)进一步指示肿瘤和/或器官在图像内的位置。例如，标签数据104可以包括一组坐标，该组坐标标识与一组描绘的肿瘤中的每个肿瘤的周界相关联的坐标。作为另一示例，标签数据104可以包括关于训练图像中的哪些像素(或体素)对应于所描绘的肿瘤的周界和/或面积的指示。
69.还可以为多个对象另外识别空间特征。在一些情况下，标签数据104可以(但不必)识别训练图像内描绘的所有肿瘤、器官和/或其他生物对象的空间特征。例如，如果训练图像描绘了10个肿瘤，则标签数据104可以识别10个肿瘤中的每个肿瘤的周界，或者仅识别所描绘的肿瘤中的2个肿瘤的周界。在这种情况下，可以(但不必)基于预定义的选择标准来选择对象的不完整子集。例如，可能已经指示注释器用户仅标记满足阈值肿瘤长度和/或阈值肿瘤体积和/或在目标区域内(例如，在一个或多个特定器官内)的肿瘤描绘。
70.标签数据104可以进一步识别肿瘤分类，其可以表示基于来自注释器的输入而识别的肿瘤的类型、位置和/或大小。例如，特定标签可以指示所描绘的肿瘤在图像102的区域内，如对应于特定器官(例如，肝)。标签数据104可以进一步包括特定标签实际上对应于肿瘤或目标器官的概率。可以基于肿瘤长度、肿瘤体积、与受试者的位置和/或将特定标签识别为对应于肿瘤或器官的注释用户的数量来计算概率值。
71.标签数据104可用于训练一个或多个神经网络以针对图像扫描中的每个图像检测包括对肿瘤或器官描绘的每个区域。训练的神经网络可以被配置为通过使用对应于各次扫描中的每次扫描的图像堆栈处理具有单独焦点的图像扫描(例如，以针对每个单独图像定义特定区域)来描述被识别为包括所描绘的肿瘤或器官的每个区域。
72.c.边界框检测网络
73.神经网络处理系统120可以被配置为接收一组或多组图像102和对应的标签数据104。一组或多组图像中的每个图像最初可以由预处理控制器105进行预处理。例如，描绘受试者的不同区域的一个或多个图像可以被拼接以生成描绘所有不同区域的聚合图像。在一些情况下，聚合图像描绘了受试者的“全身”视图。作为另一示例，可以将一个或多个图像缩
放和/或裁剪成预定义大小。在又一示例中，一个或多个图像可以与该组内包括的另一图像或参考图像对齐(例如，使用图像中的对齐标记、基于相关性的技术或基于熵的技术)。在另一示例中，一个或多个图像的像素强度可以经由归一化或标准化方法进行调整。在一些情况下，该组图像102不经过任何预处理技术。
74.预处理的图像可用于边界框检测控制器106，如本文所述，该边界框检测控制器可以控制和/或执行边界框检测网络的所有功能和操作。边界框检测网络可以是卷积神经网络、反-卷积神经网络或三维神经网络，其被配置为识别该组图像102内的包括对肿瘤的描绘的区域(例如，边界框)。由边界框检测神经网络识别的区域可以包括一个或多个矩形或超矩形区域。
75.边界框检测控制器106可以使用训练图像和对应的注释来训练边界框检测网络以学习一组检测参数107。检测参数107可以包括卷积网络中的节点之间的权重。可以设置惩罚函数以在检测到的边界框的一部分未能完全包括对肿瘤的描绘和/或在另一个水平和/或垂直点之间的填充小于下限阈值和/或大于上限阈值时引入惩罚。在一些情况下，惩罚函数被配置为对大于或小于预定义的缩放范围的边界框进行惩罚。惩罚函数可以包括焦点损失。焦点损失(如在lin,t.y.,goyal,p.,girshick,r.,he,k.,dollar,p.“focal loss for dense object detection.”iccv 2017,pp.2980-2988(2017)中所定义，该文献出于所有目的通过引用其整体被并入本文)可用于处理类别不平衡以及将检测任务的训练“重新聚焦”到肿瘤中的标签感知可变性导致的难以预测的情况。
76.可以使用一个或多个固定超参数进行训练和/或定义边界框检测网络。例如，超参数可以包括学习率、每层的节点数、层数等。
77.边界框检测网络可以检测对应于图像102中的每个图像内的潜在肿瘤描绘的一个或多个边界框108。边界框的检测可以包括针对每个图像使用图像堆栈以定位边界框。例如，如果在特定成像会话期间采集了100个图像(根据成像深度依次编号)，则在检测第七个图像内的边界框时，图像堆栈可以被定义为包括第六个图像、第七个图像和第八个图像。图像堆栈可以包括在一个或多个方向上的多于一个相邻图像(例如，以便在检测第七个图像内的边界框时包括第三个至第十一个图像)。
78.图像堆栈的特征用于在确定一个或多个区域是否和/或在何处包括肿瘤和/或器官时提供上下文信息。该等特征可以包括跨图像堆栈内的图像延伸的三维特征。例如，如果特征(例如，学习的特征)存在于整个图像堆栈(例如，顶部虚拟切片、底部虚拟切片和中心虚拟切片的组合)中的相似位置，边界框检测网络可以确定对应于(例如，包括)该特征的图像区域代表肿瘤的边界框。作为替代示例，如果图像堆栈的中心切片的特征不存在于图像堆栈的顶部切片或底部切片中，则边界框检测网络可以确定对应于该特征的图像区域对应于图像的背景(即除肿瘤以外的任何生物结构)，并且不指示边界框。在一些情况下，边界框检测网络可以另外地为每个检测到的边界框分配概率值。如果边界框的概率值不超过阈值，则可以将边界框丢弃为背景。
79.边界框检测网络可以进一步处理每个检测到的边界框108，使得边界框的边距包括来自对应于肿瘤的区域的每个边缘的至少一定量的填充(例如，10px、15px或其他合适的量)。在一些情况下，填充量是预定义的(例如，以便生成与距离检测到的对象描绘的左侧、顶部、右侧和底部最远的像素相交的初始框，并使用预定义填充扩展该框或直到遇到图像
边界)。在其他情况下，添加不同程度的填充以便保持统一的边界框大小。
80.边界框数据108可以包括每个边界框的定义(例如，作为两个或更多个角坐标、一个或多个边缘的坐标等)和/或对应的图像或图像集的一个或多个标识符(例如，图像、受试者、成像日期等的标识符)。
81.应当理解，一个图像中的边界框的位置可以与另一图像中的边界框的位置相关。图像堆栈可以用于传达这种依赖性，尽管可以进一步或替代地使用其他处理。例如，边界框检测神经网络的输入可以包括从先前处理的图像(对应于相同的成像会话和相同的受试者)中检测到的一个或多个边界框中的每个边界框的标识。作为另一示例，可以对边界框输出进行后处理，以基于来自一个或多个其他相邻图像的边界框检测来修改(例如，平移、调整大小、删除或添加)对应于一个图像的边界框检测。
82.图1b示出了描绘单个生物对象125的一组边界框的示例性图像堆栈。图像堆栈可以至少包括图像121、图像122和图像123，其中图像堆栈的每个图像描绘受试者的区域的不同轴向透视图。在一些情况下，图像堆栈可以包括图中未示出的附加图像。图像堆栈内的每个图像可以进一步包括描述特定图像内的生物对象125的可能位置的边界框，使得每个边界框可以与图像堆栈内的其他图像中包括的对应边界框相关，因为每个边界框标识相同生物对象125的存在。例如，图像121包含覆盖图像121的至少一部分的边界框121a，并且图像122包含覆盖图像122的至少对应部分的边界框122a，使得边界框121a和边界框122a是相关的边界框，并且包括已被预测为分别从第一轴向透视图和第二轴向透视图描绘生物对象125的第一可能位置和第二可能位置的区域。在其他情况下，可能未在图像堆栈内的图像的至少一个子集(例如，一个或多个)内检测到生物对象125，并且因此图像堆栈内的图像子集可能不包括生物对象125的相关边界框。
83.在图像堆栈内的相关边界框的确切位置(例如，由一组坐标表示)、表面积和/或形状内可能还存在差异。在该示例中，边界框121a的表面积可能小于边界框122a的表面积，因为估计生物对象125的大部分位于图像122内。相关边界框中的每个相关边界框的位置可以另外包括一个或多个变化(例如，在x平面、y平面或两者中)，所述变化考虑了相同生物对象125从图像堆栈内的图像的一个或多个不同的轴向透视图的对应位置。
84.在一些情况下，响应于识别图像堆栈的一组相关边界框，为相关边界框中的每个边界框确定检测区域。例如，图像121可以包括围绕边界框121a的检测区域121b。对于图像堆栈内的每个图像，检测区域可以是相同大小并且在相同位置内。在一些实施例中，检测区域的大小和位置可以从图像堆栈的中心切片(例如，在这种情况下，图像122)内的边界框的位置来确定。检测区域可以被配置为包括识别的边界框中的每个边界框的整体以及附加的填充。在一些情况下，检测区域可以由与边界框检测网络分离的另一神经网络确定。
85.d.肿瘤分割网络
86.返回参考图1a，边界框数据108可以被传输到肿瘤分割控制器109，其可以控制和/或执行肿瘤分割网络的所有功能或操作，如本文所述。可以使用在训练边界框检测网络期间确定的至少预测的边界框数据的训练数据集来训练肿瘤分割网络。可以在训练期间学习一组分割参数110(例如，权重)。在所描绘的实例中，肿瘤分割网络可以是(例如)神经卷积神经网络或三维神经网络，其被配置为检测和分割对肿瘤的描绘。在一些情况下，肿瘤分割网络不包括神经网络，而是可以使用(例如)聚类技术(例如，k-means技术)、基于直方图的
技术、边缘检测技术、区域增长技术和/或图形分区技术。肿瘤分割网络可以被配置为分割检测到的边界框108中的每个边界框内的肿瘤。
87.对于该组图像102内的每个医学图像，边界框108包括(例如)对应于边界框的图像的一个或多个部分，或者图像的整体以及与相应图像相关联的边界框的标识(例如，顶点的坐标和/或边缘坐标)。在一些实施例中，可以执行中间处理(未示出)以生成仅对应于由边界框108包围的图像102的区域的一组裁剪图像(例如，本文称为检测区域)。在为给定图像定义多个边界框的实例中，肿瘤分割网络可以接收每个对应的检测区域作为输入并分别处理检测区域。
88.检测区域可以提供如图1b内所描绘的目标肿瘤的聚焦视图。在一些情况下，检测区域可能具有预定义大小。在这种情况下，检测区域可以包括与对应于边界框的区域相邻的另一组区域作为附加填充，以保持检测区域的预定义大小。在其他情况下，如果边界框大于预定义大小(例如，400像素或200像素x 200像素)，则对应于边界框的区域被划分为多于一个窗口(例如，和/或不大于预定义大小)，使得每个窗口对应一个单独的检测区域。在这种情况下，对应于单个边界框的检测区域可以包括图像的重叠部分。
89.如果边界框延伸过整个图像堆栈(如图1b所示)，则可以为图像堆栈内的每个图像定义单独的检测区域。在一些实施例中，检测区域的处理由边界框检测网络在将边界框数据108传输到肿瘤分割控制器109之前执行。
90.肿瘤分割控制器109实现肿瘤分割网络，其被配置为进一步识别和评估每个检测区域的特征(例如，像素强度的变化)以识别对应于肿瘤的周界、一组边缘和/或轮廓。肿瘤分割网络识别的特征可能与边界框检测网络识别的特征相似和/或不同。尽管可以训练两个网络以识别图像中与肿瘤相对应的区域，但与相对较大的结构相比，不同的特征可能有助于检测相对较小的结构。在一些情况下，肿瘤分割网络可以通过(例如)分析像素强度、像素颜色和/或任何其他合适的图像特征来学习检测对象的位置。作为示例，肿瘤分割网络可以通过分析图像以检测具有高对比度、大强度范围和/或高强度变化的区域(例如，通过将区域特定度量与预定阈值进行比较来确定)来识别对象的边缘。肿瘤分割网络可以包括对应于不同感受野的节点(并因此分析不同像素集合的表示)。因此，网络可以学习检测和使用至少一些不同类型的特征。
91.在一些情况下，肿瘤分割网络可以利用图像堆栈内的其他图像提供的空间上下文来识别对应于肿瘤的一组边缘和/或轮廓。图像堆栈可以包括(例如)三个图像，其中中心图像是要在其中检测肿瘤的图像。
92.肿瘤分割网络可以进一步使用所识别的边缘和/或轮廓生成对应于给定检测区域内的肿瘤的整个表面区域的2-维(例如，二进制)肿瘤掩膜110。肿瘤掩膜110可以被定义为在未被识别为描绘肿瘤的任何部分的像素上具有零值。可以为被识别为描绘肿瘤的一部分的像素分配值一(例如，对于二进制掩膜)或另一个值。
93.在一些情况下，为图像堆栈中的每个图像生成二进制肿瘤掩膜110，使得每个二进制肿瘤掩膜110对应于肿瘤的不同轴向透视图。在这种情况下，后处理控制器111可以聚合该组二进制肿瘤掩膜110以构建表示肿瘤的3维定位和形状的3d肿瘤掩膜110。
94.e.器官特定分割网络
95.在一些情况下，神经网络处理系统120可以包括器官分割控制器111，其被配置为
实现器官特定分割网络。器官特定分割网络可以包括(例如)卷积神经网络和/或三维神经网络。示例性卷积神经网络可以包括vgg 16、u-net和/或resnet18网络。器官特定分割网络可以被配置为分析对应于受试者的医学图像并且分割图像内描绘的一个或多个器官。在这种情况下，一个或多个器官特定分割网络中的每个器官特定分割网络可以被配置(例如，经由在训练期间学习的参数)为分割特定类型的器官。示例性目标器官可以是(例如)肝、肺、肾或胰腺等。
96.在一些情况下，器官特定分割网络可以被配置为执行一系列卷积，诸如逐深度卷积和逐点卷积，作为分割过程的一部分。在这种情况下，可以进一步执行沿着特定维度的一个或多个膨胀。该特定维度可以是第三维度、第四维度等。在一些情况下，肿瘤分割网络还可以应用一个或多个过滤器，例如复制过滤器。
97.在所描绘的实例中，器官分割控制器111可以控制被配置为检测特定类型器官的器官特定分割网络。可以使用包括训练图像和注释的训练数据集来训练器官特定分割网络，这些训练图像和注释指示在至少一些训练图像的每个训练图像内的哪些部分描绘了特定类型的器官。训练数据集可以与边界框检测网络和肿瘤分割网络使用的训练数据集分开。训练数据集可以包括用于特定目标器官的多个医学图像和对应的注释和/或分割边界(例如，由注释器装置103生成)。可以在训练期间学习一组器官分割参数112(例如，权重)。在一些情况下，预处理控制器105可以将同一组医学图像102传输到边界框检测控制器106和器官分割控制器111两者。
98.训练的器官特定分割网络可以用于处理一组图像和/或预处理图像中的每个图像以检测器官。用于检测特定类型的器官的图像可以与提供给边界框检测控制器106的该组图像102相同(或不同)，使得这些图像同时提供给器官分割控制器111。该组图像可以被划分为包括1个、2个或3个图像的多个(例如，重叠的)子集。例如，子集可以被定义为每个子集具有三个图像，并且每个子集移动一个图像。在一些情况下，图像可能会经过预处理，以将图像对齐为描绘受试者的“全身”视图的3d图像。
99.在每个图像内，器官特定分割网络可以指示给定图像是否描绘了特定类型的器官，并进一步识别对器官的描绘的周界。器官特定分割网络的输出可以包括器官掩膜113，其(例如)对于不描绘特定类型的器官的像素具有零值，并且对于描绘特定类型的器官的像素具有非零值。在一些情况下，可以生成对应于目标器官的不同虚拟切片(例如，透视图)的多个2维器官掩膜。可以聚合这些2维器官掩膜以针对每个器官生成3d器官掩膜。
100.后处理控制器114可以单独和/或共同处理肿瘤掩膜110和器官掩膜113以生成统计数据和/或描述符。例如，对于每个肿瘤，后处理控制器114可以识别肿瘤的体积并且可以进一步识别肿瘤是否在任何器官内(如果是，那么是哪种类型的器官)。后处理控制器114可以进一步处理(2维或3维肿瘤掩膜)以计算受试者级肿瘤统计数据，诸如受试者的总肿瘤体积和/或密度和/或最长维度的总和。在一些情况下，最长维度的总和可以是最长直径的总和，如此为每个肿瘤计算最长直径并且求和以形成最长直径的总和。在一些情况下，后处理控制器114可以识别肿瘤质量相对于对应目标器官质量的百分比作为另一个示例性统计数据。
101.神经网络处理系统120可以将描述符和/或统计数据输出到用户装置。此外，可以传输一个或多个肿瘤掩膜和/或一个或多个器官掩膜的表示。例如，可以生成包括对原始图
像的描绘的图像，对该原始图像的描绘具有识别受试者的每个检测到的肿瘤和/或器官的周界的覆盖。在一些情况下，后处理控制器114可以进一步处理(例如，或传输到另一模型和/或控制器以进行处理)受试者级肿瘤统计数据以生成使用一种或多种治疗方法的存活概率的分数。
102.尽管图1a中描绘的交互系统涉及检测肿瘤并确定各个肿瘤是否在不同器官内，但替代实施例可以涉及检测其他类型的生物对象。例如，可以训练第一网络来检测脑病变，并且可以训练其他网络来检测各个脑区域，使得可以确定病变位于哪个脑区域。同样地，替代实施例可以用不同的分割神经网络替换至少肿瘤分割网络，该分割神经网络被训练来分割医学图像内的其他生物结构。
103.iv.预测网络系统
104.图2图示了示例性预测神经网络系统200，其可以使用来自神经网络处理系统120的一个或多个输出元素(例如，器官掩膜)，以基于治疗方法的疗效预测受试者的存活概率的分数。在施用治疗方法之前，可以通过受试者的一个或多个特征(例如，根据肿瘤体积或密度测量的疾病进展)来确定疗效。
105.在期望预测这些分数的实例中，神经网络处理系统120可以将一个或多个医学图像202和器官掩膜204用于预测神经网络系统200。图像202可以是边界框检测网络和肿瘤分割网络所使用的相同图像的子集，如第iii节中所讨论的。在一些情况下，图像202可以另外包括对应的度量，诸如肿瘤的计数、体积和/或位置。器官掩膜204可以另外包括由器官特定分割神经网络生成的至少一个或多个器官掩膜。在一些情况下，神经网络处理系统120可以另外将已经由肿瘤分割网络生成的肿瘤掩膜(图中未描绘)用于预测神经网络系统200。
106.在所描绘的实例中，预测网络控制器206可以被配置为控制和/或执行预测神经网络的任何操作，如本文所述，预测神经网络可以是不同于在神经网络处理系统120中描述的边界框检测网络和肿瘤分割网络的神经网络。预测网络控制器206可以使用对应于一组或多组可比较受试者对的图像来训练预测神经网络以预测与受试者的一种或多种治疗方法相关联的存活率或死亡率。
107.如果(例如)第一受试者和第二受试者都接受了相同的治疗方法并且第一受试者在接受治疗后与第二受试者相比具有不同的存活期，则可以认为一对受试者是可比较的。相反，如果第一受试者的第一存活期是不确定的，则一对受试者不被认为是可比较的，使得第一存活期仅被跟踪特定时间段(例如，临床试验的长度)，但是在特定时间段之后没有采集与第一存活期相关的额外数据，并且第二受试者具有至少在跟踪第一存活期的特定时间段之后的第二存活期。因此，并非所有可能的受试者配对都可以被认为是可比较的。
108.在训练期间，可以为预测神经网络确定一组预测参数208(例如，权重)。训练数据元素可以包括与可比较受试者对中的每个受试者相关联的至少一个或多个输入图像或度量(例如，所有检测到的生物对象的累积体积)以及测量每个受试者在已经施用治疗后的存活期的度量。基于每个受试者的存活期的分数和/或排名也可以包括在训练数据元素内。分数和/或排名可以对应于使用所施用的治疗的受试者的存活可能性。训练可以利用使训练期间该对受试者之间的分数差异最大化的损失函数，使得与第二受试者相比，第一受试者被确定为具有使用该治疗的最佳存活机会。
109.参考受试者数据210可以是针对多个参考受试者中的每个受试者的至少包括所施
用的治疗方法、存活期和一个或多个受试者级度量(例如，肿瘤的数量、肿瘤的位置、sld或肿瘤的体积)的数据库，使得多个参考受试者中的每个受试者可以进一步包括受试者级统计数据，例如基于单个受试者与多个参考受试者相比的存活期的排名。对于多个参考受试者中的每个参考受试者，该排名可以是从1到预测相对死亡风险的多个参考受试者内的受试者的总数的值k(例如，表示为受试者在治疗后存活的可能性，或受试者的预期存活期)。每个受试者的存活期可以从疾病的诊断或受试者的治疗期的开始进行测量。在一些情况下，多个参考受试者中的至少一些受试者可能已经死亡。参考受试者数据210可以具体地通过所施用的治疗方法对参考受试者进行分组。
110.当预测使用特定治疗方法的目标受试者的存活率时，预测神经网络可以从参考受试者数据210中选择一个或多个满足与目标受试者的可比性标准的参考受试者，以形成至少一个或多个受试者对，使得每对包括目标受试者和不同的参考受试者。
111.然后，预测网络可以通过将目标受试者与选定的参考受试者中的每个参考受试者进行比较来确定给定受试者的预测分数212。预测分数212可以是指示目标受试者的存活概率和/或存活长度的任何合适的度量(例如，百分比或时间段)。与参考受试者的比较可涉及将在接受治疗方法之前与每个参考受试者相关联的一个或多个特点与和目标受试者相关联的相同特点进行比较。在一些情况下，可以为一个或多个受试者对生成排名，使得受试者的排名值可以指示受试者的存活可能性。例如，具有最低排名值的受试者可以被预测为具有使用治疗方法的最差存活可能性。对于一个或多个受试者对中的每个受试者，排名值可以从肿瘤的总肿瘤计数、体积或密度和/或位置确定。
112.可以至少基于与参考受试者相比目标受试者落入排名内的位置来计算目标受试者的预测分数212。然后可以预测治疗方法是否和/或在何种程度上对目标受试者有效。
113.v.示例性高级过程
114.图3图示了用于使用多级神经网络平台来处理医学图像的示例性过程300的流程图。可以使用一个或多个计算系统来执行过程300。
115.过程300开始于框305，在该框处，访问训练数据集。该训练数据集包括多个训练元素。训练元素包括对应于受试者的一组医学图像(例如，ct图像)和识别该组医学图像内的生物对象的存在的注释数据。注释数据包括指示生物对象的存在的标签和(如果存在生物对象的话)生物对象的一般位置(例如，肝、肾、胰腺等)。注释数据可能不完整，因此不包括一个或多个生物对象的存在。在一些情况下，医学图像可以对应于基于来自至少两个或更多个放射科医生的注释的两个或更多个不同组的注释数据。在这种情况下，对应于同一图像的不同组注释数据包括差异，诸如一个或多个附加生物对象的标识或其缺乏和/或一个或多个生物对象在注释大小和/或对象周界的差别。训练数据集可能已经使用一个或多个成像系统和一个或多个注释装置生成，如第iii节中所公开的。
116.在框310，使用训练数据集训练多级神经网络平台。多级神经网络平台可以包括边界框检测网络和生物结构分割网络。在一些情况下，神经网络平台另外包括一个或多个器官特定分割网络。
117.可以训练边界框检测网络来检测对应于生物对象的区域的边界框。具体地，训练边界框检测网络涉及为对应于图像内的生物对象的每个区域定义边界框。可以进一步标记生物对象中的每个生物对象以指示有界区域对应于给定对象(例如，当跨该组图像识别多
个对象时)。在一些情况下，标签还可以包括受试者内的生物对象的位置。
118.训练生物结构分割网络(其类似于图1a中描述的肿瘤分割网络)以识别所描绘的生物对象的边界和总面积。分割网络的训练可以包括访问附加训练数据集。该附加训练数据集可以包括最初访问的训练数据集的所有训练数据元素以及由放射科医生生成的标记的分割数据。标记的分割数据可以包括生物对象的二进制掩膜或3维掩膜。在一些情况下，训练分割网络以进一步纠正由检测网络生成的误报(例如，将背景区域错误标记为对象)。
119.可以使用逐像素交叉熵损失、dice系数损失或复合损失来进一步进行训练。损失函数可以基于(但不限于)均方误差、中值平方误差、平均绝对误差和/或基于熵的误差。
120.还可以访问验证数据集以评估多级神经网络平台与其训练的性能。验证数据集可以是与训练数据集分开的另一组医学图像和对应的注释数据。如果验证数据集的医学图像内的生物对象的识别和分割都达到了目标准确度，则可以终止训练会话。
121.在框315，访问对应于受试者和/或单个成像会话的一组医学图像。该组医学图像可以描绘受试者的胸部区域、腹部区域和/或“全身”区域。在一些情况下，可以拼接对应于胸部区域的第一医学图像、对应于腹部区域的第二医学图像和对应于骨盆区域的第三医学图像以生成对应于受试者的“全身”区域的第四医学图像。
122.医学图像可以使用如第iii.a节中公开的一个或多个成像系统生成。在一些情况下，一个或多个成像系统可以被配置为生成对应于受试者的区域的不同透视图的图像。在这种情况下，多个医学图像可以描绘特定区域的不同虚拟切片。
123.在框320，该组医学图像可用于边界框检测网络。分析每个图像以识别一个或多个边界框。每个边界框可以识别对应于目标生物对象的图像区域。图像的分析可以包括使用对应于图像上方的区域和/或视图的第一虚拟切片和对应于图像下方的区域和/或视图的第二虚拟切片，使得第一虚拟切片和第二虚拟切片提供用于确定对应于目标生物对象的区域的附加空间上下文。
124.在一些情况下，边界框可以包括围绕对应于目标生物对象的所识别区域的一组边距(例如，举例来说，10px的填充)。如果在图像内识别出对应于生物对象的多于一个区域，则边界框检测网络可以识别图像的多于一个边界框。
125.在框325，对应于医学图像的一个或多个边界框可用于分割网络。该分割网络可以裁剪医学图像以生成一组检测区域，该组检测区域描绘了对应于边界框的每个区域的放大视图。可以为检测区域分配统一大小，使得如果区域小于统一大小，则检测区域可以包括附加填充以及对应于边界框的区域。在区域大于统一大小的情况下，对应于边界框的区域可以被划分为多于一个检测区域。在多个检测区域对应于边界框的情况下，可以将对应于边界框的区域划分为一组滑动窗口，使得一些窗口包括该区域的重叠子集。
126.对于与边界框相关联的每个检测区域，生物结构分割网络可以评估检测区域的图像特征以定位生物对象并生成对应于生物对象的第一二进制掩膜。如果为给定图像识别了多个边界框，则生物结构分割网络可以识别边界框中的每个边界框内描绘对应生物对象的区域。可以为每个生物对象生成二进制掩膜。在一些情况下，可以使用描绘生物对象的不同透视图的图像为生物对象生成多于一个二进制掩膜。
127.在框330，可以处理对应于相同对象的一个或多个二进制掩膜(例如，经由后处理)以生成3d掩膜。一个或多个二进制掩膜中的每个二进制掩膜和每个3d掩膜可以对应于单个
生物对象。因此，例如，可以为给定受试者的成像会话生成多个3d掩膜，其中每个3d掩膜对应于多个生物对象中的一个生物对象。
128.处理一组二进制掩膜可以包括聚合二进制掩膜以形成对象的3d结构，如第iii.d节中所述。由于一些二进制掩膜可以进一步包括重叠区域，分割网络可以调整一个或多个二进制掩膜的区域以考虑重叠区域和/或选择不包括一个或多个可能描绘冗余透视图的二进制掩膜。
129.在框335，对应于一个或多个掩膜的医学图像(例如，如从框315访问的)可用于一个或多个器官特定分割网络以确定生物对象的位置。每个器官特定分割网络可以对应于特定的目标器官(例如，肝、肾等)，并且可以被训练以识别图像内的特定的目标器官。器官特定分割网络可以接收并处理该组图像以识别对应的目标器官的位置。如果检测到对应的目标器官，则网络可以另外生成对应器官的掩膜。生成的器官掩膜可以是二进制掩膜和/或3维掩膜。
130.在框340，分析一个或多个掩膜(例如，一个或多个3d生物对象掩膜、一个或多个2维生物对象掩膜和/或一个或多个器官掩膜)以确定一个或多个度量。度量可以包括生物对象的特点。例如，所述度量可以包括对象计数、对象的位置和/或类型、特定位置和/或类型的对象计数、一个或多个对象的大小、对象的平均大小、对象的累积大小和/或一种或多种类型的肿瘤中的每种肿瘤内的对象的数量。
131.在一些情况下，所述度量包括对象的一个或多个空间属性，诸如对象的体积、对象的最长维度的长度和/或对象的横截面积。一个或多个空间属性可以进一步用于为给定受试者内检测到的所有对象生成受试者级统计数据。受试者级统计数据可以包括(例如)给定受试者的累积对象体积、给定受试者的最长维度的对象长度的总和(例如，诸如最长直径的总和)和/或给定受试者的检测到的对象的累积横截面积。
132.在一些情况下，将度量与和在先前成像日期期间采集的同一受试者的医学图像相关联的另一度量进行比较以生成相对度量(例如，百分比或绝对变化)。可以输出所述度量(例如，传输到另一装置和/或呈现给用户)。然后可以由(例如)医学专家和/或放射科医生分析输出。在一些情况下，所述度量与对一个或多个掩膜的描绘一起输出。
133.所述度量可用于预测(例如，在使用一个或多个存储的规则的计算系统处和/或经由用户)受试者的诊断和/或疗效。例如，诸如累积生物对象体积的受试者级统计数据可以用于确定疾病阶段(例如，通过确定对应于累积体积的范围)。作为另一示例，可以将生物对象体积和/或计数的相对变化与一个或多个阈值进行比较，以估计当前和/或先前的治疗是否有效。
134.在一些情况下，度量可用于基于由预测神经网络计算的受试者的存活概率来预测一种或多种治疗方法的分数。可以使用诸如累积对象体积和/或对象的最长维度的长度的总和的一个或多个空间属性来预测分数。在一些情况下，可以生成存活概率的一个或多个分数以对一组受试者和/或治疗进行分级。在这种情况下，可以将受试者和/或治疗的分数与另一受试者和/或另一治疗的一个或多个分数进行比较以确定排名。受试者特定排名可以识别相对于已经被施用给定治疗的其他先前受试者的对于给定治疗具有最高存活概率的至少一个或多个受试者。治疗特定排名可以识别给定受试者相对于其他治疗具有最高成功(例如，存活)可能性的治疗。在一些情况下，受试者特定排名和/或治疗特定排名也作为
输出返回。
135.vi.示例性实施方式
136.vi.a.实施方式1
137.vi.a.1.用于肿瘤的自动识别和分割的流水线
138.使用由边界框检测网络(在下面的步骤1中讨论)和肿瘤分割网络(在步骤2-3中讨论)组成的自动检测和分割方法从全身ct扫描中进行肿瘤分割。
139.vi.a.1.a.步骤1：边界框检测
140.具有retinanet架构的边界框检测网络(本文称为“检测网络”)用于预测医学图像的区域是否描绘了肿瘤，生成识别图像区域内肿瘤的一般空间位置的边界框，并为描绘肿瘤的每个一般空间位置提供部位标签的概率。在训练检测网络时，对已发布的retinanet架构进行了修改，将所有卷积更改为可分离卷积。对于每个医学图像，包括一组三个连续轴向ct切片(没有固定分辨率)的图像堆栈用作检测网络的输入。训练检测网络以检测包括切片中的每个切片(包括在图像堆栈内)内的肿瘤的区域，为检测到的区域中的每个区域生成边界框，并将它们归因于以下可用部位标签中的一个部位标签：肺、纵隔、骨、肝等。图4图示了描绘以下项的一组示例图像：(i)受试者的预处理的全身扫描；(ii)识别被预测为对应于纵隔部位的肿瘤的边界框和识别被预测为对应于受试者的轴向切片内的肺部位的肿瘤的边界框；(iii)识别被预测为对应于受试者的另一轴向切片内的肝部位的肿瘤的边界框。
141.检测网络输出(i)边界框的建议坐标，其代表肿瘤在中间轴向切片上的一般空间位置；(ii)每个部位标签(肺、纵隔、骨、肝等)类别的概率。将输出连接起来以具有在ct扫描的每个切片中的边界框，如图4所示。三个连续的轴向ct切片中的每个切片的大小为512x512。利用来自impower150临床试验的1202名受试者的对应部位位置，对轴向ct切片的48000个放射科医生注释的图像进行训练，其中边界框围绕放射科医生识别的recist靶病变和非靶病变。超参数包括批量大小0.16、学习率0.01和优化器adam的使用。检测网络在impower131临床试验(969名受试者)上得到验证。对recist读取的病变级灵敏度为0.94。体素级灵敏度为0.89。
142.vi.a.1.b.步骤2：肿瘤分割
143.肿瘤分割网络(例如，对于本示例，它被实现为概率性u-net)用于识别由描绘肿瘤的检测网络识别的每个边界框内的区域(例如，和/或对应于区域的部分，在所述区域内，掩膜值是正的和/或等于1)。如图5所示，6个图像中的每个图像对应于由检测网络识别的边界框，并且轮廓区域中的每个轮廓区域识别使用肿瘤分割网络确定的肿瘤分割。在训练肿瘤分割网络时，对已发布的概率性u-net架构进行了修改，其中所有卷积都被可分离卷积取代。肿瘤分割网络被配置为对每个边界框内的区域的16次预测进行平均化，以模拟读数间的可变性并减少预测的方差。因此，每次预测对应于不同的放射科医生在注释(或选择不注释)同一病变时使用的不同方法或标准，然后，如果平均预测大于5或某个其他阈值，则通过对图像内的每个体素的预测进行平均化并且将每个体素确定为肿瘤的一部分，16次平均预测用于生成“共识”。三个0.7x0.7mm大小的轴向切片(即256x256个像素)被用作肿瘤分割网络的输入，使得轴向切片中的每个轴向切片与已经经过一种或多种临时预处理技术(例如，裁剪)的检测到的边界框相关。
144.肿瘤分割网络输出中间轴向切片的分割，该分割识别每个边界框内描绘肿瘤的区
域。从来自一名放射科医生的体积recist读取和2drecist，肿瘤分割网络在来自impower150中的1091名受试者的67340个带有肿瘤掩膜的图像上进行了训练。示例超参数包括批量大小4、学习率0.0001和优化器adam的使用。示例网络在impower131(969名受试者；51000个256x256图像和0.7x0.7mm图像)上进行了验证。假设验证数据集(来自impower131的51000个图像)中没有误报，计算出的dice分数(使用来自网络的16次预测的平均值)为0.82。
145.vi.a.1.c.步骤3：器官特定分割
146.步骤2中的肿瘤分割网络输出的分割用于确认/校正步骤1中的边界框检测网络提供的肿瘤的一般空间位置。将受试者的全身ct扫描作为输入，以由单独的器官分割网络进行处理。在该实施方式中，器官分割网络由多个卷积神经网络组成。训练单独的器官分割网络中的每个器官分割网络以执行器官特定分割并返回识别全身ct扫描中的器官的位置的器官掩膜。通过为目标器官中的每个器官(例如，右肺、左肺、肝、脾、肾、骨和胰腺)训练不同的器官分割网络来完成器官特定分割。器官特定分割网络中的每个器官特定分割网络有3d u-net架构，该架构包括每层的批量标准化和泄漏relu激活。肾、脾和胰腺的器官特定分割网络使用公开可用的数据集进行训练，特别是为了完成用于肾的kits19(例如heller,n.等人“the kits19 challenge data:300kidney tumor cases with clinical context,ct semantic segmentations,and surgical outcomes.”(2019)中的数据集，该文献出于所有目的通过引用其整体被并入本文)和用于脾和胰腺的医学十项全能(如simpson,a.l.等人“a large annotated medical image dataset for the development and evaluation of segmentation algorithms.”(2019)中所述，该文献出于所有目的通过引用其整体被并入本文)。骨分割网络的基本事实是基于形态学操作的。
147.对于器官特定分割网络中的每个器官特定分割网络，输入是重新采样到2x2x2mm的体素大小的256x256x256 ct体积(步骤1-2的轴向切片的连接的)。器官特定分割网络中的每个器官特定分割网络的输出是用于每个器官的大小相同的器官掩膜。每个网络的基本事实是具有相同体素大小的256x256x256对应器官掩膜。超参数包括批量大小4、学习率0.0001和优化器adam的使用。具有旋转、平移和缩放的组合的数据增强用于增强数据集，以用于更稳健的分割并避免过度拟合。如本文所述训练的器官特定分割网络的初始版本产生了以下结果：肺：0.951；肝：0.964；肾：0.938；脾：0.932；胰腺：0.815；骨：0.917(使用形态学操作生成的基本事实)。
148.vi.a.2.时间分离的成对比较
149.vi.a.2.a.概述
150.ct扫描、器官特定分割和本文描述的技术进一步与肿瘤的自动检测和分割结合使用，以生成许多其他预测和估计，从而帮助临床医生决定开哪些治疗。在使用自动化流水线识别一个或多个肿瘤和/或“全身”肿瘤负荷时，给定用于给定肿瘤学适应症的多种潜在治疗，由模型根据多个度量中的一个度量预测受试者的存活机会，如总存活、无进展存活期或其他类似度量。所述模型输出给定受试者的治疗的排名，以标识提供最长存活时间的治疗。可替代地，所述模型输出受试者的排名，以标识在给定疗法中可能经历最长存活时间的受试者。
151.vi.a.2.b.模型架构和训练
152.给定2名受试者a和b，假设将观察到至少一名受试者的结果(总存活)。不失一般性，假设观察到受试者a的结果(表示为ta)，并且受试者b(表示为tb)在tb》ta时被审查或死亡。
153.网络的输入是ct扫描和使用受试者a和b的一个或多个器官特定分割网络获得的器官掩膜(例如，肝、肺、肾、骨、胰腺和脾)。器官特定分割网络的架构是膨胀的vgg16、resnet18或类似网络，其中可分离的卷积为每个受试者输出具有n个元素(例如，1000)的分数向量。膨胀通常按照carreira,j和zisserman,a.“que vadis,action recognition？a new model and the kinetics dataset”in:cvpr(2017)中描述的技术进行，该文献出于所有目的通过引用其整体被并入本文。然而，在该实施方式中，可分离卷积分2步执行(首先是逐深度卷积，然后是逐点卷积)；然而，取代传统卷积仅仅沿第3维度进行膨胀，将膨胀分为2个步骤。对于逐深度卷积，沿第三维度进行膨胀，然后应用一次复制过滤器，并沿第四维度(输入过滤器的数量)计算平均值。对于逐点卷积，在前2个维度上确定平均值，沿第3维度进行膨胀，并且沿第4维度进行复制。上述修改有助于使用网络处理大型(按像素/体素计数)3d全身ct，同时实现功能模型性能。
154.在训练期间，比较受试者a和b获得的分数(sa和sb)。训练过程旨在最小化数据样本上的损失l＝exp(sb)/exp(sb) exp(sa)。训练数据包括由治疗组分开的来自impower150临床试验的818名受试者的42195个可比较的受试者对。选择的超参数包括学习率(lr)＝0.0001、批量大小＝4和优化器adam的使用。成对比较的示例模型的结果表明，在来自go29436(impower 150)的3个治疗组的143名受试者的测试(验证)集中，74％的成对比较是准确的。对于这些结果，仅对治疗组内的受试者进行比较。
155.vi.a.3.结果
156.使用recist和“全身”肿瘤负荷的手动注释确定了自动化方法在训练数据集和测试数据集上的性能。对两个数据集执行recist读取，作为对每个受试者标识的病变的数量和所有病变的体积进行的基线解算。
157.图6a示出了将由recist读取得出的病变的数量(显示在图的x轴上)和用于训练数据集(impower 150)的自动检测和分割方法确定的病变的数量(显示在y轴上)进行比较的关联图。图6b示出了将由recist得出的肿瘤负荷(例如，测量为所有识别的病变的总体积)(显示在图的x轴上)和由自动化方法识别的肿瘤的肿瘤负荷(显示在图的y轴上)进行比较的另一个图。两幅图描绘了向右偏斜，这说明recist读取与来自自动化方法的较低范围的病变数量和病变总体积的数据具有最高的相关性。基于两种技术对病变数量的预测差异计算出的标准差和标准误差分别为2.95和0.091。基于两种技术对总肿瘤体积的预测差异计算出的标准差和标准误差分别为5.2we 01和2.40。图7a-7b描绘了测试数据集(impower131)的类似关联图，其中x轴上描绘了使用recist读取确定的病变的平均数量，y轴上描绘了使用自动化方法确定的病变的数量。至于测试数据集，基于两种技术对病变数量的预测差异计算出的标准差和标准误差分别为6.05和0.24；基于两种技术对总病变体积的预测差异计算出的标准差和标准误差分别为5.22e 01和2.40。
158.进一步使用训练数据集(impower150)执行完整读取，这涉及经由放射科医生对每个肿瘤的手动注释来确定受试者的整体肿瘤负荷，而不是像recist读取中执行的那样仅注释单个切片。图8描绘了一幅图，其中y轴对应于由放射科医生确定的病变的数量(例如，对
于完整读取)并且x轴对应于由recist确定的一组受试者的病变的数量。图中的每个点代表训练数据集内的受试者，共有15名受试者接受了完整读取和recist读取。该图示出了recist读取和完整读取之间几乎没有一致性，因为与recist读取相比，完整读取识别出更多的病变。基于两种技术的预测之间的差异计算出的标准差和标准误差为6.64和0.30。
159.自动化方法和由放射科医生执行的完整读取还进行了进一步比较，以确定受试者的整体肿瘤负荷。图9描绘了由放射科医生执行的完整读取确定的总病变体积(显示在y轴上)与通过自动化方法确定的总病变体积(显示在x轴上)之间的关联图，使得每个点代表impower150训练数据集内的受试者。如图所示，计算出一组训练受试者中每个受试者的多个读数。图10a-10b示出了将由自动化方法确定的平均和中值总病变体积(分别显示在x轴上)和由每个受试者的完整读取确定的平均和中值总病变体积(分别显示在y轴上)进行比较的图。类似于图8-9，两个图中的每个点代表训练数据集内的受试者。如图所示，与完整读取相比，自动化方法通常识别出相同或更大体积的病变。
160.还采集了训练和测试数据集中代表的受试者的预后数据，从而使用识别的病变的数量和计算的病变总体积来预测受试者在给定时间段内的存活概率。更具体地，基于使用recist技术检测到的病变的各种统计数据，将训练数据集中的受试者分配到特定的集群，并为每个集群计算存活曲线，以证明各种统计数据是否可以预测存活。图11a-14b示出了描绘训练数据集的示例性预后数据的kaplan-meier曲线。
161.图11a图示了已经基于由recist识别的病变的sld计算进行聚类的受试者的存活概率。图11b图示了已经基于由recist识别的病变的数量进行聚类的受试者的存活概率。图的y轴对应于存活概率，并且x轴对应于经过的时间段(例如，以天为单位)。确定聚类，使得第一个四分位数(q1)对应于其病变的数量和/或sld分数在前25％的受试者，第二个四分位数(q2)对应于接下来25％内的受试者，第三个四分位数(q3)对应于后面25％内的受试者，第四个四分位数(q4)对应于最后25％内的受试者。如图所示，与第四个四分位数内的受试者相比，直径总和sld的第一个四分位数内的受试者和病变数量的第一个四分位数内的受试者具有更低的存活概率。因此，自动检测到的病变的空间统计数据似乎可以预测存活预后。
162.相反，图11c示出了kaplan-meier曲线，其说明了从所公开的自动化方法确定的受试者的存活概率。图11c示出了描绘受试者在一段时间内的存活概率的图，如通过自动化方法确定的。至于与图11c相关联的聚类，受试者基于整体肿瘤负荷的总sld进行聚类。图12a-12b进一步描绘了基于也由自动化方法确定的总体积和识别的病变的数量的受试者的存活概率的图。很明显，通过病变的大体积或病变的大数量测量的高肿瘤负荷与受试者的较低的存活概率相关。
163.如图13a-14b中所描绘的，识别的病变的位置也用于评估预后(例如，存活概率)的程度，该预后是通过基于针对训练数据集内的受试者的自动肿瘤检测和分割的统计数据来预测的。具体地，图13a-13b示出了描绘受试者存活百分比的一组kaplan-meier曲线。基于肺病变的体积(显示在对应的图a中)和肺病变的数量(显示在对应的图b中)定义受试者组。值得注意的是，受试者组的存活曲线不同，这表明病变体积和病变数量可以预测存活度量。图14a-14b示出了基于病变(例如，转移)分别扩散到受试者的肺区域和骨区域的受试者存活百分比。据报告，当受试者的肺区域或骨区域内不存在病变时，存活百分比更高。
2018)第6965-6975页(2018)中进一步描述了将概率性unet用于分割，该文献出于所有目的通过引用其整体被并入本文。因此，选择概率性unet来模拟读数对读数的注释可变性。
177.该模型的这一部分允许生成在读数间可变性和放射科医生的分割上的总体一致性之间进行权衡的集合。后处理步骤加入了预测的2d分割以产生统一的全身3d肿瘤掩膜。此外，后处理还解决了我们的多部位数据集中遇到的图像采集参数的可变性(这导致不同的信息限制了扫描的信噪比并使其不同)。经由该自动化技术检测到的肿瘤与经由手动技术检测到的肿瘤进行比较，其中放射科医生勾勒出选定的靶病变并在非靶病变周围标记边界框。
178.vi.b.2.a.肿瘤检测
179.在本实施方式评估的数据中，肿瘤位置标签在器官间高度不平衡，其中肺病变分别占训练数据集和测试数据集的45％和40％，但其中128个位置占标签的比例不到0.5％。焦点损失用于处理类别不平衡。
180.带有resnet-50-fpn的retinanet用于轴向检测肿瘤。(参见lin,t.y.,dollar,p.,girshick,r.,he,k.,hariharan,b.,belongie,s.“feature pyramid networks for object detection.”cvpr(2017)，该文献出于所有目的通过引用其整体被并入本文。)在非最大抑制中，每个图像的最大对象数量设置为32，锚点数量设置为9。此处，32表示在单个轴向切片内可以合理预期的肿瘤数量的上限。为了提供围绕中心切片的空间上下文，该模型被配置为接收作为三个特征通道馈送的三个轴向切片作为输入。由于许多标签的低流行率，分类被简化为肺、肝、骨、纵隔和其他位置。
181.在测试设置中，retinanet依次应用于所有轴向切片。预测的边界框被扩展到前一个和下一个切片以最小化漏报。
182.vi.b.2.b.肿瘤分割
183.实验以β＝2、5、10进行，可以是独立的，也可以是交叉或联合的。最好的结果是使用
184.β＝2和β＝10的2个掩膜的联合获得的。
185.训练损失中的不同β允许为损失中的kullback-leibler散度项提供不同的权重，并且因此对跨越分割变体的潜在空间给予不同的重要性。该参数允许生成模拟人类读数可变性的肿瘤分割变体或生成共识分割。
186.使用recist靶病变分割，从每次扫描的2名放射科医生和针对某些扫描的3d分割来构建训练数据集。将图像重新采样至0.7x0.7mm平面内分辨率，并在这些病变周围构建256x256x3像素的补丁。上一个和下一个切片用作空间上下文。采用比输入更大的补丁，180x180像素的0.5x0.5mm平面内分辨率。做出这一选择是因为要评估的数据代表晚期癌症，其中数据描绘了许多大病变。
187.在测试设置中，补丁集中在检测到的病变(例如，由检测到的边界框提供)上，然后重新采样到概率性unet的输入分辨率，如图20所示被分割。当检测到的肿瘤大于补丁大小时，滑动窗口用于分割检测到的肿瘤的整体。
188.vi.b.2.c.全身评估
189.采集协议因医院而异，甚至在同一机构内也因机器而异。因此，数据集中的体素大小是可变的(平面内从0.6到1.45mm，并且切片厚度从0.62到5mm)。这些差异导致了信噪比
lesion detection,tagging,and segmentation中所述。in:frangi,a.f.,schnabel,j.a.,davatzikos,c.,alberola-lopez,c.,fichtinger,g.(eds.)miccai 2019.lncs,第11769卷,第194-202页。springer,cham(2019)和liao,f.,liang,等人:evaluate the malignancy of pulmonary nodules using the 3d deep leaky noisy-or network.ieee trans.neural netw.learn.syst.(2019)。
[0200][0201]
表2.准确性和分割性能。
[0202]
对于分割，统计数据包括测试集中的平均体素级灵敏度和估计的recist病变最长维度的平均误差。
[0203]
从基线扫描预测存活。使用从训练数据估计的肿瘤检测和分割模型，从测试数据集中的每个受试者的基线扫描计算所有检测和分割的病变的沿最长维度的长度。以存活时间作为结果变量，图22的右图示出了基于按模型提取的基线sld的经验四分位数的kaplan-meier图(对于测试集中的受试者)。为了比较，在相同的受试者上，左图示出了基于recist得出的sld的经验四分位数的kaplan-meier图。可以看出，与根据recist标准通过放射科医生注释生成相比，自动化方法在很大程度上再现了肿瘤负荷治疗前的存活风险概况。
[0204]
vi.b.4.解释
[0205]
结果例示了多级分割平台的强大性能。全自动算法在标准诊断全身ct扫描中成功识别并执行了肿瘤的3d分割。与放射科医生相比，该方法在检测和分割方面表现出强大性能，并且重要的是，它对多个不同器官中的肿瘤效果很好。这些结果表明，通过为放射科医生审查提供初始肿瘤负荷评估，该技术可以为放射科医生提供强大的支持工具，这将提高准确性、再现性和速度。此外，该算法生成度量，例如全身肿瘤体积(对于放射科医生进行评估通常太耗时)，这作为临床试验的预后工具或新终点可能很有价值，并且提供了受试者疾病的更完整视图用于临床放射学实践。
[0206]
vii.附加考虑
[0207]
本公开的一些实施例包括一种包括一个或多个数据处理器的系统。在一些实施例中，该系统包括包含指令的非暂时性计算机可读存储介质，所述指令在所述一个或多个数据处理器上被执行时使所述一个或多个数据处理器执行本文公开的一种或多种方法的部分或全部和/或本文公开的一种或多种过程的部分或全部。本公开的一些实施例包括一种有形地体现在非暂时性机器可读存储介质中的计算机程序产品，其包括指令，所述指令被配置为使一个或多个数据处理器执行本文公开的一种或多种方法的部分或全部和/或本文公开的一种或多种过程的部分或全部。
[0208]
已使用的术语和表述被用作描述性而非限制性的术语，并且在使用此类术语和表述时无意排除示出和描述的特征或其部分的任何等效物，但应认识到在要求保护的本发明的范围内可以进行各种修改。因此，应当理解，虽然通过实施例和任选特征具体公开了要求保护的本发明，但是本领域技术人员可以对本文公开的概念进行修改和变化，并且此类修改和变化被认为是在所附权利要求书所限定的本发明范围内。
[0209]
随后的描述仅提供优选的示例性实施例，并不旨在限制本公开的范围、适用性或配置。相反，优选示例性实施例的随后描述将为本领域技术人员提供用于实现各种实施例的可行描述。应当理解，在不脱离所附权利要求中阐述的精神和范围的情况下，可以对元件的功能和布置进行各种改变。
[0210]
在以下描述中给出具体细节以提供对实施例的透彻理解。然而，应当理解，可以在没有这些具体细节的情况下实践实施例。例如，电路、系统、网络、过程和其他部件可以展示为框图形式中的部件，以免不必要的细节使实施例晦涩难懂。在其他情况下，为了避免使实施例晦涩难懂，可以在没有不必要的细节的情况下示出公知的电路、过程、算法、结构和技术。