与COVID-19相关联的异常图案的医学图像合成的制作方法

与covid
‑
19相关联的异常图案的医学图像合成
1.相关申请的交叉引用本技术要求保护于2020年4月15日提交的美国临时申请no.63/010,198的权益，其公开内容通过引用整体地并入本文中。
技术领域
2.本发明总体上涉及医学图像合成，并且特别地涉及用于训练基于机器学习的系统的、与covid
‑
19（冠状病毒疾病2019）相关联的异常图案的医学图像合成。


背景技术：

3.covid
‑
19（冠状病毒疾病2019）是由sars
‑
cov2（严重急性呼吸道症状冠状病毒2）引起的传染病。covid
‑
19的常见症状包括发烧、咳嗽和呼吸困难。在严重的情况下，covid
‑
19可能引起肺炎、严重急性呼吸道综合症、以及多器官衰竭。在大多数情况下，感染了covid
‑
19的患者会经历不需要住院的轻度至中度的症状，并且许多患者没有症状。然而，covid
‑
19对很大比例的被感染患者是致命的。由于较高的r0（再生数，reproduction number）和covid
‑
19的传染性，因此用于快速测试和评估的工具对于跟踪和减轻其传播是重要的。
4.在当前的临床实践中，经由rt
‑
pcr（逆转录聚合酶链反应）来诊断covid
‑
19。然而，已经发现rt
‑
pcr的灵敏度低至60％至70％，从而有可能导致假阴性。附加地，rt
‑
pcr测试试剂盒（test kit）的有限可用性也促成了未被检测到的covid
‑
19传播。
5.最近的研究已经示出，在肺部ct（计算机断层扫描）图像中看到的异常图案（诸如例如，毛玻璃样不透明（ground glass opacity）、碎石路图案（crazy paving pattern）、以及实变（consolidation））与covid
‑
19的严重性和进展相关。用于基于这种特征来自动评估covid
‑
19的基于机器学习的系统将是有用的。然而，由于covid
‑
19的新颖性，用于训练这种基于机器学习的系统的适当成像数据和注释的可用性是有限的。


技术实现要素：

6.根据一个或多个实施例，提供了用于生成合成医学图像的系统和方法。接收输入医学图像。生成合成分割掩模（mask）。基于合成分割掩模对输入医学图像进行掩蔽。经掩蔽的输入医学图像具有未掩蔽部分和经掩蔽部分。使用经训练的基于机器学习的生成器网络来生成初始合成医学图像。初始合成医学图像包括经掩蔽的输入医学图像的未掩蔽部分的合成版本、以及经掩蔽的输入医学图像的经掩蔽部分中的合成图案。将合成图案与输入医学图像融合以生成最终的合成医学图像。
7.在一个实施例中，合成图案是与疾病相关联的合成异常图案。在一个实施例中，疾病是covid
‑
19（冠状病毒疾病2019），并且合成异常图案包括毛玻璃样不透明（ggo）、实变、以及碎石路图案中的一个或多个。在一个实施例中，疾病是病毒性肺炎、细菌性肺炎、真菌性肺炎和支原体肺炎中的至少一个。
8.在一个实施例中，通过生成均对应于所连接的组份区域的个体掩模并且对个体掩模进行组合来生成合成分割掩模。通过选择球体网状物表面上的多个点并且将变换应用于每个特定点来生成每个个体掩膜。基于特定点与网状物表面上的每一个邻近顶点之间的距离与距离阈值相比，来将应用于该特定点的变换传播到网状物表面上的邻近顶点。通过从空间概率图对位置进行采样、并且基于所采样的位置来定位个体掩膜，从而定位每个个体掩膜。
9.在一个实施例中，通过如下方式来将合成图案与输入医学图像融合：将初始合成医学图像与输入医学图像混合以生成混合图像，对合成分割掩模的边界进行平滑化以生成平滑的合成分割掩模，从混合图像中裁剪平滑的合成分割掩膜的经掩蔽部分以提取合成图案，从输入医学图像中裁剪平滑的合成分割掩模的未掩蔽部分以提取输入医学图像的剩余区域，以及将所提取的合成图案和所提取的剩余区域进行组合。
10.在一个实施例中，训练了基于机器学习的系统，以用于基于最终的合成医学图像来执行医学图像分析任务。医学图像分析任务可以是疾病评估、解剖结构分割、以及图案分割中的至少一个。
11.通过参考以下具体实施方式和附图，本发明的这些和其他优点将对本领域普通技术人员显而易见。
附图说明
12.图1示出了根据一个或多个实施例的用于生成合成医学图像的方法；图2示出了根据一个或多个实施例的用于生成合成医学图像的框架；图3示出了根据一个或多个实施例的与关联于covid
‑
19（冠状病毒疾病2019）的异常图案的所连接的组份区域相对应的个体掩模的示例性图像；图4示出了根据一个或多个实施例的示例性空间概率图；图5示出了根据一个或多个实施例的由生成器网络以各种重叠量而生成的示例性初始合成医学图像；图6示出了根据一个或多个实施例的合成分割掩模的图像、以及使用合成分割掩模所生成的最终的合成医学图像的轴向切片的图像；图7示出了真实图像与根据本文中描述的一个或多个实施例所生成的图像的比较；图8示出了根据一个或多个实施例的用于训练用于生成合成医学图像的基于机器学习的生成器网络的框架；图9示出了一个表，该表概述了用于训练和评估肺部分割网络和异常图案分割网络的数据集；图10示出了比较各种肺部分割方法的定性结果；图11示出了比较各种肺部分割方法的病变包含率的图解；图12示出了由基线3d网络、根据本文中描述的实施例的利用合成图像训练的3d网络、以及地面真值图像输出的切片的比较；图13示出了一个表，该表概述了评估各种肺部分割策略的度量；图14示出了一个表，该表示出了注释疾病严重性的读取器（reader）之间的差异性
（variability）；图15示出了可以被用来实现本文中描述的一个或多个实施例的示例性人工神经网络；图16示出了可以被用来实现本文中描述的一个或多个实施例的卷积神经网络；以及图17示出了可以被用来实现本文中描述的一个或多个实施例的计算机的高级框图。
具体实施方式
13.本文中描述的实施例通常涉及用于与covid
‑
19（冠状病毒疾病2019）相关联的异常图案的医学图像合成的方法和系统。本文中描述了本发明的实施例以给出对这种方法和系统的视觉理解。数字图像通常由一个或多个对象（或形状）的数字表示组成。在本文中通常在标识和操纵对象方面来描述对象的数字表示。这种操纵是在计算机系统的存储器或其他电路/硬件中完成的虚拟操纵。因此，要理解的是，可以使用存储在计算机系统内的数据在计算机系统内执行本发明的实施例。
14.covid
‑
19是一种传染病，其通常呈现诸如发烧、咳嗽和呼吸困难之类的呼吸道症状。患有covid
‑
19的患者的肺部的ct（计算机断层扫描）成像会示出异常的射线照相图案。这种异常图案的程度与covid
‑
19的严重性相关。基于机器学习的系统可以被用来评估这种异常图案，以便由此针对covid
‑
19来评估患者。然而，适合于训练这种基于机器学习的系统的带注释的成像数据的可用性是有限的。
15.本文中描述的实施例提供了生成合成医学图像，合成医学图像描绘了与covid
‑
19相关联的异常图案。使用基于机器学习的生成器网络，将与covid
‑
19相关联的这种异常图案修补（inpaint）在没有covid
‑
19的患者的肺部医学图像上。这种异常图案在肺部上的适当分布是基于异常图案在患有covid
‑
19的患者的手动标记的肺部图像上的位置来获得的。有利地，本文中描述的实施例提供了与covid
‑
19相关联的异常图案的逼真的合成医学图像。这种合成医学图像可以用于训练基于机器学习的系统，该系统用于例如疾病（例如covid
‑
19）的评估、解剖结构（例如，肺部）的分割、与疾病（例如，covid
‑
19）相关联的异常图案的分割、或其他医学图像分析任务。
16.应当理解的是，尽管在本文中描述的实施例是关于生成与covid
‑
19相关联的异常图案的合成医学图像来描述的，但是这种实施例不限于此。实施例可以被应用于描绘了与任何疾病相关联的异常图案的医学图像的合成，这些疾病诸如例如其他类型的病毒性肺炎（例如，sars（严重急性呼吸道综合征）、mers（中东呼吸道综合征）等）、细菌性肺炎、真菌性肺炎、支原体肺炎、以及其他类型的肺炎和其他类型的疾病。此外，实施例可以被应用于描绘了任何感兴趣对象（诸如例如，器官、血管或其他解剖结构）的图案的医学图像的合成。
17.图1示出了根据一个或多个实施例的用于生成合成医学图像的方法100。方法100的步骤可以由一个或多个合适的计算设备（诸如例如，图17的计算机1702）执行。图2示出了根据一个或多个实施例的用于生成合成医学图像的框架200。将一起描述图1和图2。
18.在步骤102处，接收输入医学图像。在一个实施例中，输入医学图像描绘了没有肺部疾病（例如，covid
‑
19）的患者的肺部，并且因此输入医学图像不包括与肺部疾病相关联
的异常图案。在一个实施例中，输入医学图像是ct输入医学图像。然而，输入医学图像可以具有任何合适的模态，诸如例如mri（磁共振成像）、超声、x射线、或任何其他模态或模态组合。输入医学图像可以是2d图像或3d体积。可以在获取输入医学图像时直接从图像获取设备（诸如例如，ct扫描仪）接收输入医学图像，或者可以通过从计算机系统的存储装置或存储器加载先前获取的输入医学图像、或者从远程计算机系统接收输入医学图像来接收输入医学图像。
19.在一个示例中，输入医学图像是3d ct图像202，其在图2的框架200中被表示为。3d ct图像202可能已经被重新采样到0.75
×
0.75
×
1 mm的分辨率、使用级别为
‑
600且窗口宽度为1500的标准肺部窗口而被归一化到[
‑
1,1]的范围的图像强度，并且被裁剪到384
×
384
×
18像素的大小。
[0020]
在步骤104处，生成合成分割掩模。例如，合成分割掩膜可以是3d合成分割掩膜204，其在图2的框架200中被表示为。合成分割掩模可以属于任何感兴趣对象（例如，诸如器官或血管之类的解剖结构）。在一个实施例中，合成分割掩模属于与疾病相关联的异常图案。例如，疾病可以是covid
‑
19，并且异常图案可以包括诸如例如ggo（毛玻璃样不透明）、实变、碎石路图案、肺不张、小叶间隔增厚、胸腔积液、支气管扩张等之类的不透明。然而，疾病可以包括任何疾病，诸如例如其他类型的病毒性肺炎（例如，sars（严重急性呼吸道综合征）、mers（中东呼吸道综合征）等）、细菌性肺炎、真菌性肺炎、支原体肺炎、以及其他类型的肺炎和其他类型的疾病。
[0021]
在一个实施例中，使用3d网状物来生成合成分割掩模，由此给出了对异常图案的几何形状的完全控制，并且确保了闭合的形状。通过首先生成均对应于异常图案的所连接的组份区域的一个或多个个体掩模来生成合成分割掩模。通过在球体模板网状物的表面上（例如，随机地）选择n个点来生成每个个体掩模，其中n是任何正整数。针对每个点n，应用具有随机振幅因子λ的仿射变换函数α
j
。基于点n与网状物的邻近顶点之间的距离与距离阈值δ相比，来将每个点的变换传播到网状物的邻近顶点。因此，针对每个所采样的顶点v
i
（对应于点n）和每个邻近顶点n
j
，仿射变换函数α
j
被定义为：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（公式1）另外，应用拉普拉斯平滑，接着是汉弗莱（humphrey）过滤。使用递归细分（recursive subdivision）对所得的网状物进行栅格化以生成3d掩膜。
[0022]
图3示出了根据一个或多个实施例的与关联于covid
‑
19的异常图案的所连接的组份区域相对应的个体掩模的示例性图像300。使用n=10个点和振幅因子λ=1.5来生成图像302中的个体掩膜，而使用n=200个点和振幅因子λ=2.5来生成图像304中的个体掩膜。
[0023]
许多疾病（诸如例如，covid
‑
19）通常呈现为胸膜下、外周、双侧和多叶位置中的异常图案。因此，在一个实施例中，为了对这种异常图案的空间分布进行仿真，使用疾病的异常图案的经对准的、手动注释的图像来计算异常图案的空间概率图。从空间概率图对病变中心位置进行采样，并且将所采样的位置映射到合成分割掩模的对应图像空间。个体掩膜定位在每个映射的位置处，以提供异常图案的现实空间分布。图4示出了根据一个或多个实施例的示例性空间概率图400。关于左（l）、右（r）、前（a）、后（p）、上（s）和内（i）方向示出了概率图400。概率图400中的较暗阴影对应于较高概率。
[0024]
然后，将个体掩模进行组合以生成合成分割掩模。在一个实施例中，通过个体掩膜的结合来将个体掩模进行组合。然后，使用所计算的肺部掩膜来裁剪经组合的个体掩膜，以生成合成分割掩膜。
[0025]
在步骤106处，基于合成分割掩模对输入医学图像进行掩蔽。经掩蔽的输入医学图像包括一个或多个未掩蔽部分和一个或多个经掩蔽部分，如合成分割掩膜所定义的那样。经掩蔽部分被填充有均匀噪声，该均匀噪声的值例如在[
‑
1,1]之间。在一个示例中，经掩蔽的输入医学图像是3d噪声掩蔽的ct图像206，其被表示为其被表示为，其中表示在经掩蔽的部分中填充均匀噪声的操作。
[0026]
在步骤108处，使用经训练的基于机器学习的生成器网络来生成初始合成医学图像。在一个示例中，初始合成医学图像是使用图2中的生成器网络 208所生成的合成3d ct图像210，其被表示为。在一个实施例中，生成器网络是gan（生成式对抗网络），然而，可以附加地或替代地采用任何其他合适的基于机器学习的网络。在先前的离线或训练阶段期间训练生成器网络，并且在在线或推理阶段期间在步骤108处应用生成器网络。下面关于图8详细描述了生成器网络的训练和架构。
[0027]
初始合成医学图像包括经掩蔽的输入医学图像的未掩蔽部分的合成版本、以及经掩蔽的输入医学图像的经掩蔽部分中的合成图案（例如，与疾病相关联的异常映射器）。可以通过重新生成未掩蔽部分、或者通过从经掩蔽的输入医学图像复制未掩蔽部分的成像数据来合成经掩蔽的输入医学图像的未掩蔽部分的合成版本。
[0028]
生成器网络使用仅沿着z维度移动的滑动窗口方法来生成初始合成医学图像。窗口大小被固定为经掩蔽的输入医学图像的大小（例如，384
×
384
×
18像素）。在操作中，生成器网络接收一个或多个经掩蔽的输入医学图像作为输入，以用于在相应迭代时生成初始合成医学图像。在被输入到生成器网络中的经掩蔽的输入医学图像之间，存在9个像素的重叠。被输入到生成器网络中的经掩蔽的输入医学图像的重叠区域被填充有生成器网络在其先前迭代期间输出的初始合成医学图像，以便由此避免不连续性伪影。因此，除了在第一次迭代期间之外，基于机器学习的网络生成以其先前迭代时的初始合成医学图像生成器为条件的初始合成医学图像。
[0029]
图5示出了根据一个或多个实施例的由生成器网络以各种重叠量而生成的示例性初始合成医学图像500。行502中的图像是以零个像素的重叠（即，没有重叠）来生成的，而行504中的图像是以9个像素的重叠来生成的。列506中的图像示出了轴向视图，列508中的图像示出了冠状视图，并且列510中的图像示出了矢状视图。如图5中看到的，在列504中以9个像素的重叠而生成的图像沿着z维度具有更好的一致性。
[0030]
在步骤110处，将合成图案与输入医学图像融合以生成最终的合成医学图像。在一个示例中，最终的合成医学图像是融合图像212，其在图2的框架200中被表示为x
最终
。将合成图案与输入医学图像融合，以便：1）避免任何强度偏差；2）避免通过经训练的基于机器学习的网络将任何其他图案迷幻（hallucinate）；3）示出通过毛玻璃样不透明以及其他透明或半透明的图案可见的下面的血管和支气管。
[0031]
为了将合成图案与输入医学图像融合，首先以加权总和将初始合成医学图像与输入医学图像进行混合：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（公式2）其中β是用于初始合成医学图像的恒定权重，并且α是用以调整
‑
200 hu（霍恩斯菲尔德单位）以上的区域的合成异常图案的强度的参数。使用线性距离变换对合成分割掩膜的边界进行平滑化，以生成平滑的合成分割掩膜。通过使用平滑的合成分割掩膜来裁剪混合图像和输入医学图像，从而生成最终的合成医学图像。特别地，从混合图像中裁剪平滑的合成分割掩膜的经掩蔽部分以提取合成图案，并且从输入医学图像中裁剪平滑的合成分割掩膜的未掩蔽部分以提取输入医学图像的剩余区域。通过将所提取的合成图案与输入医学图像的所提取的剩余区域进行组合来生成最终的合成医学图像，如下：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（公式3）。
[0032]
在步骤112处，输出最终的合成医学图像。例如，可以通过如下方式来输出最终的合成医学图像：通过在计算机系统的显示设备上显示最终的合成医学图像，将最终的合成医学图像存储在计算机系统的存储器或存储装置上，或者通过将最终的合成医学图像传输到远程计算机系统。
[0033]
在一个实施例中，最终的合成医学图像可以用于训练基于机器学习的系统，该系统用于执行医学图像分析任务，诸如例如，疾病（例如，covid
‑
19）的评估、解剖结构（例如，肺部）的分割、与疾病（例如，covid
‑
19）相关联的异常图案的分割、或任何其他医学图像分析任务。
[0034]
图6示出了具有自动计算的肺部分割的合成分割掩模的图像602、以及使用合成分割掩模所生成的最终的合成医学图像的轴向切片的图像604。
[0035]
图7示出了真实图像与根据本文中描述的一个或多个实施例所生成的图像的比较700。列706示出了真实的ct图像。列708示出了使用仅利用covid
‑
19阳性图像训练的生成器网络所生成的初始合成医学图像。列710示出了通过将列708的图像中的异常区域与输入医学图像融合而生成的最终的合成医学图像。列712示出了使用仅利用高强度异常图案训练的生成器网络所生成的初始合成医学图像。列714示出了通过将列712的图像中的异常区域与输入医学图像融合而生成的最终的合成医学图像。行702中的合成图像（在列708
‑
714中）是通过使用手动注释的掩膜将合成异常图案修补到患有covid
‑
19的患者的肺部上而生成的。行704中的合成图像（在列708
‑
714中）是通过使用合成分割掩膜将合成异常图案修补到没有covid
‑
19的患者的肺部上而生成的。
[0036]
图8示出了根据一个或多个实施例的用于训练用于生成合成医学图像的基于机器学习的生成器网络的框架800。可以在离线或训练阶段期间执行框架800，以用于训练用于生成合成医学图像的生成器网络。一旦被训练，就可以在在线或推理阶段期间应用经训练的生成器网络。在一个示例中，在图1的步骤108处应用经训练的生成器网络以生成初始合成医学图像。在另一个示例中，经训练的生成器网络是图2的生成器网络208。
[0037]
在框架800中，接收示出了图案（例如，与疾病相关联的异常图案）的一个或多个训练图像802、以及训练图像802中的图案的手动注释的掩膜m 804。在一个实施例中，训
练图像802是具有与疾病相关联的异常图案的患者肺部的真实ct训练图像。然而，训练图像802可以具有任何合适的模态。训练图像802被重新采样到0.75
×
0.75
×
1 mm的分辨率、以及使用级别为
‑
600且窗口宽度为1500的标准肺部窗口而被归一化到[
‑
1,1]的范围的图像强度。训练图像802被裁剪到例如384
×
384
×
18像素的大小，并且以两个肺部为中心。利用手动注释的掩膜804来掩蔽训练图像802，从而产生经掩蔽的训练图像806，其被表示为。经掩蔽的训练图像806的经掩蔽部分被填充有均匀噪声，使得训练图像802中的图案被隐藏，该均匀噪声的值在[
‑
1,1]的范围之间。
[0038]
在给定经掩蔽的训练图像806的情况下，对生成器网络808进行训练以获得映射，从而生成描绘了图案的合成训练图像810。仅使用疾病的阳性病例来训练生成器网络808。在一个实施例中，生成器网络808是用3d unet实现的gan，但是可以是任何合适的基于机器学习的生成器网络。针对生成器网络808的每个构建块，使用实例归一化，接着是3
×3×
3卷积层和leaklyrelu（泄漏整流线性单元）。合成训练图像810被生成为与输入训练图像802大小相同，并且利用tanh函数而被激活。将训练图像802和合成训练图像810输入到判别器网络812中，该网络812将一个图像分类为真实的，并且将另一个图像分类为合成的（即，伪造的）。判别器网络812是利用简单的多层cnn（卷积神经网络）来构建的。在判别器网络812中使用谱归一化来平衡判别器网络812和生成器网络808两者的学习速度。针对被输入到判别器网络812中的训练图像802和合成训练图像810两者，添加从高斯噪声中抽取的3d张量，以避免判别器网络812在早期迭代期间提前成熟（pre
‑
maturing）。经噪声偏置的输入在被馈送到判别器网络812中之前被修剪回到[
‑
1,1]的范围。
[0039]
用于训练生成器网络808的目的如下：
ꢀꢀꢀꢀꢀ
（公式4） （公式5）
ꢀꢀꢀꢀ
（公式6）其中是真实训练图像802，m是图案的手动注释的掩膜804，表示将均匀噪声填充到经掩蔽区域中的操作，是目标张量，其利用具有与判别器输出相同大小的常数值（0或1）进行填充，表示逐张量元素的乘法，是覆盖了未受影响区域（没有图案的区域）的反向掩膜，λ1和λ2是用于平衡具有异常图案的部分中的l1损失、以及判别器损失的权重的超参数。使用lsgan（最小二乘生成式对抗网络）目标，其测量判别器输出与目标之间的l2误差。在实验期间，λ1和λ2被固定在λ1=λ2=10处。使用adam以便以生成器网络808的0.001的学习率、以及判别器网络812的0.004的学习率来优化生成器网络808和判别器网络812。训练了一般图案生成器和经实变偏置的生成器。利用所有带注释的图案训练了一般图案生成器。利用在注释区域中具有高于
‑
200的平均强度的训练图像、基于一般图案生成器对经实变偏置的生成器进行了微调。
[0040]
通过生成与covid
‑
19相关联的异常图案的合成医学图像在实验上验证了本文中描述的实施例，该合成医学图像用于训练基于机器学习的系统，以用于分割患者的肺部以及分割异常图案。
[0041]
通过训练深度图像至图像网络（di2in）来执行对患有covid
‑
19的患者的肺部的分割。利用了用于训练的675个图像和用于验证的60个图像的训练数据集。图像描绘了被注释的中度肺炎图案。然而，由于严重实变异常图案在患有covid
‑
19的患者的肺部中是典型的，因此描绘了肺炎的图像不足以用于训练di2in以便对患有covid
‑
19的患者的肺部进行分割。因此，根据本文中描述的实施例生成了与covid
‑
19相关联的异常图案的1530个合成医学图像，并且将这些图像包括在数据集中以扩充肺炎的图像。为了计及对合成医学图像的包括，对训练过程进行了许多调整。首先，使用加权交叉熵以专注于高强度区域。在给定1）按照
‑
624 hu的中心和1500 hu的宽度从ct图像被归一化、并且被修剪到[
‑
4,1]的范围的输入图像x、以及2）分割网络f
s
(x)的预测输出p（即，p=f
s
(x)）的情况下，按如下那样使用了逐体素加权的二元交叉熵，该二元交叉熵将附加的注意力分配在肺部内的高强度区域上。
[0042]
（公式7）（公式8）其中γ1和γ2分别表示高强度调整的量值和陡度。其次，尽管存在严重实变异常图案，但是从di2in中去除了最后一个跳过（skip）连接（在输入大小级别处）以约束肺部形状。训练过程接收从2
×2×
2 mm3的重新采样的体积中随机采样的128
×
128
×
128图像片块作为输入，并且使用adam优化、按照0.001的学习率来驱动。选择了针对在验证集上具有最佳性能的时期（epoch）的模型。
[0043]
通过训练基于编码器
‑
解码器的cnn架构，执行了与covid
‑
19相关联的异常图案的分割。为了学习相关的异常图案，在患有covid
‑
19、病毒性肺炎和其他间质性肺部疾病的患者的训练数据集上训练了编码器
‑
解码器。为了分析合成的covid
‑
19数据对于训练的影响，根据本文中描述的实施例生成了与covid
‑
19相关联的异常图案的合成医学图像，并且将这些图像包括在训练数据集中。利用了2d cnn方法和3d cnn方法两者。2d cnn方法旨在通过将三个轴向切片取作去往网络的输入来学习高分辨率平面内（in
‑
plane）图像特征。3d cnn方法用于以各向异性的图像分辨率来有效地对3d上下文进行建模。
[0044]
2d cnn方法基于u
‑
net架构，该u
‑
net架构具有用于对covid
‑
19的相关图像特征进行建模的编码器和用于生成分割掩膜的解码器。采用了resnet
‑
32架构，其中特征编码器使用了5个resnet块，包括具有批归一化和relu的两个3
×
3卷积，接着是附加的标识跳过连接。解码器具有与在编码器中相同数量的卷积块。去往每个解码块的输入与具有相同分辨率的编码特征级联（concatenate）在一起。将训练图像重新采样成具有0.6
×
0.6 mm的平面内分辨率。然后，计算了几何中心，并且利用大小为512
×
512的固定边界框来裁剪这些图像。保留了原始的平面外分辨率和尺寸。由宽度为1174 hu且级别为
‑
150 hu的肺部窗口来修剪这些图像，并且然后将其归一化到[
‑
1,1]。利用具有解耦权重衰减正则化的adam优化训练了该网络。将软骰子损失（soft dice loss）应用于解码器输出预测，以在训练期间惩罚与地面真值covid
‑
19注释的差异。针对数据扩充，将随机镜像翻转应用于具有0.5的概率的平面内取向、以及在每个维度上被限制于10个体素的平面内随机平移（translation）。图
像强度在[
‑
10,10] hu的随机区间内被扰动。
[0045]
3d cnn方法也基于3d u
‑
net架构，该3d u
‑
net架构具有密集卷积块、以及针对较高分辨率特征的各向异性特征计算和针对较低分辨率的各向同性特征计算。通过将输入的ct体积重新采样成1
×1×
3 mm的分辨率来预处理输入的ct体积，并且基于肺部分割将其裁剪成固定的384
×
384
×
128的框。输入数据通过肺部分割而被掩蔽，并且通过使用宽度为1500 hu且级别为
‑
600 hu的标准肺部窗口被归一化，并且被修剪到[0,1]的范围。在训练期间，通过在[
‑
20,20] hu的范围内的随机强度扰动、以及沿着x或y方向的随机翻转来执行附加的数据扩充。3d神经网络使用了卷积块，该卷积块在卷积
‑
批归一化
‑
leakyrelu层的密集块中包括1
×3×
3或3
×3×
3的cnn核。针对下采样，使用具有1
×2×
2或2
×2×
2步幅（stride）的1
×2×
2或2
×2×
2卷积层来计算编码器特征。针对上采样，使用了具有相同核大小的转置
‑
卷积层。顶部两个解码器
‑
编码器网络级别使用了各向异性特征，接着是三个各向同性级别。通过将与先前的上采样块的输出具有相同分辨率的对应编码器输出特征级联在一起，从而获得了去往每个解码器块的输入。最终输出使用了softmax激活层。该3d网络是使用adabound优化器来训练的，adabound优化器为了更快的收敛而将adam优化器与sgd（随机梯度下降）进行自适应组合。jaccard索引被用作训练损失函数，发现它针对不平衡的标签具有稳定的行为。
[0046]
3d cnn方法的优点包括：使用3d上下文以处理平面内部分体积效应、以及全局肺部上下文的能力。3d cnn方法的缺点包括：较高的计算复杂性、以及潜在地由于总样本的较少数量所致的训练中的较高复杂性和过拟合。做出对使用各向异性特征的选择，作为在计算复杂性与具有在轴向获取平面中计算的合理高分辨率特征之间的折衷。
[0047]
图9示出了表900，表900概述了用于训练和评估肺部分割网络和异常图案分割网络的数据集。在专用数据集上训练了肺部分割和异常图案分割网络，以解决特定于每个任务的挑战。使用相同的测试集评估了系统的性能。
[0048]
测试集包括100个对照图像和100个covid
‑
19阳性图像。对照组是从公开的数据集中随机采样的。从临床报告中标识了候选者（candidate），并且在选择之后由经训练的用户在视觉上对候选者进行确认。100个covid
‑
19阳性患者是从具有临床确认的数据源中采样的。从2个欧洲机构和2个美国机构中随机选择了110个候选扫描。排除了使用地面真值注释所测量的具有最低不透明度百分比（po）的十个数据集。参照测试集中所选的患者的所有体积从任何训练集中被排除。病变分割训练集包括从10个临床合作者收集的剩余227个covid
‑
19阳性病例，其被扩充有具有肺炎图案的174个3d胸部ct、以及患有间质性肺部疾病的297个病例。肺部分割训练集包括具有病理学（包括肺炎、间质性肺部疾病）体积和对照体积两者的735个ct扫描。187个数据集对于病变分割训练集和肺部分割训练是共有的。本实验中使用的合成图像是基于从所公开的数据集中获取的510个对照图像来生成的。基于每个真实的对照图像合成了3个图像，从而产生总共1530个合成图像。
[0049]
原始数据格式是dicom（医学数字成像和通信）图像或3d元图像。通过保持原始分辨率并且轴向地对体积进行重新定向，从dicom图像重建的3d ct序列。数据的注释已经被形式化（formalize）为两个独立的任务：肺部的注释、以及病变的注释（与例如covid
‑
19、肺炎和间质性肺部疾病相关联的异常图案）。
[0050]
对于肺部分割训练，专家用户利用自定义注释工具生成了用于每个训练数据集的
地面真值。用户加载匿名化3d ct序列（体积），与该图像（包括3个多平面重新格式化图像）进行交互，并且绘制并编辑轮廓，并且利用预先指定的肺部标签来标记区域。最终掩膜与对原始匿名化ct序列的参考一起被保存为文件。根据内部质量准则对注释进行了审查。每个注释由第二个更有经验的用户来审查。
[0051]
对于异常图案分割训练，专家用户利用自定义注释工具生成了用于每个训练数据集的地面真值。用户加载匿名化3d ct序列（体积），并且（如果提供的话）加载预先计算的掩膜以初始化注释。然后，注释者将编辑该掩膜，并且利用预先指定的标签来标记异常图案（诸如，ggo、实变和碎石路）。最终掩膜与对原始匿名化ct序列的参考一起被保存为文件。根据内部质量准则对注释进行了审查。每个注释由经委员会（board）认证的放射科医生来审查。由先前训练的网络产生了预先计算的掩膜。仅发送事先被标识为病变阳性的病例以用于注释。
[0052]
对于异常图案分割测试，使用与针对训练数据的情况相同的方法生成了地面真值。为了执行评分者间（inter
‑
rater）的差异性研究，向两个临床专家给出了来自被诊断为患有covid
‑
19的患者的13个随机胸部ct数据集以用于手动注释。这13个病例是从covid
‑
198阳性患者的测试数据集中随机选择的。
[0053]
肺部分割被用于异常图案分割。因此，重要的是使异常区域被肺部分割完全覆盖。用于将异常图案包含在肺部掩模中的不同分割方法的性能无法由传统度量（诸如，骰子相似性系数和平均表面距离）来捕获。因此，引入了一种被叫做病变包含率的新度量，即。针对三种肺部分割方法计算了lir，这三种肺部分割方法为：（a）仅利用非肺炎数据训练的方法、（b）利用肺炎数据微调的方法、以及（c）利用肺炎数据和根据本文中描述的实施例所生成的类似covid的合成数据两者、连同用以计及该合成数据的一些定制的调整而训练的方法。图10示出了在使用上述肺部分割方法（a）、（b）和（c）的情况下关于具有底部5％、中间和顶部5％病变包含率的示例病例的肺部分割的定性结果1000。图11示出了针对上述肺部分割方法（a）、（b）和（c）的病变包含率的箱线图（boxplot）的图解1100。图解1100的y轴指示在所预测的肺部分割中已经包括了多少病变分割的百分位数（在理想情况下为100％）。
[0054]
根据图10中所示的定性结果和图11中所示的定量结果两者，可以看到的是，利用高异常图案数据训练的方法在利用covid
‑
19异常图案覆盖肺部区域时展示出更好的鲁棒性。在没有明确地在covid
‑
19病例上进行训练的情况下，与来自先前通过8000个图像训练的基线方法的0.913的平均lir相比，通过根据本文中描述的实施例的covid
‑
19异常图案的图像合成以及相关联的模型训练调整，跨100个covid
‑
19阳性病例实现了0.968的平均lir。
[0055]
图12示出了由基线3d网络、根据本文中描述的实施例的利用合成图像训练的3d网络、以及地面真值图像输出的切片的比较1200。与地面真值相比，3d病变分割网络往往会错过小的ggo组份以及胸膜实变。从图12的中间列进行观察，合成增强的网络（3d网络 合成数据）对于这种具有挑战性的区域具有更高的灵敏度，而不会产生额外的假阳性。
[0056]
按照dsc（骰子相似性系数）、po（不透明度百分比）和pho（高不透明度百分比）从所预测的分割掩膜在每个主体中测量covid
‑
19的严重性。不透明度百分比被计算为受疾病影响的肺部实质组织的总百分比体积：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（公式9）高不透明度百分比被计算为受严重疾病影响的肺部实质组织（即，包括实变的高不透明度区域）的总百分比体积：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（公式10）图13示出了表1300，表1300概述了在100个covid
‑
19阳性和100个对照测试主体上测量的dsc、po和pho度量，这些度量用于评估分割网络预测疾病严重性的能力。通过比较以下方法，评估了8种不同的异常分割策略，这些方法为：在肺炎图像上微调的肺部分割网络（肺炎微调）对比在肺炎图像和合成图像上训练的肺部分割网络（肺炎微调 合成）、2d分割网络（2d）对比3d分割网络（3d）、以及没有利用合成图像训练的分割网络与利用合成图像（总训练图像的20％）训练的分割网络。使用dsc、po和pho度量，在13个covid
‑
19阳性病例的情况下估计了不同读取器之间的用户差异性。图14示出了表14，表14示出了不同读取器之间的差异性。两组带注释的疾病严重性量度之间的dsc和皮尔逊相关系数（pcc）被用来估计针对13个covid
‑
19测试病例的用户差异性。
[0057]
利用227个covid
‑
19阳性病例训练了生成器网络。在100个covid
‑
19阳性患者和100个对照主体的基准数据集上评估了将合成数据添加到肺部和异常分割网络的影响。所发现的是，合成数据的添加使lir改进了6.02％。接下来，利用合成数据的添加评估了异常分割的改进。2d网络的dsc被发现已经从0.623改进到0.645，并且3d网络的dsc从0.657改进到0.706，这与用户间差异性dsc（0.7132
±
0.1831）相当。最后，所发现的是，利用使用合成数据的网络改进了地面真值与预测度量之间的皮尔逊相关系数。针对po的pcc对于2d网络而言从0.908改进到0.939，并且对于3d网络而言从0.933改进到0.961，这与用户间差异性范围（pcc=0.957）相当。类似地，针对pho的pcc对于2d网络而言从0.906改进到0.927，并且对于3d网络而言从0.9099改进到0.9387。因此，表明了根据本文中描述的实施例所生成的合成数据的添加通过包括高异常图案的区域而改进了肺部分割的质量，这还转化成异常分割方面的改进。
[0058]
关于要求保护的系统以及关于要求保护的方法来描述本文中描述的实施例。本文中的特征、优点或替代实施例可以被指派给其他要求保护的对象，并且反之亦然。换句话说，可以利用在方法的上下文中描述或要求保护的特征来改进用于系统的权利要求。在这种情况下，该方法的功能特征通过提供系统的目标单元来体现。
[0059]
此外，关于使用经训练的基于机器学习的生成器网络的、用于与疾病相关联的异常图案的医学图像合成的方法和系统，以及关于用于训练用于生成与疾病相关联的异常图案的合成医学图像的基于机器学习的生成器网络的方法和系统，来描述本文中描述的实施例。本文中的特征、优点或替代实施例可以被指派给其他要求保护的对象，并且反之亦然。换句话说，可以利用在用于利用经训练的基于机器学习的生成器网络的方法和系统的上下文中描述或要求保护的特征来改进用于训练基于机器学习的生成器网络的方法和系统的权利要求，并且反之亦然。
[0060]
特别地，用于与疾病相关联的异常图案的医学图像合成的方法和系统的经训练的基于机器学习的生成器网络可以由用于训练用于生成与疾病相关联的异常图案的合成医
学图像的基于机器学习的生成器网络的方法和系统来适配。此外，经训练的基于机器学习的生成器网络的输入数据可以包括训练输入数据的有利特征和实施例，并且反之亦然。此外，经训练的基于机器学习的生成器网络的输出数据可以包括输出训练数据的有利特征和实施例，并且反之亦然。
[0061]
一般而言，经训练的基于机器学习的网络模仿认知功能，人类将该认知功能与其他人类心智相关联。特别地，通过基于训练数据的训练，经训练的基于机器学习的网络能够适应新情况并且检测和推断出图案。
[0062]
一般而言，可以借助于训练来适配基于机器学习的网络的参数。特别地，可以使用监督训练、半监督训练、无监督训练、强化学习和/或主动学习。此外，可以使用表示学习（替代术语是“特征学习”）。特别地，可以通过若干个训练步骤来迭代地适配经训练的基于机器学习的网络的参数。
[0063]
特别地，经训练的基于机器学习的网络可以包括神经网络、支持向量机、决策树和/或贝叶斯网络，和/或经训练的基于机器学习的网络可以基于k均值聚类、q学习、遗传算法和/或关联规则。特别地，神经网络可以是深度神经网络、卷积神经网络或卷积深度神经网络。此外，神经网络可以是对抗网络、深度对抗网络和/或生成式对抗网络。
[0064]
图15示出了根据一个或多个实施例的人工神经网络1500的实施例。“人工神经网络”的替代术语是“神经网络”、“人工神经网”或“神经网”。可以使用人工神经网络1500来实现本文中描述的机器学习网络，诸如例如在图1的步骤108处应用的基于机器学习的生成器网络、图2的生成器网络208、以及图8的生成器网络808和判别器网络812。
[0065]
人工神经网络1500包括节点1502
‑
1522和边1532、1534
……
1536，其中每个边1532、1534
……
1536是从第一节点1502
‑
1522到第二节点1502
‑
1522的有向连接。一般而言，第一节点1502
‑
1522和第二节点1502
‑
1522是不同的节点1502
‑
1522，也有可能第一节点1502
‑
1522和第二节点1502
‑
1522是相同的。例如，在图15中，边1532是从节点1502到节点1506的有向连接，并且边1534是从节点1504到节点1506的有向连接。从第一节点1502
‑
1522到第二节点1502
‑
1522的边1532、1534
……
1536还被表示为针对第二节点1502
‑
1522的“传入边”、以及被表示为针对第一节点1502
‑
1522的“传出边”。
[0066]
在该实施例中，人工神经网络1500的节点1502
‑
1522可以被布置在层1524
‑
1530中，其中这些层可以包括由节点1502
‑
1522之间的边1532、1534
……
1536引入的固有次序。特别地，边1532、1534
……
1536可以仅存在于节点的邻近层之间。在图15中所示的实施例中，存在仅包括节点1502和1504而没有传入边的输入层1524、仅包括节点1522而没有传出边的输出层1530、以及在输入层1524与输出层1530之间的隐藏层1526、1528。一般而言，可以任意地选择隐藏层1526、1528的数量。输入层1524内的节点1502和1504的数量通常与神经网络1500的输入值的数量有关，并且输出层1530内的节点1522的数量通常与神经网络1500的输出值的数量有关。
[0067]
特别地，可以将（实数）数字作为值指派给神经网络1500的每个节点1502
‑
1522。在这里，x
（n）i
表示第n层1524
‑
1530的第i个节点1502
‑
1522的值。输入层1524的节点1502
‑
1522的值等同于神经网络1500的输入值，输出层1530的节点1522的值等同于神经网络1500的输出值。此外，每个边1532、1534
……
1536可以包括作为实数的权重，特别地，权重是在区间[
‑
1,1]内或区间[0,1]内的实数。在这里，w
(m,n)i,j
表示第m层1524
‑
1530的第i个节点1502
‑
1522
与第n层1524
‑
1530的第j个节点1502
‑
1522之间的边的权重。此外，缩写w
(n)i,j
被定义用于权重w
(n,n 1)i,j
。
[0068]
特别地，为了计算神经网络1500的输出值，使输入值传播通过神经网络。特别地，可以基于第n层1524
‑
1530的节点1502
‑
1522的值通过以下公式来计算第（n 1）层1524
‑
1530的节点1502
‑
1522的值：。
[0069]
在本文中，函数f是传递函数（另一个术语是“激活函数”）。已知的传递函数是阶梯函数、sigmoid函数（例如，逻辑函数、广义逻辑函数、双曲正切函数、反正切函数、误差函数、平滑阶梯函数（smoothstep function））或整流函数（rectifier function）。传递函数主要被用于归一化目的。
[0070]
特别地，使这些值逐层传播通过神经网络，其中输入层1524的值由神经网络1500的输入给出，其中第一隐藏层1526的值可以基于神经网络的输入层1524的值来计算，其中第二隐藏层1528的值可以基于第一隐藏层1526的值来计算等等。
[0071]
为了设置边的值w
(m,n)i,j
，必须使用训练数据来训练神经网络1500。特别地，训练数据包括训练输入数据和训练输出数据（被表示为t
i
）。对于训练步骤，将神经网络1500应用于训练输入数据以生成所计算的输出数据。特别地，训练数据和所计算的输出数据包括某个数量的值，所述数量等于输出层的节点数量。
[0072]
特别地，使用所计算的输出数据与训练数据之间的比较来递归地适配神经网络1500内的权重（反向传播算法）。特别地，根据以下公式来改变权重：其中γ是学习率，并且如果第（n 1）层不是输出层，则可以基于δ
(n 1)j
递归地将数字δ
(n)j
计算为：，并且如果第（n 1）层是输出层1530，则将其计算为：其中f'是激活函数的一阶导数，并且y
(n 1)j
是输出层1530的第j个节点的比较训练值。
[0073]
图16示出了根据一个或多个实施例的卷积神经网络1600。可以使用卷积神经网络1600来实现本文中描述的机器学习网络，诸如例如在图1的步骤108处应用的基于机器学习的生成器网络、图2的生成器网络208、以及图8的生成器网络808和判别器网络812。
[0074]
在图16中所示的实施例中，卷积神经网络1600包括输入层1602、卷积层1604、池化层1606、全连接层1608和输出层1610。替代地，卷积神经网络1600可以包括若干个卷积层1604、若干个池化层1606和若干个全连接层1608、以及其他类型的层。可以任意地选择这些层的次序，通常全连接层1608被用作输出层1610之前的最后的层。
[0075]
特别地，在卷积神经网络1600内，可以认为一个层1602
‑
1610的节点1612
‑
1620被布置为d维矩阵或d维图像。特别地，在二维情况下，在第n层1602
‑
1610中用i和j索引的节点1612
‑
1620的值可以被表示为x
(n)[i, j]
。然而，一个层1602
‑
1610的节点1612
‑
1620的布置对在卷积神经网络1600内执行的计算本身没有影响，这是因为它们仅由边的结构和权重所给出。
[0076]
特别地，卷积层1604的特征在于基于某个数量的核而形成卷积操作的传入边的结构和权重。特别地，选择传入边的结构和权重，使得卷积层1604的节点1614的值x
(n)k
基于前一层1602的节点1612的值x
(n
‑
1)
而被计算为卷积x
(n)k
=k
k
* x
(n
‑
1)
，其中卷积*在二维情况下被定义为：。
[0077]
在这里，第k个核k
k
是d维矩阵（在该实施例中是二维矩阵），该矩阵与节点1612
‑
1618的数量相比通常较小（例如，3
×
3矩阵或5
×
5矩阵）。特别地，这意味着传入边的权重不是独立的，而是被选择成使得它们产生所述卷积公式。特别地，对于作为3
×
3矩阵的核而言，仅存在9个独立权重（核矩阵中的每个条目对应于一个独立权重），而与相应层1602
‑
1610中的节点1612
‑
1620的数量无关。特别地，对于卷积层1604而言，卷积层中的节点1614的数量等同于前一层1602中的节点1612的数量乘以核的数量。
[0078]
如果前一层1602的节点1612被布置为d维矩阵，则使用多个核可以被解释为添加另外的维度（被表示为“深度”维度），使得卷积层1614的节点1614被布置为（d 1）维矩阵。如果前一层1602的节点1612已经被布置为包括深度维度的（d 1）维矩阵，则使用多个核可以被解释为沿着深度维度进行扩展，使得卷积层1604的节点1614也被布置为（d 1）维矩阵，其中关于深度维度的（d 1）维矩阵的大小是在前一层1602中的大小的核数量倍。
[0079]
使用卷积层1604的优点在于：可以通过在邻近层的节点之间强制执行局部连接性模式（local connectivity pattern）、特别是通过将每个节点仅连接到前一层的节点的较小区域，来利用输入数据的空间局部相关性。
[0080]
在图16中所示的实施例中，输入层1602包括被布置为二维6
×
6矩阵的36个节点1612。卷积层1604包括被布置为两个二维6
×
6矩阵的72个节点1614，这两个矩阵中的每一个是输入层的值与核进行卷积的结果。等同地，卷积层1604的节点1614可以解释为被布置为三维6
×6×
2矩阵，其中最后一个维度是深度维度。
[0081]
池化层1606的特征在于基于非线性池化函数f而形成池化操作的其节点1616的激活函数以及传入边的结构和权重。例如，在二维情况下，池化层1606的节点1616的值x
(n)
可以基于前一层1604的节点1614的值x
(n
‑
1)
而被计算为：。
[0082]
换句话说，通过使用池化层1606，可以通过在池化层中用单个节点1616来替换前一层1604中的数量d1
·
d2的相邻节点1614，从而减少节点1614、1616的数量，该单个节点1616是根据所述数量的相邻节点的值来计算的。特别地，池化函数f可以是最大值函数、平均值或l2
‑
范数。特别地，对于池化层1606而言，传入边的权重是固定的，并且不通过训练来修改。
[0083]
使用池化层1606的优点在于减少了节点1614、1616的数量和参数的数量。这导致网络中的计算量减少，并且导致对过拟合的控制。
[0084]
在图16中所示的实施例中，池化层1606是最大池化，用仅一个节点来替换四个相邻节点，该值是四个相邻节点的值中的最大值。最大池化被应用于先前层的每个d维矩阵；在该实施例中，最大池化被应用于两个二维矩阵中的每一个，从而将节点数量从72个减少到18个。
[0085]
全连接层1608的特征在于以下事实：先前层1606的节点1616与全连接层1608的节点1618之间的大部分边、特别是所有边都存在，并且其中每一个边的权重可以被单独地调整。
[0086]
在该实施例中，全连接层1608的前一层1606的节点1616既被显示为二维矩阵，又被附加地显示为不相关的节点（它们被指示为一行节点，其中节点数量减少以获得更好的展示性（presentability））。在该实施例中，全连接层1608中的节点1618的数量等于前一层1606中的节点1616的数量。替代地，节点1616、1618的数量可以不同。
[0087]
此外，在该实施例中，通过将softmax函数应用到前一层1608的节点1618的值上，从而确定输出层1610的节点1620的值。通过应用softmax函数，输出层1610的所有节点1620的值的总和是1，并且输出层的所有节点1620的所有值是0到1之间的实数。
[0088]
卷积神经网络1600还可以包括relu（整流线性单元）层。特别地，包含在relu层中的节点的数量和节点的结构等同于包含在前一层中的节点的数量和节点的结构。特别地，通过将整流函数应用于前一层的对应节点的值来计算relu层中的每个节点的值。整流函数的示例是f(x)=max(0,x)、正切双曲函数或sigmoid函数。
[0089]
特别地，可以基于反向传播算法来训练卷积神经网络1600。为了防止过拟合，可以使用正则化的方法，例如节点1612
‑
1620的丢弃（dropout）、随机池化、人工数据的使用、基于l1或l2范数的权重衰减、或最大范数约束。
[0090]
包括基于机器学习的网络（诸如例如，图2的生成器网络208、图8的生成器网络808和判别器网络812、图15的人工神经网络1500、以及图16的卷积神经网络1600）的本文中描述的系统、装置和方法可以使用数字电路来实现，或者使用一个或多个使用公知的计算机处理器、存储器单元、存储设备、计算机软件和其他组件的计算机来实现。通常，计算机包括用于执行指令的处理器和用于存储指令和数据的一个或多个存储器。计算机还可以包括或可以耦合到一个或多个大容量存储设备，诸如一个或多个磁盘、内部硬盘和可移除磁盘、磁光盘、光盘等。
[0091]
本文中描述的系统、装置和方法可以使用以客户端
‑
服务器关系操作的计算机来实现。通常，在这种系统中，客户端计算机位于远离服务器计算机的位置，并且经由网络进行交互。客户端
‑
服务器关系可以由在相应客户端和服务器计算机上运行的计算机程序来定义和控制。
[0092]
本文中描述的系统、装置和方法可以在基于网络的云计算系统内实现。在这种基于网络的云计算系统中，连接到网络的服务器或另一个处理器经由网络与一个或多个客户端计算机通信。客户端计算机可以经由例如在客户端计算机上驻留和操作的网络浏览器应用与服务器进行通信。客户端计算机可以将数据存储在服务器上，并且经由网络来访问该数据。客户端计算机可以经由网络将对数据的请求或对在线服务的请求传输到服务器。服
务器可以执行所请求的服务，并且将数据提供给（一个或多个）客户端计算机。服务器还可以传输被适配成使客户端计算机执行指定功能（例如，执行计算、在屏幕上显示指定数据等）的数据。例如，服务器可以传输被适配成使客户端计算机执行本文中描述的方法和工作流程的一个或多个步骤或功能（包括图1
‑
2和图8的一个或多个步骤或功能）的请求。本文中描述的方法和工作流程的某些步骤或功能（包括图1
‑
2和图8的一个或多个步骤或功能）可以由服务器或者由基于网络的云计算系统中的另一个处理器来执行。本文中描述的方法和工作流程的某些步骤或功能（包括图1
‑
2和图8的一个或多个步骤）可以由基于网络的云计算系统中的客户端计算机来执行。本文中描述的方法和工作流程的步骤或功能（包括图1
‑
2和图8的一个或多个步骤）可以由服务器和/或由基于网络的云计算系统中的客户端计算机以任何组合的形式来执行。
[0093]
本文中描述的系统、装置和方法可以使用有形地体现在信息载体中（例如，体现在非暂时性机器可读存储设备中）以供可编程处理器执行的计算机程序产品来实现；并且本文中描述的方法和工作流程步骤（包括图1
‑
2和图8的一个或多个步骤或功能）可以使用可由这种处理器执行的一个或多个计算机程序来实现。计算机程序是一组计算机程序指令，可以在计算机中直接或间接使用这些指令来执行某个活动或带来某个结果。计算机程序能够以任何形式的编程语言（包括编译或解译的语言）来编写，并且它能够以任何形式来部署，包括作为独立程序或作为模块、组件、子例程、或适合用于计算环境中的其他单元。
[0094]
图17中描绘了可以被用来实现本文中描述的系统、装置和方法的示例计算机1702的高级框图。计算机1702包括可操作地耦合到数据存储设备1712和存储器1710的处理器1704。处理器1704通过执行定义了计算机1702的总体操作的计算机程序指令来控制这种操作。计算机程序指令可以存储在数据存储设备1712、或其他计算机可读介质中，并且在期望执行计算机程序指令时被加载到存储器1710中。因此，图1
‑
2和图8的方法和工作流程步骤或功能可以由存储在存储器1710和/或数据存储设备1712中的计算机程序指令来定义，并且可以由执行计算机程序指令的处理器1704来控制。例如，计算机程序指令可以被实现为由本领域技术人员编程以执行图1
‑
2和图8的方法和工作流程步骤或功能的计算机可执行代码。因此，通过执行计算机程序指令，处理器1704执行图1
‑
2和图8的方法和工作流程步骤或功能。计算机1702还可以包括一个或多个网络接口1706以用于经由网络与其他设备通信。计算机1702还可以包括使得用户能够与计算机1702进行交互的一个或多个输入/输出设备1708（例如，显示器、键盘、鼠标、扬声器、按钮等）。
[0095]
处理器1704可以包括通用微处理器和专用微处理器两者，并且可以是计算机1702的唯一处理器或者多个处理器之一。例如，处理器1704可以包括一个或多个中央处理单元（cpu）。处理器1704、数据存储设备1712和/或存储器1710可以包括一个或多个专用集成电路（asic）和/或一个或多个现场可编程门阵列（fpga）、由其补充或者被并入其中。
[0096]
数据存储设备1712和存储器1710均包括有形的非暂时性计算机可读存储介质。数据存储设备1712和存储器1710可以均包括高速随机存取存储器，诸如动态随机存取存储器（dram）、静态随机存取存储器（sram）、双倍数据速率同步动态随机存取存储器（ddr ram）、或其他随机存取固态存储器设备，并且可以包括非易失性存储器，诸如一个或多个磁盘存储设备（诸如，内部硬盘和可移除磁盘）、磁光盘存储设备、光盘存储设备、闪速存储器设备、半导体存储器设备（诸如，可擦除可编程只读存储器（eprom）、电可擦除可编程只读存储器
（eeprom）、紧凑盘只读存储器（cd
‑
rom）、数字多功能盘只读存储器（dvd
‑
rom）盘）或其他非易失性固态存储设备。
[0097]
输入/输出设备1708可以包括外围设备，诸如打印机、扫描仪、显示屏等。例如，输入/输出设备1708可以包括用于向用户显示信息的显示设备（诸如，阴极射线管（crt）或液晶显示器（lcd）监视器）、键盘以及诸如鼠标或轨迹球之类的指点设备，用户可以通过该指点设备向计算机1702提供输入。
[0098]
图像获取设备1714可以连接到计算机1702，以将图像数据（例如，医学图像）输入到计算机1702。将图像获取设备1714和计算机1702实现为一个设备是可能的。图像获取设备1714和计算机1702通过网络进行无线通信也是可能的。在可能的实施例中，计算机1702可以相对于图像获取设备1714远程地定位。
[0099]
可以使用一个或多个计算机（诸如，计算机1702）来实现本文中讨论的任何或所有系统和装置。
[0100]
本领域技术人员将认识到，实际计算机或计算机系统的实现方式可以具有其他结构，并且也可以包含其他组件，并且出于说明性目的，图17是这种计算机中的一些组件的高级表示。
[0101]
前述具体实施方式应在每个方面被理解为是说明性和示例性的，而非限制性的，并且本文中公开的本发明的范围不是由该具体实施方式确定的，而是从根据专利法允许的全部范围（full breadth）所解释的权利要求来确定的。要理解的是，本文中所示出和描述的实施例仅仅说明了本发明的原理，并且本领域技术人员可以在不脱离本发明的范围和精神的情况下实现各种修改。本领域技术人员可以在不脱离本发明的范围和精神的情况下实现各种其他特征组合。