医学图像分割和图集图像选择的制作方法

1.当前公开的主题涉及用于医学图像分割的方法、用于选择在医学图像分割方法中使用的图集图像的方法、医学图像分割系统、图集图像选择系统和计算机可读介质。


背景技术：

2.准确且鲁棒的医学图像分割仍然是有挑战性的任务。
3.医学图像分割的一种方法是基于多图集的图像分割方法。这些方法可以用分割的参考图像的有限集合(称为图集(atlas))来构建。不幸的是，基于图集的方法通常缺乏所需的准确性。在a.sotiras等人的“deformable medical image registration:a survey”或者在b.b.avants等人的“symmetric diffeomorphic image registration with cross-correlation:evaluating automated labeling of elderly and neurodegenerative brain”中给出了配准方法及其对医学图像分割的应用的示例，这两篇文章都通过引用包含于此。
4.医学图像分割的另一种方法是神经网络，例如，卷积神经网络。在groza等人的“comparison of deep learning-based techniques for organ segmentation in abdominal ct images”或者在t.brosch和a.saalbach的“foveal fully convolutional nets for multi-organ segmentation”中给出了适用于医学图像分割的神经网络的示例，这两篇文章通过引用包含于此。
5.基于神经网络的方法能够有效地构建准确的分割算法。不幸的是，神经网络不能正确地泛化到属性略有不同的新数据集。当向经训练的神经网络呈现新图像时，即使该新图像稍微位于用来训练神经网络的图像之外，得到的分割也可能完全不正确。
6.需要一种医学图像分割方法，该方法一方面允许准确的分割，而另一方面更好地泛化到不熟悉的图像。


技术实现要素：

7.为了解决这些问题和其他问题，提供了使用分割功能部件和多个图集图像两者的医学分割方法。此外，提供了用于选择在医学图像分割方法中使用的图集图像的方法。此外，提供了相对应的设备和软件。
8.获得了基于机器学习的分割算法，该分割算法产生了医学图像的准确且鲁棒的分割，还很好地泛化到属性略有不同的新数据集。改进的泛化也可以用于减少训练数据量。
9.通过在分割功能部件所熟悉的图集图像上配准图像，例如在分割功能部件执行良好的图集图像上配准图像，很有可能获得准确的分割。避免了将分割功能部件应用于将会产生故障模式分割的图像，例如，显示出分割能力的崩溃。通过在多个图集图像上配准图像，降低了大多数图集图像将会显示出较差分割输出的概率，并且提高了过程的准确性。例如，避免了图集或输入图像的偶然特性将会支配结果。将多个预测器的集合与合适的表决方案进行组合提高了它们的预测性能。
10.图集图像选择的实施例的优点在于，图集图像选择可以在分割功能部件的训练完成之后执行。事实上，分割功能部件的训练可以独立于图集图像选择。根据实施例，这使得增强现有的分割功能部件成为可能。
11.例如，在一个实施例中，分割功能部件可以是机器学习分割功能部件。例如，训练图像可以用于训练分割功能部件。例如，分割功能部件可以是例如神经网络，例如卷积神经网络(cnn)。代替神经网络，机器学习分割功能部件可以是决策森林。机器学习分割功能部件可以是神经网络的集成。例如，最终结果可以由该集合中各个网络响应的结果组成。例如，可以用不同的参数训练神经网络的集合。
12.可以选择n个训练图像的子集作为图集图像。为了分割新图像，将其配准到被选择的n个图集图像，并且将分割功能部件应用于配准的图像以获得n个分割。例如，这些可以是像素或体素分割。在对n个分割中的每个分割应用相对应的逆变换之后，可以例如使用多数表决(majority voting)来融合得到的分割，以获得最终的分割。
13.用于分割的方法和/或用于选择图集图像的方法可以在电子设备上实现，例如在计算机上实现。本文描述的分割方法可以在广泛的实际应用中应用，例如，在用于诊断、量化或治疗计划的临床工作站或基于网络/云的临床应用中应用。
14.本领域技术人员将理解，该方法可以应用于通过各种采集模态(诸如但不限于标准x射线成像、计算机断层摄影(ct)、磁共振成像(mri)、超声(us)、正电子发射断层摄影(pet)、单光子发射计算机断层摄影(spect)以及核医疗(nm))采集的多维图像数据(例如，二维(2d)、三维(3d)或四维(4d)图像)。
15.该方法的实施例可以作为计算机实现的方法在计算机上实现，或者在专用硬件中实现，或者在两者的组合中实现。该方法的实施例的可执行代码可以被存储在计算机程序产品上。计算机程序产品的示例包括存储器设备、光存储设备、集成电路、服务器、在线软件等。优选地，计算机程序产品包括存储在计算机可读介质上非暂时性程序代码，以用于当所述程序产品在计算机上执行时执行该方法的实施例。
16.在一个实施例中，计算机程序包括计算机程序代码，该计算机程序代码适用于当计算机程序在计算机上运行时执行该方法的实施例的全部或部分步骤。优选地，计算机程序体现在计算机可读介质上。
附图说明
17.将参考附图通过示例的方式描述进一步的细节、方面和实施例。附图中的元件是为了简单和清楚而示出的，并不一定是按比例绘制的。在附图中，与已经描述的元件相对应的元件可以具有相同的参考标记。在附图中，
18.图1a示意性地示出了医学图像分割系统的实施例的示例，
19.图1b示意性地示出了图集图像选择系统的实施例的示例，
20.图2a示意性地示出了分割功能部件的实施例的示例，
21.图2b示意性地示出了图像分割的实施例的示例，
22.图2c示意性地示出了分割质量确定的实施例的示例，
23.图3示意性地示出了用于医学图像分割的方法的实施例的示例，
24.图4a和图4b示意性地示出了用于选择在医学图像分割方法中使用的图集图像的
方法的实施例的示例，
25.图5a示意性地示出了用于医学图像分割的方法的实施例的示例，
26.图5b示意性地示出了用于选择在医学图像分割方法中使用的图集图像的方法的实施例的示例，
27.图6a和图6b示意性地示出了医学图像的实施例的示例，
28.图6c示意性地示出了正确操作的分割功能部件的实施例的示例的dice得分，
29.图6d示意性地示出了显示出故障模式的分割功能部件的实施例的示例的dice得分，
30.图7a示意性地示出了根据实施例的具有包括计算机程序的可写部分的计算机可读介质，
31.图7b示意性地示出了根据实施例的处理器系统的表示。
32.参考标记列表：
33.100 机器学习系统
34.110 医学图像分割系统
35.112 分割功能部件存储装置
36.114 图集图像存储装置
37.130 处理器系统
38.140 存储器
39.150 通信接口
40.160 图集图像选择系统
41.164 测试图像存储装置
42.170 处理器系统
43.180 存储器
44.190 通信接口
45.210 分割功能部件
46.212、213 医学输入图像
47.214、215 图像分割
48.216 真实的图像分割
49.220 比较器
50.217 分割质量
51.320 多个图集图像
52.321-323 图集图像
53.312 医学图像
54.325 配准功能部件
55.330 多个配准的图像
56.331-333 配准的图像
57.340 多个配准的图像分割，
58.341-343 配准的图像分割
59.350 多次取消配准的图像分割，
60.351-353 取消配准的图像分割
61.361 输出分割
62.610 多个测试图像
63.610 尚未被选择的测试图像
64.611-613 测试图像
65.620 多个测试图像分割
66.621-623 测试图像分割
67.630 多个分割质量
68.631-633 分割质量
69.651 图集图像
70.640 多个配准质量
71.641-643 配准质量
72.652，654 脊椎的dice得分
73.662，664 肋骨的dice得分
74.400 一种用于医学图像分割的方法
75.410 获得分割功能部件，该分割功能部件被配置为接收医学输入图像并产生图像分割，
76.420 获得多个图集图像，
77.430 接收医学图像，
78.440 将接收到的图像配准到多个图集图像，从而获得多个配准的图像以及多个相对应的配准变换，多个相对应的配准变换被配置为在多个图集图像上配准接收到的图像，
79.450 将分割功能部件应用于多个配准的图像，从而获得多个配准的图像分割，
80.460 将多个配准变换的逆应用于多个图像分割，从而获得多个图像分割，
81.470 根据多个图像分割确定输出分割。
82.500 一种用于选择在医学图像分割方法中使用的图集图像的方法，
83.510 获得分割功能部件，该分割功能部件被配置为接收输入图像并产生图像分割，
84.520 获得多个测试图像和相对应的测试图像分割，
85.530 通过将相关联的测试图像分割与由分割功能部件生成的图像分割进行比较来确定多个测试图像的分割质量，
86.540 选择测试图像中的具有超过阈值的分割质量的一个或多个测试图像作为图集图像。
87.1000 计算机可读介质
88.1010 可写部分
89.1020 计算机程序
90.1110 (多个)集成电路
91.1120 处理单元
92.1122 存储器
93.1124 专用集成电路
94.1126 通信元件
95.1130 互连
96.1140 处理器系统
具体实施方式
97.虽然当前公开的主题容许许多不同形式的实施例，但是在附图中示出并且将在本文中详细描述一个或多个具体实施例，其中，应当理解，本公开被认为对当前公开的主题的原理是示例性的，并且不旨在将其限制于所示出和描述的具体实施例。
98.在下文中，为了便于理解，在操作中描述了实施例的元件。然而，显而易见的是，相应的元件被布置成执行被描述为由它们执行的功能。
99.此外，当前公开的主题不限于这些实施例，因为本文描述的或者在相互不同的从属权利要求中记载的特征可以进行组合。
100.图1a示意性地示出了医学图像分割系统110的实施例的示例。例如，图像分割系统110可以被配置用于诸如本文所示的图像分割方法。图1b示意性地示出了图集图像选择系统160的实施例的示例。例如，系统160可以被配置用于如本文所示的选择图集图像的方法。例如，在系统160中选择的图集图像可以在系统110中被用于图像分割。
101.医学图像分割系统110和图集选择系统160可以是不同的系统。医学图像分割系统110和图集选择系统160可以被组合在机器学习系统100中。系统100可以被配置用于图集选择和用于图像分割。后者可以是分割功能部件训练和/或对新图像进行分割的一部分。
102.例如，医学图像分割系统110可以被用在生产环境中。例如，医学图像分割系统110可以被医学专业人员或医学成像系统的操作者等使用，以产生新图像的分割。医学图像分割系统110中的分割功能部件和/或通常是机器学习分割功能部件，例如，该分割功能部件可以是或已经是在多个训练图像上训练的。为了方便起见，将假设分割功能部件是机器学习类型的，但是这不是严格必需的。例如，根据实施例，也可以改进手工设计的分割功能部件，例如，专家系统等。机器学习分割功能部件可以包括神经网络，例如，该神经网络被配置为接收图像作为输入并产生分割作为输出，但这不是必须的。例如，分割功能部件可以包括其他机器学习功能(例如，深度森林)，或者可以包括一个或多个机器学习功能的集成(ensemble)。例如，当准备图像分割系统110时，可以使用图集图像选择系统160。例如，系统160可以与用于训练系统110的分割功能部件的系统一起使用。例如，系统160可以进一步被配置为训练可以在图像分割系统110中使用的分割功能部件的参数。然而，后者是可选的，例如，分割功能部件训练可以由不同的设备来执行。事实上有利的是，可以在分割功能部件的训练完成之后选择图集图像。有趣的是，完全训练的分割功能部件可以从任何来源(例如，从某个第三方)获得，在完全训练分割功能部件之后，可以为其选择图集图像。以这种方式，用于图像分割的任何现有的分割功能部件的准确性和鲁棒性可以在以后增加。即使在分割功能部件的设计或训练期间没有打算或预期使用图集图像，这也是成立的。
103.图像分割系统110可以包括处理器系统130、存储器140和通信接口150。图像分割系统110可以被配置为与分割功能部件存储装置112和图集图像存储装置114通信。
104.分割功能部件存储装置112可以被配置为存储分割功能部件，该分割功能部件被配置为接收医学输入图像并产生图像分割。图集存储装置114可以被配置为存储多个图集
图像。
105.图集图像选择系统160可以包括处理器系统170、存储器180和通信接口190。系统160可以包括(例如，系统110中的)分割功能部件存储装置112和测试图像存储装置164。
106.分割功能部件存储装置112可以被配置为存储分割功能部件，该分割功能部件被配置为接收医学输入图像并产生图像分割。
107.测试图像存储装置164可以被配置为存储多个测试图像和相对应的测试图像分割。
108.存储装置112、114和164可以是系统110或160的本地存储装置，例如，本地硬盘驱动器或存储器。存储装置112、114和164可以是非本地存储装置，例如，云存储装置。在后一种情况下，存储装置112、114和164可以被实现为非本地存储装置的存储接口。
109.系统110和/或160可以通过计算机网络相互通信，与外部存储装置、输入设备、输出设备和/或一个或多个传感器进行通信。计算机网络可以是互联网、内联网、lan、wlan等。计算机网络可以是因特网。系统包括被布置成根据需要在系统内或系统外进行通信的连接接口。例如，连接接口可以包括连接器，例如，有线连接器(例如，以太网连接器、光学连接器等)或无线连接器(例如，天线，例如wi-fi、4g或5g天线)。
110.通信接口可以用于传送或接收用于分割的输入图像、图集图像、分割功能部件参数、输出图像等。
111.系统110和160的执行可以在处理器系统(例如，一个或多个处理器电路，例如微处理器，其示例在本文中示出)中实现。系统110可以在可以包括也可以不包括存储部分的单个设备中实现。系统160可以在可以包括也可以不包括存储装置的单个设备中实现。系统110和160可以在单个系统或设备等中实现。系统110和/或160可以包括功能单元，这些功能单元可以被配置用于图像分割方法和/或图集选择方法的实施例的元素(例如，步骤或部分等)。功能单元可以全部或部分地用存储在系统110和160处的计算机指令(例如，存储在系统110和160的电子存储器中并且可由系统110和160的微处理器执行的计算机指令)来实现。在混合实施例中，功能单元部分地以硬件实现(例如，作为协处理器，例如分割功能部件协处理器、图形协处理器等)，并且部分地以系统110和160上存储和执行的软件实现。分割功能部件的参数和/或训练数据可以被本地存储在系统110和160处，或者可以被存储在云存储装置中。
112.图2a示意性地示出了分割功能部件210的实施例的示例，诸如可以在图像分割方法的实施例和/或在图集图像选择方法的实施例中使用的示例。例如，分割功能部件210可以被配置为接收医学输入图像212并产生图像分割214。例如，分割功能部件可以被配置为接收2d或3d图像i并产生注释，例如，分割a。分割可以是二进制图像。例如，图像可以是肺的图像，并且分割可以是指示输入图像的像素/体素是否对应于肺的二进制图像。分割功能部件210可以在具有相对应的注释(a1，a2，...，am)的图像集(i1，i2，...，im)上被训练或者已经被训练。分割功能部件的训练可以以传统方式来进行。例如，可以(例如，使用反向传播)训练神经网络。训练可以使用adam优化器。
113.图2b示意性地示出了图像分割的实施例的示例。图2b中所示的是医学图像213。医学图像213示出了感兴趣的对象，如肺、肾、心脏等，但也示出了不感兴趣的对象。在图像213中，感兴趣的对象由正方形示意性地指示。在这种情况下，分割215是二进制图像，在该二进
制图像中黑色像素指示感兴趣的对象的存在。
114.代替二进制图像，分割也可以具有两个以上的不同类别，例如，以指示一个以上的感兴趣的对象。例如，分割可以是指示输入中的像素或体素属于什么对象的二维或三维数组。沿着其维度的分割的大小可以与输入图像的大小相同，但是也可以更低；例如，一个输出元素可以对多个输入元素(例如，像素/体素)分类。沿着其维度的分割的大小也可以更高，例如，基于形状的插值可以用于对结果进行上采样。
115.在一个实施例中，输入图像可以是腹部ct，并且感兴趣的对象可以是肝、脾、左肾和右肾。分割功能部件可以是神经网络，例如，(例如u型或f型的)深度卷积神经网络(cnn)。还可以针对其他对象和图像模态(例如，动脉、骨骼等，或者mri、x射线等)来训练分割功能部件。分割方法可以指示医学图像的常见解剖特征，例如针对解剖学上正常(例如，普通)人存在的解剖特征。分割方法还可以或替代地指示医学异常，例如，肿瘤、骨折等。
116.图3示意性地示出了用于医学图像分割的方法的实施例的示例。图5a示意性地示出了用于医学图像分割的方法400的实施例的示例。图3示出了可以在方法400中使用的数据结构和数据项。另一方面，可以使用方法400的实施例来操纵图3中所示的数据结构和数据项等。
117.方法400可以包括获得410分割功能部件210，该分割功能部件被配置为接收医学输入图像并产生图像分割。
118.例如，分割功能部件210可以是卷积网络或resnet型架构等。获得分割功能部件可以包括从存储装置中取回分割功能部件，或者从计算机网络接收分割功能部件，等等。分割功能部件可以被表示为分割功能部件参数的集合。
119.通常，分割功能部件210在图集图像选择之前被完全训练，尽管这不是必需的。例如，在图集选择之后，可以进一步训练分割功能部件，同时包括输入图像配准。例如，这可以是微调。事实上，在训练期间，甚至可以对多个配准的输入图像执行多次分割功能部件应用，并且(例如，如在一个实施例中)融合得到的多个分割，并且从最终融合的分割中计算误差信号。后者的误差信号可以用于进一步的训练，例如，微调。这种方法的一个优点是分割功能部件是针对与被选择的图集图像一起使用而进行优化的。然而，这种微调是不需要的；例如，可以使用图集选择作为提升分割功能部件的性能的方式，而不必进一步训练它。
120.方法400可以包括获得420多个图集图像320。图3所示的是图集图像321、322和323。可能有更多或更少的图集图像。例如，可以有4个或更多个、8个或更多个、16个或更多个图集图像。可能已经根据用于图集图像选择的方法选择了图集图像。例如，可能已经针对各种正属性选择了图集图像。例如，图集图像可以分割得很好。例如，图集图像可以表示图像群(image population)的良好截面。
121.方法400可以包括接收430医学图像312。例如，可以从医学成像设备(例如，ct设备、mri设备、x射线设备等)获得医学图像。例如，图像可以被表示为像素的2d数组或体素的3d数组。图像可以是压缩的，或者可以是原始格式，等等。
122.方法400可以包括将接收到的图像312配准440到多个图集图像，从而获得多个配准的图像330和多个相对应的配准变换，多个相对应的配准变换被配置为将接收到的图像在多个图集图像上配准。图3示出了配准的图像331、332和333。为了清楚起见，在图3中没有示出相对应的变换。图3示出了被配置为将图像312在图集图像320上配准的配准功能部件
325。
123.图像配准是对源图像进行变换以更好地与目标图像对准的过程。在功能部件325的情况下，图像312是源图像，并且图集图像充当目标图像。配准功能部件可以被配置用于从定义的变换类别中选择可允许的变换。例如，变换的类别可以是例如平移配准、刚性配准、相似性配准、仿射配准或非刚性配准。刚性变换包括平移和旋转。相似性变换包括平移、旋转和缩放。可以通过优化损失函数来选择配准。
124.对于配准功能部件325，可以使用弹性配准。例如，配准功能部件325可以选择微分同胚(diffeomorphism)。弹性变换允许源图像与目标图像之间的紧密对准。相应地，期望图集图像的分割质量可以由经变换的图像来匹配。
125.在单个输入312的配准之后，获得多个配准的图像，例如，每个图集图像一个配准的图像。当将图像312配准到图集图像时，功能部件325产生配准的图像，而且也产生将图像312映射到图集图像的变换。例如，给定输入图像i和图集图像ii，可以从变换类别中选择得到的变换，使得ti(i)至少在某种程度上与图像ii对齐。
126.方法400可以包括将分割功能部件210应用450到多个配准的图像330，从而获得多个配准的图像分割340。例如，分割功能部件nn可以被应用为nn(ti(i))，其中i超过图集图像的数量。分割功能部件的输出可以是图像312的相同或更小维度的2维或3维数组。数组的元素可以指示由分割功能部件确定的分割。分割元素可以是指示相对应的像素/体素的类型的值，但是也可以是向量。例如，在需要分割成p个对象的情况下。分割功能部件的输出数组中的元素可以是p维向量。向量中的元素可以指示找到的对象。向量的总和可以是1，或者被缩放为1，等等。
127.方法400可以包括将多个配准变换的逆应用460于多个图像分割340，从而获得多个图像分割350。例如，该方法可以计算如果分割功能部件输入和输出的大小不同，则逆变换可能必须被下采样，以适合较小的数组。例如，后者可以通过插值来进行。
128.方法400可以包括从多个图像分割中确定470输出分割361。例如，该确定可以包括多数表决。例如，图像分割350可以包括二进制图像；分割316也可以包括二进制图像，其中像素值可以由在分割350的相对应的像素中最常出现的值来确定。相同的方法可以用于多值图像，而不是二进制图像。在分割350是包含p维向量的数组(例如，2d或3d数组)的情况下，可以根据某个平均函数对相对应的向量元素求平均。例如，给定向量vi的集合，每个向量对应于分割350的相同元素(例如，像素等)，可以将分割361中的相对应的向量确定为1/n∑vi。有趣的是，可以通过使用幂平均值(例如，均方根)来近似强函数(majority function)。例如，其中幂次d是逐成分(component wise)来计算的。例如，可以选择d≥2。使用d的更高值(例如2或更高值)的优点在于计算类似多数的确定，同时仍然允许使用向量而不是单值分类器进行多对象分割。
129.如上所示，已经针对图像分割被训练的分割功能部件可以通过朝向图集图像配准图像来增强。其优点在于，分割功能部件被迫提供多个分割，而不是单个分割。这些分割实质上是针对同一图像的，但是该信息对于分割功能部件是不可用的。
130.某些类型的分割功能部件对于某些变换可以是不变的。例如，如果分割功能部件
包括卷积神经网络，则它在平移下可以是不变的，至少在某种程度上是不变的，然而这对于稍微复杂一些的变换来说会是不成立的。事实上，卷积网络甚至通常在刚性变换下都不会是不变的，更不用说弹性变换(诸如微分同胚变换)了。因此，如果图像312碰巧处于分割功能部件210的故障模式，这对于图像312的配准的版本来说很有可能不是真的，并且对于大多数配准的图像330来说更不太可能发生。
131.在一个实施例中，分割功能部件在用于确定配准质量和/或用于图像分割的变换类别下不是不变的。例如，在一个实施例中，分割功能部件在第一变换集合下是不变的，并且第二变换集合用于确定配准质量和/或用于图像分割，其中，第二集合大于第一集合，例如，第一集合是第二集合的子集。例如，在一个实施例中，分割功能部件包括卷积神经网络，并且用于确定配准质量和/或用于图像分割的变换大于该变换集合，例如，还包括旋转。
132.例如，假设图像312将被误分割的概率约为5％，并且使用了10个图集图像，则大多数将被误分割的概率约为：后者是一个小得多的值。上述计算假设分割功能部件的各应用之间的独立性，但是从分割功能部件获得的多个分割之间的依赖性的主要原因是由成像故障导致的。例如，如果输入图像具有非常低的质量(例如由成像设备的故障导致)，那么针对任何配准分割功能部件的任何应用都可能故障。然而，这种故障模式可以归因于不同于分割功能技术的原因。上面的十个图集图像的数量就是一个示例。用较少图集图像也可以获得故障概率的降低。
133.可以从训练分割功能部件的图像中选择图集图像。例如，可以随机选择图集图像。从训练图像中选择图集图像的优点在于分割功能部件很有可能熟悉那些图像。然而，利用更仔细的选择可以获得更好的结果，例如，如本文所述。
134.图4a示意性地示出了用于选择在医学图像分割方法中使用的图集图像的方法的实施例的示例。图5b示意性地示出了用于选择在医学图像分割方法中使用的图集图像的方法500的实施例的示例。可以为诸如方法400之类的方法选择图集图像。
135.例如，方法500可以使用图4a所示的数据项和结构，反之亦然。方法500也可以使用下面描述的图4b中所示的数据。
136.方法500可以包括获得510分割功能部件210，分割功能部件210被配置为接收输入图像并产生图像分割。分割功能部件210可以与将在生产使用中使用的分割功能部件相同。如上所述，分割功能部件可以包括神经网络，例如，可以使用u-net或f-net、cnn等。
137.方法500可以包括获得520多个测试图像610和相对应的测试图像分割620。例如，多个测试图像610可以从分割功能部件210的训练中获得。例如，分割功能部件210可以在多对训练图像和训练图像分割上进行训练。例如，反向传播方法可以用于在训练集上训练神经网络。通常，为了测试的目的，例如为了测试分割功能部件的收敛性，将一些图像集放在一边。可以从用于训练的图像中和/或从用于测试分割功能部件的图像中获得测试图像610。优选的是，测试图像610是从相同或相似的图像分布中获得的，根据该图像分布来绘制可以在其上训练分割功能的图像。
138.测试图像610可以是分割功能部件210被训练和/或测试的所有图像，尤其是如果这些图像相对较少的话，例如少于100个左右。测试图像610也可以是子集，例如，对用于训练和/或测试的图像的随机选择。如果训练/测试图像的数量很大，则后者是有用的。
139.方法500可以包括通过将相关联的测试图像分割620与由分割功能部件生成的图像分割进行比较来确定530多个测试图像的分割质量630。例如，测试图像610可以具有相关联的分割，例如，真实(ground truth)分割620。后者可能也已经在训练或测试中使用了。有几种方式来计算分割质量。这样做的一种方式是计算真实图像分割与由分割功能部件产生的分割之间的dice得分。例如，可以通过计算分割621与分割631之间的dice得分来获得图像611的分割质量。高dice得分指示良好的重叠，从而指示高分割质量。
140.方法500可以包括选择540测试图像中的具有超过阈值的分割质量的一个或多个测试图像作为图集图像。例如，可能需要超过阈值的dice得分，例如，超过0.8的dice得分。阈值可以是预定的。阈值可以是动态的。例如，图集图像可以从表现最佳的图像中选择。例如，可以丢弃一定比例的最差得分图像。
141.发明人发现，在实践中，大多数图像在分割中表现良好，但是某一比例(如大约5％)的图像显示出比大多数图像更差的分割。通过从图像中表现最佳的95％或90％或80％等中选择图集图像，避免了输入图像312在分割功能部件对其表现较差的图像上进行配准，由此使得分割功能部件也很有可能对配准的图像表现较差。
142.例如，在一个实施例中，丢弃图像610中表现最差的部分，例如，底部的5％。然后可以从剩余的图像中选择图集图像；这可以随机进行，例如，随机选择10个图像。
143.例如，除了分割质量之外或者可以代替分割质量，还可以对选择图集图像施加附加的标准。
144.图2c示意性地示出了分割质量确定的实施例的示例。示出了具有相关联的真实的图像分割(例如，真实分割)的图像212。图像212由分割功能部件210分割，以获得生成的图像分割214。然后，可以(例如，使用比较器220)比较生成的图像分割214和真实的图像分割216，以获得分割质量217。例如，比较器220可以计算dice得分。
145.图4b示意性地示出了用于选择在医学图像分割方法中使用的图集图像的方法的实施例的示例。在图4b中示出了尚未被选择作为图集图像且还没有因为其他原因(例如因为分割质量太差)而被丢弃的图像610’。在图4b中还示出了已经被选择作为图集图像的图像651。例如，图像651可以因为具有最佳分割质量已经被选择，或者可以已经从具有良好分割质量的图像中被随机选择。
146.在被选择的图像651上对图像610’应用配准功能。通过将配准的测试图像与被选择的测试图像651进行比较来获得配准质量。以这种方式，获得配准质量640。比较可以使用比较器220，例如dice得分。可以使用其他相似性度量来代替dice得分，例如相关性。
147.有趣的是，并且与分割质量不同，可以选择具有低配准质量的图集图像。低配准质量指示该图像与已经被选择作为图集图像的图像相当不同。例如，图像可能具有最低配准得分。例如，可以丢弃具有最佳配准质量的图像，然后可以选择一个或多个随机图像。例如，可以从具有最低配准质量的图像的50％中选择图像。
148.在一个实施例中，在方法400中(例如，在配准功能部件325中)执行的配准可以从与为计算配准质量而进行的配准相同的变换类别中选择配准。具体地，用于图集图像选择和用于图像分割的配准类型可以是仅平移的，例如，移位、刚性、相似性、仿射或非刚性(例如，弹性的，例如微分同胚变换)。而后者的变换可以是非弹性的或者至少弹性小得多。
149.有趣的是，对在方法400中(例如，在配准功能部件325中)执行的配准来说有可能
的是，可以从与计算配准质量而进行的配准不同的变换类别(例如，更大的变换类别)中选择配准。具体地，前者可以是弹性配准，例如，微分同胚变换。而后者的变换可以是非弹性的或者至少弹性小得多。例如，可以使用刚性配准来计算配准质量。刚性变换仅允许变换和旋转。可以允许稍微大一点的类别，例如变换、旋转和缩放，或者仿射变换。
150.方法400中的弹性配准允许图像尽可能接近地匹配图集图像，从而获得与图集图像的分割质量相当的分割质量。另一方面，刚性变换允许发现更多种图像，因为弹性配准将会使图像看起来太相似。
151.在图4b中，将多个测试图像与单个图集图像进行比较。例如，在仅基于分割质量已经选择了第一图集图像之后，可以使用这一点来选择第二图集图像。例如，这可以用于添加在配准方面与先前选择的特定的图集图像不同的图集图像。可以从已经被选择的图集图像中随机选择后面的图集图像，或者例如，可以逐个迭代地使用每个被选择的图像，等等。
152.另一种方法是不将测试图像610’与单个被选择的图集图像651进行比较，而是与多个图集图像进行比较，甚至与迄今为止已经被选择的所有图集图像进行比较。例如，可以计算测试图像610’与迄今为止被选择的图集图像之间的配准质量。然后可以确定测试图像610’的整体配准质量。后者例如可以是配准质量的平均值。高平均值指示配准质量通常很高。可以使用幂算术来代替算术平均，这强调了与某些图像非常不同的图集图像，即使是与大多数相似。选择具有低整体配准质量的另一图集图像更有可能由分割功能部件给出独立的分割。另一方面，如果该另一图集图像具有高分割质量，则分割功能部件很有可能在其中表现良好。
153.基于整体配准的选择可以通过丢弃太相似的图像并从剩余图像中随机选择来进行。其他选择方法也是可能的，例如，如本文所述。
154.例如，可以使用以下步骤
155.1.选择随机的测试图像池，例如，具有相关联的真实的分割的100或1000个训练图像。
156.2.丢弃池中具有最差分割质量的a％。例如，a可以是5％。
157.3.从当前池中选择随机图集图像，并且从池中去除被选择的图像。
158.4.计算与被选择的图集图像相比、测试图像池的整体配准质量
159.5.从池中丢弃具有过高整体配准质量的图像。
160.6.除非池是空的或者已经选择了足够数量的图集图像，否则转到部分3。
161.步骤2可以使用绝对得分而不是相对得分。例如，可以丢弃具有在生成的分割与真实的分割之间低于0.8的dice得分的图像。
162.步骤4可以高效地执行，因为可以存储各个测试图像与图集图像之间的配准质量，并且不需要再次计算。因此，如果添加单个图集图像，则仅需要计算测试图像与被添加的图集图像之间的配准质量。
163.步骤5可以去除池的b％(也就是5％或更高，例如25％)。但是也可以使用绝对阈值来代替固定百分比。可以凭经验确定绝对阈值。
164.代替随机选择，例如，在步骤3中，还可以选择具有最佳分割质量和/或最差配准质量或其组合(例如，总和等等)的图像。上面的图集图像选择算法是一个示例，但是不同的实施例是可能的。
165.一般而言，分割质量和/或配准质量的边界，无论是绝对的还是相对的，都可以取决于分割问题的难度、分割功能部件的质量(例如，训练数据量)、假阳性的接受度等等。如果分割功能部件包括神经网络，则其质量可以取决于其深度。可以通过将训练图像集分开作为测试数据并评估得到的分割系统来凭经验建立边界。在系统110和160的各种实施例中，可以从各种替代方案中选择通信接口。例如，该接口可以是到局域网或广域网(例如，因特网)的网络接口、到内部或外部数据存储装置的存储接口、键盘、应用接口(api)等。
166.系统110和160可以具有用户接口，用户接口可以包括众所周知的元件，诸如一个或多个按钮、键盘、显示器、触摸屏等。用户接口可以被布置成适应用户交互以配置系统、在训练集上训练分割功能、或者将系统应用于新的图像数据、或者选择图集图像等。
167.存储装置可以被实现为电子存储器(如闪存)或磁存储器(如硬盘)等。存储装置可以包括一起构成存储装置140、180的多个分立的存储器。存储装置可以包括临时存储器，如ram。存储装置可以是云存储装置。
168.系统110可以在单个设备中实现。系统160可以在单个设备中实现。通常，系统110和160各自都包括执行存储在系统处的适当软件的微处理器；例如，该软件可以已经被下载和/或存储在相对应的存储器中，例如，诸如ram之类的易失性存储器或者诸如闪存之类的非易失性存储器。替代地，系统可以全部或部分地在可编程逻辑中实现，例如，作为现场可编程门阵列(fpga)。系统可以被全部或部分实现为所谓的专用集成电路(asic)，例如，为其特定用途定制的集成电路(ic)。例如，电路可以用cmos实现，例如，使用诸如verilog、vhdl等的硬件描述语言。具体地，系统110和160可以包括用于评估分割功能部件的电路。
169.处理器电路可以以分布式方式实现，例如被实现为多个子处理器电路。存储装置可以分布在多个分布的子存储装置上。存储器的部分或全部可以是电子存储器、磁存储器等。例如，存储装置可以具有易失性部分和非易失性部分。存储装置的一部分可以是只读的。
170.在一个实施例中，测试时数据增强被包括在例如方法400中。分割功能部件(例如，分割功能部件210)可以使用传统的分割功能部件训练；例如，分割功能部件可以被配置用于传统的机器学习算法。例如，机器学习算法可以是决策森林。例如，机器学习算法可以是神经网络。例如，分割功能部件可以包括神经网络，例如，卷积神经网络(cnn)(像u-net或f-net等)。可以从训练图像中选择图集图像。下面示出了几个进一步的可选的细化、细节和实施例。
171.在一个实施例中，使用n≥2个图集图像，如n＝10，等等。用于分割的新图像可以被配准到n个图集，从而产生n个可逆变换。分割功能部件(例如，cnn)被应用于n个变换图像中的每一个图像，从而产生n个注释图像，例如，分割图像。由配准产生的逆变换被应用于注释图像，并且变换的注释图像的标签被融合以获得最终分割。
172.该基本思想还可以更普遍地应用于其他任务，如图像分类(例如，使用resnet型神经网络架构)。在这种情况下，可以跳过应用分割功能部件之后的逆变换步骤。分割功能部件训练可以使用具有相对应的注释(a1，...，am)的m个2d或3d图像的集合(i1，...，im)。用于图像分割的2d/3d分割功能部件的训练可以按常规方式进行。例如，可以(例如，使用反向传播，例如使用adams优化器)训练神经网络。m个图像以及相对应的注释可以一起用于分割功能部件训练，或者被细分成训练集和测试集。
173.图集选择可以选择m个图像的子集n(≤m)作为图集。可以使用各种标准来选择用作图集的各个图像。一个标准可以是在训练期间观察到的分割质量(例如，当作为训练数据的一部分时训练之后的图像的dice得分)。另一个标准可以是在测试期间观察到的分割质量(例如，当作为测试数据的一部分时训练之后的图像的dice得分)。另一个标准可以是图像的差异。例如，可以将刚性配准应用于训练图像(例如，应用于图集候选)，随后可以选择在配准到已经被选择的候选之后在dice得分方面具有最小相互注释重叠的候选，并且可以迭代地重复该过程以选择n个图集图像。
174.对于图像到图集的配准和图像变换，已经有大量的算法被提出且被应用于医学图像配准。最近还使用了利用深度学习和神经网络的配准算法。产生微分同胚变换的算法具有可以容易地获得逆变换的优点。取决于要处理的图像，可以使用适用于相同模态(如互相关)的图像的配准或者不同类型的图像(如互信息)的配准的相似性度量。将(非刚性)配准算法应用于图像i
new
和图集图像(i1，...，in)产生了将新图像变换到相对应的图集的空间中的n个变换(t1，...，tn)，例如，作为ti(i
new
)。
175.在图集图像具有比要分割的新图像更大的视场的情况下，图集图像可以用于补充新图像的视场。
176.除了空间图像变换之外，新图像i
new
的图像灰度值也可以被变换以更好地表示图集图像。该变换可以被包括在变换ti中。例如，可以对强度应用参数变换；可以确定参数，使得强度变换之后所得的新图像的直方图对应于图集图像。
177.可以使用先前训练的分割功能部件来分割变换的图像(t1(i
new
)，...，tn(i
new
))(例如，多个配准的图像)，从而产生注释(a
1，new
，...，a
n，new
)。在分割之后，注释可以被变换回新图像的空间，从而产生注释分割功能部件可以使用例如神经网络(例如，u-net或f-net架构)来实现，但不限于任何特定类型的网络。替代地，可以使用其他神经网络。
178.标签融合：给定注释可以(例如，通过多数表决)构建新图像的最终注释；例如，可以将与要融合的注释中位置x处的最频繁标签相对应的标签分配给位置x处的每个体素。替代地，可以使用其他标签融合技术。在一个实施例中，关于融合的信息(例如，表决)可以用于进一步的处理或显示给用户。例如，可以显示第二个标签或前k个标签，以便操作者知道有可能的第二个选项是什么。后者可以用于快速反馈。例如，当操作者遇到错误分割，但是很有可能第二个选项或前k个选项是正确的时，则可以(如使用分割设备的输入设备)提供该信息。例如，操作者可以使用鼠标等来指示特定对象或像素/体素属于第二个最频繁的标签等。该信息稍后可以用于对分割功能部件进行再训练或微调。
179.使用3d ct图像中肋骨和脊柱分割的示例来说明实施例；图6a示出了这种ct扫描的视觉表示。具体地，f-net神经网络已经被训练以处理该任务。使用包括神经网络的分割功能部件来分割图6a的图像，并且已经计算了分割功能部件输出与专家分割之间的dice得分。图6c的图示在652处示出了脊椎的dice得分，在662处示出了肋骨的dice得分。注意，两个得分都很高，这指示了分割功能部件在图6a的图像上表现良好。
180.在训练分割功能部件中的神经网络期间，使用了数据增强；在这种情况下，对ct数
据集最多旋转7
°
。在该范围上，分割功能部件有望产生准确的输出。图6b示出了与图6a相同的图像，但是具有相当不同的定向；这里是45
°
的旋转。注意，除了这种旋转之外，图像是相同的。当分割功能部件被应用于图6b时，得到的dice得分小得多。图6d的图示在654处示出了脊椎的dice得分，在664处示出了肋骨的dice得分。注意，两个得分都较低，这指示了分割功能部件在图6b的图像上表现不好。注意，脊椎的得分大约是先前值的一半，从而指示了在这种情况下针对脊椎对象的预测能力的崩溃。
181.即使将图6b刚性配准到类似于图6a的图集图像，也会返回分割功能部件的分割能力。可以用非刚性配准来解决(例如，由不寻常解剖变化导致的)更微妙的预测崩溃。将分割功能部件应用于测试图像标签融合的变换版本改善了分割结果。
182.例如，分割功能、图集图像或测试图像可以从电子存储系统中获得，该电子存储系统可以是内部的，也可以是外部的，例如通过计算机线缆或计算机网络等访问。可以在图像(例如，可以从医学成像设备(例如，ct扫描仪等)获得的医学图像)上训练分割功能部件。接收用于分割的医学图像可以以与上述获得相同的方式进行。该接收可以通过api或其他接口(其可以是内部的或外部的)。可以在医学终端中从成像设备接收图像。配准图像、确定配准或分割质量等可以在诸如计算机之类的电子设备中进行。在训练期间和/或在应用期间，用于分割功能部件的神经网络可以具有多层(其可以包括例如卷积层等)。例如，分割功能部件中的神经网络可以至少具有2、5、10、15、20或40个隐藏层或更多，等等。神经网络中神经元的数量可以至少是例如10、100、1000、10000、100000、1000000或更多，等等。
183.如对本领域技术人员来说显而易见的，执行本文的方法(例如，方法400和/或500)的许多不同方式是可能的。例如，可以以所示次序执行步骤，但是步骤的次序也可以变化，或者一些步骤可以并行执行。此外，在步骤之间可以插入其他方法步骤。插入的步骤可以表示诸如本文描述的方法的细化，或者可以与该方法无关。一些部分可以至少部分地并行执行。此外，在下一步骤开始之前，给定的部分可能还没有完全结束。
184.该方法的实施例可以使用软件来执行，该软件包括用于使处理器系统执行方法400和/或500的指令。软件可以仅包括由系统的特定子实体所采取的那些步骤。软件可以被存储在合适的存储介质(诸如硬盘、软盘、存储器、光盘等)中。软件可以作为信号沿着电线或无线地或使用数据网络(例如，因特网)进行传送。可以使软件可用于下载和/或可用于在服务器上远程使用。该方法的实施例可以使用被布置成配置可编程逻辑(例如，现场可编程门阵列(fpga))的比特流来执行，以执行该方法。
185.应当理解，当前公开的主题还扩展到被适用于将当前公开的主题付诸实践的计算机程序，特别是载体上或载体中的计算机程序。程序可以是源代码、目标代码、代码中间源和诸如部分编译形式的目标代码的形式，或者是适用于实现该方法的实施例的任何其他形式。涉及计算机程序产品的实施例包括与所阐述的至少一个方法的处理步骤中的每个处理步骤相对应的计算机可执行指令。这些指令可以细分成子例程和/或被存储在一个或多个可以静态或动态链接的文件中。涉及计算机程序产品的另一实施例包括与所阐述的至少一个系统和/或产品的每个设备、单元和/或部分相对应的计算机可执行指令。
186.图7a示出了计算机可读介质1000，计算机可读介质1000具有包括计算机程序1020的可写部分1010，计算机程序1020包括用于使处理器系统执行根据实施例的分割方法和/或图集选择方法的指令。计算机程序1020可以作为物理标记或通过计算机可读介质1000的
磁化而体现在计算机可读介质1000上。然而，也可以想到任何其他合适的实施例。此外，应当理解，尽管计算机可读介质1000在本文被示为光盘，但是计算机可读介质1000可以是任何合适的计算机可读介质，诸如硬盘、固态存储器、闪存等，并且可以是不可记录的或者可记录的。计算机程序1020包括用于使处理器系统执行所述分割方法和/或图集选择方法的指令。
187.图7b示出了根据分割设备和/或系统和/或图集选择设备和/或系统的实施例的处理器系统1140的示意图。处理器系统包括一个或多个集成电路1110。在图7b中示意性地示出了一个或多个集成电路1110的架构。电路1110包括处理单元1120，例如cpu，用于运行计算机程序组件来执行根据实施例的方法和/或实现其模块或单元。电路1110包括用于存储程序代码、数据等的存储器1122。存储器1122的一部分可以是只读的。电路1110可以包括通信元件1126，例如，天线、连接器或两者，等等。电路1110可以包括用于执行该方法中定义的处理中的部分或全部处理的专用集成电路1124。处理器1120、存储器1122、专用ic 1124和通信元件1126可以经由互连部件1130(如总线)相互连接。处理器系统1110可以被布置用于分别使用天线和/或连接器进行接触通信和/或无接触通信。
188.例如，在一个实施例中，处理器系统1140(例如，分割设备和/或系统和/或图集选择设备和/或系统)可以包括处理器电路和存储器电路，该处理器被布置为执行存储在存储器电路中的软件。例如，处理器电路可以是intel core i7处理器、arm cortex-r8等。在一个实施例中，处理器电路可以是arm cortex m0。存储器电路可以是rom电路或者非易失性存储器，例如，闪存。存储器电路可以是易失性存储器，例如，sram存储器。在后一种情况下，该设备可以包括被布置用于提供软件的非易失性软件接口，例如，硬盘驱动器、网络接口等。
189.虽然设备1100被示为包括每个描述的组件之一，但是在各种实施例中，各种组件可以是重复的。例如，处理器1120可以包括多个微处理器，这些微处理器被配置为独立地执行本文描述的方法，或者被配置为执行本文描述的方法的步骤或子例程，使多个处理器协作来实现本文描述的功能。此外，在设备1100在云计算系统中实现的情况下，各种硬件组件可以属于分开的物理系统。例如，处理器1120可以包括第一服务器中的第一处理器和第二服务器中的第二处理器。
190.应当注意，上述实施例说明而不是限制当前公开的主题，并且本领域技术人员将能够设计许多替代实施例。
191.在权利要求中，置于括号之间的任何参考标记都不应被解释为对权利要求的限制。动词“包括”及其变型的使用不排除权利要求所述之外的元素或步骤的存在。元素前的冠词“一”或“一个”不排除多个这种元素的存在。诸如
“……
中的至少一个”之类的表达当在元素列表之前时表示从列表中选择所有元素或任何元素子集。例如，表述“a、b和c中的至少一个”应当被理解为仅包括a、仅包括b、仅包括c、包括a和b两者、包括a和c两者、包括b和c两者、或者包括全部a、b和c。当前公开的主题可以通过包括若干完全不同的元素的硬件以及通过适当编程的计算机来实现。在列举了几个部分的设备权利要求中，这些部分中的几个可以由同一件硬件来实现。在相互不同的从属权利要求中记载某些措施的事实并不指示这些措施的组合不能被有利地使用。
192.在权利要求中，括号中的参考标记是指示例性实施例的附图中的参考标记或实施
例的公式，从而增加了对权利要求的可理解性。这些参考标记不应被解释为限制权利要求。