用于训练对医学图像进行分类的AI系统的训练方法和训练设备与流程

本发明描述了用于训练对医学图像进行分类的ai系统的训练方法和训练设备、对医学图像进行分类的ai系统、以及医学系统。

背景技术：

1、器官和病理的标识对于医学成像工作流程中的各种自动化过程是重要的。一个示例是针对由用户提供的所选择器官定位利用适当的病灶分割算法。器官分割模型自然地用作这些种类的应用的基线。器官分割的一个限制在于计算时间，对于交互式用户体验而言，计算时间可能太高。附加地，对于一些应用而言，用于预处理的架构负担可能会比益处更重要，从而使它们变得不切实际。

2、医学图像分割在文献（参见例如2022年ieee/cvf关于计算机视觉的应用的冬季会议录中hatamizadeh，ali等人的“unetr: transformers for 3d medical imagesegmentation”）中经历了持续的改进。在准确度提高的同时，计算负荷也在上升。对于3d体积和变换器架构而言特别为真，在3d体积和变换器架构的情况下，在没有gpu的情况下处理图像变成禁止性的。然而，许多应用仅要求一些感兴趣的点，因此消除了对于完全分割的需要。

3、为每个用例训练特定的分类器既存在聚合训练数据方面的限制，并且也存在运行时较大的存储器要求。相反，使现有的分类器适于新的任务更有吸引力。这种方法在文献中被称为基本模型和微调。然而，直到现在，上面论述的问题还无法得到克服。

技术实现思路

1、本发明的目的是改进已知的系统和方法，并且提供用于训练对医学图像进行分类的ai系统的训练方法和训练设备、对医学图像进行分类的ai系统、以及医学系统，从而克服上面描述的问题。本发明的特别目的是优化图像分割的质量，而不需要过度的计算容量。

2、这个目的通过根据权利要求1所述的训练方法、根据权利要求9所述的训练设备、根据权利要求10所述的ai系统和根据权利要求13所述的医学系统来实现。

3、根据本发明的训练方法用于训练对医学图像（特定地，所述医学图像可以是医学图像定位）进行分类的ai系统。该ai系统包括机器学习预分类器模型和机器学习分类器单元。在预分类器模型的输出层之前的层的若干特征向量是分类器单元的输入。该训练方法包括以下步骤：

4、- 提供训练数据，所述训练数据包括多个2d和/或3d图像和基准真值，所述多个2d和/或3d图像示出人体中的器官，所述基准真值包括图像中的器官的分类，

5、- 利用训练数据训练预分类器模型，以根据训练数据的基准真值提供图像中所示出的预定义器官的分类，

6、- 通过将训练数据输入到经训练的预分类器模型中来训练分类器单元，以便由分类器单元根据训练数据的基准真值提供图像中所示出的预定义器官的分类。

7、本发明的重要方面是预分类器模型和分类器单元的特殊连接以及分类器单元的单独训练。

8、预分类器模型是机器学习模型，所述机器学习模型被设计成通过对图像的内容进行分类来分割所述图像。这样的模型在本领域中是众所周知的。优选地，所使用的基本分类器模型在本领域中也是众所周知的。基本分类器模型通常为身体的预定义（特别是所有）器官提供器官标签。然而，通常这些标签是一般性的，并且对于特定的用例（诸如对如肺部、肝脏之类的器官进行分类）或者标识病灶的其他用例而言可能不是最佳的。由于分类器模型的独立性质，接近边界的方差高。因此，预分类器模型能够对器官进行分类，但不是以最佳方式。总之，可以说预分类器模型是器官分类器，不是任务特定的。

9、预分类器模型的分类现在可以通过取其输出（分类向量）并且将该输出输入到另一个模型中而被优化，所述另一个模型进一步对输出进行分类或验证该输出。通过不使用预分类器模型的最终层的输出（所述分类向量），而是使用在预分类器模型的输出层之前的层的输出（即，若干特征向量），本发明具有另一种方法。

10、因此，除了预分类器模型之外，ai系统也包括机器学习分类器单元，并且在预分类器模型的输出层之前的层的至少一个特征向量是该分类器单元的输入。在输出层之前的层可以是除最后的层之外的任何层，然而，倒数第二层是优选的，因为它包括关于分类的最多信息。

11、首先，预分类器模型被训练，并且然后分类器单元被训练。应当注意，预分类器模型可以在没有完成ai系统的架构的情况下被训练。因此，可以采取基本分类模型，训练它，并且然后加上分类器单元。虽然预分类器模型最后的层（输出层）是用于训练所需要的，但它在ai系统中不再被需要，并且可以被删除。然而，将该输出层用于附加分类可能是有利的，该附加分类可用于验证或测试分类器单元的输出。

12、对于训练，训练数据被提供，该训练数据包括多个2d和/或3d图像和基准真值，所述多个2d和/或3d图像示出人体中的器官，所述基准真值包括图像中的器官的分类。每个图像可以具有其自己的基准真值，然而，也可以提供具有共同基准真值的图像组。这个基准真值可以以标签的形式或者以分割的形式存在。图像优选地是x射线图像、ct图像、mrt图像和/或超声图像。

13、在优选实施例中，在预分类器模型被设计用于逐像素地对图像进行分类并且提供所分割的图像的情况下，基准真值可以包括每个像素的标签，至少包括示出预定义器官列表中的器官的每个像素的标签。

14、优选使用第一训练数据集合来训练预分类器模型，并且使用第二训练数据集合来训练分类器单元。第二集合可以是特定于任务的，例如通过具有也涉及如病灶之类的病理的基准真值。

15、利用训练数据（例如，利用第一集合）训练预分类器模型，以根据训练数据的基准真值提供（训练数据的）图像中所示出的预定义（优选地是所有）器官的分类。这种训练程序是众所周知的，并且通常被称为“监督训练”。该训练迫使由预分类器模型的层产生的特征向量捕获器官信息。任何图层都将捕获某一部分，但是在输出图层之前的最后的层是最接近的。如上所述，该训练步骤在训练分类器单元之前被执行。因此，特征向量的形状和它们的信息内容被良好地定义（并且优选地不系统地改变，因为预分类器模型的权重是被固定的）。

16、涉及作为预分类器模型的基本模型，分类通常是特征提取。特征提取基于基本模型神经网络。使用特别稀疏的采样描述符，使图像中的任何点为基本模型作准备。归因于图像空间中有限的样本数量，这样的稀疏采样输入提高了速度。

17、至少在训练分类器单元之前，ai系统的架构被建立。然后，任何输入数据（图像）穿过经训练的预分类器模型，但是代替于输出标签（预分类器模型的分类向量），在标签分类器之前的隐藏空间表示被用作（一个或多个）特征向量。优选的是，所输入的图像中的任何点被表示为个体向量。

18、当训练分类器单元（“微调步骤”）时，训练数据，优选地是上面提及的第二集合，被输入到经训练的预分类器模型中，以便由分类器单元根据训练数据的基准真值提供在图像中示出的预定义（优选地是所有）器官的分类。这意指预分类器模型产生所输入的图像的特征向量，并且这些特征向量中的至少一个被输入到分类器单元中。

19、在这里，特殊的训练数据可以针对目标任务的监督中提供的点而被生成。在这个（第二）数据集中，特定于任务的定位和标签可以被标记为基准真值。一些随机样本也可以被加到训练中，以提高背景类的鲁棒性。在生成训练数据集合之后，分类器单元被训练成将基本模型特征映射到输出标签。

20、通常，作为预分类器模型的第二独立神经网络的分类器单元小于预分类器模型，这允许更快速的训练并且要求更少的数据。微调步骤不应当更新基本模型，确保它仍然是一般性的。由于第二分类器的大小较小，多个这样的分类器可以优选地被容易地加上。多个分类器单元可以用于不同的任务和/或用于相同的任务以得到冗余结果。

21、涉及预分类器为图像的每个像素生成特征向量的优选实施例，训练方法的优选并且非常鲁棒的实施例是被优选的。因为单个特征向量不如来自预分类器模型的多个特征向量那样强有力。因此，特征可以通过加上邻近定位特征而被延伸。例如，在x方向和y方向两者上的4 mm偏移可以被使用，从而产生五个特征，包括中心查询点（如骰子上的数字5）。定位的最终表示（分类）然后可以变成这些特征的连结（concatenation）。因此，分类的鲁棒性优选地通过合并多个附近的样本并且使用最常见的标签而被提高，这是一种实现起来简单的规则。这种方法可以被指明为“多调用分类器”。在这里，分类器单元被设计成输入（邻近或附近像素的）多个特征向量并且处理它们，以便对单一的像素（特别是中心像素）进行分类。其分类结果为基准真值所已知。

22、所产生的ai系统可以使用稀疏采样描述符和残差网络分类器（特别是resnet-1d）。训练数据可以根据total segmentator模型而被生成，从而允许所生成的模型用作蒸馏。结果，所学习的模型变成一般的器官分类器。

23、因此，本发明和特定的微调策略有关。代替于微调整个ai系统，两个模型以特殊的架构被连接，以使从预分类器模型（例如基本模型）中提取的特征适于具有增强的特征（特别是基于邻居）的目标任务。即使针对不同的任务，预分类器模型也可以是相同的，并且仅不同的（小的）分类器单元可以被使用，这些分类器单元针对它们的个体任务而被特定地训练。

24、在这里提及的算法选择之外，自动地标识器官情境（context）对于其他自动化目的而言可能是有用的。例如，它可以用于选择ct hounsfield窗口，渲染预设选择，并且基于给定定位来过滤现有发现。更多的应用可以利用最小的开销而被加上。

25、根据本发明的训练设备用于训练对医学图像进行分类的ai系统。所述ai系统包括机器学习预分类器模型和机器学习分类器单元，其中在预分类器模型的输出层之前的层的特征向量是分类器单元的输入。所述训练设备包括以下组件：

26、- 数据接口，其被设计用于接收训练数据，所述训练数据包括多个2d和/或3d图像和基准真值，所述多个2d和/或3d图像示出人体中的器官，所述基准真值包括图像中的器官的分类，

27、- 预训练单元，其被设计用于利用训练数据训练预分类器模型，以提供图像中所示出的预定义器官的分类，

28、- 分类器训练单元，其被设计用于利用被输入到经训练的预分类器模型中的训练数据来训练分类器单元，以提供图像中所示出的预定义器官的分类，

29、其中训练设备被设计成利用根据本发明的训练方法来训练预分类器模型和分类器单元。

30、训练设备的组件的功能如上面所描述。

31、数据接口在本领域中是众所周知的。它们必须能够接收训练数据。它们可以是数据网络或数据库的接口。

32、预训练单元以及分类器训练单元可以是单独的硬件设备（计算机）或计算单元中的模块。优选的是，它们是两个不同的设备，因为预分类器模型和分类器单元的架构以及训练行为可能不同。用于训练机器学习模型的一般单元在本领域中是众所周知的。

33、根据本发明的ai系统用于对医学图像进行分类。它包括机器学习预分类器模型和机器学习分类器单元，其中在预分类器模型的输出层之前的层是分类器单元的输入，其中ai系统已通过根据本发明的训练方法而被训练。特别地，通过优化神经网络参数来根据基准真值降低损失函数。

34、在上面已经描述了ai系统的架构。

35、根据本发明的医学系统特别是医学成像系统，例如ct系统或mrt系统，或者诊断系统，并且包括根据本发明的ai系统。

36、该方法也可以被指明为计算机实现的方法。上面提及的本发明的一些单元或模块能够被完全或部分地实现为在计算系统的处理器上运行的软件模块。主要以软件模块形式的实现能够具有这样的优点，即已经被安装在现有计算系统上的应用能够以相对很少的工作量而被更新，以安装和运行本应用的这些单元。本发明的目的也通过一种计算机程序产品而被实现，该计算机程序产品具有可直接加载到计算系统的存储器中的计算机程序，并且该计算机程序包括程序单元，当该程序由计算系统执行时，该程序单元执行所述方法的步骤，至少能够由计算机执行的那些步骤。除了计算机程序之外，这样的计算机程序产品也能够包括其他部分，诸如文档编制和/或附加组件，以及硬件组件，诸如硬件密钥（加密狗等）以促进访问该软件。

37、计算机可读介质（诸如存储器棒、硬盘或其他可运输或被永久安装的载体）能够用来运输和/或存储计算机程序产品的可执行部分，使得这些可执行部分能够从计算系统的处理器单元中被读取。处理器单元能够包括一个或多个微处理器或它们的等同物。

38、如以下描述中所展现的，由从属权利要求给定了本发明的特别有利的实施例和特征。不同权利要求类别的特征可以被适当地组合，以给定在本文中没有被描述的另外的实施例。

39、根据优选的训练方法，两个不同的训练数据集合被使用，其中预分类器模型利用第一训练数据集合而被训练，并且分类器单元利用第二训练数据集合而被训练。如上面已经说过的，第一训练数据集合可以包括器官的图像和关于在图像上所示出的器官的一般基准真值。第二训练数据集合可以是任务特定的，因为它包括示出特殊场景的图像，并且包括描述特殊场景的基准真值。例如，可以是示出病理的、具有涉及这些病理的基准真值的图像。

40、优选的是，在训练分类器单元的同时，预分类器模型不再被训练。因此，预分类器模型的权重保持形同，并且特征向量总是具有相同的质量。

41、根据优选的训练方法，为了训练预分类器模型，训练数据的图像是使用稀疏采样描述符而被准备的。归因于图像空间中有限的样本数量，稀疏采样输入提高了速度。稀疏采样描述符在本领域中一般地是众所周知的（参见例如yerebakan h等人的“a hierarchicaldescriptor framework for on-the-fly anatomical location matching betweenlongitudinal studies”，2023年9月23日的arxiv:2308.07337v2[eess.iv]，或者yerebakan h等人的“real time multi organ classification on computed tomographyimages”，2025年1月9日的arxiv:2404.18731v3 [cs.cv]）。

42、根据优选的训练方法，预分类器模型被设计和训练成生成所输入图像的每个像素的特征向量，并且分类器单元被设计成处理多个特征向量，其中对于训练数据的图像的每个像素，分类器单元通过输入所述像素和在与所述像素的预定义相对位置处的多个其他像素（特别是邻近或附近的像素）的特征向量而被训练，以便由分类器单元根据训练数据的基准真值提供分类。特征向量可以被连结以形成关于当前查询点和周围像素的信息。优选地，使用resnet-1d架构，该架构使得特征扁平并且穿过剩余连接。多个像素的使用增强了分类器单元的鲁棒性。

43、根据优选的训练方法，预分类器模型和/或分类器单元通过以下方式而被训练：选择预定义的区域掩模，在训练图像上移动该区域掩模，并且选取区域掩模内部的预定义位置处的像素以及它们的基准真值，以供被处理用于训练。例如，在x和y方向两者上使用4 mm的偏移，并且选取五个像素，一个像素来自偏移的中心并且四个像素来自偏移的角。这产生了五个特征向量，包括中心查询点的特征。定位的最终表示变成这些特征的连结。

44、根据优选的训练方法，训练数据，至少用于训练分类器单元的训练数据，包括随机样本。为了提高背景类的鲁棒性，这是有利的。被采样的随机定位是众所周知的，并且可以容易地获得。预分类器模型（例如基本模型）利用映射到器官标签的那些描述符而被训练。

45、根据优选的训练方法，训练数据，特别是用于训练分类器单元的第二训练数据集合，包括预定义的特定于任务的定位和标签被标记的图像。这可能例如是肺部和肝脏病灶。在这样的情况下，可以对给定病理定位的器官标签进行分类。

46、根据优选的训练方法，ai系统包括多个机器学习分类器单元，其中在预分类器模型的输出层之前的层是每个分类器单元的输入。利用这个有利的“多调用”原理，相同的预分类器模型（例如，相同的基本分类器模型）可以用于多个场合。预分类器模型可以利用仅一个器官标记可能性输出而被训练。然而，优选的是，每个分类器单元利用个体训练数据集合而被训练。因此，每个分类器单元可以针对特定的、个体任务而被优化。也优选的是，两个或更多个分类器单元利用相同或相似的训练数据而被训练。这具有这样的优点，即存在提供冗余结果的分类器，以得到更高的鲁棒性。这些分类器单元可以包括不同的架构。这样的经训练的分类器单元可以被用于处理相同的输入，所述分类器单元的输出以统计方式而被处理，例如，其中所使用的分类已由这些分类器单元中的大多数提供。

47、根据优选的ai系统，在预分类器模型的输出层之前的最后的或倒数第二个特征层是分类器单元的输入。输入穿过预分类器模型，但是代替于产生输出标签，在标签分类器之前的隐藏空间表示在这里被用作特征向量。应当注意，每个机器学习模型具有被良好定义的输出层，所述输出层输出“可理解”的特征。这些特征可以被给定作为用于训练的基准真值。在这个输出层之前的层通常产生不是“可理解”（至少在涉及该模型的分类任务时不是“可理解”）的特征向量。因此，即使在分类层缺失时，也可以容易地确定层是分类层还是之前的层。

48、根据优选的ai系统，分类器单元小于预分类器模型。这意指在这种情境下，分类器单元比预分类器模型具有更小的权重。权重的数据集可能小于1 mb。优选的是，ai系统包括多个机器学习分类器单元，其中在预分类器模型的输出层之前的层是每个分类器单元的输入。这允许更快速的训练并且要求更少的数据。由于第二分类器的更小的大小，多个这样的分类器可以容易地被加上。

49、一般而言，人工智能（机器学习模型）是以基于机器的学习的原理为基础的，并且通常利用已被相应地训练的自适应算法而被执行。该表达“机器学习”通常用于基于机器的学习，其也包括“深度学习”的原理。

50、这些方法也可以包括“云计算”的元素。在“云计算”的技术领域中，it基础设施通过数据网络、存储空间或处理能力和/或应用软件而被提供。用户和“云”之间的通信借助于数据接口和/或数据传输协议而被实现。在“云计算”的情境下，在根据本发明的方法的优选实施例中，发生经由数据通道（例如数据网络）向“云”提供数据。该“云”包括（远程）计算系统，例如通常不包括用户的本地机器的计算机群集。特别优选的是，云服务提供与应用软件一样优良的计算能力。然而，应当注意，在云中的数据传送可能会使执行减缓。