用于训练评估算法的计算机实现的方法和系统与流程

1.本发明涉及一种用于进一步训练已基于基本训练数据进行训练 的人工智能评估算法的计算机实现的方法和训练系统，其中评估算法 从包括以相应的医学成像设备记录的图像数据的输入数据中确定描 述评估结果的输出数据，其中该方法包括以下步骤：
2.–
确定至少一个附加训练数据集，其包含训练输入数据和与训练 输入数据对应的训练输出数据，并且
3.–
通过使用至少一个附加训练数据集来训练评估算法。
4.此外，本发明还涉及一种计算机程序和一种电子可读数据载体。


背景技术：

5.医学成像在诊断和治疗中都变得越来越重要。由此，通过诸如计 算机断层扫描、磁共振断层扫描或超声检查的方法可获得检查对象的 体内的体图像数据和切片图像数据，并且将其呈现在相应的介质上。 如今，从成像测量获得的图像数据大部分以数字形式提供，并且可以 在数据技术上进行存储、分析和处理。在此会产生大量的图像数据， 其中一部分难以解读。此外存在大量的以下应用情况，其中在预先记 录中产生旨在用于计划进一步检查和/或治疗措施的图像数据。在此， 通常很复杂的任务是从图像数据中导出用于成像设备或另一医学技 术设备的合适的控制数据。
6.为了应对这些复杂的任务，在现有技术中提出了使用通过机器学 习训练的人工智能算法。这样的人工智能算法通常被称为训练功能。 医学成像设备的图像数据可通过人工智能的评估算法来评估，以便获 得可作为控制任务、医生做出的诊断和/或其他决定的基础的输出数据。 对于临床应用来说，这种评估算法的开发以及使用正在迅速增加。
7.应在作为成像设备一部分或其所配有的计算设备上使用的这种 评估算法通常作为成品交付，并且在使用中保持不变。根据现有技术， 如果通过进一步的训练对其进行更新，则只有在很长一段时间、例如 几个月或几年之后，当发布下一个软件版本时，才会发生这种情况。 无论是用于评估算法的初始训练还是用于评估算法的进一步训练(即 更新)，训练数据在此都是从临床设施中手动收集的，特别是那些与 评估算法供应商合作的临床设施，评估算法供应商通常也是成像设备 的制造商。这个过程极其缓慢，其可行性也非常令人质疑，特别是考 虑到人工智能使用大量的评估算法。另一方面，在此更新评估算法将 是极其有利的，因为可提高评估算法的鲁棒性和可靠性，并且可进行 更有效的扫描或数据处理。
8.训练数据通常被手动整理的事实(特别是在预定义的可管理用户 组中)的另一缺点在于，在日常临床实践中产生的重要且有用的附加 训练数据可能会丢失，从而无法用于改进人工智能的评估算法。


技术实现要素：

9.因此，本发明所基于的目的在于提出一种可能性，以便可简单实 现地和/或可频
繁执行地改进评估图像数据的人工智能评估算法。
10.该目的通过根据本发明的方法、训练系统、计算机程序和电子可 读数据载体来实现。有利的设计方案从下文中得出。
11.下面结合所要求保护的方法、所要求保护的训练系统和所要求保 护的计算机程序来说明根据本发明的目的实现方案。在此提到的特征、 优点或替代实施方式同样可转移到其他要求保护的主题对象上，反之 亦然。换言之，产品权利要求(例如针对训练系统)也可利用结合方 法所说明或要求保护的特征来扩展改进，反之亦然。在此，该方法的 相应功能特征由计算机程序的相应具体模块或子单元形成。
12.在开头所述类型的计算机实现的方法中，根据本发明规定，从在 利用医学成像设备进行临床检查过程(在该医学成像设备中使用了已 经训练过的评估算法)期间所使用的输入数据和已经训练过的评估算 法的至少部分在用户侧校正修改过的输出数据中确定附加训练数据 集。
13.在用户侧校正的修改例如可以由医学成像设备的用户手动进行。 在用户侧校正的修改例如同样可基于用户使用用于图像分析的另一 设备或另一计算机程序来进行，例如用于图像数据的自动分割、用于 图像数据的自动定量评估等的设备或其他计算机程序，如被本领域技 术人员所熟知用于医学图像数据分析。
14.在此，在训练之后，附加训练数据集可有利地成为用于根据本发 明的方法的重复运行的基本训练数据的一部分。
15.因此，根据本发明提出通过以下方式使得逐步且无缝地改进人工 智能的评估算法，即通过在临床程序中使用期间的训练来进行逐步的 改进，特别是只要在检查过程中产生就此而言被认为有用的信息。为 此，连同在所使用的成像设备上的评估算法以及供应商侧的至少一个 计算设备一起提供了一种框架，使得可以基于例行获得的临床数据对 评估算法进行自动化的进一步训练。不管是人工智能评估算法为特定 的成像设备被创建并且仅在特定的成像设备上被使用，还是在大量的 单个成像设备上被使用(则其中可有利地基于所有这些成像设备的临 床数据来确定附加训练数据集)，上述情况都是可能的。在此特别是 利用了以下事实，即在评估算法提供令人满意的输出数据的情况下， 通常不会对输出数据进行用户侧的修改/后期校正，然而当此类用户侧 更改发生时，则由用户已经隐含地提供了基本事实，从而可将相应更 改的输出数据用作附加训练数据集的训练输出数据。然而在此应注意 的是，不一定必须在用户更改输出数据的每个检查过程中都产生一个 附加训练数据集，而是也可考虑选择其中到目前为止不存在用户侧进 行的输出数据更改的检查过程来确定附加训练数据集，如下面更详细 所述。
16.在此，在本发明的范畴中特别是可以考虑的是，每当有新的附加 训练数据集存在时，利用该附加训练数据集进行进一步的训练。换言 之，在这种情况下，在每次当进行了引起进一步训练和/或适用于进一 步训练的检查过程时可通过进一步训练立即触发评估算法的改进之 后，可考虑评估算法的持续改进。在此应指出，如果在检查过程中产 生多个训练数据集，如在下面更详细所述，则当然所有这些训练数据 集都将用于进一步的训练过程。作为替代，也可考虑以下设计方案， 即其中仅当已从检查过程中收集到一定数量(大于1)的附加训练数 据集时才进行进一步的训练。在此，为了可使得尽可能连续地改进评 估算法，优选地将该数量选择为小于10，特别是小于5，例如2或3。
17.因此，以这种方式连续地改进评估算法，并且通常不再需要手动 整理训练数据，特别是附加训练数据。此外，特别是当输出数据的改 变(例如注释的校正)已经在成像设备处就地进行时，则将省去在评 估算法的供应商侧产生合适的训练输出数据的必要性。因此，根据本 发明，使用一种独特的方法来将临床例行的数据与机器学习以智能的 方式相结合，以获得对自学习评估算法的进一步认识。
18.通常，人工智能算法映射与人类思维相关联的认知功能。这样的 人工智能算法特别是能够通过基于训练数据的训练来适配于新情况， 并且能够检测和推断模式。
19.通常，可通过训练来调整人工智能算法的参数。对于在此说明的 人工智能评估功能，特别是可使用受监控的训练、半受监控的训练、 强化学习和/或主动学习。此外还可使用代表性学习(替代性术语是“特 征学习”)。人工智能评估算法的参数特别是可通过多个训练步骤迭 代地进行调整。此外，人工智能评估算法也可被称为训练评估功能。
20.评估算法特别是可包括神经网络、支持向量机、决策树和/或贝叶 斯网络。此外，评估算法还可基于k均值聚类、q学习、遗传算法和 /或分配规则。在本发明的范畴中，人工智能评估算法优选地包括神经 网络。该神经网络可以是深度神经网络、卷积神经网络(cnn)或深 度cnn。此外，神经网络可以是对抗网络、深度对抗网络和/或生成 对抗网络(gan)。在此，神经网络特别是可被理解为代表可抽象出 的中间步骤的一系列层。
21.在本发明的范畴中，成像设备特别可以是诸如计算机断层扫描设 备的x射线设备或磁共振设备。在此，特别是在计算机断层扫描领域 中已经提出了可以应用本发明的训练方法的大量评估算法。当然也可 以考虑来自其他成像设备的图像数据，例如来自超声成像设备、pet 成像设备等。
22.关于评估算法可规定，输出数据本身用于控制至少一个医学设备， 特别是医学成像设备，通过该医学设备记录作为输入数据已被改变的 图像数据。这意味着可以通过评估算法来映射为其他自动执行过程导 出合适的控制参数/控制数据的通常很复杂的过程，以便在此为用户提 供明确的支持并显著提高检查过程和/或治疗过程的效率。通过借助于 在此提出的至少基本上连续的进一步训练来改进评估算法，显著减少 了需要返工/校正的情况的数量，提高了自动化程度并且减少了检查和 /或治疗时间。就此而言特别是可规定，借助于输出数据可至少部分地 控制成像设备的另一成像过程。因此，用作输入数据的图像数据例如 可以是概览图像和/或其他预先记录的图像数据。此外，图像数据可以 是记录序列的一部分，其中该序列中一个步骤的图像可影响该序列中 其他步骤的图像的记录。
23.在具体的设计方案中例如可以规定，输出数据描述了特别是待用 作另一成像过程的记录区域的兴趣区域和/或包括解剖特征的分割。例 如，关于计算机断层扫描已经提出了人工智能评估算法，其评估患者 的概览记录并且借助于人工智能全自动地确定用于计算机断层扫描 记录的患者最佳位置、记录区域的最佳选择和最佳辐射剂量。在此， 医学成像设备特别是还可包括3d摄像机，图像数据可至少部分地源 自该3d摄像机，特别是计算机断层扫描图像数据可补充性地源自该 3d摄像机。在此，就此而言还应指出的是，这里所提到的示例也仅 可代表人工智能评估算法的部分方面，例如关于全自动成像设备辅助 的方面，例如其以fast“完全辅助扫描仪技术”的名称为人所知。
24.特别是在下面用于控制的输出数据中，这些通常会为用户再次被 显示或可视化，从而用户可对其进行确认或再次更改，由此可能产生 已经提及的更改后的输出数据。例
如，如果扫描仪确定了应包含特定 器官的记录区域(视野)，然而该器官没有被完全包含，则该记录区 域可由用户相应地放大等。例如，分割结果也可被校正。
25.除了这种控制输出数据之外，本发明还涵盖了以下应用情况，即 其中输出数据包括诊断所基于的评估数据，特别是解剖评分和/或功能 评分。因此，就此而言，可借助于评估算法来辅助待由医生执行的诊 断，其中在此医生通常也可自己亲眼查看和分析基础图像数据，因此 可在必要时采取校正措施，即更改输出数据。
26.关于进行进一步训练的位置，在本发明的范畴内存在不同的可能 性。由此，在本发明的第一设计方案中可以规定，进一步的训练由分 配给成像设备的运算设备执行，特别是由成像设备的运算设备执行， 其中进一步训练的评估算法通过通信链路被传输到评估算法的供应 商的运算设备，特别是成像设备的制造商的运算设备。因此，可以直 接在也布置有成像设备的临床设施中对评估算法进行进一步训练。以 这种方式，显著简化了原则上涉及这些临床数据的数据保护，因为检 查过程中与患者相关的数据本身不必离开临床设施。尽管如此有利的 是，即使在这种情况下也将进一步训练的评估算法传输给可以是成像 设备制造商的供应商，例如以便可以在该处对其进行验证并且必要时 将其发布，特别是也传输给其他临床设施/成像设备。
27.在本发明的另一设计方案中可规定，附加训练数据集和/或用于确 定附加训练数据集的确定数据通过通信链路被传输给评估算法供应 商的、特别是成像设备制造商的运算设备，在该运算设备处进行进一 步的训练。在此，确定数据特别是可以包括评估算法的应用的输入数 据和/或输出数据和/或从中导出的确定数据。因此，在这种情况下， 进一步的训练在评估算法的供应商处进行，为此使用至少一个在该处 的运算设备，其特别是也可以是云环境的一部分。
28.就此而言，本发明的特别有利的改进方案规定，附加训练数据集 和/或确定数据在被传输到供应商侧的运算设备之前被预处理以进行 匿名化。以这种方式，可通过最大程度地保护患者的个人数据来促进 数据保护。在此，在第一具体设计方案中可规定，图像数据被限制为 与评估算法的评估有关的子区域和/或去除所包含的被记录人员的个 人信息。因此例如可考虑的是，仅传输被限制为绝对必要的身体区域 的图像数据的一部分，例如仅肝脏区域。
29.然而，在本发明的特别有利的设计方案中可以规定，通过定义评 估算法的至少一个第一层，将评估算法的进一步待训练的部分限制为 不可改变，其中已由评估算法的至少一个第一层处理的原始输入数据 被确定为训练输入数据并且传输到供应商侧的运算设备。这意味着不 是提供图像数据本身或呈未经处理形式的图像数据，而是最后通过以 下方式将其匿名化，即其遍历特别是被设计为神经网络的评估算法的 至少一层，因此将使用特定提取的图像特征而不是原始图像数据。相 应使用的层主要针对低水平的图像特征提取，则在训练中保持不变， 从而仅较深的层被更新。以此方式，将在没有相关数据丢失的情况下 以简单的方式产生抽象且匿名的训练输入数据，然而通过简单地在至 少一个已定义的第一层之后将其馈入，可以将其直接用作评估算法的 训练输入数据。
30.然后，一般而言，进一步训练的评估算法可由供应商又提供给使 用该算法的各个成像设备。在此，在本发明的范畴内优选的是，进一 步训练的评估算法在供应商侧的运算设备上进行评估之后才被提供， 以至少应用在产生附加训练数据集的成像设备上，特别是
应用在使用 评估算法的所有成像设备上，由此为了在供应商侧的运算设备上进行 评估而确定评估分数。这意味着，评估过程可判定以何种程度将进一 步训练的评估算法提供为对不同成像设备的更新。特别是在应专门针 对特定成像设备进行训练时，这在特定情况下明确地仅涉及该特定成 像设备。然而，在许多情况下可更有利的是，正如可合并不同成像设 备的附加训练数据集或其训练结果一样，也对使用评估算法的所有成 像设备进行改进。因此，总体而言，仅当通过进一步的机器学习对评 估算法实现了足够显著的改进时，才在临床系统上更新评估算法。在 此，原则上可使用已知的常用评估指标或评估分数，例如“曲线下方 面积”(auc)和/或f1分数。
31.通常借助于特殊的测试数据(验证数据)来检验这种类型的评估 分数的评估质量。在此，测试数据集(验证数据集)包括描述基本事 实的测试输入数据和测试输出数据，其中这些测试数据集有针对性地 不用作训练数据集，因此被保留为训练后的评估算法的测试案例，以 便即使对于尚未接受训练的案例也可检验其评估过程。
32.就此而言，本发明的一个设计方案还可以规定，在供应商侧的运 算设备处将进一步训练的评估算法应用于具有测试输入数据的测试 数据集和包括测试输出数据的测试数据，并且通过将利用测试输入数 据通过进一步训练的评估算法所确定的输出数据与相应的测试输出 数据相比较来进行评估，以用于确定评估分数。
33.在此，还完全可考虑的是，从潜在的附加训练数据集中确定测试 数据集。因此，本发明的一个有利的改进方案规定，在将附加训练数 据集和/或确定数据传输到供应商侧的运算设备的情况下，在确定了多 个附加训练数据集的情况下，当满足适合性条件时所确定的附加训练 数据集中的至少一个不是用于进一步的训练，而是被重新声明为测试 数据集并且被添加到测试数据中。因此，以这种方式不仅可以改进评 估算法的训练基础，而且可以通过例如分支出一些原则上难于评估的 案例(由适用性标准来描述)来改进其验证基础，以便可以被添加到 测试数据中，从而也可在验证方面进行进一步改进。
34.在本发明的具体设计方案中可以规定，当超过用于改善评估分数 的改善阈值时，提供进一步训练的评估算法。因此，可以定义评估算 法的哪个改进被认为是足够显著的，以至于会在临床应用中更新评估 算法。此外还可以规定，如果评估分数变差，则进一步训练的评估算 法在提供中被推迟甚至被丢弃。在极少数情况下可能出现的是，作为 不期望的后果甚至会发生评估算法的总体性能的下降，在这种情况下 更新显得毫无意义。
35.如上所述，在本发明的范围内至少在很大程度上自动地、优选完 全自动地选择应从中产生新的附加训练数据集的检查过程。以这种方 式不再需要手动选择训练数据集。
36.在就此而言有利的具体设计方案中可规定，为了选择用于确定附 加训练数据集的一个检查过程，
37.–
选择其评估算法的输出数据已被用户更改的多个检查过程，和 /或，
38.–
如果评估算法输出了描述在确定输出数据时的不确定性且对 应于该输出数据的不确定性度量，则当超过该不确定性度量的不确定 性阈值时选择该检查过程，和/或
39.–
确定至少输入数据与描述对于评估算法具有高不确定性和/或 故障数的案例类别的预定案例类别输入数据的第一相似性度量，并且 当该相似性度量超过选择阈值时选择该检查过程。
40.因此，特别是可存在用于选择应添加到训练数据中的检查过程以 及案例的不同
的、也可累积使用的可能性。第一可能性涉及到其中例 如在利用成像设备本身记录图像数据期间或在诊断过程中输出数据 已被用户更改的检查过程的选择。如上所述，用户的这种更改表明基 本事实或多或少地偏离了由输出数据描述的评估结果。已被用户校正 的从而已更改的输出数据相应地可被视为基本事实，并且自然将产生 新的附加训练数据集。当然，在该第一可能性中可进行附加选项，例 如评估输出数据中的变化的程度，和/或特别是与第二可能性结合来评 估改进的可能性。
41.第二可能性涉及到基于不确定性度量的案例自动选择，评估算法 在常规临床案例中同样输出不确定性度量。例如，其中输出较高不确 定性度量从而假设由输出数据描述的评估结果存在高度不确定性的 案例可被自动选择，以便确定附加训练数据集。
42.最后，在第三可能性中还可进行有针对性的案例查询。例如，如 果已知其中频繁发生故障、错误或高度不确定性的案例类别，则可将 这些案例类别提供给各个成像设备，例如作为至少一组属于该案例类 别的案例类别输入数据。就这些案例类别输入数据而言，可以完全自 动地确定当前所使用的输入数据、即特别是图像数据的相似性度量， 以便定义当前的检查过程是否属于该案例类别。因此，可以自动地且 有针对性地收集极为相似的案例，以获得专门针对该案例类别方面的 改进的附加训练数据集。当然，该第三可能性也可与第一可能性相结 合。
43.在这一点上还应注意的是，在本发明的范围内，可以使用现有技 术中原则上已知的不同的具体相似性度量，特别是在比较图像数据时 也可使用可专门用于图像数据的相似性度量。在本发明的范围内可以 使用的相似性度量例如包括k均值聚类、灰度值差异、随机森林度量 和/或针对具体问题定制的机器学习的相似性度量。
44.特别是关于上面讨论的第二可能性和第三可能性，然而也对于其 他可考虑的自动选择的可能性，可能发生的是，对于所选择的检查过 程在输出数据中尚不存在用户侧的更改。在这种情况下，本发明的一 个有利的设计方案可规定，向至少一个用户发出检验和校正输出数据 的请求，其中响应于该请求而更改的输出数据被用作训练输出数据。 相应的输出可以已经在使用成像设备的临床设施中进行，从而作用于 该处的用户、特别是该处的医生，其被要求评定评估算法的输出数据 以改进该评估算法。然而还可行的是，特别是在将确定数据传输到供 应商侧的运算设备时，将考虑到供应商侧的用户，以评估实际的输出 数据并相应地参考基本事实进行调整。然而，在此应指出的是，就第 二和第三可能性中所涉及的案例的性质而言，此类案例总归都是很少 见的，从而过后的手动输入可保持在极低的水平。应指出的是，在本 发明的范围内还可考虑也以其他方式获得必要时替代性的待用作训 练输出数据的信息，例如通过使用替代算法，其虽然更鲁棒，但例如 由于运行时间非常长而不可在临床操作中考虑，例如高度复杂的仿真 等。
45.在本发明的范畴中所述的方法还可以包括关于附加训练数据集 的质量保证。对此也存在多种可能性，其必要时也可用作补充。
46.在就此而言的第一可能性中可规定，为了质量保证，仅在收到用 户侧的确认之后，才使用待用作训练输出数据集的更改后的输出数据。 这意味着，可要求用户对于应被添加到训练数据中的任何案例都确认 图像数据和特别是已被其更改的输出数据的质量。例如，当检查过程 结束时，可提出这样的请求。
47.在第二可能性中可规定，修改检查过程的选择，从而避免或建立 关于特定案例类
别的偏见。这意味着，在自动选择应用于训练的案例 时，可有针对性地注意避免关于特定案例类别的偏见，这在现有技术 中原则上就不平衡的训练数据集而言是已知的。然而，例如当基本训 练已经不平衡或添加了新的案例类别时，则在某些情况下也可考虑施 加偏见，对此另请参见上面讨论的第二可能性和第三可能性。
48.另一通常可用的质量保证方法、即特别优选的第三可能性规定， 为了完成附加训练数据集的确定，所确定的潜在的附加训练数据集 (特别是输入数据和特别是用户侧更改的输出数据)与基本训练数据 的训练数据集的至少一个第二相似性度量确定，其中如果最大相似性 度量低于检验阈值，则将潜在的附加训练数据集标记为待由人类专家 进行检验，并为了该检验而进行存储。只有在检验之后，附加训练集 必要时才由专家调整，被用于进一步的训练或甚至被丢弃。换言之， 可自动确定与已经确认的训练数据集的相似性度量，其中例如可使用 上面已经提到的相似性度量。如果仅存在较低的最大相似度，则可有 利的是，在将该潜在的附加训练数据集添加到训练数据中之前，使其 再次由专家进行检验。
49.在本发明的范围内，也可考虑一些用于确保或提高关于不同重建 方法的评估算法的鲁棒性的方法。更复杂的、特别是断层扫描的成像 技术通常使用重建过程，以便从原始数据、即直接测量的信息中确定 可作为图像输出给用户的图像数据。例如，在计算机断层扫描中，例 如借助于滤波后的背投影或迭代重建(代数重建)从二维投影图像中 重建三维图像数据集。类似地，在磁共振成像中将k空间中的原始数 据回算到图像空间中，以生成图像数据集。
50.在这种关于重建的第一方法中可规定，评估算法的前提是通过至 少一个预定的重建参数将利用成像设备获得的原始数据预定地重建 成图像数据，其中图像记录设备侧的重建独立于用户侧的重建而进行， 并且通过预定的重建所确定的图像数据被用作训练输入数据。换言之， 评估算法的鲁棒性可通过如下方式来提高，即具有预定重建参数的可 以说标准化的预定重建技术原则上用于生成输入数据的图像数据。无 论用户在特定的检查过程中是否希望利用其他重建参数重建图像，在 任何情况下都可在成像设备上或在成像设备侧的运算设备上利用预 定的重建参数附加地进行预定的重建，以便为评估算法提供正确的输 入数据。因此，以此方式在评估算法的训练过程中不必考虑产生图像 数据的不同重建类型、即重建的变型方案，这可改善训练的鲁棒性从 而提高所获得的输出数据的质量。
51.然而，在替代的同样有利的第二方法中还可规定，除了在用户侧 要求将利用成像设备获得的原始数据重建成用作输入数据的图像数 据之外，还至少进一步将原始数据预定地重建成另外的图像数据，其 中另外的图像数据被用作另外的附加训练数据集的训练输入数据，该 另外的附加训练数据集使用与对于使用输入数据的附加训练数据集 相同的训练输出数据。换言之，为了确保评估算法关于重建参数的鲁 棒性可规定，设置检查过程的原始数据的附加重建，以便在这方面增 加附加训练数据集中为训练所提供的带宽。在这种情况下，可针对一 个检查过程创建多个其附加训练数据集。关于进一步重建过程的完全 自动执行还应注意的是，这在以下事实之后是可行的，即在选择检查 过程以确定附加训练数据集的时间点原始数据通常仍存在于成像设 备上且尚未被自动删除。
52.换言之，关于这些方法可总结性地断言，由于在检查过程期间或 之后立即确定训
练数据集的事实，因此成像过程的原始数据仍然始终 可用，从而可有针对性地自动执行重建，以允许或确保相对于不同重 建参数的鲁棒性或关于重建参数的评估算法的标准化。
53.除了方法之外，本发明还涉及一种训练系统，具有：
54.–
至少一个医学成像设备，具有分配给该成像设备的运算设备， 该运算设备被设计为执行已基于基本训练数据训练过的人工智能评 估算法，该评估算法从包括利用医学成像设备记录的图像数据的输入 数据中确定描述评估结果的输出数据，和
55.–
在评估算法的供应商侧设置的运算设备，其通过通信链路与成 像设备侧的至少一个运算设备连接，
56.其中运算设备包括：
57.–
确定单元，用于确定至少一个附加训练数据集，该至少一个附 加训练数据集包含训练输入数据和与训练输入数据对应的训练输出 数据，和
58.–
训练单元，用于通过使用至少一个附加训练数据集来训练评估 算法，
59.其中确定单元被设计为：从在利用医学成像设备进行临床检查过 程(在该医学成像设备中使用了已经训练过的评估算法)期间所使用 的输入数据和已经训练过的评估算法的至少部分在用户侧校正修改 过的输出数据中，确定附加训练数据集。
60.关于根据本发明的方法的所有陈述可类似地适用于根据本发明 的训练系统，因此利用其同样可获得已经提到的优点。运算设备特别 是可包含至少一个处理器和/或至少一个存储介质以用于形成功能单 元。成像设备侧的运算设备可集成到成像设备本身中，例如形成为成 像设备的控制设备。在此，评估算法可以例如在图像处理单元等中实 现。成像设备侧的至少一个运算设备和/或供应商侧的至少一个运算设 备可分别为云端的一部分，特别是也可以是多个运算设备。
61.此外，根据本发明的训练系统还可以包括输入和/或输出单元。输 入和/或输出单元可被实施为由用户直接操作(例如屏幕、键盘、触摸 屏)，或者其也可以被实施为硬件或软件接口(例如pci总线、usb 或火线)。
62.根据本发明的计算机程序例如可以直接加载到根据本发明的训 练系统的运算设备的存储介质中，并且具有程序介质，以便当在训练 系统的运算设备中运行该计算机程序时执行根据本发明的方法的步 骤。该计算机程序可被存储在根据本发明的电子可读数据载体上，因 此其包括存储在其上的电子可读控制信息，该控制信息包括至少一个 根据本发明的计算机程序并且被设计为使得当在根据本发明的训练 系统中使用该数据载体时其执行根据本发明的方法。
63.存储介质可实现为非永久性主存储器(随机存取存储器，或简称 为ram)或永久性大容量存储器(硬盘、usb记忆棒、sd卡、固态 磁盘)。
64.因此，如开头所述，通过计算机程序提供了一种框架，使得可借 助于实际的临床常规案例至少基本上连续地进行评估算法的进一步 学习。为此，根据本发明的计算机程序的程序块可设置在成像设备侧 的运算设备和供应商侧的运算设备上，这意味着根据本发明的计算机 程序特别是可分布式地在训练系统中运行。
附图说明
65.本发明的其他优点和细节从下面说明的实施例中并参照附图得 出。其中：
66.图1示出了人工神经网络的一个实施例，
67.图2示出了卷积神经网络(cnn)的一个实施例，
68.图3示出了根据本发明的方法的示例性流程图，
69.图4示出了根据本发明的训练系统的一个实施例，
70.图5示出了在示例性第一实施方式中训练系统的运算设备的功能 结构，并且
71.图6示出了在示例性第二实施方式中训练系统的运算设备的功能 结构。
具体实施方式
72.图1示出了人工神经网络1的一个实施例。人工神经网络1的英 语表达是“artificial neural network”、“neural network”、“artificialneural net”或“neural net”。
73.人工神经网络1包括节点(nodes)6至18和边缘(edges)19至 21，其中每个边缘19至21是从第一节点6至18到第二节点6至18 的定向连接。通常，第一节点6至18和第二节点6至18是不同的节 点6至18，然而也可考虑的是，第一节点6至18和第二节点6至18 是相同的。例如，在图1中，边缘19是从节点6到节点9的定向连 接，边缘21是从节点16到节点18的定向连接。从第一节点6至18 到第二节点6至18的边缘19至21被称为第二节点6至18的“传入 边缘”(“ingoing edge”)和第一节点6至18的传出边缘(“outgoingedge”)。
74.在该实施例中，人工神经网络1的节点6至18可布置在层(layers) 2至5中，其中这些层可具有由在节点6至18之间的边缘19至21 引入的固有顺序。边缘19至21特别是可仅设置在节点6至18的相 邻层之间。在所示的实施例中存在输入层2，其仅具有节点6、7、8， 分别没有传入边缘。输出层5仅包括节点17、18，分别没有传出边缘， 其中此外隐藏的层3和4位于输入层2和输出层5之间。在一般情况 下可任意选择隐藏层3、4的数量。输入层2的节点6、7、8的数量 通常相应于神经网络1中输入值的数量，并且输出层5中的节点17、 18的数量通常相应于神经网络1的输出值的数量。
75.特别可以是神经网络1的节点6至18分配一个(实)数。在此， x
(n)i
表示第n层2至5的第i个节点6至18的值。输入层2的节点6、 7、8的值相当于神经网络1的输入值，而输出层5的节点17、18的 值相当于神经网络1的输出值。另外，每个边缘19、20、21可分配 有实数形式的权重。权重特别是为在区间[
‑
1，1]或区间[0，1]中的实 数。在此，w
(m,n)i,j
表示在第m层2至5的第i个节点6至18和第n 层2至5的第j个节点6至18之间的边缘的权重。此外还为权重 定义了缩写
[0076]
为了计算神经网络1的输出值，通过神经网络1传播输入值。第 (n 1)层2至5的节点6至18的值特别是可基于第n层2至5的 节点6至18的值通过下式来计算：
[0077][0078]
在此，f为传递函数，其也可被称为激活函数。已知的传递函数 为阶跃函数、s型函数(例如逻辑函数、广义逻辑函数、双曲正切、 反正切、误差函数、平滑阶跃函数)或整流函数。传递函数主要用于 归一化目的。
[0079]
这些值特别是通过神经网络1逐层传播，其中输入层2的值由神 经网络1的输入数
据给定。第一隐藏层3的值可基于神经网络1的输入层2的值来计算，第二隐藏层4的值可以基于第一隐藏层3中的值来计算，依此类推。
[0080]
为了可确定边缘19至21的值必须通过使用训练数据对神经网络1进行训练。训练数据特别是包括训练输入数据和训练输出数据，其在下文中被称为t
i
。对于训练步骤，将神经网络1应用于训练输入数据，以便确定所计算的输出数据。训练输出数据和所计算的输出数据特别是包括值的数量，其中该数量被确定为输出层5的节点17、18的数量。
[0081]
所计算的输出数据与训练输出数据之间的比较特别是用于递归地调整神经网络1内的权重(反向传播算法“backpropagationalgorithm”)。权重特别是可根据下式改变：
[0082][0083]
其中γ是学习速率，并且如果第(n 1)层不是输出层5，则数值可以基于递归地计算为
[0084][0085]
并且如果第(n 1)层是输出层5，则
[0086][0087]
其中f
′
是激活函数的一阶导数，并且是输出层5的第j个节点17、18的比较训练值。
[0088]
下面参考图2还给出了卷积神经网络(cnn)的一个示例。在此应注意的是，此处术语“层”(“layer”)的使用方式与对于经典神经网络略有不同。对于经典神经网络，术语“层”仅指形成层的一组节点，即特定的一代节点。对于卷积神经网络，术语“层”通常用作主动改变数据的对象，换言之，其是一组同代节点，并且是一组传入边缘或者是一组传出边缘。
[0089]
图2示出了卷积神经网络22的一个实施例。在所示的实施例中，卷积神经网络22包括输入层23、卷积层24、池化层25、全连接层26和输出层27。在替代设计方案中，卷积神经网络22可包括多个卷积层24、多个池化层25和多个全连接层26以及其他类型的层。层的顺序可任意选择，其中全连接层26通常形成输出层27之前的最后层。
[0090]
在卷积神经网络22内，层23至27之一的节点28至32特别是可被理解为以d维矩阵或d维图像布置。在二维情况下，在第n层23至27中具有索引i、j的节点28至32的值特别是可表示为x
(n)
[i，j]。应指出的是，层23至27的节点28至31的布置本身对卷积神经网络22内的计算没有任何影响，因为该影响仅由边缘的结构和权重给出。
[0091]
卷积层24的特征特别是在于，传入边缘的结构和权重形成基于特定数量的核的卷积运算。特别是可将传入边缘的结构和权重选择为使得卷积层24的节点29的值被
了更好地示出而减少了节点的数量)。在该实施例中，全连接层26 中的节点31的数量等于前一层25中的节点30的数量。在替代实施 方式中，节点30、31的数量可以不同。
[0103]
另外，在该实施例中，通过将柔性最大值函数应用于前一层26 的节点31的值来确定输出层27的节点32的值。通过使用柔性最大 值函数，输出层27的所有节点32的值之和为1，并且输出层的所有 节点32的所有值均为0到1之间的实数。如果卷积神经网络22被用 于对输入数据进行分类，则输出层27的值特别是可被解读为输入数 据落入不同类别的其中一个的概率。
[0104]
卷积神经网络22同样可具有relu层，其中relu代表“修正线 性单位”的缩写。relu层内的节点数和节点结构特别是相当于前一 层中的节点数和节点结构。relu层中每个节点的值特别是可通过将 整流函数应用于前一层中相应节点的值来计算。整流函数的示例是 f(x)＝max(0,x)、双曲正切或s型函数。
[0105]
卷积神经网络22特别是可基于反向传播算法来训练。为了避免 过度拟合，可使用正则化方法，例如单个节点28至32的删除、随机 池化、人工数据的使用、基于l1或l2范数或最大范数限制的权重衰 减。
[0106]
图3示出了根据本发明的方法的一个实施例的流程图。在此，在 步骤s1中利用成像设备、例如计算机断层扫描设备对患者进行检查。 在此，如原则上所知，将记录原始数据，例如二维投影图像，然后从 原始数据中重建图像数据，例如三维图像数据集。在步骤s1中，还 通过人工智能评估算法来评估这些图像数据，该人工智能评估算法已 借助于基本训练数据进行了训练。人工智能评估算法将至少上面提到 的图像数据用作输入数据，对其进行评估，并相应地提供描述评估结 果的输出数据。例如，评估算法可确定检查过程中另一成像过程的控 制数据。这种控制数据例如可涉及记录区域、x射线辐射的强度等。 在其他设计方案中或作为附加评估算法，输出数据还可包括诊断和/ 或治疗所基于的与图像相关的评估结果。就治疗而言也可在此产生控 制数据。
[0107]
在任何情况下，用户、例如主治医生和/或成像设备的其他受过培 训的操作者都会获得所显示的图像数据和评估结果以及输出数据，其 例如在图像数据内的记录区域的情况中被可视化。用户现在可评估人 工智能评估算法的输出数据的质量并且例如进行校正更改，从而在该 情况下可产生用户侧更改的输出数据。
[0108]
在此被视为示例的人工智能评估算法具有多层神经网络。在此， 输入数据遍历的第一层用于图像特征的提取。例如，评估算法的神经 网络的第一遍历层可形成编码器。
[0109]
在根据本发明的方法中，将通过进一步的训练来改进人工智能评 估算法。对于根据本发明的方法的进一步运行，待用于进一步训练的 附加训练数据集在用于进一步的训练之后可成为基本训练数据的一 部分，其应基于如在步骤s1中执行的那些常规临床检查过程被确定。 因此，在步骤s2中将检验检查过程是否满足选择标准，从而是否应 被用于确定附加训练数据集。如果不是这种情况，则根据箭头33再 次返回到步骤s1。
[0110]
为了选择检查过程以便创建附加训练数据集，在本发明的范围内 存在多种可能性，其也可彼此补充地应用。在第一可能性中，选择标 准可检验评估算法的输出数据是否如上所述实际上已被用户改变。这 表明评估结果偏离了基本事实。而在第二可能性中，选择标准还可自 动检验同样由评估算法输出的不确定性度量是否超过了不确定性阈 值。这种不确定性度量将估计在确定输出数据时的固有不确定性。如 果不确定性度量超过不确
定性阈值，即如果存在很大的不确定性，则 建议将检查过程的临床数据用作附加训练数据集，因为在此显然存在 较大的潜力可改进评估算法。
[0111]
在第三可能性中，可在选择标准的范围内确定在步骤s1中所使 用的包括图像数据的输入数据与至少一组案例类别输入数据之间的 第一相似性度量。在此特别是比较相应的图像数据。案例类别输入数 据代表待由评估数据集处理的评估案例的案例类别，即代表该案例类 别的至少一个案例。相应的案例类别为其中对于评估算法存在高度不 确定性和/或甚至高故障数的案例类别，因此为评估算法对其存在困难 的一类案例。因此，第一相似性度量描述了在当前检查过程中所考虑 的评估案例与该案例类别的相似程度。如果该相似性较高，从而如果 第一相似性度量超出了选择阈值，则可选择当前检查过程，以便通过 训练也可在此有针对性地特别提高评估算法的性能。
[0112]
在此，在步骤s2中原则上有利的是，至少选择第一可能性，因 为则始终存在已经与由评估算法所提供的输出数据不同的输出数据， 因此还先不必自动和/或手动地确定基本事实。如果在步骤s2中对于 所选择的检查过程不存在用户侧的输出数据更改，则可向至少一个用 户、特别是执行或监控检查过程的用户发出检验和校正输出数据的请 求，其中响应于此而更改的输出数据用作训练输出数据。
[0113]
然后在步骤s3中确定附加训练数据集。为此，将在步骤s1中所 使用的输入数据和更改后的输出数据相互分配，其中输入数据形成训 练输入数据，并且用户侧更改的输出数据形成训练输出数据。
[0114]
如果之后进行的进一步训练不应在运行成像设备的临床设施侧 进行，这将在下面进行更详细的讨论，而是应在可以是成像设备制造 商的评估算法供应商的运算设备上进行，则在步骤s3中还进行特别 是对输入数据的匿名处理。尽管在较不优选的实施方式中可考虑将图 像数据减少到实际需要的图像区域，但优选的设计方案建议使用评估 算法神经网络的抽象提取图像特征的上述第一层中的一个层，例如第 一层，以便将这些抽象的匿名输入数据表达为在第一层后输入的修改 后的训练输入数据。在这种情况下，借以将输入数据匿名化的该至少 一个第一层不进行训练。因此，在这种情况下，用作训练输入数据的 不是原始输入数据，而是在由评估算法的至少一个第一层处理之后从 这些原始输入数据得到的修改后的输入数据。
[0115]
在可选的步骤s4中还可实施质量保证措施。就此而言也存在一 些不同的可能性，其中首先可规定，要求用户确认特别是更改后的输 出数据作为训练输出数据的适用性。这意味着，例如通知用户将从当 前的检查过程中导出附加训练数据集，并且为其显示相应的信息，从 而其可以再次评估是否确实适用。
[0116]
在可替代或附加地使用的第二可能性中，也可使用建立训练数据 集在案例类别上的特定分布的基本已知的概念，例如避免偏见的均等 分布，或者也可有针对性地强调特定的、难以处理的案例类别，这特 别是在步骤s2中使用第二可能性和第三可能性时也可以是有用的。
[0117]
特别优选的第三可能性规定，将附加训练数据集与已经用于训练 的基本训练数据集进行比较，对此确定第二相似性度量。如果该第二 相似性度量的最大值低于检验阈值，则所确定的附加训练数据集似乎 非常明显地偏离目前为止所使用的其他基本训练数据集，从而在这种 情况下在步骤s4中规定，首先存储潜在的附加训练数据集，并且由 人类
专家对其进行检验，为此可以相应地被标记。
[0118]
在步骤s6中进行评估数据集的进一步训练之前，如果除了训练 数据库之外还应扩展用于验证的测试数据库，则可检验适用性条件， 当其满足时(也可考虑先前的适用性检验)，潜在的附加训练数据集 不是用于进一步的训练，而是重新被声明为测试数据集，并被添加到 测试数据中以用于验证评估算法，从而用于确定训练成功。由此，附 加训练数据集实际上将变为“测试案例”。在适用性条件的简单情况 下，其可相应简单地重新声明每第n个附加训练数据集；然而也可考 虑使用其他标准。
[0119]
现在，如果在步骤s3中所确定的附加训练数据集未被重新声明 为测试数据集或者已被专家标记以用于检验，则通过使用该附加训练 数据集进行步骤s5中的进一步训练。当存在新的附加培训数据集时， 则有利地始终进行该进一步训练。以这种方式将实现评估算法的尽可 能连续的改进。而还可行的是，例如始终累积一定数量的附加训练数 据集，其中该数量优选被选择得较小，例如小于10。
[0120]
有利地以与先前的训练措施、特别是基本训练相同的训练方法或 相同类型的机器学习进行步骤s5中的进一步训练，其中可使用常规 的已知训练技术。
[0121]
如上所述，步骤s5中的训练可在使用成像设备的临床设施侧进 行，即在分配给成像设备的成像设备侧的运算设备上进行，或者也可 在供应商侧的运算设备上进行，在这种情况下则如上所述已经有利地 执行了所述匿名化措施。
[0122]
在可将现在进一步训练的评估算法提供给成像设备之前，在步骤 s6中对其进行验证。为了验证，在此通过将进一步训练的评估算法 应用于已经提到的测试数据来确定评估分数。通过将利用测试输入数 据通过进一步训练的评估算法所确定的输出数据与相应的测试输出 数据进行比较，可检验测试算法的性能，特别是其准确性，其中可将 结果汇总在评估分数中，例如auc值(曲线下面积)和/或f1分数。 如果评估分数的改善超过改善阈值，则由于存在足够显著的改善，因 此可将进一步训练的评估算法作为更新提供给成像设备。
[0123]
然后可在步骤s7中特别是以软件更新的形式进行该提供。
[0124]
在这一点上还应注意的是，在根据本发明的方法中，就关于步骤 s1所提到的重建而言可采用两种方法。一方面可考虑的是，为评估 算法的应用预先假定具有预定重建参数的明确定义的固定预设的重 建，也就是说将用于评估算法的重建“标准化”。则有利的是，在步 骤s1中除了利用用户所期望的重建参数进行重建之外，在任何情况 下还利用预定的重建参数来进行预定的重建，并将由此产生的图像数 据用作评估算法的输入数据，然后这些图像数据也将成为附加训练数 据集的一部分。
[0125]
在另一种方法中，如果已经选择了当前检查过程来确定附加训练 数据集，则可在步骤s3中规定，在对于步骤s1中进行的重建和在该 处相应地用作输入数据的图像数据利用不同的重建参数进行进一步 的重建之后，将确定多个附加数据集，以便关于输出数据、特别是用 户侧更改的输出数据确定其他可考虑的输入数据。这在以下事实之后 是可能的，即在常规临床实践中使用该方法并且在检查过程中仍可决 定是否应确定附加训练数据集，从而原始数据通常仍存在并允许进行 该附加的重建。然后可通过使用所有这些附加训练数据集进行进一步 的训练。
[0126]
图4示出了根据本发明的训练系统34的原理图。该训练系统34 包括对其应使用评
估算法的多个成像设备35。在此，在临床设施36 的区域中的成像设备35分别分配有成像设备侧的运算设备37。成像 设备侧的运算设备37通过通信链路38与在供应商39处存在的供应 商侧运算设备40通信。如将进一步更详细所述，通过运算设备37、 40提供用于实现根据本发明的方法的功能单元，其特别是至少包括确 定单元和训练单元，其中在图5和图6中更详细地解释了用于不同实 施方式的相应功能设计方案。
[0127]
根据图5中的实施方式，步骤s5中的训练在成像设备侧的运算 设备37处进行。除了用于应用特别是存储在存储介质42中的评估算 法(步骤s1)的评估单元41之外，成像设备侧的运算设备37还首 先包括选择单元43，其检验步骤s2的选择标准。确定单元44根据 步骤s3确定附加训练数据集。
[0128]
可选地，可以在质量保证单元45中实施步骤s4的质量保证措施。
[0129]
然后，在临床设施36的区域中，可以在训练单元46中利用附加 训练数据集进行进一步训练，参见步骤s5，之后可将如此进一步训 练的评估算法通过通信链接38发送给供应商侧的运算设备40的验证 单元48，参见箭头47。还可具有存储介质49的运算设备40相应地 也包括提供单元50，通过其可在相应的验证中将进一步训练的人工智 能评估算法又提供给评估单元41，参见箭头51。因此，验证单元48 被设计为执行步骤s6，并且提供单元50被设计为执行步骤s7。
[0130]
图6中的实施例与图5中的实施例的区别在于，训练单元46被 设置在供应商侧的运算设备40处，因此将根据箭头52发送附加训练 数据集。然后确定单元44可相应地执行所述匿名化措施。
[0131]
在此，参考图6所示的功能单元特别是可以由运算设备37、40 的至少一个处理器提供。由此，特别是将在交互的运算设备37和40 上提供框架，其以简单和可靠的方式至少在很大程度上自动化地使得 进一步训练人工智能评估算法。
[0132]
尽管通过优选的实施例更详细地说明和描述了本发明的细节，但 本发明并不受限于所公开的示例，并且本领域技术人员可在不脱离本 发明保护范围的情况下从中得出其他变型方案。