参数化评估医学图像数据集的函数的计算机实现的方法与流程

1.本发明涉及一种用于参数化评估与感兴趣区域相关的医学图像数据集的函数的计算机实现的方法。此外，本发明涉及一种用于评估医学图像数据的计算机实现的方法、一种提供系统、一种计算机程序和一种计算机可读介质。


背景技术：

2.深度学习技术是用于在医学图像分析中进行任务自动化的有希望的候选。通过使用有监督学习和足够大的训练数据集，通常需要训练有素的医务人员进行手动图像分析的很多任务可以被自动化或至少得到深度学习技术的支持。g.litjens等人的文章“a survey on deep learning in medical image analysis”(medical image analysis,42(2017),s.60)中描述了可以通过深度学习技术解决的多个任务。
3.使用深度学习技术的一个主要挑战是设计合适的神经架构，例如神经网络的架构，或更具体地设计非常适合手头任务的卷积神经网络。虽然使用强连接架构以及例如输入权重等的本质上自由的参数化对于某些任务可能是有利的，但是通常限制在学习过程中学习的自由参数的数目以避免需要过大的训练数据集和过长的学习时间也是有利的。
4.由于手工制作神经架构很费力，需要很长的测试时间并且通常基于反复试错，因此用于确定神经架构的自动化系统的方法是近年来非常活跃的话题。t.elsen等人的文章“neural architecture search:a survey”(journal of machine learning research 20(2019),s.1)中给出了相关技术的概述。就在下文中讨论神经架构搜索而言，示例将侧重于一次性架构搜索、尤其是h.pham等人在“efficient neural architecture search via parameter sharing”(international conference on machine learning,2018)一文中讨论的高效神经架构搜索(enas)。
5.深度学习架构(尤其是在与自动神经架构搜索结合时)的一个遗留问题是对高维输入数据的依赖，高维输入数据例如通过计算机断层扫描、磁共振断层扫描或类似的医学成像方法以相对较高分辨率记录的三维医学图像数据集。增加要分析的个体数据集中的数据量会增加必要神经架构的复杂性，因此会增加找到良好的网络架构、在训练期间实现收敛的必要时间以及必要的训练数据量。即使是成百上千的代表性案例通常也不足以达到经训练的算法的良好性能。
6.虽然这个问题已经利用诸如数据增强等各种技术进行了跟踪，例如通过使用生成对抗网络和/或正则化、例如通过批次归一化、自动编码器等，但是目前没有可用的普遍适用的方法。因为医学研究人员通常无法直接使用这些先进技术，并且通常需要在深度学习架构和方法方面拥有丰富的经验才能真正改善结果，因此没有可用的普遍适用的方法尤其成问题。
7.f.denzinger等人的最近的文章“deep learning algorithms for coronary artery plaque characterization from ccta scans”(bildverarbeitung f
ü
r die medizin 2020)讨论了感兴趣病变的两个正交视图的提取并且使用这两个2d视图作为神经
网络的输入。已经发现，这种方法稍微优于基于三维输入数据的方法，并且可以实现更快的训练。这个示例表明，为所研究的问题选择合适的数据表示可以显著提高深度学习架构的训练和性能，尤其是在可用训练数据有限时。然而，对于所使用的数据表示的选择完全基于直觉。通常，很少考虑选择合适的数据表示，也没有系统性的选择过程。
8.然而，深度学习应用的架构师通常不可能可靠地预测某个数据表示是否适合或不太适合用于由深度学习训练的算法来确定某些特征。因此，被预期为非常适合任何类型的问题的各种输入数据类型通常被用作深度学习架构的输入数据，各种输入数据类型例如相对大量的等距切片、多个3d体积等。虽然这种方法在有足够量的训练数据可用时可以实现学习过程的稳健收敛，但这种方法通常会导致不必要的复杂算法并且增加训练和应用已训练算法所需要的必要的训练数据和处理时间的量。


技术实现要素：

9.因此，本发明的目的是提供一种改进的机器学习方法，该方法尤其允许使用更少时间和/或需要更少训练数据进行训练。
10.该问题通过一种用于参数化函数的计算机实现方法来解决，该函数用于评估与感兴趣区域相关的医学图像数据集，其中该函数包括由该函数的参数化确定的处理算法和表示生成器，其中表示生成器被设计为基于医学图像数据集和由该函数的参数化确定的相应的表示参数化来生成感兴趣区域的至少一个表示，并且其中处理算法被设计为基于至少一个表示和多个算法参数确定至少一个输出参数，该方法包括以下步骤：
[0011]-接收包括多个训练医学图像数据集的训练数据集，
[0012]-接收表示信息，
[0013]-使用优化算法确定处理算法和至少一个表示参数化，其中优化算法通过基于表示信息和/或所使用的表示参数化的数目改变至少一个表示参数化的内容并且在给定搜索空间内改变处理算法以及改变算法参数来优化处理算法对一组训练表示进行操作时的性能的度量，一组训练表示通过使用至少一个表示参数化将表示生成器应用于训练医学图像数据集的至少一个子集而生成，
[0014]-提供所确定的至少一个表示参数化和所确定的处理算法或描述所确定的处理算法的处理参数以参数化该函数。
[0015]
常见的机器学习方法使用固定类型的输入数据，例如完整的医学图像数据集或医学图像数据集中示出的感兴趣区域的预定义表示，例如某个切片或投影图像。本发明方法允许在优化算法内改变所使用的表示或甚至所使用的表示的数目。因此，可以例如通过丢弃不会或几乎不会改善结果的某些表示来减少输入数据量并且从而降低网络复杂性。另外地或备选地，可以例如稍微改变表示，例如所选择的层、投影方向等，以进一步改善结果。
[0016]
例如，用户可以在手动数据分析期间生成表示。例如，放射科医生可以为给定医学图像数据集生成多个(例如，3到5个)表示。他或她可以使用工具包在他或她的正常工作流程中生成这些表示，并且根据他或她的医学或放射学直觉仅指示与给定诊断任务相关的任何生成的表示。例如，可以选择3d数据集的概述投影(overview projection)和若干选定层。
[0017]
然后可以使用工具包中使用的表示参数化来为在研究中使用的所有医学图像数
据集生成这些表示。为了允许这种转移，使用解剖坐标系来限定位置和取向是有利的。这些表示或描述这些表示的表示参数化然后可以用作表示信息。然后可以使用优化算法同时优化用作输入数据的表示和所使用的处理算法，例如通过使用神经架构搜索。
[0018]
在优化的第一部分，可以通过优化算法自动选择所建议的表示的最相关的子集。例如，可以在优化期间确定由放射科医生建议的一个或多个表示似乎几乎没有相关性。通过减少所使用的表示的数目，可以降低处理算法的复杂性，因此需要更少的训练数据就可以提供高性能算法。
[0019]
可选地，然后可以使用优化算法的第二部分来稍微改变表示，例如通过稍微修改投影方向、层选择等，以进一步提高性能的度量。可以向放射科医生提供反馈，例如，以向他或她通知发现某些表示几乎没有相关性，或者通过例如通过提供处理算法的显著图来指示特别相关的表示的区域。
[0020]
一旦找到对于表示的良好选择并且因此找到对于参数化表示生成器的表示参数化，就可以将表示参数化与其他医疗从业者共享，用于通过生成附加表示来进一步训练所选择的处理算法，等等。上面讨论的示例性工作流程的各个步骤将在后面更详细地讨论。虽然在前面的示例中只考虑了单个用户的直觉，但可以合并关于不同用户认为相关的表示的表示参数化以提供表示信息。
[0021]
已经发现，纯粹改变处理算法的输入数据和算法参数(例如，人工神经元(也可以称为节点)或卷积内核的输入权重)通常不会达到最佳性能，因为某个神经架构可能非常适合某组表示，但不适合实际上可能更适合手头问题的另一组表示。因此，本发明方法使用组合优化算法，该算法也在搜索空间内改变处理算法，并且因此实现了所使用的神经架构与所使用的一个或多个表示相匹配。
[0022]
由于本发明方法因此允许选择非常适合的一个表示或一组表示作为输入数据，所以例如可以被实现为神经网络的处理算法本身的复杂性可以显著降低。在很多情况下，只有通过这种复杂性降低才能找到高性能解决方案，尤其是当只有有限数目的训练数据可用时。通常只能通过所使用的表示和所使用的优化算法的同时或迭代优化来找到高性能解决方案，因为最佳解决方案通常使用正确的数据表示和正确的算法结构的非平凡组合。复杂性的降低还带来了几个其他优势。经训练算法的性能可以提高。此外，可以实现训练过程的更快收敛，并且训练所需要的训练数据更少。
[0023]
本发明方法可以对用于多个目的并且因此有多个可能的输出参数的函数进行参数化。输出参数可以是相对较低级别的参数，例如对组织、器官等的分类、由医学图像数据集描述的图像体积到预定义坐标系的自动分割或配准。然而，已经发现，所讨论的方法特别适合确定例如可以支持医务人员形成诊断的更高级别的输出参数和/或处理高维医学图像数据集的情况，例如，当处理与肺或动脉树相关的三维图像数据时。使用例如神经网络处理这些类型数据集可能是具有挑战性的。通过例如使用所选择的数目的表示而不是完整数据集，可以降低输入数据的复杂性。这可以大大简化机器学习在这样的问题上的应用。
[0024]
经参数化的函数可以例如应用于描绘肺实质的医学图像数据集，以支持与如慢性阻塞性肺病或间质性肺病等恶性肿瘤相关的临床决策。使用整个三维肺区域作为处理算法的直接输入是非常有问题的，因为会导致大量存储器需求、减少可能的批次大小、并且导致处理大部分不相关并且因此不必要的图像数据，从而增加了处理算法的复杂度。
[0025]
因此，前面讨论的方法可以用于学习哪些表示实际上与支持与某种肺部疾病相关的诊断相关。对于慢性阻塞性肺病和与肺气肿相关的其他疾病，例如，使用描述肺气肿的几何分布的简单2d概述图像就足够了。其他肺部疾病与表现为气道壁增厚的气道的炎症过程相关，并且可以在与气道方向正交的多平面重新格式化表示(multiplanar reformatted representations)的堆叠和/或立即说明沿不同世代(generation)的气道的壁厚的弯曲平面表示(curved planar representations)(或者甚至更浓缩的多径弯曲平面表示(curved planar representations))中很好地可视化。还可以同时使用多个气道的展开(unfolded)视图。
[0026]
类似的可视化还可以捕获有关如支气管扩张等疾病的信息，其中完整的支气管血管束与检测与对应肺动脉相关的异常气道管腔直径相关，从而导致气道和动脉的新的共同弯曲平面表示和共同展开。
[0027]
通过选择描绘感兴趣区域(具有如与呼吸性细支气管炎ild相关的小叶中心微结节等迹象)的多平面重新格式化表示，系统可以学习主要从与气道树相关的某些肺区域(在这种情况下为远端)进行采样并且自动找到示出如树芽征(tree-in-bud)等重要临床症状的全部范围的旋转角度。
[0028]
如下所述，表示信息可以取决于限定相关表示的用户输入。因此，如果用户选择仅在患病时才可标识的位置(例如在空气滞留的情况下变得可见的小叶边界)的可视化，则可以自动标识有意义的样本位置。
[0029]
从前面的讨论可以明显看出，原则上大量表示是可能的。表示生成器可以提供工具包来生成所有这些表示。由于对可能的表示的全部范围的强力采样会导致训练时间过长，因此可以使用所接收的表示信息来限制针对表示参数化的搜索空间并且从而限制针对可能的表示的搜索空间，和/或提供一个或多个表示参数化作为优化的起点，如下面更详细讨论的。
[0030]
表示信息可以是描述哪些表示被专家或专家组认为与确定某些输出参数相关的信息。
[0031]
第二示例性应用涉及心脏病学领域。denzinger等人最初讨论的出版物已经比较了使用各种不同表示作为输入数据的深度学习算法的性能。该出版物建议将感兴趣病变重塑为通过插入与血管的每个中心线点正交的平面而创建的多平面重新格式化的图像堆叠。然后使用该图像堆叠生成不同组预定表示，不同组预定表示然后由具有固定架构的神经网络处理。一组表示包括沿中心线的正交切片。将使用该组的性能与使用沿图像堆叠的一系列立方体作为表示以及使用平均和最大强度投影图像作为表示的性能进行比较。
[0032]
因此，在所讨论的出版物中，表示的数目非常有限，并且只测试了针对每个表示的一个参数化。该出版物还使用固定神经架构。因此，本发明方法可以进一步提高性能，例如通过改变切片和/或投影的位置和/或取向和/或所选择的立方体的间距和/或大小、通过组合多种不同类型的表示作为输入，等等。由于处理算法的架构可以在优化过程中同时改变，所以可以针对用作输入数据的一组最佳表示实现最佳性能。
[0033]
算法参数可以是在训练具有给定神经架构的处理算法时在正常机器学习期间确定的所有参数，例如卷积神经网络中的相应滤波器内核的参数或个体节点的输入权重。算法参数可以在优化算法期间确定。例如，可以针对给定表示参数化或一组表示参数化执行
对给定处理算法的完整训练，以确定处理算法的性能的度量。
[0034]
虽然这样的完整训练可能是计算密集型的，但仍然是可能的，例如当使用不同架构之间的参数共享时。参数共享的一个示例是一次性架构搜索，例如在enas中使用的。然而，很多性能估计策略确实使用较小训练数据集、学习曲线外推法或其他方法来减少性能估计所需要的计算量。这些方法在例如t.elsken等人的上述文章中有讨论。通常，这些方法不会对所确定的架构执行完整训练。
[0035]
因此，在另外的步骤中通过使用另外的优化算法来确定算法参数可能是有利的，该另外的优化算法可以是可用于通过机器学习来训练处理算法的任何算法。例如，可以利用包括期望输出值的训练数据使用有监督学习。
[0036]
一般而言，算法参数可以通过训练、特别是有监督训练、半监督训练、无监督训练、强化学习和/或主动学习来调节。此外，可以使用表示学习。特别地，可以通过若干训练步骤迭代地调节算法参数。处理算法可以包括神经网络、支持向量机、决策树和/或贝叶斯网络，和/或处理算法可以基于k均值聚类、q学习、遗传算法和/或关联规则。特别地，神经网络可以是深度神经网络、卷积神经网络或深度卷积神经网络。此外，神经网络可以是对抗网络、深度对抗网络和/或生成对抗网络。
[0037]
一旦被优化算法确定，前面讨论的用于训练处理算法的方法也可以在优化算法中使用。在优化算法中，对于所使用的表示参数化或表示和/或处理算法的选择或确定可以基于贝叶斯优化和/或进化算法。
[0038]
医学图像数据集可以是三维图像数据集，例如三维ct、mrt或pet数据。备选地，医学图像数据集可以例如是二维图像数据。优化算法可以例如选择可能的表示参数化的子集，例如1-5个表示参数化，基于使用这些表示参数化而确定的表示作为训练数据来执行神经架构搜索，以确定所找到的架构的性能，并且对表示参数化的不同子集迭代地重复该过程。例如，表示信息可以限定可能的表示参数化的池，例如10个表示参数化，并且优化算法选择该池的子集。一旦找到相关子集，就可以在优化算法中(例如通过进化算法)进一步修改所选择的一个或多个表示参数化，以进一步改进性能测量。
[0039]
在本文档的上下文中，子集被理解为包括至少一个元素并且优选地不是一组的所有元素。表示参数化可以仅包括单个参数，例如表示的类型、所选择的切片、投影角度等。优选地，它包括多个参数，例如所使用的表示类型和针对该类型的至少一个参数。
[0040]
算法参数可以由优化算法或另外的优化算法确定，其中另外的优化算法优化度量或针对处理算法的性能的另外的度量，该另外的度量是在优化算法中当该处理算法对一组训练表示或另外的一组训练表示进行操作时确定的，一组训练表示或另外的一组训练表示通过使用至少一个表示参数化将表示生成器应用于训练医学图像数据集或子集或训练医学图像数据集的另外的子集而被生成，至少一个表示参数化通过在优化算法中改变算法参数而被确定。如前所述，算法参数可以是通常在机器学习期间确定的参数，例如卷积神经网络的滤波器内核的参数或人工神经网络中的个体节点的输入权重。因此，它们可以利用可以用作另外的优化算法的任何已知的机器学习方法而被确定。备选地，可能已经在优化算法期间执行了处理算法的完整训练。
[0041]
搜索空间可以限定针对神经网络的多个可能架构，其中优化算法中对处理算法的选择是神经架构搜索的结果，其中由相应架构限定的神经网络的自由参数、尤其是神经网
络的节点的输入权重由算法参数限定。相应处理算法的架构尤其可以确定哪些节点的输出取决于哪些其他节点的输出。例如，该架构可以限定节点之间是否存在跳过连接，该跳过连接不仅允许来自网络中的紧接的前一层中的节点的数据输入，而且还允许来自较早层的节点的数据输入。另外地或备选地，该架构可以限定是否存在并行处理分支等。该架构还可以限定在卷积神经网络的某个层中执行什么类型的操作和/或网络中的至少一些节点的激活函数。因此，处理算法的选择可以确定网络的架构，并且算法参数可以确定神经网络的参数化。
[0042]
搜索空间可以限定在层之间的连接方面和/或由相应层执行的操作类型方面不同的多个卷积神经网络。备选地，搜索空间可以限定在节点之间的连接方面和/或在至少一个节点中使用的激活函数方面不同的多个神经网络。这样的搜索空间的示例在t.elsken等人和h.pham等人在之前讨论的文章中有详细讨论。
[0043]
可以通过对架构设置某些限制来限制搜索空间的大小。例如，已经公知的是，用于设计神经网络(尤其是卷积神经网络)的一种很有前途的方法是在网络中使用重复单元，这些单元使用相同架构，但可以具有不同参数化并且因此应用不同的算法参数。例如，pham等人建议，仅确定卷积单元和简并单元的架构，然后使用这些单元的交替布置或卷积单元和简并单元(reduction cell)的多个副本的交替布置。由于在这种方法中只有两种不同单元可以改变，该单元包括有限数目的卷积层或其他节点，所以搜索空间中的架构数目可以是有限的，因此实现了对于处理算法的更快选择和选择过程的鲁棒收敛，即使在使用相对有限数目的训练医学图像数据集时也是如此。
[0044]
然后可以训练由这些单元的堆叠形成的整个网络，因此可以确定整个网络的算法参数。使用重复单元的另一优点是能够使用有限算法(例如，包括较少数目的这样的单元)确定针对处理算法的性能的度量，并且在确定架构之后仅训练完整处理算法一次。
[0045]
作为由卷积神经网络的相应层执行的操作类型，可以使用最大池化、最小池化、平均池化、卷积、深度可分离卷积或恒等式。也可以根据所使用的卷积内核的大小来区分操作的类型，例如区分3
×
3卷积和5
×
5卷积。可以选择的激活函数类型的示例包括tanh、relu、identity和sigmoid。
[0046]
针对完整网络或重复单元的搜索空间可以特别地表示为图，其中图的边连接网络的个体节点或层。相应边的存在可以指示节点或层对由该边连接的先前节点或层的依赖性。没有边表明某个节点或层独立于前一节点或层的输出。关于节点或层之间的连接，因此可以通过相应边的存在或不存在来对搜索空间进行参数化。因此，当可能的边的数目用n描述时，与连接相关的搜索空间的大小可以为2n。搜索空间还包括由相应节点或层执行的激活函数或操作的选择。如果所考虑的激活函数或操作的数目是m并且考虑k个层或节点，则激活函数或操作的搜索空间的大小为mk。因此，搜索空间的整体大小可以表示为2n*mk。
[0047]
因此，将复杂网络拆分为具有相同架构的若干单元可以大大减小搜索空间的大小，从而减少选择处理算法所需要的处理能力和训练数据量。
[0048]
表示参数化可以在不同类型的表示之间进行选择，不同类型的表示包括以下至少两种：投影图像、尤其是人工x射线图像、图像体积的单个切片、多平面重新格式化表示(mutli-planar reformatted representation)、弯曲平面重制(curved planar reformation)、感兴趣区域的展开表示、掩蔽(masked)图像、使用直方图均衡化和/或归一
化而生成的表示。所提及的个体表示类型在现有技术中是公知的并且已经被医务人员用于评估医学图像数据集。基于直方图均衡化和/或归一化(例如，白色条纹标准化)的掩蔽图像和表示可以基于所提到的其他类型(例如，切片或投影)，并且附加处理可以例如作为后处理而被执行。换言之，表示参数化可以确定是否执行掩蔽和/或直方图均衡化和/或归一化或者是否不执行这些处理步骤中的任何一个。
[0049]
备选地，表示参数化可以只确定单一类型表示的另外的参数化，例如在不同投影之间进行选择，例如在轴向、矢状、冠状和斜投影之间选择。当表示参数化可以在不同类型的表示之间进行选择时，表示信息可能会在某些情况下将所考虑的表示潜在地限制为单一类型。
[0050]
使用在不同表示类型之间进行选择的表示参数化允许本发明方法从这些不同类型的表示中选择可以实现训练医学图像数据集的处理算法的最佳性能的表示，或者甚至允许选择有利于确定至少一个输出参数的不同表示的组合。
[0051]
如果感兴趣区域是气道或动脉，则感兴趣区域的展开可能例如是相关的。例如，也可以同时展开气道和动脉。当使用造影剂(contrast agent)例如用于背景减除时，掩模(mask)图像可能是相关的。对于显示血管或气道，弯曲平面重制可能是相关的，但弯曲平面重制也可以用于例如描绘某个器官或肿瘤表面的纹理。当可以选择多个表示参数化来提供多个表示作为处理算法的输入时，这些表示参数化可以描述不同表示，或者它们可以描述相同表示但在另外的参数方面有所不同，例如，对于所使用的切片或所使用的平面的选择。可使用的表示的另一示例是基于在申请人的设备中使用以提供ct图像和mr图像的照片般逼真的3d表示的电影渲染方法的表示。
[0052]
表示参数化的可能内容可以选择由医学图像数据集限定的图像体积的切片作为表示，其中表示参数化确定图像体积的哪个切片被选择和/或确定切片的取向。另外地或备选地，表示参数化的可能内容可以选择图像体积的投影图像作为表示，其中表示参数化确定投影的方向。因此，本发明方法可以例如选择最适合确定一个或多个输出参数的切片和/或投影。类似地，可以通过表示参数化来确定上述其他类型表示的另外的参数。如前所述，可以通过使用同步优化来选择针对所选择的一个或一组表示的最佳神经架构。
[0053]
对于切片或投影的选择或进一步提及的表示类型的参数化，使用解剖坐标系可能是有利的。这可以例如通过将相应医学图像数据集的图像数据配准到图集、通过检测医学图像数据集中的某些界标并且使用这些界标之间的位置和/或距离来限定解剖坐标系等来实现。因此，例如可以为投影和/或切片的堆叠方向限定轴向、冠状和切面方向。
[0054]
表示信息可以包括或限定一组预定义表示参数化，其中优化算法在第一备选方案中选择预定义表示参数化之一或子组作为确定的至少一个表示参数化或在第二备选方案中选择预定义表示参数化之一或子组作为至少一个近似表示参数化，其中在第二备选方案中至少一个表示参数化的确定基于至少一个近似表示参数化。
[0055]
因此，表示信息可以在第一备选方案中限定可能的表示参数化。在这种情况下，优化算法的目的是从由表示信息限定的选择中选择限定最适合确定一个或多个输出参数的表示或表示组合的一个或多个表示参数化。
[0056]
在第二备选方案中，优化可以分两部分执行。优化的第一部分选择一个或多个近似表示参数化，一个或多个近似表示参数化似乎是用于另外搜索一个或多个理想表示参数
化的最有希望的起点。一旦找到一个或多个有希望的候选，就可以执行一个或多个近似表示参数化的变化，例如通过进化算法，以找到更适合确定至少一个输出参数的表示。
[0057]
近似表示参数化的变化特别地可以保持所使用的表示的类型不变，并且仅稍微改变相应表示，例如通过稍微改变投影的角度或切片的取向和/或位置。
[0058]
该方法可以包括接收至少一个用户的用户输入，其中预定义表示参数化是从用户输入确定的。用户输入尤其可以在相应用户在图像数据的手动评估期间选择或调节所使用的表示以确定要由函数确定的一个或多个参数时生成。换言之，用户输入可以限定被认为与特定任务(例如用于形成诊断或辨别医学图像数据集中某个特征的存在)相关的表示或对应的表示参数化。
[0059]
当用户已经使用表示生成器来限定用于手动检查的表示时，这是特别有利的。在这种情况下，用于该手动检查的相应表示参数化可以直接用作表示信息的一部分。备选地，可以提供用于将在手动检查期间使用的表示参数化转换为由表示生成器可使用的表示参数化的工具。
[0060]
在所讨论的方法的最简单的应用中，用户可以选择他认为与特定任务相关的多个表示或表示参数化，该任务与一个或多个输出参数的确定等效或相关。本发明方法然后可以用于识别可能不添加附加信息的多余表示并且避免使用这些多余表示，因此允许处理算法的较低复杂性。另外地或备选地，该方法可以突出显示被认为是最重要的表示并且例如向用户提供有关表示的重要性的反馈。
[0061]
另外地或备选地，该方法可以如上文所讨论的基于近似表示参数化稍微修改表示参数化，因此潜在地进一步改进一个或多个参数的确定。
[0062]
本发明方法尤其可以用于结合多个从业者的经验。例如，表示信息可以收集预定义表示参数化，这些预定义表示参数化对应于被多个用户认为与特定任务相关的表示或表示组合。本发明方法然后可以挑选以及可选地修改实际上最适合于确定输出参数的表示或表示组合。
[0063]
在最简单的情况下，基于不同用户的用户输入的所有预定义表示参数化都可以被组合在公共池中，因此可以使用这些表示参数化的任意组合和选择。为了实现优化算法的更快收敛和更可靠收敛，即使在使用相对较小训练数据集时，将对预定义表示参数化的采样集中在单个用户实际建议的组合上也是有利的。例如，可以首先比较不同用户建议的不同组合的性能，然后修改最成功的一个或多个组合，例如通过去除个体表示参数化以降低复杂性和/或通过将个体表示参数化替换为基于其他用户的输入的表示参数化。这些步骤可以由所提出的系统和方法自动执行。一旦找到了预定义表示参数化的最佳组合，就可以如上所述进一步修改该组合。
[0064]
本发明方法中使用的表示生成器允许自动生成针对给定表示参数化的、例如可以限定某些切片或投影的表示或者解剖坐标系中的不同表示。除了在优化算法和经训练函数中使用这种表示生成器，这种表示生成器还提供多种附加优势。对于个体用户，例如可以针对大量医学图像数据集生成相同表示，例如针对不同患者。这可以允许更容易地比较某些患者的特征，直接观察患者随时间的变化等。当可以自动生成相关表示时，还可以加快手动确定某些特征的工作流程。
[0065]
使用这种表示生成器来经由表示参数化限定表示的另一优点是，表示参数化可以
在几个用户之间轻松交换。这可能与对医学图像数据集的手动分析相关，因为用户可以例如向另一用户提供针对与某个问题最相关的表示的表示参数化，从而帮助该用户分析这样的医学图像数据集。表示参数化的交换也增加了本发明方法的有用性，因为如上面已经讨论的，不同用户可以提供所使用的表示参数化的部分池。
[0066]
甚至可以针对一组固定的表示参数化执行优化算法。当使用一组给定表示参数化时，这有利于确定处理算法的最佳性能度量。该过程可以例如用于在不同用户提供的表示参数化集合之间进行选择，因此只考虑最有希望的集合。它还可以用于向个体用户提供反馈，向用户提供信息，该信息指示所选择的表示总体上有多适合确定相关特征。
[0067]
使用表示生成器并且因此通过相应表示参数化来限定表示的另一优点是，医疗从业者可以共享关于特定任务的所使用的表示的信息，而无需共享医学图像数据本身。例如，在医学图像数据集的手动评估期间使用表示生成器来生成表示是足够的，并且可以共享表示参数化以允许这些所建议的表示参数化或多组相应表示参数化在本发明方法中使用。在限定这些表示参数化时被分析的实际图像数据或任何其他患者数据不需要被共享，并且可以例如不离开医院的数据库。
[0068]
然而，一个或多个表示参数化的共享仍然允许从业者(例如，放射科医生)的直觉与同事共享，并且该直觉可以用于确定作为本发明方法中处理算法的输入的最佳表示。由于仅共享与表示的生成相关的信息，因此最佳地保护了个体患者的隐私。同时，使用表示生成器或使用包括表示生成器的用于图像表示的工具包来工作的医学专家(例如，放射科医生)不需要深入的技术知识，但仍然可以简单地通过使用这样的工具包或表示生成器来在其正常工作期间生成表示，以及可选地标记他认为特别相关的表示或各组表示来提供有价值的信息，针对本发明方法，有价值的信息主要是候选表示参数化。
[0069]
优化算法可以使用由表示信息限定的潜在表示参数化的池，其中至少对于池中的表示参数化中的选定表示参数化，选定表示参数化的相关性的度量是通过以下两项最佳度量之间的比较来确定的：使用选定表示参数化生成训练表示时在优化算法中实现的性能的最佳度量；以及不使用选定表示参数化生成训练表示时在优化算法中实现的性能的最佳度量。池可以例如最初与上面讨论的预定义表示参数化相同。可以例如针对每个表示参数化依次确定相关性，并且可以丢弃具有最低的所确定的相关性的表示参数化以减少池中的表示参数化的数目。这个过程可以重复多次，以将池精简为最相关的表示参数化。这些最相关的表示参数化然后可以例如如上所述地改变以进一步改进对于至少一个输出参数的确定。
[0070]
还可以向用户提供相应表示参数化的所确定的相关性作为反馈。例如，用户可以限定他认为与确定一个或多个输出参数相关的某个数目的(例如，五个)表示。该方法然后可以提供反馈，以向用户通知例如他建议的表示中的一个或两个表示具有低相关性，并且可能例如实际上并没有为一个或多个输出参数的确定贡献相关信息。这种方法不仅对于训练函数本身是相关的，对于训练个体用户识别哪些表示可能与确定某些参数(例如，诊断指标和/或生物标志物)有关也是相关的。
[0071]
优化算法可以例如是一种迭代算法，其中每次迭代一方面包括针对这个迭代选择所使用的表示参数化或所使用的一组表示参数化与所使用的处理算法的组合，另一方面包括通过改变算法参数来优化性能的度量。
[0072]
原则上，对于处理算法和表示参数化的选择可以是随机的。在这种情况下，为了提
高收敛性，可以从池中丢弃如上所述被确定为没有相关性或相关性很小的表示参数化，以避免它们在进一步的迭代中使用。
[0073]
然而，在相应迭代中选择一个或多个表示参数化和/或处理算法时考虑先前迭代的结果是有利的。这可以例如可以通过使用贝叶斯优化来实现，该优化选择一个或多个用户表示参数化和处理算法。贝叶斯优化在现有技术中是公知的，不再详细讨论。这种方法基于限定所谓的先验函数，该先验函数包含关于例如性能度量或成本函数对参数空间中的位置的依赖性的假设。这个先验在对参数空间的每次采样之后更新。对下一样本的选择取决于获取函数，该获取函数尤其可以取决于给定范围内的已更新的先验函数的不确定性程度以及先验函数与该范围内的预期最大值或最小值的接近程度。因此，这种方法可以结合对参数空间的探索(即，最小化参数空间的未知部分的不确定性)以及开发(即，将采样集中在当前最知名解决方案的邻域)。
[0074]
备选地，可以使用进化算法来确定优化算法的每次迭代中的一个或多个表示参数化和处理算法。在进化算法中，选择显示出良好性能度量的有希望的参数集，例如一个或多个表示参数化和处理算法的有希望的组合，然后对其进行组合和/或修改以提供用于下一迭代的参数集。进化算法在现有技术中是公知的，将不再详细讨论。
[0075]
对于由相应的所确定的表示参数化限定的医学图像数据集的相应表示的像素或体素或相邻像素或体素的组，可以基于所确定的处理算法和算法参数来确定相应像素或体素或相邻像素或体素的组对输出参数或至少一个输出参数的影响的度量。如果处理算法是可微的，则可以确定参数关于像素、体素或像素或体素的组的梯度并且将其用作影响的度量。然后可以生成显示相应像素、体素或组对一个或多个参数的影响的彩色编码图像，并且例如可以为了用户而对其进行可视化。这在表示信息基于用户输入时尤其相关，表示信息基于例如基于用户对于他认为与确定一个或多个输出参数相关的表示的选择。
[0076]
所描述的方法确定了由算法参数进行参数化的处理算法的显著图，因此可以立即向用户提供关于某个表示的哪些区域与确定输出参数相关的反馈。因此，不仅可以确定哪些表示特别相关，而且可以确定表示的哪些区域特别相关。这种方法可以用于两个目的。一方面，实际上可以向用户提供某些表示的哪些区域可能与某些诊断问题相关的新信息。另一方面，像素、体素或组的相关性的这种映射可以用于验证训练，因为用户可以立即识别出某些区域何时被认为是高度相关的，而这些区域应当与所确定的一个或多个参数没有关系。虽然这可能表明新的医学知识，但也可能是由于将人工制品解释为特征或类似问题所致。因此，可以轻松识别和避免由于经训练函数的黑匣子性质而导致的机器学习的潜在陷阱。
[0077]
本发明还涉及一种用于评估医学图像数据的计算机实现的方法，该方法包括以下步骤：
[0078]-接收与感兴趣区域相关的医学图像数据集作为输入数据，
[0079]-将通过机器学习算法训练的函数应用于医学图像数据集以确定至少一个输出参数，其中该函数包括由机器学习确定和/或参数化的处理算法和表示生成器，其中表示生成器基于医学图像数据集和由机器学习确定的相应表示参数化生成感兴趣区域的至少一个表示，并且其中处理算法基于至少一个表示确定输出参数，
[0080]-提供输出参数作为输出数据。
[0081]
所使用的一个或多个表示参数化和所使用的处理算法可以由上述用于对函数进行参数化的计算机实现的方法提供。可以提供经过完全训练的处理算法，其中先前讨论的算法参数是硬编码的。然而，也可以单独提供处理算法及其参数。
[0082]
此外，本发明涉及一种提供系统，该提供系统包括
[0083]-第一接口，被配置用于接收输入数据，
[0084]-第二接口，被配置用于提供输出数据，
[0085]-计算单元，被配置为
[0086]
·
根据用于对函数进行参数化的计算机实现的方法，基于作为输入数据的训练数据集和表示信息，确定所确定的至少一个表示参数化和所确定的处理算法或描述所确定的处理算法的参数作为输出数据，和/或
[0087]
·
根据用于评估医学图像数据的计算机实现的方法，基于作为输入数据的医学图像数据集，确定输出参数以作为输出数据。
[0088]
一种根据本发明的计算机程序包括指令，当计算机程序由计算机执行时，该指令使计算机执行根据本发明的用于对函数进行参数化的计算机实现的方法和/或根据本发明的用于评估医学图像数据的计算机实现的方法。
[0089]
一种根据本发明的计算机可读介质包括根据本发明的计算机程序。
[0090]
所讨论的发明组允许使用医学专家的直觉和知识，特别是当基于用户输入限定表示信息时。还允许向用户提供关于所选择的表示的相关性以及关于与一个或多个输出参数的确定特别相关的表示区域的反馈。因此，为医疗从业者提供了一个与其典型研究相似的工作流程，即允许他们定义某个假定，该假定指示医学图像数据集的某些表示与确定某些参数的相关性，并且允许测试相应假定，即通过向他们提供有关不同表示的相关性和相关区域的反馈。
[0091]
同时，医生不需要详细的技术知识来提供针对参数化函数(该函数用于评估医学图像数据集)的相关信息，因为他们可以简单地使用表示生成器或使用包括表示生成器的工具包来在其正常工作流程中生成表示。他们的专业知识也可以在不共享医学图像数据集的情况下共享，因此无需共享有关患者的任何个人信息。
[0092]
表示生成器可以作为工具箱被提供给与所讨论的方法和系统无关的医学检查员，或者作为这些方法和系统的一部分。它可以包括例如展开算法、用于生成弯曲平面表示、多平面重新格式化表示、重新参数化的算法，例如基于从质心开始的极坐标、直方图均衡化的变体、解剖坐标系等。所使用的算法的选择和算法的参数然后可以存储为针对所生成的表示的表示参数化。通过使用相同的表示参数化来应用表示生成器，可以将标记为对一个或多个相关输出参数具有潜在区分性(discriminative)的表示自动传播到研究的所有其他患者。然后，这些表示可以存储在表示池中，并且在优化算法期间直接提取。备选地，表示可以在优化算法中即时生成。
[0093]
所讨论的方法的一个主要优点是能够通过从搜索空间选择处理算法来同时优化所使用的表示、或用于生成表示的表示参数化、和深度学习网络的架构。在该优化过程中，可以使用高级性能估计和优化策略。t.elsken等人已经引用的文章概述了可以使用的策略。由于同时搜索表示和神经架构，所提出的方法可以称为数据表示和神经架构搜索(darenas)。
[0094]
用户建议的与系统或方法的决定无关的表示可以自动被拒绝。因此，该系统可以被解释为单变量假定测试的抽象的基于图像的版本。由于提供了反馈，还可以学习放射学直觉以获取最大信息内容。
[0095]
如前所述，然后可以细化未被拒绝的表示，并且可以评估调节的效果以进一步改进对一个或多个输出参数的确定。
[0096]
当表示信息基于用户输入，尤其是基于用户建议的表示时，还提高了所生成的一个或多个输出参数的可解释性，因为这些参数基于医学专家在进行相同诊断问题或相关问题时也使用的表示。如果例如如上所述提供了显著图，对于这些专家来说，很容易理解是什么特征驱动经训练函数得出结论以及因此得出所提供的一个或多个输出参数。
[0097]
与用户(例如，放射科医生)的交互可以进一步被改进，例如通过在新研究中推荐在先前研究中被认为相关的表示或表示参数化。
附图说明
[0098]
本发明的其他目的和特征将从以下结合附图考虑的详细描述中变得明显。然而，附图只是仅为说明目的而设计的原理草图，而并不限制本发明。附图示意性地示出：
[0099]
图1是根据本发明的用于评估医学图像数据的计算机实现的方法的示例性实施例的流程图；
[0100]
图2是根据本发明的用于评估医学图像数据的计算机实现的方法的示例性实施例中的相关算法和数据结构的交互；
[0101]
图3是根据本发明的用于参数化用于评估医学图像数据集的函数的计算机实现的方法的示例性实施例的流程图；
[0102]
图4是这样的方法的一个实施例的相关算法和数据结构；
[0103]
图5是由表示生成器生成的、作为感兴趣区域的血管的医学图像数据集的可能表示的示例；
[0104]
图6是针对处理算法的搜索空间的示意图；
[0105]
图7是神经网络的简单示例；
[0106]
图8是卷积神经网络的简单示例；以及
[0107]
图9是根据本发明的提供系统的示例性实施例。
具体实施方式
[0108]
图1示出了用于评估医学图像数据的计算机实现的方法的流程图。将另外参考图2来讨论所示步骤s1-s4的可能实现，图2示出了可用于实现该方法的相关算法和数据结构。
[0109]
在步骤s1中，接收与感兴趣区域相关的医学图像数据集1作为输入数据2。输入数据2可以直接由医学图像获取设备(例如，ct或mrt设备)提供，从数据库中读取，等等。示例将假定医学图像数据集1描述3维图像数据。然而，所描述的方法和设备也可以用于处理二维图像数据。
[0110]
在步骤s2和s3中，将通过机器学习训练的函数3应用于医学图像数据集1以确定至少一个输出参数4。训练函数3的过程稍后参考图3和4讨论并且可以被认为是与所讨论的方法分开的准备步骤。
[0111]
函数3包括两个不同处理步骤。在步骤s2中，使用表示生成器6生成在医学图像数据集1中描绘的感兴趣区域的至少一个表示7，优选地生成若干个表示7。表示7可以例如是在医学图像数据集1中描绘的体积的不同切片、例如通过执行医学图像数据集1的人工x射线投影而生成的投影图像、多平面重新格式化表示、弯曲平面重制、感兴趣区域的展开表示等。相应表示7的类型和表示7的另外的参数(例如，切片的角度和/或位置、或投影图像的投影方向)由相应表示参数化8限定。表示参数化8的确定是稍后参考图3和4描述的函数的训练的一部分并且可以被认为是与所讨论的方法分开的准备步骤。
[0112]
在步骤s3中，通过处理算法5确定输出参数4，该处理算法5先前由机器学习确定和/或参数化。处理算法5的确定和参数化是稍后将参考图3和4描述的函数的训练的一部分并且可以被认为是与所讨论的方法分开的准备步骤。
[0113]
优选地，所选择的处理算法5仅描述神经架构，例如神经网络的节点和/或层之间的连接、以及在个体卷积层和/或个体节点的激活函数中执行的操作。通常在机器学习中确定的参数(例如，个体节点的输入权重和/或卷积层的过滤内核)可以作为算法参数10单独提供。备选地，算法参数10可以已经在处理算法5本身中被硬编码。
[0114]
除了从搜索空间选择具有给定架构的处理算法，还可以使用通用处理算法5，该通用处理算法5可以实现多种架构并且通过提供由机器学习确定的处理参数9来选择架构。
[0115]
一旦确定了输出参数4，就可以在步骤s4中将其作为输出数据11提供。输出数据11可以例如用于支持医务人员进行诊断。例如，可以提供指示疾病的某些特征的存在的概率作为输出参数4。
[0116]
虽然大多数机器学习方法使用固定表示和神经架构，并且在机器学习期间只改变参数(例如人工神经元的输入权重)，并且更高级的方法基于作为输入数据的固定表示来使用神经架构搜索，所提出的方法允许在机器学习期间使用的表示和神经架构的变化。为了仍然允许学习过程在有限数量的训练数据和计算资源下工作，可以通过使用用户建议的表示作为起点并且因此利用医生的直觉来限制所使用的表示的搜索空间。
[0117]
该方法的实现在于，所讨论的方法使用至少一个表示7作为处理算法5的输入，至少一个表示7由表示生成器6基于表示参数化8生成，表示参数化8是基于机器学习而被提供的。因此，所讨论的方法允许学习适合于确定输出参数4的表示。例如，相对少量的二维图像可以用作表示7，因此与处理由医学图像数据集1提供的全部三维图像数据相比，减少了输入数据量。
[0118]
由于使用不同的表示7作为输入数据，可能需要处理算法5的不同架构以获取最佳性能，因此处理算法5的架构也使用机器学习来确定。
[0119]
这些特征的组合允许减少为确定输出参数4而被处理的输入数据量，并且因此降低处理算法5的复杂性，特别是减少需要在训练期间确定的算法参数10的数目。与在训练期间使用一组固定表示的算法相比，这可以显著减少必要的训练数据量并且实现函数3的更好性能。
[0120]
现在将参考图3和4讨论用于对函数3进行参数化的计算机实现方法的示例。图3示出了方法的流程图，图4示出了该方法的可能实现的相关数据结构和算法。
[0121]
在第一可选步骤s5中，从用户接收用户输入12，用户输入12与对表示7的选择相关，该表示7是用户认为与输出参数4的确定或与输出参数4相关的诊断任务相关。例如，用
户可能正在使用工具包从医学图像数据集1生成表示7，该医学图像数据集1使用先前讨论的表示生成器6来生成个体表示7。在选择合适的表示7作为处理算法的输入数据时考虑这样的用户输入、尤其是从这些用户输入生成的预定义表示参数化13，以允许使用医学专家的经验来训练函数3。
[0122]
在步骤s6中，接收表示信息16，表示信息16可以包括从用户输入12确定的预定义表示参数化13和/或从不同源14(例如，数据库、不同用户等)接收的预定义表示参数化15。
[0123]
在步骤s7中，接收包括多个训练医学图像数据集17的训练数据集84。由于所讨论的示例使用有监督学习，因此训练数据集84另外包括每个训练医学图像数据集17的期望值18和输出参数4。
[0124]
在步骤s8中，针对处理算法5的网络架构限定搜索空间19。例如，搜索空间19可以限于包括相同架构内的重复单元的卷积神经网络。
[0125]
例如，可以通过交替使用普通单元和简并单元来形成处理算法5，普通单元以步幅为1被应用，从而保持输出数据量与输入数据量相同，简并单元以步幅为2被应用，因此将输出数据量减少了两倍。所有普通单元可以具有相同网络架构，并且所有简并单元可以具有相同网络架构，优选地具有不同于普通单元的架构。在该上下文中，具有相同架构可以表示在相应卷积层上使用相同操作并且在相应单元内的层之间使用相同连接。
[0126]
h.pham等人先前引用的文章中给出了这样的网络架构的示例。这篇文章、尤其是之前引用的t.elsken等人的文章还建议可以使用的另外的搜索空间来代替所讨论的搜索空间19。
[0127]
在步骤s9中，使用优化算法20来确定处理算法5和预期提供处理算法5的最佳性能的至少一个表示参数化22。为了清楚地说明相关思想，在图4中示意性地示出了优化算法20的相对简单的实施例，该优化算法20使用对从搜索空间19提取的各种处理算法5和从由表示信息16限定的池26提取的表示参数化22的显式迭代，其中在每次迭代期间执行处理算法5的完整训练以确定算法参数10。虽然这种方法原则上是可行的，但实际实现通常会使用若干修改来加速训练过程的收敛，这将在后面讨论。
[0128]
在图4所示的优化算法20中，选择模块21从由表示信息16限定的表示参数化13、15的池26中选择表示参数化22的子集。已经参考图2讨论的表示生成器6然后用于针对至少一些训练医学图像数据集17、针对每个选定表示参数化22生成相应的表示7。在备选实施例中，还可以已经针对池26中的所有表示参数化13、15生成表示7，然后使用选择模块21直接选择表示7之一。
[0129]
然后通过使用这些表示7作为输入数据来训练由选择模块23从搜索空间19选择的处理算法5。处理算法5的算法参数10(例如，神经网络的个体节点的输入权重或卷积神经网络的滤波器内核)最初可以设置为随机值或某些所选择的默认值。使用该参数化，然后将处理算法5应用于输入数据，即，表示7，以生成输出参数4。将输出参数4与输出值的期望值18进行比较，例如使用成本函数24。根据成本函数24的值，特别是根据所生成的输出参数4与期望值18之间的差异，然后由修改模块25修改算法参数10，该修改模块25可以例如使用误差的反向传播或某种其他公知方法通过机器学习来训练算法5。
[0130]
在一定量的训练之后，成本函数24的值被确定为在对表示7进行操作时处理算法5的性能的度量27。在迭代的下一步骤中，处理算法5从搜索空间19中被重新提取，和/或表示
参数化的子集22或表示7从池26中被重新提取，以检查对于该新组合是否可以改进性能的度量27。
[0131]
原则上，可以从搜索空间19中随机选择处理算法5和/或从池26中随机选择表示参数化22。然而，为了加速函数3的参数化，在选择新的表示参数化22或表示7和/或处理算法5时考虑采用先前的结果、特别是所确定的度量27是有利的。这可以例如通过在用于选择模块21、23的选择的贝叶斯优化中使用进化算法或获取函数来实现。
[0132]
另外地或备选地，可以通过去除被确定为与输出参数4的确定没有或几乎没有相关性的表示参数化13、15来修改池26。这可以例如通过比较以下两项最佳度量来确定：使用选定表示参数化生成训练表示7时在优化算法20中实现的性能的最佳度量27；以及在不使用选定表示参数化生成训练表示7时实现的性能的最佳度量27。
[0133]
一旦找到具有最佳性能的子集，选择模块21对新子集的选择就可以替换为对选定表示参数化的参数的修改28。例如，可以稍微修改针对给定表示7的所选择的切片的位置和/或取向和/或投影的方向，并且可以检查是否可以通过这种修改实现性能的进一步改进。
[0134]
在优化完成之后，例如在一定次数的迭代之后或当收敛标准满足时，所确定的处理算法5或描述处理算法5的处理参数10和所确定的表示参数化22可以被提供作为输出，因此实现了已经参考图1和2讨论的方法。
[0135]
其中对每组表示参数化22和所选择的处理算法5执行处理算法5的完整训练的先前讨论的方法在计算上是相当昂贵的。由于计算困难的核心原因是复杂的神经架构搜索，因此可以使用现有技术中已知的可以优化这样的神经架构搜索的各种方法来加速函数3的训练。
[0136]
一种有前途的方法是使用一次性(one-shot)模型和权重共享，其中搜索空间19的每个成员都可以被认为是描述整个网络的图的子图。因此，训练整个网络(也称为一次性模型)就足够了。非常适合所讨论问题的这样的一次性模型的一个示例是pham等人在先前引用的文档中详细讨论的enas模型。降低神经架构搜索复杂性的其他方法是低保真估计、学习曲线外推和权重继承。这些方法在elsken等人之前引用的文章中有讨论。
[0137]
图5示出了在医学图像数据集1中描绘的感兴趣区域29的一些示例性表示30、31、32、33。对于所示出的表示的选择受到已经引用的danzinger等人的文章的启发。所有示出的表示都基于第一步骤，在第一步骤中感兴趣区域29(例如，血管或病变)被重塑为多平面重新格式化图像堆叠，如图5中的表示30所示。这种多平面重新格式化图像堆叠可以通过创建与形成感兴趣区域29的血管或病变的中心线正交的内插平面并且将它们堆叠以基本上拉直感兴趣区域29来形成。
[0138]
因此，表示30已经包含明显较少的与感兴趣区域29无关的信息，因为它只需要稍微扩展到感兴趣区域29之外。然而，以全分辨率处理完整的表示30仍然需要相当复杂的处理算法。因此，所引用的文章测试了各种其他表示。一种可能的表示31是使用沿感兴趣区域29间隔开的较小立方体。可以通过选择某些切片来创建另外的表示32、33(在一个示例中是包括感兴趣区域29的中心线的正交切片)作为处理算法的输入数据。此外，很多另外的表示是可能的，例如直接从医学图像数据集1中选择切片、使用医学图像数据集1或表示30的投影、进一步处理表示31的体积图像，例如，通过创建投影或通过选择某些切片等。投影可以
是人工x射线图像或最小或最大强度投影。
[0139]
引用的文章手动检查了几组可能的输入表示，并且比较了这些表示所使用的处理算法的性能。得出的结论是，使用表示32和33作为输入数据似乎产生了最佳结果。前面讨论的方法会以明显更少的努力找到合适的表示，并且可以通过对其他表示以及某些表示的组合或可能不是很明显的某种其他组合进行采样来进一步提高性能，例如通过将表示32、33之一与完整医学图像数据集1的投影相结合。因此，所讨论的方法还允许发现优化的解决方案，这些解决方案在手工构建神经架构尤其是手动选择要使用的表示时可能不会被发现。
[0140]
所讨论的表示有利于例如心脏病学领域，特别是用于表征可能使血管变窄并且导致中风和不良心肌事件的冠状动脉斑块段。在其他领域，例如为了支持医务人员形成有关肺部疾病的诊断，其他表示可能是有利的。
[0141]
对于检测慢性阻塞性肺疾病存在的指标，使用简单的2d概述图像(例如，某个角度的投影)作为处理算法的输入数据可能就足够了。与炎症过程相关的肺部疾病指标表现为其壁增厚，并且可以在多平面重新格式化的图像堆叠中很好地可视化。因此，可以使用已经针对图5讨论过的类似表示。其他有用的表示可以是弯曲平面重制或展开算法的输出。
[0142]
因此，当表示生成器6包括用于生成表示7的多个算法并且因此可以用于医学成像中的多个图像分析问题时是有利的。针对相关表示的搜索空间以及因此相关表示参数化可能受到表示信息的限制。如前所述，从一个或多个医学专家收集有关表示或表示组合的信息是特别有利的，这些信息可以有利于某个图像分析任务并且因此有利于确定某个输出参数或一组输出参数。
[0143]
因此，该方法可以被应用到多个图像分析任务，例如简单地通过确定哪些表示可能是相关的。例如，可以通过在手动确定相应输出参数期间或在与这些输出参数相关的诊断任务期间跟踪医学专家对表示生成器的使用。
[0144]
现在将参考图6讨论针对处理算法5的可能的搜索空间19的图示。在该示例中，搜索空间限于由输入层34、多个连续单元35、36和输出层73形成的卷积神经网络，每个单元35、36包括多个层38-40，输出层73可以例如由全连接层构成。单元35、36可以具有彼此不同的架构，并且单元35、36的这个序列被重复多次以形成相应处理算法5。单元35可以是普通的卷积单元，例如，对卷积内核使用步幅为1的单元，因此生成与输入数据具有相同分辨率的输出数据。单元36可以是具有经增加的步幅(例如，步幅为2)的简并单元，因此将以降低的分辨率生成输出数据。
[0145]
图6示出了这种搜索空间的一个非常简单的示例，其中每个单元35的层38-40的数目被限制为四。搜索空间内的不同处理算法5在普通单元35和简并单元36的架构方面有所不同。该架构限定在卷积层38-40之间存在哪些连接74、75。在图6中，所有可能的连接74、75示出为箭头，其中所使用的连接74示出为实心箭头，并且在示例中未使用的一个连接75示出为虚线箭头。
[0146]
如图6所示，单元35中的最后一层40可以具有到所有先前层37-39的潜在连接74、75。在该示例中，仅使用与先前层37和39的连接，使得图5所示的处理算法5的示例不直接使用层38的输出作为层40的输入。当潜在地允许每个层37-40连接到同一单元35中的每个先前层37-40时，有六个潜在连接，因此不同层37-40之间的连接的架构有26个可能性。
[0147]
处理算法5的架构还可以限定由相应层37-40执行的操作类型76。某个层可以例如
执行最大池化、最小池化、平均池化、卷积、深度可分离卷积或输出恒等式。该架构还可以限定所使用的内核的大小，例如在3
×
3和5
×
5内核之间进行选择。
[0148]
前面的讨论也可以转移到不同神经网络的搜索空间。代替转换层37-40之间的连接，个体节点之间的连接可以由架构限定，并且不同操作类型76之间的选择可以替换为所使用的激活函数的选择，例如在tanh、relu、恒等式或sigmoid函数之间的选择。
[0149]
作为本发明的技术背景，现在将参考图7和8讨论神经网络、特别是卷积神经网络的一般原理和结构。
[0150]
图7示出了人工神经网络41的实施例。“人工神经网络”的备选术语是“神经网络”、“人工神经网络”或“神经网络”。
[0151]
人工神经网络41包括节点46-58和边59-61，其中每个边59-61是从第一节点46-48到第二节点46-58的有向连接。通常，第一节点46-58和第二节点46-58是不同节点46-58，第一节点46-58和第二节点46-58也可以相同。例如，在图1中，边59是从节点46到节点49的有向连接，边60是从节点47到节点49的有向连接。从第一节点46-58到第二节点46-58的边59-61也被表示为第二节点46-58的“入边(ingoing edge)”和第一节点46-58的“出边(outgoing edge)”。
[0152]
在该实施例中，人工神经网络41的节点46-58可以布置在层42-45中，其中层42-45可以包括由节点46-58之间的边59-61引入的固有顺序。特别地，边59-61只能存在于节点46-58的相邻层之间。在所示出的实施例中，存在仅包括节点46-48而没有入边的输入层42、仅包括节点57、58而没有出边的输出层45，并且隐藏层43、44位于输入层42与输出层45之间。通常，可以任意选择隐藏层43、44的数目。输入层42内的节点46-48的数目通常与神经网络的输入值的数目有关，输出层45内的节点57、58的数目通常与神经网络的输出值的数目有关。
[0153]
特别地，可以将(实)数作为值分配给神经网络31的每个节点46-58。这里，x
(n)i
表示第n层42-45的第i节点46-58的值。输入层42的节点46-48的值等于神经网络41的输入值，输出层45的节点57、58的值等于神经网络41的输出值。此外，每个边59-61可以包括作为实数的权重，具体地，权重是区间[-1，1]内或区间[0，1]内的实数。这里，w
(m，n)i，j
表示第m层42-45的第i节点46-58与第n层42-45的第j节点46-58之间的边的权重。此外，缩写w
(n)i，j
被定义用于权重w
(n，n 1)i，j
。
[0154]
特别地，为了计算神经网络41的输出值，输入值通过神经网络传播。具体地，第(n 1)层42-45的节点46-58的值可以基于第n层42-45的节点46-58的值计算如下：
[0155][0156]
这里，函数f是传递函数(另一术语是“激活函数”)。已知的传递函数是阶跃函数、sigmoid函数(例如，逻辑函数、广义逻辑函数、双曲正切、反正切函数、误差函数、平滑步函数)或整流函数。传递函数主要用于归一化目的。
[0157]
特别地，值逐层传播通过神经网络，其中输入层42的值由神经网络41的输入给出，其中第一隐藏层43的值可以基于神经网络的输入层42的值来计算，其中第二隐藏层44的值可以基于第一隐藏层43的值来计算，等等。
[0158]
为了设置针对边的值w
(m，n)i，j
，必须使用训练数据来训练神经网络41。特别地，训练数据包括训练输入数据和训练输出数据(表示为ti)。对于训练步骤，神经网络41被应用于训练输入数据以生成所计算的输出数据。特别地，训练数据和所计算的输出数据包括多个值，上述数目等于输出层的节点的数目。
[0159]
特别地，所计算的输出数据与训练数据之间的比较用于递归地调节神经网络41内的权重(反向传播算法)。特别地，权重根据下式改变
[0160][0161]
其中γ是学习速率，数目δ
(n)j
可以：如果第(n 1)层不是输出层，则基于δ
(n 1)j
递归计算为
[0162][0163]
如果第(n 1)层是输出层45，则计算为：
[0164][0165]
其中f'是激活函数的一阶导数，y
(n 1)j
是输出层45的第j节点的比较训练值。
[0166]
图8示出了卷积神经网络62的实施例。在所示出的实施例中，卷积神经网络62包括输入层63、卷积层64、池化层65、全连接层66和输出层67。备选地，卷积神经网络62可以包括若干卷积层64、若干池化层65和若干全连接层66以及其他类型的层。层的顺序可以任意选择，通常，全连接层66用作输出层67之前的最后一层。
[0167]
特别地，在卷积神经网络62内，一层63-67的节点68-72可以被认为被布置为d维矩阵或d维图像。特别地，在二维情况下，第n层63-67中用i和j索引的节点68-72的值可以表示为x
(n)
[i，j]。然而，一层63-67的节点68-72的布置对在卷积神经网络62内执行的计算没有影响，因为这些仅由边的结构和权重给出。
[0168]
特别地，卷积层64的特征在于基于一定数目的内核形成卷积操作的入边的结构和权重。特别地，选择入边的结构和权重使得卷积层64的节点69的值x
(n)
k基于前一层63的节点68的值x
(n-1)
被计算为卷积x
(n)k
＝kk*x
(n-1)
，其中卷积*在二维情况下定义为
[0169][0170]
这里，第k内核kk是d维矩阵(在该实施例中是二维矩阵)，与节点68-72的数目相比，它通常很小(例如，3
×
3矩阵或5
×
5矩阵)。特别地，这表示，入边的权重不是独立的，而是被选择为使得它们产生上述卷积等式。特别地，对于3
×
3矩阵的内核，只有9个独立权重(内核矩阵的每个条目对应一个独立权重)，而与相应层63-67中的节点68-72的数目无关。特别地，对于卷积层64，卷积层中的节点69的数目等于前一层63中的节点68的数目乘以内核的数目。
[0171]
如果前一层63的节点68布置为d维矩阵，则使用多个内核可以解释为增加了一个维度(表示为“深度”维度)，使得卷积层64的节点69布置为(d 1)维矩阵。如果前一层63的节
点68已经布置为包括深度维度的(d 1)维矩阵，则使用多个内核可以解释为沿深度维度扩展，使得卷积层64的节点69也布置为(d 1)维矩阵，其中相对于深度维度的(d 1)维矩阵的大小是内核数目比前一层63中的内核数目大的因子。
[0172]
使用卷积层64的优点是，输入数据的空间局部相关性可以通过在相邻层的节点之间实施局部连接模式来利用，特别是通过每个节点仅连接到前一层的节点的小区域。
[0173]
在所示出的实施例中，输入层63包括36个节点68，布置为二维6
×
6矩阵。卷积层64包括72个节点69，布置为两个二维6
×
6矩阵，两个矩阵中的每个是输入层的值与内核卷积的结果。等效地，卷积层64的节点69可以理解为布置为三维6
×6×
2矩阵，其中最后一个维度是深度维度。
[0174]
池化层65的特征在于入边的结构和权重、以及基于非线性池化函数f形成池化操作的其节点70的激活函数。例如，在二维情况下，池化层65的节点70的值x
(n)
可以基于前一层64的节点69的值x
(n-1
)计算为
[0175]
x
(n)
[i，j]＝f(x
(n-1)
[id1，jd2]，...，x
(n-1
)
[id1 d
1-1，jd2 d
2-1])
[0176]
换言之，通过使用池化层65，通过将前一层64中的相邻节点69的数目d1·
d2替换为单个节点70，可以减少节点69、70的数目，该单个节点70是根据池化层中的相邻节点的上述数目的值而计算的。特别地，池化函数f可以是max-function、平均值或l2-norm。特别地，对于池化层65，入边的权重是固定的，不会被训练修改。
[0177]
使用池化层65的优点是减少了节点69、70的数目和参数的数目。这使得网络中的计算量减少并且控制过度拟合。
[0178]
在所示出的实施例中，池化层65是最大池化，四个相邻节点替换为仅一个节点，该值是四个相邻节点的值中的最大值。最大池化应用于前一层的每个d维矩阵；在该实施例中，最大池化应用于两个二维矩阵中的每个，将节点数从72个减少到18个。
[0179]
全连接层66的特征在于以下事实：前一层65的节点70和全连接层66的节点71之间的大多数边、特别是所有边都存在，并且其中每个边的权重可以个体地调节。
[0180]
在该实施例中，全连接层66的前一层65的节点70既示出为二维矩阵，又示出为不相关节点(表示为节点的线，其中节点的数目减少以获取更好的呈现性)。在该实施例中，全连接层66中的节点71的数目等于前一层65中的节点70的数目。备选地，节点70、71的数目可以不同。
[0181]
此外，在该实施例中，通过将softmax函数应用于前一层66的节点71的值来确定输出层67的节点72的值。通过应用softmax函数，输出层67的所有节点72的值的总和为1，输出层67的所有节点72的值均为0到1之间的实数。特别地，如果使用卷积神经网络62对输入数据进行分类，则输出层的值可以解释为输入数据落入不同类别之一的概率。
[0182]
卷积神经网络200还可以包括relu(“整流线性单元”的首字母缩写词)层。特别地，relu层中包含的节点的数目和节点的结构等同于上一层中包含的节点的数目和节点的结构。特别地，relu层中的每个节点的值是通过对前一层的相应节点的值应用整流函数来计算的。整流函数的示例是f(x)＝max(0，x)、正切双曲线函数或sigmoid函数。
[0183]
特别地，可以基于反向传播算法来训练卷积神经网络62。为了防止过度拟合，可以使用正则化方法，例如节点68-72的丢弃、随机池化、人工数据的使用、基于l1或l2范数的权重衰减、或最大范数约束。
[0184]
图9示出了被配置为执行先前讨论的方法的提供系统83的示例。提供系统83具有用于接收输入数据的第一接口77和被配置用于提供输出数据的第二接口78。计算单元79可以例如由cpu或gpu或不同处理单元80(例如，fpga、asic、微控制器等)、以及可以特别存储实现所讨论的方法的计算机程序82的存储器81形成。提供系统83可以例如成为计算机。
[0185]
尽管已经参考优选实施例详细描述了本发明，但是本发明不受所公开的示例的限制，在不脱离本发明的范围的情况下，技术人员能够从中得出其他变化。