生成和使用合成训练数据的制作方法

摘要: 本发明涉及一种用于生成合成训练数据的计算机实施的方法、一种用于生成训练权重的计算机实施的方法、以及一种用于实施这些方法中的任何方法的计算机程序产品。背景技术:1...
生成和使用合成训练数据的制作方法

本发明涉及一种用于生成合成训练数据的计算机实施的方法、一种用于生成训练权重的计算机实施的方法、以及一种用于实施这些方法中的任何方法的计算机程序产品。

背景技术:

1、计算机断层摄影(ct)是广泛使用的医学成像模态,其通常跨患者的身体的横截面进行成像。在图像采集期间,用x射线来辐照患者,所述x射线然后在穿过患者之后由探测器单元来测量。恢复关于被扫描体积的信息以及图像重建和语义分割是重要因素,例如,当旨在降低被施加于患者的x射线剂量水平以及改进最终图像质量时。图像的语义分割是自动医学分类的基石。由于人工智能(ai)的最新进展,分割问题通常使用深度学习模型来解决。然而,必须在训练阶段期间利用训练数据来训练机器学习算法。这需要经标记的数据,即成对的图像和基准真值(gt)分割掩模,以通过优化(学习)流程导出最佳分割模型。特别地,常常需要大量的训练数据来实现高质量的基于ai的分割工具。数据短缺导致ai模型的泛化很差(过度拟合)并且分割性能很低。

2、对训练数据的要求常常阻碍开发,因为可用ct图像数据的量是有限的,例如由于关于对医学数据的访问的隐私法规,诸如欧盟的通用数据保护法规(gdpr)。此外,由于x射线辐射对人体的负面效果,ct图像数据的产生进一步受到限制。对数据的标记可能非常耗时,因此成本很高。

3、解决数据短缺的一种方式是使用对训练数据的增强来人为地增加数据可变性。增强可以表示例如刚性或可变形变形、噪声或模糊损坏、对比度或强度变化。更高级的方法可以依赖于被训练为学习以语义标签为条件的图像的分布的条件对抗网络(gan)。然而,gan的应用通常由于数据要求和训练不稳定性而受到限制。

4、因此,收集多样化的训练数据集因此花费大量努力,并且对于一些问题,利用现有技术的方法,具有足够量和质量的训练数据可能根本不可行。该问题不仅涉及ct训练数据,而且具体地还涉及应用潜在有害辐射(诸如x射线辐射)的其他成像模态。此外,难以采集足够量的训练数据的问题(例如,由于隐私原因而受到限制)通常可以应用于与任何成像模态相关的图像处理。

5、xiaodan xing等人的文章“less is more: unsupervised mask-guidedannotated ct image synthesis with minimum manual segmentations”(ieeetransactions on medical imaging,第42卷,第9号,2023年9月),公开了一种医学图像合成策略(即无监督式掩模(um)-引导合成),以使用有限手动分割标签获得合成图像和分割,其使用基于超像素的算法来生成无监督结构引导,并使用条件生成模型来在半监督多任务设置中从无监督掩模同时合成图像和注释。

6、发明目的

7、因此,本发明的目的是提供一种更好地解决上述问题的方法。此外,将期望找到允许机器学习算法的充分训练并且提供充分训练的机器学习算法的解决方案。特别地,期望找到一种能够提供更多训练数据的方法。

技术实现思路

1、为了更好地解决该目的,提供了根据权利要求1所述的方法、根据权利要求11所述的计算机程序、根据权利要求12所述的方法和根据权利要求14所述的数据处理系统。在从属权利要求中阐述了有利的实施例。本文关于所要求保护的方法所描述的任何特征、优点或备选实施例也适用于其他权利要求类别,反之亦然。

2、根据第一方面,提供了一种用于生成用于训练软件模块的机器学习算法的合成训练数据的计算机实施的方法。软件模块被配置用于对由医学成像模态采集的图像进行图像处理以生成分割掩模。医学成像模态尤其可以是基于x射线的医学成像模态,诸如计算机断层摄影(ct)成像。所述方法包括以下步骤:接收基准真值分割掩模,该基准真值分割掩模通过至少一个标签来识别图像内部的主要结构;通过根据基准真值分割掩模(4)的至少一个标签利用图像图案填充合成图像数据(5)来生成合成图像数据;对合成图像数据(5)的图像质量进行降级以获得输入训练图像(6);以及将输入训练图像与基准真值分割掩模一起提供作为针对训练数据的训练对,其中,被用于填充合成图像数据的图像图案可以选自以下各种选项:(1)自然图像;(2)自然视频,其中,自然视频的时间维度被转换成第三空间维度以便获得三维图像数据;和/或(3)选自医学图像的图像数据。

3、根据本发明的实施例,基于针对所述图像图案中的至少一个图像图案的所述分割掩模中的对应的标签,基于典型医学图像数据值的动态范围来调节该图像图案的动态范围。

4、任选地,仅使用所述分割掩模中的分割标签的子集,以便模仿图像训练数据中的缺失的器官。

5、有利地,本发明方法允许提供具有分割掩模(即,基准真值图像)的合成图像(输入训练图像)的逼真降级版本的训练数据对。本发明方法适用于不同的医学成像模态,即,训练数据可以用于训练机器学习算法,所述算法用于生成由任何成像模态获得的分割掩模。本发明方法对于包括向对象或患者施加x射线辐射的成像模态(诸如x射线成像或计算机断层摄影(ct))可能特别有用,因为由于x射线辐射对人体的不利效果(这出于道德原因限制了采集图像数据的可能性),这些成像模态的可用训练数据的量通常特别有限。然而,所述方法也可以适用于其他医学成像模态,诸如磁共振成像(mri)、超声成像或正电子发射断层摄影(pet)。所述方法还可以有用于获得用于训练图像引导治疗(igt)方法的训练数据。

6、术语“合成图像”将在本技术的情境中被广义地理解。其通常是指至少部分地通过除利用成像模态进行的医学成像扫描之外的其他方式生成的图像,特别是由软件模块生成的图像。例如,合成图像也可以是部分合成的并且部分地通过成像模态获得。此外,合成图像可能已经从通过医学成像扫描获得的图像中导出,但是这些图像已经被处理,例如以便对图像质量进行降级,或者以便通常改变图像外观。可以提供训练对,使得其可以被用于训练,特别是监督式训练。备选地,可以规定,训练对要被用于对经训练的机器学习算法的验证。在本发明的情境中,该备选方案也可以由术语训练数据包括。因此,术语“训练数据”还可以包括所提供的用于验证目的的用途。

7、训练数据可以被用于训练软件模块的机器学习算法。机器学习算法可以例如是神经网络(nn),特别是卷积神经网络(cnn)。在该情境中,术语“软件模块”必须被广义地理解,其通常可以描述包括一个或若干个软件模块的软件架构的部件。任选地,软件模块也可以是软件架构的唯一软件模块。软件模块被配置用于分割由医学成像模态采集的图像。因此,软件模块可以包括被配置用于分割的程序代码。特别地,软件模块包括机器学习算法。

8、合成图像可以完全或部分地从自然图像数据获得。术语“自然图像数据”将在本发明的情境中被广义地理解,并且通常描述人类可能在现实世界中观察到的图像。例如,自然图像可以示出风景、物体或动物或其部分。例如,自然图像可以是沙子的描绘或老虎的部分的描绘。具体地,自然图像数据可以是或包括用光学相机(包括红外相机并且包括视频流)获取的光学图像。因此,自然图像还可以包括从光学/自然视频获取的帧。因此,术语“自然图像数据”可以描述不是由医学成像模态采集的图像数据,特别是不是由与要使用训练数据的医学成像模态相同种类的成像模态采集的图像数据。令人惊讶的是,已经发现,根据自然图像生成的训练数据可以被用于实现可行的训练结果,因此使得实际医学图像的提供变得不必要。因此,当使用自然图像数据时,不一定需要访问高分辨率成像数据,诸如以高x射线剂量采集的ct投影数据。有利地,自然图像数据通常可以大量且以高分辨率被提供。在它们的应用之前,可以将合成转换为与医学成像模态的典型颜色编码(例如灰度)相对应的特定颜色编码。额外地或备选地,基于自然图像数据的训练数据也可以被用于补充基于由医学成像模态获得的图像的训练数据。

9、为了获得输入训练图像,对合成图像的图像质量进行降级。因此,输入训练图像是合成图像的降级或更逼真的版本。降级通常可以被理解为图像质量和/或可感知图像信息的任何种类的降低。降级可以被选择为对应于通常与医学成像模态相关联的一个或若干个图像降级。因此,可以根据要使用什么种类的医学成像模态和/或什么质量水平的医学成像模态来选择降级。因此,降级可以是降级的图像的图像质量对应于医学成像模态可获得的图像的典型图像质量。因此,训练对可以适合于训练机器学习算法以从医学成像模态分割图像。

10、根据实施例,对图像质量进行降级包括:向图像数据添加噪声、向图像数据添加图像伪影和/或降低图像数据的分辨率。当添加图像伪影时,训练对可以适用于训练机器学习算法,以即使在存在图像伪影的情况下也提供分割掩模。在ct相关的情况下,图像伪影可以例如是锥形束伪影。添加噪声可以被用于产生训练对,所述训练对用于训练机器学习算法,以在存在噪声的情况下提供分割掩模。例如,可以通过添加具有成像模态典型的统计特性(例如,ct图像典型的统计特性)的噪声来添加噪声。额外地或备选地,可以应用额外的降级。例如,作为上述降级的补充和备选方案,可以将运动添加到图像数据。例如,可以通过使用来自自然视频的动态内容来生成运动。降级可以包括仅应用降级中的一个或若干降级的组合。

11、根据实施例,对图像质量进行降级包括:将图像数据前向投影到人工设计的成像模态的投影空间中,对投影空间中的投影图像数据的图像质量进行降级,以及将经投影和降级的图像数据重建回到图像空间中。

12、在本发明的情境中,投影空间将被广义地理解。投影空间可以描述与如由人工设计的成像模态获得的原始图像数据(特别是如同图像重建之前的图像数据)相对应的任何种类的图像空间。投影空间也可以被称为投影域。例如,在ct成像的情况下,投影空间可以是包括如由ct系统的x射线探测器探测到的x射线投影的成像空间。已经发现,与直接在图像空间中降级相比,在投影空间中对图像质量进行降级可能实现更逼真的图像降级。这是由于以下事实:降级被应用于对应于真实系统中的实际重建的数据的更“原始状态”,并且因此更好地对应于逼真的图像降级。通过将图像前向投影回到图像空间中,对于图像改进算法,人工质量损失并不那么“明显”。因此,该算法必须学习处理和分割逼真的图像。例如,可以模拟更逼真的分辨率损失或更逼真的噪声。因此,经由该实施例获得的训练数据因此可以产生更好的训练效果,诸如更鲁棒的经训练的分割算法。

13、根据实施例,在投影空间中,通过执行低剂量模拟对图像质量进行降级,所述低剂量模拟引入与医学成像模态相对应的噪声。医学成像模态可以具有其自身的可从其他类型的噪声辨别的特性类型的噪声。例如,噪声可能在频率空间中具有特性分布。对于不同的模态,针对不同频率的噪声的功率可能不同。因此,为了创建逼真的数据,应用对于成像模态而言典型的对应的噪声可能是有利的。当应用于投影空间中时噪声可能甚至更逼真(即,对应于原始数据的噪声),而不是试图在重建图像中应用噪声。

14、根据实施例,合成图像至少部分地从取自自然视频的图像数据获得,其中,自然视频的时间维度被转换成第三空间维度以便获得三维图像数据。有利地,自然视频可以提供高图像分辨率和低噪声水平,并且因此非常适合于该目的。视频的时间维度(即,第三维度)可以被用于生成三维图像数据(即,三维图像体积)的第三维度的数据。因此,以这种方式使用自然视频可以有利地允许即使对于三维体积也以相对较的所需努力生成合成训练数据。在它们的应用之前,可以将自然视频转换为与医学成像模态的典型颜色编码(例如灰度)相对应的特定颜色编码。

15、根据实施例,通过以下操作来生成合成输入图像:接收由医学成像模态或另一医学成像模态获得的医学图像并且利用从另一图像源(特别是从至少一幅自然图像)获取的至少一个图像部分替换医学图像的至少部分。优选地,可以替换若干或所有部分。因此,基准真值图像是部分合成的并且部分地基于真实医学图像。特别地,基准真值图像可以保留医学图像的基本结构,但是利用从另一图像源(特别是从一幅或多幅自然图像)获得的纹理替换结构的内容。替换医学图像的部分允许提供更多数量的训练数据,同时仍然保持图像中的逼真的解剖结构。因此,基于少量的可用训练数据集,可以生成更大量的训练数据集。已经发现,由于自然图像上通常更多样化的精细结构和纹理,使用自然图像可能是特别有利的。因此,可以生成丰富种类的数据。利用这些部分替代的图像进行的训练能够通过从自然图像的变化结构提供收益而得到甚至更鲁棒的经训练的算法。

16、根据实施例,至少一个分割掩模外部的区域被一起聚类成至少一个聚类区域,并且其中,相同的聚类区域内的像素或体素被赋予恒定的像素或体素值,任选地,聚类区域内的原始像素或体素的平均值。在许多情况下,分割医学图像上的每个器官可能是不可行的。因此,对于医学图像的其余部分,可以应用根据该实施例的聚类。这可以允许甚至填充入未被分割的区。例如,一个聚类中的像素或体素可以被分配聚类区域内的平均值。这可能导致非分割区的分段恒定近似。有利地,像素或体素值的分配可以进一步允许对应的区域的标记。聚类和应用新的像素/体素值具有以下优点:可以减少与从其获取图像的原始患者的连接。在一方面,因此可以产生更多样化的训练数据集。在另一方面,因此可以更好地保护原始患者的隐私权利。

17、根据实施例,基于分割掩模内的医学图像数据的动态范围来调节至少一幅自然图像的至少一个图像部分的动态范围。当图像部分取自任何其他源(即,不是取自自然图像)时,也可以应用该实施例。取决于对应的医学图像并且取决于被分割的相应部分(例如,器官),医学图像的原始部分的动态范围可以是不同的。例如,一些身体部分可能看起来明亮,而其他身体部分可能看起来相当暗。此外,不同分割内的亮度和/或对比度的典型变化可以是不同的。在另一方面,随机自然图像可以具有不同的动态范围。因此,通过调节从自然图像获取的图像部分的动态范围,结果可以更逼真,使得合成图像将具有与真实医学图像相当的动态范围。当利用对应的训练数据训练机器学习算法时,这可能得到更好的训练结果。例如,在第一子步骤中,可以基于原始成像数据值来计算分割掩模内的医学图像数据的动态范围。在接下来的子步骤中,可以调节图像部分的动态范围。例如,可以通过匹配动态范围的直方图和/或通过根据动态范围分布的分位数重新缩放动态范围来提供调节。额外地或备选地,可以进一步调节图像部分。例如,图像部分可以被翻转、旋转和/或变形。这可以提供种类更加丰富的训练数据。

18、根据实施例,在利用图像图案填充图像数据之前,在预定义边界内改变分割掩模的至少一个性质。改变分割掩模的性质可以有利地允许提供更多样的数据集。例如,以这种方式,可以将有限的成像数据集扩展到更大和更丰富得多的成像数据集中。可以定义预定义边界,使得改变仍然在逼真的性质内。特别地,可以改变至少一个分割掩模的形状、位置、取向和/或大小。可以通过在医学图像内移位分割掩模来改变位置。最大可允许移位可以例如相对于分割的大小或通过绝对值来收缩。可以通过旋转分割掩模来改变分割掩模的取向。旋转可能受到最大可允许旋转的限制,例如以度给出的特定值。可以通过调整掩模的大小来改变分割掩模的大小。可以通过例如相对于分割掩模的原始大小的大小的最大可允许增加或减小来限制大小调整。例如,可以通过使分割掩模失真来改变分割掩模的形状。可以应用形状、位置、取向和大小的变化中的一个、若干个或全部。另外的性质也可以改变,例如,分割掩模内的动态范围也可以例如通过分割掩模内的原始动态范围的百分位数来适配。该改变可以在预定义边界内随机执行。可以随机地选择可以应用哪些改变,即包括形状、位置、取向和/或大小的改变。可以随机地选择多少改变被应用。

19、根据实施例,在生成合成图像数据之前,在预定义边界内改变分割掩模的至少一个性质,其中特别地,改变至少一个分割掩模的形状、位置、取向和/或大小。

20、根据本发明的另一方面,提供了一种用于生成要在包括机器学习算法的软件模块中使用的训练权重的方法。训练权重是通过利用合成训练数据训练机器学习算法来生成的,所述合成训练数据是如根据本文描述的用于生成合成训练数据的方法获得的。机器学习算法可以任选地利用额外的训练数据来训练,例如基于真实医学图像数据和分割掩模。可以训练机器学习算法以校正ct图像数据的锥形束伪影。可以训练机器学习算法以执行图像数据的去模糊。机器学习算法可以被训练为在具有重建图像数据的图像空间中或在投影空间(特别是具有由成像设备获得的原始图像数据)中执行去模糊。投影空间中的训练数据可以通过将图像数据从图像空间前向投影到投影空间中来生成。可以训练机器学习算法以将图像数据上采样到更高的图像分辨率。可以训练机器学习算法以在具有重建图像数据的图像空间中或者在投影空间(特别是具有由成像设备获得的原始图像数据)中执行放大。可以训练机器学习算法以执行图像数据的运动校正。训练数据中的运动可以通过操纵分割掩模(例如,移位、旋转和/或扭曲掩模)或使用来自自然视频的动态内容来生成。

21、根据本发明的另一方面,提供了一种包括计算机程序代码模块的计算机程序产品,所述计算机程序代码模块当在具有处理系统的计算设备上执行时,使所述处理系统执行根据权利要求1至8中的任一项所述的计算机实施的方法的所有步骤。

22、有利地,由于可以通过使用合成训练数据来提供更大量的训练数据,因此软件模块的经训练的机器学习算法的质量可以更好。此外,已经发现,使用自然图像作为训练数据的基础,如本文所述,即使当应用相当量的训练数据时,机器学习分割算法的鲁棒性也可以更好,这可能归因于自然图像的更多变化的结构细节。因此,对合成训练数据的提供甚至仍然可以在其应用期间对经训练的算法具有效果。

23、可以组合不同实施例的特征和优点。本发明的一个方面(例如,用于生成合成训练数据的方法)的特征和优点可以应用于其他方面,例如,用于生成训练权重的方法、训练权重、软件模块、图像处理设备、用途和/或非瞬态存储介质,反之亦然。