提供结果图像数据的方法和提供单元和提供经训练去噪函数的方法与流程

摘要: 本发明涉及用于提供结果图像数据的计算机实现的方法、用于提供经训练的去噪函数的计算机实现的方法、提供单元、系统和计算机程序产品。背景技术:1、解释图像处理算法可以...
提供结果图像数据的方法和提供单元和提供经训练去噪函数的方法与流程

本发明涉及用于提供结果图像数据的计算机实现的方法、用于提供经训练的去噪函数的计算机实现的方法、提供单元、系统和计算机程序产品。

背景技术:

1、解释图像处理算法可以在医学成像中用于各种目的,特别是用于图像数据的分割和/或去噪。在分割期间,例如,可以在二维荧光透视图像中识别血管内物体,特别是器械和/或植入物。去噪可以通过减少干扰信号来提高图像质量。

2、随着输入数据的图像质量下降,例如由于x射线图像中的辐射剂量低,处理后的图像数据的信息内容和可靠性下降。隐藏在噪声中的结构只能以有限的概率正确检测和表示。这可能会导致错误的检测和表示。

3、当识别医疗对象时,这可能意味着在实际并未处于或可能未处于的位置检测到医疗对象。在去噪算法的情况下,可能会出现人工结构,这些结构被错误地重建为解剖结构或医学对象的一部分。

4、迄今为止,已经尝试通过调整算法参数或训练来优化相关结构的灵敏检测和避免错误检测之间的平衡。

技术实现思路

1、因此,本发明的目的是能够改进检查对象的检查区域的成像。

2、根据本发明,该目的通过一种提供结果图像数据的计算机实现的方法、用于提供经训练的去噪函数的计算机实现的方法、提供单元、系统和计算机程序产品来实现。具有适当扩展的有利实施例是本技术的主题。

3、下面结合所要求保护的系统和所要求保护的方法来描述根据本发明的解决方案。本文的特征、优点或替代实施例可以归因于其他要求保护的主题,反之亦然。换句话说,系统的权利要求和实施例可以利用结合相应方法描述或要求保护的特征来改进。在这种情况下,该方法的功能特征由系统的物理单元来实现。

4、此外,下面关于用于提供结果图像数据的方法和系统以及关于用于提供训练的去噪函数的方法和系统来描述根据本发明的解决方案。本文的特征、优点或替代实施例可以归因于其他要求保护的主题,反之亦然。换言之,可以改进实施例以提供具有在提供结果图像数据的上下文中描述或要求保护的特征的经训练的去噪函数。具体地,在用于提供结果图像数据的方法和系统中使用的数据和/或数据集可以具有与在用于提供训练的去噪函数的方法和系统中使用的相应数据和/或数据集相同的属性和特征,并且由各个方法和系统提供的训练的去噪函数可以用在用于提供结果图像数据的方法和系统中。

5、在第一方面,本发明涉及一种用于提供结果图像数据的计算机实现的方法。在第一步骤中,接收预先采集的控制数据,其具有检查对象的检查区域的血管信息。在进一步的步骤中,使用医学成像设备采集检查区域的图像数据。在进一步的步骤中,通过使用控制数据将去噪函数应用于输入数据来提供结果图像数据。输入数据基于图像数据。此外,控制数据为在结果图像数据中描绘的结构设置可信性条件。此外,结果图像数据相对于图像数据被降噪。

6、计算机实现的方法可以理解为由计算机执行以完成特定任务的指令序列。该方法可以用编程语言编写并在计算机系统上实现。上述方法可以至少部分地、特别是完全地由计算机实现。

7、上述方法的步骤可以至少部分地同时或相继执行,特别是按照所描述的顺序执行。

8、接收预先采集的控制数据可以包括采集和/或读出计算机可读数据存储器和/或从数据存储单元(例如数据库)接收。此外,预先采集的控制数据可以由一个或多个医学成像设备、特别是相同或不同的成像模态的提供单元提供。

9、预先采集的控制数据可以在较早的时间点、特别是在该方法开始之前被采集。特别地,预先采集的控制数据可以作为输入数据被用于该方法。该预先采集的控制数据可以来自例如先前的检查或另一成像程序。控制数据可以包括检查对象的检查区域的血管信息。

10、检查对象可以是例如人类和/或动物患者和/或人类和/或动物患者和/或检查体模。

11、检查区域可以包括待检查、特别是成像的检查对象的空间区域,特别是体积。检查对象的检查区域可以包括例如检查对象和/或医学对象的感兴趣组织和/或器官。

12、血管信息可以包括关于至少一个血管部分(特别是动脉和/或静脉)和/或检查对象的检查区域中的血管畸形的定位的空间分辨信息,特别是2d或3d空间分辨信息。血管信息可以有利地具有检查对象的检查区域中的至少一个血管部分和/或血管畸形的空间分辨表示,特别是2d或3d,特别是模型和/或图像。有利地,血管信息可以表征至少一个血管部分的空间定位(特别是位置和/或取向)、尺寸(特别是长度和/或直径)和/或空间路线。预先采集的控制数据可以例如包括至少一个血管部分的模型,特别是骨架化的模型,例如中心线模型和/或体积网络模型。替代地或附加地,控制数据可以包括至少一个血管部分的图像,特别是医学图像数据。

13、获取图像数据可以包括使用医学成像设备采集和/或接收图像数据。图像数据可以以空间分辨的方式描绘检查对象的检查区域,特别是二维(2d)或三维(3d)。例如,图像数据可以包括来自一个或多个投影方向的检查区域的2d投影图像。这些投影图像可以包括例如x射线或荧光透视图像。替代地或附加地,图像数据可以包括检查区域的三维体积数据集。此外,图像数据可以及时解析,在不同时间采集检查区域的多个图像。

14、图像数据可以包括由医学成像设备的检测器(例如x射线检测器)直接提供的原始数据。替代地或附加地,图像数据可以已经被预处理,例如通过重建原始数据。此外,图像数据可以包括元信息,例如记录参数、患者信息、程序信息和/或其他相关数据。

15、医学成像设备可以被设计为例如磁共振成像系统(mri)和/或计算机断层扫描系统(ct)和/或医学x射线设备和/或正电子发射断层扫描系统(pet)和/或超声设备。

16、去噪函数的输入数据可以有利地基于图像数据,特别是包括图像数据。此外,结果图像数据可以被提供作为去噪函数的输出数据。提供结果图像数据可以包括将其存储在计算机可读存储介质上和/或将其显示在显示单元上和/或将其发送到提供单元。特别地,可以使用显示单元来显示结果图像数据的图形表示。

17、去噪函数可以被设计为去除或减少图像数据中的噪声。去噪函数可以被设计为经典函数,特别是用于数字信号处理,或者被设计为经过训练的函数。

18、如果去噪函数被设计为经典函数,则去噪函数可以基于例如滤波方法,特别是高斯滤波器、中值滤波器和/或双边滤波器。

19、图像数据中的噪声可以例如由医学成像设备的技术组件和/或成像背景下的物理效应引起。替代地或附加地,图像数据中的噪声可以由成像(例如x射线和/或磁场)与检查对象和/或其他对象和/或电磁场的相互作用引起。替代地或附加地,图像数据中的噪声可以由检查对象的运动、特别是生理运动引起。

20、图像数据中的噪声和/或降噪可以使用诸如信噪比(snr)和/或峰值信噪比(psnr)之类的度量来量化。此外,结构相似性指数(例如结构相似性指数测量(ssim))可用于比纯粹基于像素的度量更好地采集感知图像质量。

21、控制数据指定结果图像数据中描绘的结构的可信性条件。可信性条件可以被理解为用于评估结果图像数据中描绘的结构的概率和/或可信度的规则或标准。

22、图像数据和/或结果图像数据中描绘的结构可以包括各种解剖和/或几何特征。解剖特征可以包括例如组织,特别是组织边界、器官、中空器官,特别是血管部分,和/或解剖标志,特别是孔口。另外,几何特征可以包括例如轮廓、对比度、边缘、线和/或标记对象。

23、控制数据中包括的血管信息可用于对图像数据中某些结构出现的概率进行建模,特别是在某些区域中。

24、特别地,可信性条件可以作为附加条件被引入到去噪函数的应用中,特别是优化过程中。去噪函数可以被设计为不仅减少图像数据中的噪声,而且最大化结果图像数据中描绘的结构与控制数据中指定的解剖结构(特别是至少一个血管部分)之间的一致性。

25、去噪函数可以被设计为减少图像数据中的噪声,同时保留相关结构。去噪函数可以使用预先采集的控制数据中包含的血管信息来评估结果图像数据中的结构的合理性。根据可信性条件被分类为不太可能的结构可以在结果图像数据中被更强烈地去噪或去除。

26、噪声降低的结果图像数据尤其可以具有图像数据的所有特征和属性,其中,与原始图像数据相比,结果图像数据中的噪声已经降低。

27、通过在对图像数据进行去噪时使用控制数据,可以有利地提高结果图像数据的质量。特别是,可以在保留相关结构的同时实现更高的降噪。这有助于改进诊断和治疗计划。

28、在所提出的计算机实现的方法的另一有利实施例中,去噪函数可以被设计为仅训练的函数。可以基于训练结果图像数据和比较图像数据之间的比较来调整训练函数的至少一个参数。

29、经训练的去噪函数将输入数据映射到输出数据。特别地,输出数据还可以取决于经训练的去噪函数的一个或多个参数。经训练的去噪函数的一个或多个参数可以通过训练来确定和/或调整。确定和/或调整经训练的去噪函数的一个或多个参数可以特别地基于一对训练输入数据和相关联的训练输出数据,特别是比较输出数据,其中经训练的去噪函数被应用于训练输入数据用于生成训练图像数据。具体地,确定和/或调整可以基于训练图像数据和训练输出数据、特别是比较输出数据的比较。一般来说,可训练的去噪函数,即一个或多个参数尚未调整的去噪函数,也可以称为经训练的去噪函数。通过调整经训练的去噪函数的一个或多个参数,特别是训练经训练的去噪函数,经训练的去噪函数可以被设计为适应新环境并识别和外推模式。

30、可以使用监督学习、部分监督学习、无监督学习、强化学习、表示学习和/或主动学习来调整训练后的去噪函数。可以通过几个训练步骤迭代地调整训练的去噪函数的至少一个参数。

31、经训练的去噪函数的其他术语是经训练映射规则、具有训练参数的映射规则、具有训练参数的去噪函数、机器学习算法。经训练的去噪函数的一个例子是人工神经网络,其中人工神经网络的边缘权重对应于经训练的去噪函数的参数。特别地,经训练的去噪函数可以包括神经网络,例如深度人工神经网络(英语deep neuronal network,深度人工神经网络)和/或卷积神经网络和/或深度卷积网络和/或对抗网络和/或深度对抗网络和/或生成对抗网络、“支持向量机”、决策树和/或贝叶斯网络。替代地或附加地,训练的去噪函数可以基于k均值算法(k均值聚类)、q学习、遗传算法和/或关联规则。

32、经训练的去噪函数、特别是神经网络有利地具有输入层和输出层。输入层可以被设计为接收输入数据。此外,输出层可以被设计为提供图像数据,特别是输出数据。输入层和/或输出层均可以包括多个通道,特别是神经元。

33、可以基于训练结果图像数据和比较图像数据之间的比较来调整经训练的去噪函数的至少一个参数。具体地,经训练的去噪函数可以由所提出的用于提供经训练的去噪函数的方法的实施例来提供,这将在下面描述。

34、通过基于训练结果图像数据和比较图像数据之间的比较来调整该函数的参数,可以实现结果图像数据的精确且可靠的降噪。这种方法可以确保提高图像质量,这对于医学检查区域的准确分析和诊断至关重要。

35、特别是,经训练的去噪函数、特别是神经网络,可以提供在训练阶段建立图像数据中正确解释的医学对象的位置与控制数据中血管的位置之间的联系的可能性,而无需依赖模型假设,例如必须依赖控制数据中船舶的影响范围。

36、在所提出的计算机实现的方法的另一有利实施例中,图像数据可以包括来自相应投影方向的检查区域的至少一个投影图像。对于至少一个投影图像中的每一幅投影图像,控制数据可以包括来自相应投影图像的投影方向的检查区域的相应二维血管表示。

37、至少一幅投影图像可以包括三维检查区域的二维图像,其是通过将三维检查区域沿着相应的投影方向投影到二维平面上而生成的。检查区域的至少一幅投影图像尤其可以包括检查对象的检查区域的2d x射线图像或荧光透视图像。可以使用医学成像设备来采集至少一幅投影图像。医学成像设备例如可以被设计为x射线设备,特别是c形臂x射线设备。

38、投影方向、特别是角度,可以被定义为记录投影图像的空间方向。投影方向例如可以由源(特别是x射线源)与检查对象的检查区域的角度来限定。特别地,图像数据可以包括从至少部分地、特别是完全地不同的投影方向对检查区域进行成像的多个投影图像。

39、2d血管表示可以被设计为检查区域中的至少一个血管部分的平面表示。有利地,至少一个投影图像中的每一个、特别是多个投影图像中的每一个的控制数据可以包括检查区域的2d血管表示,其表示、特别是建模和/或成像检查区域来自相同的、特别是相同的投影方向。

40、2d血管表示可以被设计为来自与对应的投影图像相同的投影方向的检查区域的至少一个血管部分的二维图像。二维血管表示可以被设计为例如数字减影血管造影(dsa)。替代地或附加地,2d血管表示可以具有检查区域的2d模型。替代地或附加地,可以通过3d血管表示沿着至少一个投影图像的相应投影方向的虚拟投影来提供2d血管表示。

41、使用二维血管表示作为每个投影图像的控制数据可以具有以下优点:结果图像数据中描绘的结构的可信性条件可以根据相应的投影方向精确地定制。这可以改善降噪效果并更准确地对结果图像数据中的结构进行成像。

42、在所提出的计算机实现的方法的另一有利实施例中,控制数据可以包括检查区域的三维血管表示。

43、3d血管表示可以包括体积数据集,其表示、特别是建模和/或成像检查区域内的至少一个血管部分的空间布置和结构。3d血管表示可以例如使用计算机断层摄影血管造影(cta)、磁共振血管造影(mra)、锥形束断层摄影血管造影或三维旋转血管造影来记录。在旋转血管造影中,c形臂x射线机可以围绕检查对象旋转,以便从不同角度采集大量投影图像,然后可以从中重建三维数据集。

44、3d血管表示可以有利地提供关于检查区域中的至少一个血管部分的路线、分支和/或直径的详细空间信息。

45、此外,3d血管表示可用于为图像数据、特别是至少一个投影图像的每个投影方向生成对应的2d血管表示,例如通过沿着相应投影方向的虚拟投影。以这种方式,控制数据可以根据图像数据的采集的几何形状、特别是图像数据采集的几何形状被调整。

46、使用三维血管表示作为控制数据可以提供这样的技术优势:可以更精确和鲁棒地执行结果图像数据中的结构的降噪和识别,因为可以使用关于血管结构的空间信息比使用二维血管表示时更广泛。

47、在所提出的计算机实现的方法的另一有利实施例中,控制数据可以包括检查区域的血管表示。控制数据可以包括检查区域的减法数据集。减法数据集可以基于掩模数据集和填充数据集的减法来提供。掩模数据集可以在掩模阶段对检查区域进行成像。填充数据记录可以描绘填充阶段中的检查区域。

48、血管表示可以包括检查对象的检查区域中的至少一个血管部分的空间分辨表示,特别是2d或3d,特别是图像和/或模型。

49、有利地,可以使用相同的医学成像设备来记录掩模数据集和填充数据集。

50、掩模数据集可以在掩模阶段对检查对象的检查区域进行成像。特别地,可以在掩模阶段中记录掩模数据集;在掩模阶段中,基本上没有造影剂可以布置在检查区域中,特别是在至少一个血管部分中。此外,填充数据记录可以描绘填充阶段中检查对象的检查区域。特别地,填充数据记录可以在填充阶段采集。掩模阶段和填充阶段可以指定相应的、特别是不同的时间段。在填充阶段期间,造影剂、特别是不透射线的造影剂可以布置在检查区域中,特别是布置在至少一个血管部分中。

51、减法数据集可以有利地、特别是逐像素地被提供为填充数据集和掩模数据集之间的差异。从填充数据集减去掩模数据集可以有利地使得能够突出检查对象的检查区域中填充有造影剂的至少一个血管部分并且同时抑制背景结构。掩模和填充数据集尤其可以作为数字减影血管造影(dsa)的一部分来记录。

52、使用减法数据集作为控制数据的一部分可能是有利的,因为减法数据集可以提供血管结构、特别是至少一个血管部分的清晰且精确的表示。这可以通过为可信性条件提供更好的基础来提高去噪函数的准确性和可靠性。

53、在所提出的计算机实现的方法的另一有利实施例中,可信性条件可以基于血管信息指定在检查区域中的血管附近出现结构的更高概率。

54、可信性条件可以被设计为规则或标准,其根据某些结构与控制数据中包括的血管信息的空间关系(例如空间距离)来定义结果图像数据中出现某些结构的概率。可信性条件可以基于血管信息指定、特别是提供针对检查区域中的血管附近的结构的出现的特别是空间的概率分布和/或特别是空间的加权函数。

55、有利地,基于血管信息的可信性条件可以指定图像数据中布置在空间上接近血管、特别是至少一个血管部分的结构的较高概率。例如,支架支柱状结构远离血管部分的可能性可能明显低于靠近血管部分的可能性。与血管、特别是至少一个血管部分的接近度可以被定义为位于距控制数据、特别是血管信息中表示的血管、特别是至少一个血管部分的预定空间距离内的空间区域。该空间距离可以被设计为例如阈值。去噪函数可以有利地被设计为以更高的概率、特别是更高的概率和/或权重值将图像数据中在空间上接近控制数据中表示的血管的结构分类为真实结构,并保留在结果图像数据中。相反,远离控制数据中表示的血管的结构可以以较低的概率、特别是较低的概率和/或权重值被分类为真实结构,并且可能被解释为噪声、特别是伪影。

56、可信性条件和去噪函数之间的相互作用可以以这样的方式设计:当应用于输入数据、特别是图像数据时,去噪函数具有表示结构的图像点之间的空间关系,特别是由相应的图像点成像的结构,为此分别考虑到最近的至少一个血管段。可信性条件可以根据到检查区域中的血管的相应空间距离离散地或连续地指定结构出现的概率。

57、通过使用该可信性条件,去噪函数可以被设计为使用来自控制数据的血管信息,特别是作为解剖背景信息,以便提高结果图像数据的质量和可靠性,特别是区分相关结构与噪声和/或人工结构。根据关于血管位置的附加信息,可以导出图像数据中医疗对象(例如导丝、导管和/或支架)出现的空间概率分布,从而可以改善去噪函数的结果。通过这种方式,可以减少血管外错误解释造成的伪影,并且可以改善现有医学对象的正确解释和表示。

58、在所提出的计算机实现的方法的另一有利实施例中,去噪函数还可以被设计为基于结果图像数据中描绘的结构和可信性条件来识别医学对象的图像,并且提供结果图像数据包括识别信息。

59、除了降噪之外,去噪函数还可以被设计为识别结果图像数据中的结构。具体地,去噪函数可以被设计为识别结果图像数据中的医学对象的图像。

60、医疗物体可以被设计为可用于医疗目的的物体或设备。医疗物体可以包括手术和/或诊断器械,例如导管、导丝和/或内窥镜,和/或植入物,例如支架。

61、结果图像数据可以包括具有相应图像值(例如强度值和/或衰减值)的多个图像点,特别是像素和/或体素。医学对象的图像可以被设计为结果图像数据中的医学对象的表示,特别是结果图像数据的图像点的图像值。

62、识别结果图像数据中的医学对象的图像可以特别地包括识别结果图像数据中的对应结构。识别结果图像数据中的结构可以包括对结构进行成像的结果图像数据的图像点的识别,特别是分割。识别结构可以例如基于像素的图像值与阈值的比较和/或模式识别和/或结构识别。识别结果图像数据中的医学对象的图像可以包括基于结果图像数据中描绘的结构来识别、特别是分割结果图像数据的图像点,其描绘该结构,特别是医疗对象。结果图像数据中描绘的结构可以例如具有至少一个几何特征,该几何特征是待识别的医学对象的特征。

63、有利地,去噪函数可以被设计为另外基于可信性条件来执行医疗对象的图像的识别。由控制数据指定的可信性条件可以指定医疗对象的图像出现在结果图像数据中的不同位置处的概率。例如,可信性条件可以基于血管信息指定医疗对象出现在检查区域中的血管附近的较高概率。

64、去噪函数可以被设计为提供具有识别信息的结果图像数据。识别信息可以例如包括结果图像数据中的医学对象的所识别的图像的注释,特别是标记和/或突出显示。替代地或附加地,识别信息可以指示坐标和/或区域,特别是相对于结果图像数据和/或检查区域,其中识别了医学对象,特别是医学对象的图像。识别信息还可以包括关于医疗对象的属性(例如操作参数和/或材料参数)和/或标识(例如类型和/或名称和/或类别)的信息。识别信息可以包括例如医疗对象的类型、其位置、尺寸、取向和/或其他相关属性。

65、这可以有利地使得能够改进具有医疗对象的检查区域的成像。

66、在所提出的计算机实现的方法的另一有利实施例中,可以确定控制数据的时效性质。可以根据时效性质来检查控制数据的可用性。如果答案是肯定的,则可以提供采集的控制数据以提供结果图像数据。如果不是,则可以提供具有预定义的、特别是空间恒定的值分布的合成控制数据以提供结果图像数据,或者可以记录并提供更新的控制数据以提供结果图像数据。

67、时效性质可以包括指示控制数据的时效性和/或有效性的参数。时效性质可以包括例如时间戳、版本号和/或有效性状态。

68、确定控制数据的时效性质可以通过多种方式完成,并且涉及几个技术方面。控制数据可以包括指示其被采集或最后更新的时间的时间戳。该时间戳与当前系统时间的比较可用于确定控制数据的年龄。控制数据还可以包括版本号,该版本号在每次更新控制数据时递增。将该版本号与定义为当前的版本进行比较可以提供有关控制数据的最新性的信息。

69、替代地或附加地,可以计算并保存控制数据的校验和。每次使用控制数据时,都可以重新计算校验和并将其与存储的校验和进行比较,以识别控制数据的变化。控制数据还可以包括包含有关其有效性或最新性的信息的元数据。有利地,可以监视需要更新控制数据的事件,例如检查对象的定位的变化和/或成像装置的定位的变化,特别是移动和/或改变的角度,和/或检查对象的变化,例如医疗程序。

70、可以根据时效性质来检查控制数据的可用性。检查控制数据的可用性可以包括将时效性质与一个或多个预定义标准进行比较。该检查可以包括例如控制数据的时间戳和/或年龄和/或版本与相应阈值的比较或者控制数据的有效性状态的检查。

71、如果答案是肯定的,则可以提供采集的控制数据以提供结果图像数据,特别是用于将去噪函数应用于输入数据。这里的“如果是”是指如果可用性检查是肯定的,即控制数据被分类为可用,则该控制数据被用于进一步处理。

72、如果不是,则可以提供具有预定义的、特别是空间恒定的值分布的合成控制数据来提供结果图像数据。合成控制数据可以是人工生成的控制数据,其具有特定的预定义结构和/或分布,特别是值分布。空间恒定的值分布可以意味着合成控制数据,特别是合成控制数据的数据点,例如像素或体素,在整个相关空间上具有相同的值。合成控制数据可以被设计为对去噪函数具有中性影响。使用控制数据的去噪函数总是可以以这样的方式设计:控制数据的缺失相当于提供合成控制数据并且只能导致图像数据的空间均匀处理,使得与在没有控制数据的情况下实现这种去噪函数相比,不会出现缺点。如果控制数据是去噪函数的整体且必要的部分,例如在去噪函数作为训练的去噪函数、特别是作为神经网络的实施例中,则不存在的控制数据可以由合成控制数据表示由于上述等价性,因此在此步骤中,只有控制数据的有利效果可能会丢失,但去噪函数仍然可用,并且所得图像数据仍然可用,而不必实现去噪函数的单独变体或操作模式用于有或没有控制数据。具体地,如果控制数据不再被评估为当前但更新的控制数据仍然不可用,则该方法可以使得例如基于用户输入选择性地禁用控制数据的使用成为可能。

73、作为备选,如果答案是否定的,则可以记录并提供更新的控制数据以提供结果图像数据,特别是将去噪函数应用于输入数据。可以与采集控制数据类似地采集更新的控制数据。获取更新的控制数据可以包括获取新的控制数据或更新最后获取的控制数据。

74、可以基于各种因素在这两种替代方案之间进行选择,例如用于重新成像的资源的可用性或自上次采集控制数据以来检查区域的预期变化。

75、该过程可以确保去噪函数始终与当前或至少中性控制数据一起工作。这可以提高结果图像数据的质量和可靠性。特别地,可以防止过时的控制数据导致结果图像数据中的误解或伪影。

76、有利地,即使检查区域中的条件在控制数据和图像数据的采集之间已经改变,该方法也可以实现去噪函数的鲁棒且灵活的应用。这在动态医疗场景中特别有用,例如在血管结构可能发生变化的干预期间。

77、在所提出的计算机实现的方法的另一有利实施例中,确定控制数据的时效性质可以包括接收关于检查对象的检查区域在开始该方法之前获取控制数据和获取图像数据之间的变化的过程信息。

78、过程信息可以包括关于所执行的医疗程序或干预的信息,特别是在程序开始之前。过程信息可以包括例如关于检查对象上的过程的类型、范围、时间和/或位置的信息。

79、接收过程信息可以包括获取和/或读出计算机可读数据存储器和/或从数据存储单元(例如数据库)接收。此外,过程信息可以由一个或多个医学成像设备、特别是相同或不同成像模态的提供单元提供。替代地或附加地,可以基于使用输入单元记录的用户输入来接收过程信息。

80、检查区域的改变可以被设计为检查对象的检查区域中的解剖或生理条件的改变。检查区域的改变可以包括例如血管的打开或闭合,特别是栓塞或血管闭合的打开、医疗对象或植入物的引入或移除和/或组织改变。

81、采集控制数据的时间可以在该方法开始之前。特别地,收集控制数据不是该方法的一部分。此外,检查区域的改变可能发生在控制数据的采集和图像数据的采集之间,特别是在该方法开始之前。

82、基于程序信息确定时效性质可以包括对在该方法开始之前执行的程序的类型和/或程度的分析。可以评估该过程可能已经改变检查区域、特别是至少一个血管部分和/或与控制数据相关的检查区域的其他方面的程度。有利地,可以基于过程信息来识别、特别是评估控制数据的有效性。

83、该过程有利地使得该方法能够动态地适应检查区域的变化。这可以通过确保所使用的控制数据正确反映检查区域中的当前情况来提高结果图像数据的准确性和可靠性。

84、在所提出的计算机实现的方法的另一有利实施例中,结果图像数据的提供可以包括使用显示单元显示结果图像数据的图形表示。

85、显示单元可以包括例如监视器、显示器、屏幕、投影仪、数据眼镜或用于显示结果图像数据的图形表示的其他设备

86、图形表示可以被设计为结果图像数据的视觉表示。

87、使用显示单元显示结果图像数据的图形表示可以包括在屏幕上呈现图形表示或者将结果图像数据投影到显示单元的显示平面上。

88、显示图形表示使得用户、特别是医疗专业人员能够视觉地采集和解释结果图像数据。这可以支持诊断和治疗计划。

89、有利地,图形表示可以被设计为交互式的。例如,用户可以缩放、旋转或突出显示某些区域。这可以通过连接到显示单元的输入单元上的输入来完成。

90、在第二方面,本发明涉及一种用于提供经过训练的去噪函数的计算机实现的方法。在第一步中,接收预先采集或模拟的训练控制数据,其具有训练检查对象的训练检查区域的血管信息。在进一步的步骤中,接收训练检查区域的预先采集或模拟的训练图像数据。在进一步的步骤中,提供训练检查区域的比较图像数据,与训练图像数据相比,比较图像数据被降噪和/或分类。在进一步的步骤中,通过使用训练控制数据将经训练的去噪函数应用于输入数据来提供训练结果图像数据,输入数据基于训练图像数据,训练控制数据指定训练结果中描绘的训练结构的可信性条件图像数据。在另一步骤中,基于训练结果图像数据与比较图像数据的比较来调整训练的去噪函数的至少一个参数。在进一步的步骤中,提供经过训练的去噪函数。

91、所提出的用于提供经训练的去噪函数的计算机实现的方法的优点基本上对应于所提出的用于提供结果图像数据的计算机实现的方法的优点。这里提到的特征、优点或替代实施例也可以转移到其他要求保护的主题,反之亦然。

92、训练控制数据尤其可以具有关于用于提供结果图像数据的方法描述的控制数据的所有特征和属性,反之亦然。训练控制数据可以在该方法开始之前被记录,特别是通过医学成像设备,特别是类似于控制数据的记录。或者,可以模拟训练控制数据。

93、训练检查区域可以形成为用于训练去噪函数的训练检查对象的空间区域。训练检查区域和训练检查对象尤其可以具有关于用于提供结果图像数据的方法描述的检查区域和检查对象的所有特征和属性,反之亦然。

94、接收训练控制数据可以包括获取和/或读出计算机可读数据存储器和/或从数据存储单元(例如数据库)接收。此外,预先采集的训练控制数据可以由一个或多个医学成像设备、特别是相同或不同的成像模态的提供单元提供。

95、训练控制数据的模拟可以基于例如生物物理模型。替代地或附加地,可以通过分析真实血管数据来创建统计模型,然后将其用于生成合成训练控制数据。替代地或附加地,可以训练人工神经网络,例如生成对抗网络或变分自动编码器,以生成真实的血管结构。基于解剖学知识,可以定义在生成血管结构时考虑的规则和/或边界条件。此外,可以使用不同方法的组合来结合不同方法的优点并创建尽可能真实的模拟。有利地,可以模拟不同的血管路线和/或分支以便描绘解剖学变化。病理变化,例如狭窄、动脉瘤和/或其他血管异常,可以包括在模拟中。该模拟还可以适应不同的人口统计群体,以考虑年龄和性别的差异。

96、血管信息可以包括关于至少一个血管部分(特别是动脉和/或静脉)和/或训练检查的训练检查区域中的血管畸形的定位的空间分辨信息,特别是2d或3d空间分辨信息对象。血管信息可以有利地具有训练检查对象的训练检查区域中的至少一个血管部分和/或血管畸形的空间分辨表示,特别是2d或3d,特别是模型和/或图像。有利地,血管信息可以表征至少一个血管部分的空间定位(特别是位置和/或取向)、尺寸(特别是长度和/或直径)和/或空间路线。

97、接收训练图像数据可以包括采集和/或读出计算机可读数据存储器和/或从数据存储单元(例如数据库)接收。此外,预先采集的训练图像数据可以由一个或多个医学成像设备、特别是相同或不同的成像模态的提供单元提供。

98、预先采集或模拟的训练图像数据可以被设计为在用于提供训练的去噪函数的方法开始之前通过模拟采集或生成的图像数据。训练图像数据尤其可以具有关于用于提供结果图像数据的方法描述的图像数据的所有特征和属性,反之亦然。有利地,训练图像数据可以描绘训练检查区域。训练图像数据可以有利地与图像数据类似地被记录,特别是通过医学成像设备。或者,可以模拟训练图像数据。

99、训练图像数据的模拟可以基于各种方法和算法来产生真实的医学训练图像数据。例如,数学模型,特别是radon变换,可用于生成合成x射线图像。物理模拟,尤其是生物物理模拟,可以模拟成像方法(例如x射线)与不同组织类型的相互作用。例如,可以使用蒙特卡罗方法。基于真实的、特别是采集的和/或测量的医学图像数据,可以创建统计模型,然后将其用于生成合成训练图像数据。例如,可以使用马尔可夫随机场或高斯混合模型。替代地或附加地,可以训练人工神经网络,例如生成对抗网络或变分自动编码器,以生成真实的模拟训练图像数据。模拟可以有利地考虑各种因素,例如解剖变化、病理变化、成像参数和/或噪声特性。通过使用这些模拟方法,可以生成各种各样的训练图像数据,这有助于提高训练的去噪函数的鲁棒性和通用性。

100、比较图像数据可以以空间分辨的方式描绘检查对象的检查区域,特别是2d或3d。例如,比较图像数据可以包括来自一个或多个投影方向的训练检查区域的2d投影图像。这些投影图像可以包括例如x射线或荧光透视图像。替代地或附加地,比较图像数据可以包括训练检查区域的三维体积数据集。此外,比较图像数据可以及时解析,在不同时间采集训练检查区域的多个图像。

101、比较图像数据还可以包括由医学成像设备的检测器(例如x射线检测器)直接提供的原始数据。替代地或附加地,比较图像数据可以已经被预处理,例如通过重建原始数据。此外,比较图像数据可以包括元信息,例如记录参数、患者信息、程序信息和/或其他相关数据。

102、与训练图像数据相比,比较图像数据被降噪和/或分类。降噪可以意味着与训练图像数据相比,比较图像数据中的干扰图像伪影或噪声已被减少或去除。分类可以意味着某些结构或对象已经在比较图像数据中被识别和/或标记。可以基于训练图像数据或基于另外的图像数据来提供比较图像数据。例如,比较图像数据可以包括具有明显更高的辐射剂量或更长的记录时间的训练检查区域的高质量记录。与训练图像数据相比,这些记录可以具有改进的信噪比。替代地或附加地,提供比较图像数据可以包括训练检查区域的多个图像的组合,特别是平均,例如通过迭代重建算法和/或代数重建方法和/或统计重建方法。替代地或附加地,可以通过将图像处理算法(例如滤波器算法,特别是非局部均值滤波器和/或基于小波的去噪方法)应用于训练图像数据来提供比较图像数据。

103、比较图像数据的分类可以包括手动注释或自动分类,例如应用自动分割算法。比较图像数据中的解剖结构、病理变化和/或医学对象的图像可以被分类,特别是注释和/或分割。

104、通过使用训练控制数据将经训练的去噪函数应用于输入数据来提供训练结果图像数据。经训练的去噪函数的输入数据基于训练图像数据。具体地,经训练的去噪函数的输入数据可以包括训练图像数据。

105、训练控制数据指定训练结果图像数据中描绘的结构的可信性条件。可信性条件可以被理解为用于评估训练结果图像数据中描绘的结构的概率和/或可信度的规则或标准。

106、经训练的去噪函数的输入数据还可以基于训练控制数据,特别是还可以包括训练控制数据。

107、如果经训练的去噪函数被设计为深度神经网络,则可以将训练控制数据馈送到网络的不同级别。这可以允许经过训练的去噪函数考虑不同抽象级别的合理性信息。还可以通过使用条件生成模型来完成集成,其中训练控制数据用作生成降噪训练结果图像数据的条件。

108、此外,基于训练结果图像数据与比较图像数据的比较来调整训练后的去噪函数的至少一个参数。该比较可以包括例如计算训练结果图像数据和比较图像数据之间的差异和/或相似性度量。可以迭代地执行训练的去噪函数的至少一个参数的调整,以便改进、特别是优化训练结果图像数据和比较图像数据之间的对应关系。

109、提供经训练的去噪函数可以包括将其存储在计算机可读存储介质上和/或将其传输到供应单元。由该方法提供的训练的去噪函数可以有利地用在所提出的用于提供结果图像数据的方法中。

110、所描述的用于提供经训练的去噪函数的方法可以提供各种技术优点。通过使用包含血管信息的训练控制数据,可以专门针对处理具有血管结构的医学图像数据来优化去噪函数。通过训练控制数据指定可信性条件可以帮助去噪函数提供真实且解剖学上合理的结果。通过与比较图像数据进行比较并迭代调整参数,可以实现训练后的去噪函数的高质量和可靠性。

111、一般来说,经过训练的去噪函数可以模仿将人类与其他人类幽灵联系起来的认知功能。特别是,通过基于训练数据进行训练,经过训练的去噪函数可能能够适应新环境并识别和推断模式。“训练去噪函数”的另一个术语可以是“训练函数”。一般来说,去噪函数的参数可以通过训练来调整。具体地,可以使用监督训练、半监督训练、无监督训练、强化学习和/或主动学习。此外,可以使用表示学习(替代术语可以是“特征学习”)。特别是,可以通过几个训练步骤迭代地调整去噪函数的参数。特别是,可以在训练过程中最小化特定的成本函数。特别是,反向传播算法可以用于神经网络的训练。具体地,去噪函数可以包括神经网络、支持向量机、决策树和/或贝叶斯网络,和/或去噪函数可以基于k均值聚类、q学习、遗传算法和/或关联规则。具体地,神经网络可以是深度神经网络、卷积神经网络或卷积深度神经网络。此外,神经网络可以是对抗网络、深度对抗网络和/或生成对抗网络。

112、卷积神经网络可以是在其至少一层(所谓的“卷积层”)中使用卷积运算而不是一般矩阵乘法的神经网络。具体地,卷积层可以执行一个或多个卷积核与卷积层的输入数据/图像的点积,其中一个或多个卷积核的条目可以是通过训练调整的参数或权重。特别地,可以使用frobenius点积和relu激活函数。卷积神经网络可以包括附加层,例如池化层、全连接层和归一化层。

113、通过使用卷积神经网络,可以非常有效地处理输入图像,因为基于不同核的卷积运算可以提取不同的图像特征,因此通过调整卷积核的权重,可以在训练过程中找到相关的图像特征。此外,由于卷积核中的权重共享,需要训练的参数更少,从而防止训练阶段的过度拟合,并允许网络中更快的训练或更多的层,从而提高网络的性能。

114、根据一方面,去噪函数可以包括一个或多个残差网络(resnet)。具体地,resnet可以是一种人工神经网络,其包括用于跳过人工神经网络的至少一层的至少一个跳跃或跳过连接。具体地,resnet可以是包括一个或多个跳跃连接的卷积神经网络,每个跳跃连接跳过一个或多个卷积层。根据一些示例,resnet可以表示为m层resnet,其中m是相应架构中的层数,并且根据一些示例可以取34、50、101或152的值。根据一些示例,这样的m层resnet可以各自包括(m-2)/2个跳跃连接。

115、跳过连接可以被视为旁路,其将前一层的输出直接通过一个或多个跳过层路由到该一个或多个跳过层之后的层。跳过的层不必直接调整所需的映射,而是需要调整“补偿”直接馈送的输出的残差映射。

116、与直接映射相比,调整残差映射在计算上更容易优化。此外,这减轻了训练去噪函数时优化过程中梯度消失/爆炸的问题:如果跳过的层遇到此类问题,则可以通过正则化直接馈送的输出来跳过其贡献。使用resnet的优点是可以训练更深的网络。作为基于图像数据的结果图像数据的预期提供的一部分,这具有更精确地预测结果图像数据的优点,并且因此有助于改进降噪。

117、生成对抗模型(首字母缩略词可以是ga模型)可以包括生成函数和判别函数,其中生成函数生成合成数据并且判别函数区分合成数据和真实数据。通过训练生成函数和/或判别函数,一方面,生成函数可以被配置为生成被判别函数错误地分类为真实的合成数据,另一方面,判别函数可以被配置为区分真实数据和生成函数生成的合成数据。在博弈论中,生成对抗模型可以解释为零和博弈。生成函数和/或判别函数的训练尤其可以基于最小化成本函数。

118、通过使用ga模型,可以基于一组训练数据生成与训练数据集具有相同属性的合成数据。训练ga模型可以基于未注释的数据(无监督学习),因此训练ga模型所需的工作量可以很低。

119、尤其地,循环去噪函数可以是其输出不仅取决于输入值和通过训练过程调整的去噪函数的参数,而且还取决于隐藏状态向量的去噪函数,其中隐藏状态向量可以基于用于循环去噪函数的先前输入。具体地,循环去噪函数可以包括附加存储器状态或包括时间延迟或包括反馈环路的附加结构。

120、尤其地,循环去噪函数的底层结构可以是神经网络,其可以被称为循环神经网络。这种循环神经网络可以描述为人工神经网络,其中节点之间的连接沿着时间序列形成有向图。特别是,循环神经网络可以解释为有向无环图。具体地,循环神经网络可以是有限脉冲响应循环神经网络或无限脉冲响应循环神经网络(其中有限脉冲响应网络可以卷起并用严格前馈神经网络代替,而无限脉冲响应网络可以不卷起并用严格前馈神经网络代替)。

121、尤其地,循环神经网络的训练可以基于bptt算法(“时间反向传播”的缩写)、rtrl算法(“实时循环学习”的缩写)和/或遗传算法。

122、通过使用循环去噪函数,可以使用包括可变长度序列的输入数据。特别地,这可能意味着该方法不仅可以用于固定数量的输入数据集(并且必须对用作输入的任何其他数量的输入数据集进行不同的训练),而且可以用于任意数量的输入数据集。这可能意味着整个训练数据集,无论不同序列中包含的输入数据集的数量如何,都可以在训练中使用,并且训练数据不会简化为与一定数量的连续输入数据集相对应的训练数据。

123、变换器网络可以是神经网络架构,通常包括编码器、解码器或编码器和解码器两者。在一些情况下,编码器和/或解码器可以由多个对应的编码层和解码层组成。注意机制可以优选地存在于每个编码和解码层内。注意力机制,有时称为自我注意力,可以将一系列数据元素内的数据元素(例如单词或像素)与该系列内的其他数据元素相关联。例如,自我注意力机制可以允许模型检查医学图像内的一组像素并确定该医学图像内的其他像素组对于所检查的像素组的相对重要性。

124、编码器尤其可以被配置为将输入数据变换成数字表示。数字表示可以包括每个输入标记一个向量。编码器可以被配置为实现注意力机制,使得令牌的每个向量受到输入中的其他令牌的影响。具体地,编码器可以被配置为使得表示解析变换器网络的期望输出。

125、尤其地,解码器可以被配置为将输入变换成输出令牌序列。具体地,解码器可以被配置为实现屏蔽自我注意机制,使得令牌的每个向量仅受到序列一侧上的其他令牌的影响。

126、此外,解码器可以是自回归的,这意味着返回中间结果,例如先前预测的令牌序列。

127、根据一些示例,解码器的输入可以基于编码器的输出或者等同于编码器的输出。

128、此外,变换器网络可以包括分类模块,其可以被配置为将编码器或解码器的输出映射到一组学习的输出。

129、根据一些示例,训练变换器模型可以分两个阶段进行:预训练阶段和微调阶段。在预训练阶段,可以在大型数据语料库上训练变换器模型,以学习问题的底层语义。这种预训练的变换器模型可用于不同的语言。对于本文描述的某些应用,微调可以包括使用具有专家注释的含义和/或医学本体(例如radlex和/或snomed)的医学文本来进一步训练变换器网络。根据一些示例,后者允许变换器模型特别学习典型关系和同义医学表达。

130、变换器网络的优点可能是,由于注意力机制,变换器网络可以有效地处理输入数据中的远程依赖性。此外,变换器网络中使用的编码器能够并行处理数据,从而节省推理中的计算资源。此外,由于自回归,变换器网络的解码器能够迭代地生成具有高置信度的输出令牌序列。

131、所描述的模型和训练步骤可以被使用、特别是被实现为用于提供训练的去噪函数的计算机实现的方法的一部分。具体地,训练的去噪函数可以被实现为所描述的模型之一,例如卷积神经网络、resnet或transformer网络。

132、在第三方面,本发明涉及一种供应单元。提供单元被设计为执行所提出的用于提供结果图像数据的计算机实现的方法。

133、提供单元可以包括计算单元、存储单元和/或接口。提供单元,特别是提供单元的组件,可以被设计为执行所提出的用于提供结果图像数据的方法的各个步骤。

134、该接口可以被设计为接收预先采集的控制数据并采集图像数据。计算单元和/或存储单元和/或接口可以被设计为通过使用控制数据将去噪函数应用于输入数据来提供结果图像数据。

135、计算单元可以被设计为处理器、微处理器、数字信号处理器或专用集成电路。存储单元可以被设计为易失性或非易失性存储器,例如ram、rom、闪存或硬盘存储器。该接口可以设计为网络接口、串行接口或并行接口。

136、提供单元可以设计为独立设备或更大系统的一部分。提供单元可以连接到另外的组件,例如用于显示结果图像数据的显示单元和/或用于采集用户输入的输入单元。

137、提供单元的优点基本上对应于所提出的用于提供结果图像数据的计算机实现的方法的优点。考虑到控制数据,提供单元可以实现图像数据的高效且可靠的处理,以便提供降噪的结果图像数据。这里提到的特征、优点或替代实施例也可以转移到其他要求保护的主题,反之亦然。

138、在第四方面,本发明涉及一种系统。该系统包括医学成像设备和供应单元。医学成像设备被设计为采集图像数据并将其提供给提供单元。提供单元被设计为执行所提出的计算机实现的方法,用于提供结果图像数据和/或用于提供经过训练的去噪函数。

139、医学成像设备可以被设计为例如磁共振成像系统(mri)和/或计算机断层扫描系统(ct)和/或医学x射线设备和/或正电子发射断层扫描系统(pet)和/或超声设备。

140、医学成像设备可以被设计为采集、特别是记录图像数据。医学成像设备还可以被设计为将采集的图像数据提供给提供单元。这可以包括通过合适的接口(例如有线或无线网络连接)的数据传输。

141、该系统的优点基本上对应于所提出的用于提供结果图像数据和/或用于提供训练的去噪函数的提供单元和/或所提出的计算机实现的方法的优点。这里提到的特征、优点或替代实施例也可以转移到其他要求保护的主题,反之亦然。

142、本发明还可以涉及训练单元,其可以被设计为执行所提出的用于提供训练的去噪函数的方法。训练单元可以有利地包括训练接口、训练存储单元和/或训练计算单元。训练单元可以被设计为执行用于提供经训练的去噪函数的方法,其中训练接口、训练存储单元和/或训练计算单元可以被设计为执行相应的方法步骤。

143、有利地,训练接口可以被设计为接收预先采集或模拟的训练控制数据和预先采集或模拟的训练图像数据。此外,训练计算单元和/或训练存储单元可以被设计为提供比较图像数据、通过使用训练控制数据将经训练的去噪函数应用于输入数据来提供训练结果图像数据、调整至少一个参数基于训练结果图像数据与比较图像数据的比较来训练去噪函数。此外,训练接口可以被设计为提供经训练的去噪函数。

144、训练课程的优点本质上对应于所提出的用于提供经训练的去噪函数的计算机实现的方法的优点。这里提到的特征、优点或替代实施例也可以转移到其他要求保护的主题,反之亦然。

145、在第五方面,本发明涉及一种具有计算机程序的计算机程序产品,该计算机程序可以直接加载到计算机的存储器中,具有程序部分,以便执行所提出的用于提供结果图像数据的方法的所有步骤和/或当程序部分由计算机执行时,提供经过训练的去噪函数。

146、计算机程序产品可以包括具有尚未被编译和绑定或者仅需要被解释的源代码的软件,或者仅需要被加载到计算机的存储器、特别是供应单元中以供执行的可执行软件代码。借助于计算机程序产品,用于提供结果图像数据和/或用于使用计算机、特别是提供单元提供训练的去噪函数的计算机实现的方法可以快速、相同可重复且鲁棒地执行。计算机程序产品可以被配置为使得其可以使用计算机、特别是供应单元来执行根据本发明的方法步骤。

147、计算机程序产品可以例如存储在计算机可读存储介质上或者存储在网络或服务器上,从那里可以将其加载到计算机的处理器中,特别是供应单元,其可以直接连接到计算机,特别是供应单元,或者作为计算机的一部分,特别是供应单元。此外,计算机程序产品的控制信息可以存储在电子可读数据载体上。电子可读数据载体的控制信息可以被设计为使得当在计算机、特别是供应单元中使用数据载体时,它们执行根据本发明的方法。电子可读数据载体的示例可以是dvd、磁带或usb棒,其上可以存储电子可读控制信息,特别是软件。

148、很大程度上基于软件的实现可以具有以下优点:可以通过软件更新来容易地改造先前使用的计算机,特别是供应单元,以便以根据本发明的方式工作。除了计算机程序之外,这样的计算机程序产品可以可选地包括附加组件,例如文档和/或附加组件,以及硬件组件,例如用于使用软件的硬件密钥(加密狗等)。

149、有利地,计算机程序产品可以使得能够有效且灵活地实现根据本发明的方法。该计算机程序产品可以在各种计算机平台上执行,从而使得该方法能够广泛应用。此外,计算机程序产品可以容易地更新和扩展以集成新功能或对过程的改进。