改进的病变检测方法与流程

1.本发明涉及病变检测，具体地，涉及用于病变检测的装置和计算机实现的方法，以及计算机程序元素和计算机可读介质。


背景技术：

2.在疾病早期阶段进行病变的检测对于有效处理是至关重要。诸如磁共振(mr)、计算机断层成像(ct)、数字x射线(dxr)等的诊断成像方法有效地通过响应于与正常组织的图像对比度相比的变化来反映病变。例如，多发性硬化(ms)是具有在中枢神经系统中的脑白质脱髓鞘的疾病，并且白质病变在mr图像上具有不同的对比度。由于白质病变处具有超强度的图像对比度，因此分割病变并且执行分析是可行的。
3.然而，由于较差的信噪比(snr)或成像参数，图像对比度并不总是直接可辨别的。在放射科医生集中阅读图像之后变得疲劳时，人眼可能错过非常小的病变。可以使用一些对比度增强的方法，例如磁共振成像(mri)中的造影剂。造影剂的使用对于对化学品过敏的人是受限制的。
4.人工智能(ai)和深度学习已经快速地发展起来，并且已经能够在满足图像质量时自动检测基于超强度的病变。在图像对比度降低时，检测准确度也会降低。


技术实现要素：

5.可能需要改进病变检测。本发明的目的通过独立权利要求的主题来解决，其中在从属权利要求中并入了另外的实施例。应当注意，本发明的以下描述的方面也适用于该装置、计算机实现的方法、计算机程序元素和计算机可读介质。
6.根据本发明的第一方面，提供了一种用于病变检测的装置。该装置包括输入通道，该输入通道被配置用于接收使用第一成像模式获取的感兴趣区域的第一输入医学图像和使用第二成像模式获取的感兴趣区域的第二输入医学图像，其中第二成像模式比第一成像模式具有更高的用于检测病变的灵敏度。该装置还包括合成模块，该合成模块被配置用于将经预训练的深度学习神经网络应用于使用第一成像模式获取的第一输入医学图像，以得到第二合成医学图像。经预训练的深度学习网络已经基于训练数据集而被训练，该训练数据集包括使用第一成像模式获取的感兴趣区域的医学图像和使用第二成像模式获取的感兴趣区域的医学图像的历史数据集。该装置还包括轮廓化模块，该轮廓化模块被配置用于共同配准第二输入医学图像与第二合成医学图像，以及执行第二输入医学图像与第二合成医学图像之间的减影以获取可用于病变检测的减影图像。
7.换言之，提出了将深度学习技术与轮廓化策略(即经增强的对比度与未经增强的对比度之间的减影)相结合，以便仅反映与病变相关的两个图像之间的差异。针对对第二成像模式敏感(也用模式b表示)，同时对第一成像模式不敏感(也用模式a表示)的病变，应用深度学习以从大数量的数据集中生成模式b的合成图像(imgb_syn)。然后，执行模式b的实际图像(imgb)与模式b的合成图像之间的轮廓化({公式imgb-imgb})。该差异反映了模式b
中病变区域的敏感响应。这将在下文中具体参照图1至图4所说明的实施例进行解释。
8.该减影图像突出病变区域而无需注射造影剂。减影图像中的明显病变区域可以实现较高的对比度噪声比(cnr)，并且可以有助于更有置信度的快速诊断。
9.根据本发明的实施例，轮廓化模块被配置用于将第二输入医学图像与第二合成医学图像进行归一化，以及执行经归一化的第二输入医学图像与经归一化的第二合成医学图像之间的减影。
10.根据本发明的实施例，该设备还包括病变标识模块，被配置用于标识减影图像中的病变。
11.例如，如分类器、区域生长、神经网络和可变形模型的方法可以被用于自动病变检测。
12.根据本发明的实施例，经预训练的深度学习神经网络包括以下至少一项：u-net，以及生成对抗网络。
13.根据本发明的实施例，病变包括多发性硬化疾病病变。
14.根据本发明的实施例，第一成像模式和第二成像模式包括以下至少一项：
[0015]-常规计算机断层成像(ct)和光谱ct；
[0016]-模拟正电子发射断层成像-计算机断层成像(pet/ct)和数字pet/ct；以及
[0017]-t1-加权磁共振成像(mri)和t2-flair mri。
[0018]
例如，由于颈部病变的位置或来自金属和骨头的伪影，常规ct标识颈部病变的能力有时会是困难的。光谱ct允许使用多个可以帮助增强病变可视化的光谱结果，并且因此比常规ct具有更高的检测一些病变的灵敏度。
[0019]
例如，相对于在模拟pet/ct上获取的相同患者，数字pet/ct改进了小型病变的可检测性和特性。因此，数字pet/ct比模拟pet/ct更高的具有检测一些病变的灵敏度。
[0020]
例如，在t2-flair mri中，ms病变在白质区域显示高信号，但在t1-加权mri中，病变仅显示轻微的信号变化或无信号变化。应当理解，所提出的装置和方法还可以用于其他类型的医学成像，只要其可以生成两种模式的图像并且病变行为在一种模式上是明显的而在另一模式上是不明显的。
[0021]
根据本发明的实施例，该设备还包括输出通道，被配置用于输出减影图像和/或病变标识结果。
[0022]
根据本发明的实施例，该设备还包括显示器，用于显示减影图像和/或病变标识结果。
[0023]
根据本发明的第二方面，提供了一种用于病变检测的计算机实现的方法。该计算机实现的方法包括：
[0024]-接收使用第一成像模式获取的感兴趣区域的第一输入医学图像和使用第二成像模式获取的感兴趣区域的第二输入医学图像，其中第二成像模式比第一成像模式具有更高的用于检测病变的灵敏度；
[0025]-对使用第一成像模式获取的第一输入医学图像应用经预训练的深度学习神经网络以得到第二合成医学图像，其中经预训练的深度学习网络已经基于训练数据集而被训练，该训练数据集包括使用第一成像模式获取的感兴趣区域的医学图像和使用第二成像模式获取的感兴趣区域的医学图像的历史数据集；
[0026]-共同配准第二输入医学图像与第二合成医学图像；以及
[0027]-执行第二输入医学图像与第二合成医学图像之间的减影，以获取可以被用于病变检测的减影图像。
[0028]
根据本发明的实施例，计算机实现的方法还包括以下步骤：将第二输入医学图像和第二合成医学图像进行归一化，以及执行归一化的第二输入医学图像和归一化的第二合成医学图像之间的减影。
[0029]
根据本发明的实施例，病变包括多发性硬化疾病病变。
[0030]
根据本发明的实施例，第一成像模式和第二成像模式包括以下至少一项：
[0031]-常规计算机断层成像(ct)和光谱ct；
[0032]-模拟正电子发射断层成像-计算机断层成像(pet/ct)和数字pet/ct；以及
[0033]-t1-加权磁共振成像(mri)和t2－flair mri。
[0034]
根据本发明的实施例，计算机实现的方法还包括显示减影图像和/或病变标识结果。
[0035]
根据本发明的第三方面，提供了一种用于控制根据第一方面和任何相关示例的装置的计算机程序元素，在由处理单元执行该计算机程序元素时，该计算机程序元素适应于执行根据第二方面和任何相关示例的方法。
[0036]
根据本发明的第四方面，提供了一种存储有根据本发明第三方面的第三方面的程序元素的计算机可读介质。
[0037]
有利地，任何上述方面提供的益处同样适用于所有其他方面，反之亦然。
[0038]
如本文中所使用的，术语“图像”包括图像数据、由多个图像数据形成的复合图像数据，以及可以由诸如ct扫描仪、mri扫描仪等的医学成像设备获取的其他类型的数据。
[0039]
如本文中所使用的，术语“模块”可以指代包括专用集成电路(asic)、电子电路、执行一个或多个软件或固件程序的处理器(共享的、专用的或群组)和/或存储器(共享的、专用的或群组)、组合逻辑电路和/或提供所描述的功能的其他合适组件，或以上内容的部分。
[0040]
应当理解，前述概念和下文更详细讨论的附加概念的所有组合(所提供的这些不是相互不一致的概念)被认为是本文中所公开的发明主题的部分。特别地，在本公开中出现的所要求保护的主题的所有组合被认为是本文中所公开的发明主题的部分。
[0041]
参考下文描述的(多个)实施例，本发明的这些和其他方面将变得清楚。
附图说明
[0042]
在附图中，相同的附图标记通常通过不同的视角指代相同的部分。而且附图不必然是按比例绘制的，而是将重点放在说明本发明的原理上。
[0043]
图1是根据本公开的一些实施例的装置的示意图。
[0044]
图2a和图2b分别说明了第一输入医学图像和第二输入医学图像的示例。
[0045]
图3说明了训练过程的示例。
[0046]
图4说明了减影过程的示例。
[0047]
图5示出了根据本公开的一些实施例的方法的流程图。
具体实施方式
[0048]
图1示意性地示出了根据本公开的一些示例的用于病变检测的装置10。装置10包括输入通道12、合成模块14、轮廓化模块16以及输出通道18。
[0049]
输入通道12被配置用于接收使用第一成像模式获取的感兴趣区域的第一输入医学图像imga(也用模式a表示)和使用第二成像模式获取的感兴趣区域的第二输入医学图像imgb(也用模式b表示)。第二成像模式(即模式b)比第一成像模式(即模式a)具有更高的检测病变的灵敏度。在示例中，第一成像模式是常规ct，以及第二成像模式是光谱ct。利用光谱数据，可以看到通过常规ct没有标识的病变。在另一示例中，第一成像模式是模拟pet/ct，以及第二成像模式是数字pet/ct。相对于在模拟pet/ct上获取的相同患者，数字pet/ct可以改进小型病变的可检测性和特性。在另一示例中，第一成像模式是t1-加权mri，第二成像模式是t2-flair mri。
[0050]
图2a和图2b分别说明了第一输入医学图像和第二输入医学图像的示例。特定地，图2a说明了使用t1-加权mri获取的患者大脑的第一输入医学图像imga的示例。图2b说明了使用t2-flair mri获取的大脑的第二输入医学图像imgb的示例。如图2a和图2b所说明的，ms病变在第二输入医学图像imgb(即t2－flair_ms图像)中的白质区域中显示出高信号，但是该病变在第一输入医学图像imga(即t1w_ms图像)中仅显示出轻微信号变化或无信号变化，因此是不明显的。
[0051]
转向图1，合成模块14被配置为将经预训练的深度学习神经网络应用于使用第一成像模式(即模式a)获取的第一输入医学图像imga，以得到第二合成医学图像imgb_syn。经预训练的深度学习神经网络已经基于训练数据集而被训练，该训练数据集包括使用第一成像模式获取的感兴趣区域的医学图像和使用第二成像模式获取的感兴趣区域的医学图像的历史数据集。经预训练的深度学习神经网络的示例可以包括但不限于u-net和生成对抗网络。
[0052]
可选地，如图1所说明的，装置10可以包括用于训练深度学习神经网络的训练模块20。为了训练深度学习神经网络，收集训练图像数据集，该训练图像数据集包括使用第一成像模式获取的感兴趣区域的医学图像和使用第二成像模式获取的感兴趣区域的医学图像。训练图像数据集可以包括从多个患者处获取的医学图像。训练图像数据集中的医学图像可以在感兴趣区域中没有病变。这是因为经预训练的深度学习神经网络仅学习模式a到模式b的对比度转换的映射，但是由于模式a图像中的病变外观不明显，因此不学习病变映射。
[0053]
图3说明了训练过程的示例。再次以mri为例说明训练过程。在该示例中，训练图像数据集包括t1-加权图像作为imga和t2 flair图像作为imgb。针对该数据集中的对象i，存在第一成像模式(即模式a)的图像和第二成像模式(即模式b)的图像。针对该数据集中的对象i，第一成像模式的图像也可以用imga_i表示，以及第二成像模式的图像也可以用imgb_i表示。训练数据集为具有对象数目为n的{imga，imgb}。然后建立深度学习神经网络，以imga作为输入，imgb作为目标标签训练深度学习神经网络，使得针对新的对象k，imga_k可以被用于通过深度学习神经网络合成imgb_k_syn。然后利用t1-加权图像作为输入、t2-flair作为目标标签来建立深度学习神经网络。
[0054]
然后将经训练的深度学习神经网络应用于第一输入医学图像imga(诸如，图3中的t1w_ms图像)，以合成第二合成医学图像imgb_syn(诸如，图3中的t2-flair-ms_合成图像)，
但是病变在该图像中并不明显。
[0055]
转向图1，轮廓化模块16被配置用于共同配准第二输入医学图像imgb(具有作为超信号的病变)与第二合成医学图像imgb_syn(没有明显的病变对比度)，以及执行第二输入医学图像imgb与第二合成医学图像imgb_syn之间的减影以获取可以被用于病变检测的减影图像。
[0056]
图4说明了减影过程的示例。在该示例中，第二输入医学图像imgb(诸如，图4中实际的t2-flair-ms图像)在ms病变区域处包括超信号对比度。另一方面，第二合成医学图像imgb_syn(诸如，图4中的合成_t2flair-ms的)仅反映t2-flair组织对比度响应，但不反映在ms病变区域处的对比度差异。这是因为经训练的深度学习神经网络仅学习了t1-加权到t2-flair对比度转换的映射，而没有学习由于t1-加权图像中的非明显外观而导致的病变映射。
[0057]
然后，轮廓化模块共同配准这两个图像并且进行减影。因此，ms病变区域在减影图像中被突出显示，而正常组织区域被消除。用于诊断的减影图像是简单并且更清晰的。
[0058]
可选地，轮廓化模块16可以被配置用于将第二输入医学图像和第二合成医学图像进行归一化，并且执行归一化的第二输入医学图像和归一化的第二合成医学图像之间的减影。
[0059]
可选地，装置10还可以包括病变标识模块(未示出)，被配置用于标识减影图像中的病变。例如，病变标识模块可以使用基于机器学习的方法来进行病变检测。由于减影图像允许将病变边界可视化，将其与周围组织区分开来。病变标识可以更准确，从而能够实现改进诊断、分阶段以及治疗监测的路径。
[0060]
转向图1，输出通道18被配置用于输出减影图像和/或病变标识的结果。装置10还可以包括用于显示减影图像和/或病变标识结果的显示器(未示出)。
[0061]
图5示出了根据本公开的一些实施例的用于病变检测的计算机实现的方法100的流程图。
[0062]
计算机实现的方法100可以被实现为存储在诸如随机存取存储器(ram)、只读存储器(rom)、可编程rom(prom)、固件、闪存等的非暂态机器可读存储介质或计算机可读存储介质中的逻辑指令集中的设备、模块或相关组件，实现为诸如例如可编程逻辑阵列(pla)、现场可编程门阵列(fpga)、复杂可编程逻辑设备(cpld)等的可配置逻辑中的设备、模块或相关组件，实现为使用诸如例如专用集成电路(asic)、互补金属氧化物半导体(cmos)或晶体管-晶体管逻辑(ttl)技术等电路技术的固定功能性硬件逻辑中的设备、模块或相关组件，或其任意组合。图1说明了用于执行该方法的示例性装置。例如，用于执行方法100中所示操作的计算机程序代码可以用一种或多种编程语言的任何组合来编写，包括诸如java、smalltalk、c 、python等面向对象的编程语言，以及诸如“c”编程语言或相似编程语言的常规过程编程语言。
[0063]
在步骤110中，接收使用第一成像模式获取的感兴趣区域的第一输入医学图像和使用第二成像模式获取的感兴趣区域的第二输入医学图像。第二成像模式比第一成像模式具有更高的用于检测病变的灵敏度。例如，第一成像模式是常规ct，而第二成像模式是光谱ct。例如，第一成像模式是模拟pet/ct，而第二成像模式是数字pet/ct。例如，第一成像模式是t1-加权mri，而第二成像模式是t2-flair mri。
[0064]
图2a中说明了示例性第一输入医学图像，而图2b中说明了示例性第二输入医学图像。
[0065]
在步骤120中，将经预训练的深度学习神经网络应用于使用第一成像模式获取的第一输入医学图像，以得到第二合成医学图像。经预训练的深度学习神经网络的示例可以包括但不限于u-net和生成对抗网络。
[0066]
经预训练的深度学习网络已经基于训练数据集而被训练，该训练数据集包括使用第一成像模式获取的感兴趣区域和使用第二成像模式获取的感兴趣区域的医学图像的历史数据集。在训练数据集中，使用第一成像模式获取的感兴趣区域的医学图像和使用第二成像模式获取的感兴趣区域的医学图像可以包括在感兴趣区域中没有病变。
[0067]
图3说明了示例性训练过程。
[0068]
在步骤130中，共同配准第二输入医学图像与第二合成医学图像。
[0069]
在步骤140中，执行第二输入医学图像与第二合成医学图像之间的减影，以获取可以被用于病变检测的减影图像。可选地，计算机实现的方法100还可以包括以下步骤：将第二输入医学图像和第二合成医学图像归一化，以及执行经归一化的第二输入医学图像与经归一化的第二合成医学图像之间的减影。
[0070]
图4说明了示例性减影过程。
[0071]
可选地，计算机实现的方法100还可以包括标识减影图像中的病变的步骤。
[0072]
可选地，显示减影图像和/或病变标识结果。
[0073]
应当理解，上述操作可以以任何合适的顺序执行，例如连续地、同时地或其组合，在适用的情况下，取决于例如通过输入/输出关系需要的特定顺序。
[0074]
上述装置和方法不仅可以被用于ms疾病病变检测的改进，还可以推广到脑病变检测，尤其是针对mr图像中病变没有出现典型对比度变化的情况。
[0075]
该方法还可以推广到其他类型的医学成像，只要其可以生成两种模式的图像，并且病变行为在一种模式上是明显的，而在另一种模式上是不明显的。
[0076]
还应当理解，除非明确地相反指示，否则在本文要求保护的包括多于一个步骤或动作的任何方法中，该方法的步骤或动作的顺序不必限于所述方法的步骤或动作的顺序。
[0077]
如本文所限定和使用的所有限定应当被理解为控制字典限定、通过引用并入的文献中的限定和/或所限定术语的普通含义。
[0078]
在说明书和权利要求书中使用的不定冠词“一”和“一个”，除非清楚地指出相反的情况，否则应当被理解为是指“至少一个”。
[0079]
如本文中在说明书和权利要求书中所使用的短语“和/或”应当被理解为指如此结合的元素中的“任一者或两者”，即在一些情况下结合地存在而在其他情况下分离地存在的元素。用“和/或”列出的多个元素应当以相同的方式解释，即如此结合的元素中的“一个或多个”。除了由“和/或”从句具体指明的元素之外，可以任选地存在其他元素，无论与具体指明的那些元素相关还是不相关。
[0080]
如本文中在说明书和权利要求书中所用，“或”应当被理解为具有与如上限定的“和/或”相同的含义。例如，在分离列表中的项目时，“或”或“和/或”应当被解释为包括性的，即包括多个或一列元素中的至少一个，但也包括多于一个以及可选地附加的未列出的项目。仅有清楚地相反指示的术语，诸如“仅一个”或“正好一个”，或当在权利要求中使用
时，“包括”将是指包括多个元素或元素列表中的正好一个元素。一般而言，本文中使用的术语“或”应当仅被解释为表示排他性替换(即，“一个或另一个但不是两者”)，在其之前是排他性术语，诸如“任一个”、“其中一个”、“仅其中一个”或“正好其中一个”。
[0081]
如本文在说明书和权利要求书中所使用的，关于一个或多个元素的列表的短语“至少一个”应当被理解为是指选自元素列表中的元素中的任何一个或多个元素的至少一个元素，但不一定包括元素列表内具体列出的每个元素中的至少一个元素，并且不排除元素列表中的元素的任何组合。该限定还允许可以任选地存在除了在短语“至少一个”所指的元素列表内具体标识的元素之外的元素，无论与具体标识的那些元素相关还是不相关。
[0082]
在权利要求书以及以上说明书中，所有过渡性短语如“包含”，“包括”，“携带”，“具有”，“含有”，“涉及”，“持有”，“组成”等应当被理解为开放式的，即意指包括但不限于。仅过渡性短语“构成”和“基本上构成”应当分别是封闭式或半封闭式过渡性短语。
[0083]
在本发明的另一示例性实施例中，提供了一种计算机程序或计算机程序元素，其特征在于适应于在适当的系统上执行根据前述实施例中的一个实施例的方法的方法步骤。
[0084]
因此，计算机程序元素可以被存储在计算机单元上，该计算机单元也可以是本发明实施例的部分。该计算单元可以适应于执行或引起执行上述方法的步骤。此外，其可以适应于操作上述装置的组件。计算单元可以适应于自动操作和/或执行用户的命令。计算机程序可以被加载到数据处理器的工作存储器中。因此，可以配备数据处理器来执行本发明的方法。
[0085]
本发明的该示例性实施例覆盖从一开始就使用本发明的计算机程序和通过更新的方式将现有程序转变为使用本发明的程序的计算机程序两者。
[0086]
此外，计算机程序元素可能能够提供所有必要的步骤来实现如上所述的方法的示例性实施例的过程。
[0087]
根据本发明的另一示例性实施例，提供了一种诸如cd-rom的计算机可读介质，其中该计算机可读介质具有存储在其上的计算机程序元素，该计算机程序元素由前面的部分来描述。
[0088]
计算机程序可以存储和/或分布在诸如与其他硬件一起提供或作为其他硬件的部分提供的光学存储介质或固态介质的合适的介质上，但是也可以以诸如经由互联网或其他有线或无线电信系统的其他形式分布。
[0089]
然而，计算机程序也可以通过类似万维网的网络来提供，并且可以从这样的网络下载到数据处理器的工作存储器中。根据本发明的另一示例性实施例，提供了一种用于使计算机程序元素可以下载的介质，该计算机程序元素被布置为执行根据本发明的前述实施例中的一个实施例的方法。
[0090]
虽然本文中已经描述并且说明了多个创造性实施例，但是本领域的普通技术人员将容易地想到用于执行本文中所描述的功能和/或所获取的结果和/或一个或多个优点的多种其他手段和/或结构，并且这些变化和/或修改中的每个都被认为是在本文所描述的发明实施例的范围内。更一般地，本领域技术人员将容易理解，本文所描述的所有参数、大小、材料和构造都是示例性的，并且实际的参数、尺寸、材料和/或构造将取决于使用本发明教导的具体应用。本领域技术人员将认识到或能够仅使用常规实验来确定本文所述的特定创造性实施例的多种等同物。因此，应当理解，前述实施例仅以示例的方式呈现，并且在所附
权利要求及其等同物的范围内，可以以不同于具体描述和要求保护的方式来实践本发明的实施例。本公开的创造性实施例涉及本文所述的每个单独特征、系统、制品、材料、工具和/或方法。此外，两个或更多个这样的特征、系统、制品、材料、工具和/或方法的任何组合，如果这样的特征、系统、制品、材料、工具和/或方法不相互矛盾，则被包括在本公开的创造性范围内。