基于深度学习的图像采集医学系统和方法与流程

基于深度学习的图像采集医学系统和方法


背景技术：

1.本公开的领域总体上涉及医学成像系统和方法，并且更具体地，涉及使用深度学习(dl)网络对磁共振(mr)图像进行去噪的技术。
2.在现代医疗保健设施中，非侵入性医学成像系统通常用于识别、诊断和治疗身体状况。医学成像涵盖用于对患者体内器官和组织的内部结构和/或功能行为(诸如化学或代谢活动)进行成像和可视化的不同非侵入性技术。目前，存在多种模态的医学诊断和成像系统，每种模态的医学诊断和成像系统通常以不同的物理原理进行操作以生成不同类型的图像和信息。这些模态包括超声系统、计算机断层扫描(ct)系统、x射线系统(包括常规成像系统和数字或数字化成像系统)、正电子发射断层扫描(pet)系统、单光子发射计算机断层扫描(spect)系统和磁共振(mr)成像系统。
3.磁共振成像(mri)已证明可用于许多疾病的诊断。mri提供通过其他成像模态诸如计算机断层扫描(ct)不能容易地成像的软组织、异常组织(诸如肿瘤)和其他结构的详细图像。此外，mri在不将患者暴露于在模态诸如ct和x射线中经历的电离辐射的情况下操作。
4.由于信号和采集硬件链中的一系列现象，所以mr图像固有地有噪声。噪声图像可能影响从mr图像做出决策的能力。因此，需要一种改进的磁共振成像系统和方法。


技术实现要素：

5.根据本技术的实施方案，提供了一种医学成像系统。该医学成像系统包括提供受检者的图像数据的至少一个医学成像设备，和处理系统。该处理系统被编程为使用多个训练图像训练深度学习(dl)网络以预测输入数据中的噪声。多个训练图像包括针对每行k空间训练数据采集的多个激发(nex)图像。该处理系统进一步被编程为使用所训练的dl网络来确定受检者的图像数据中的噪声；以及基于图像数据中所确定的噪声生成受检者的具有减少的噪声的去噪医学图像。
附图说明
6.当参考附图阅读以下详细描述时，将更好地理解本发明的这些和其它特征、方面和优点，附图中相同的符号在整个附图中表示相同的部分，其中：
7.图1是根据本技术的实施方案的示例性磁共振成像(mri)系统的示意图；
8.图2a是在图1的mri系统中使用的示例性截断伪影减少/分类器系统；
9.图2b是根据本技术的实施方案的可在图2a的系统中实现的示例性方法的流程图；
10.图3是根据本技术的实施方案的k空间采样的示意图；
11.图4是可在图2a的截断伪影减少系统中使用的示例dl网络的示意图；
12.图5是可用于训练图4的dl网络模型的多个训练图像的示意图；
13.图6是根据本技术的实施方案的描绘用于预测的dl网络系统的示意图；
14.图7是根据本技术的实施方案的描绘由mri系统生成的医学图像的示意图；
15.图8是根据本技术的实施方案的描绘对象的弥散加权成像(dwi)的医学图像的示
意图；
16.图9是根据本技术的实施方案的描绘比较去噪之前和去噪之后的体线圈图像的表观弥散系数(adc)图谱的示意图；并且
17.图10是根据本技术的实施方案的描绘对象的t2快速自旋回波(t2fse)mri的医学图像的示意图。
具体实施方式
18.在下面将描述一个或多个具体的实施方案。为了提供这些实施方案的简明描述，可能未在说明书中描述实际具体实施的所有特征。应当理解，在任何此类实际具体实施的开发中，如在任何工程或设计项目中，必须做出许多特定于具体实施的决策以实现开发者的具体目标，诸如遵守可能因具体实施而不同的系统相关和业务相关约束。此外，应当理解，此类开发努力可能是复杂且耗时的，但对于受益于本公开的普通技术人员来说仍然是设计、制作和制造的常规任务。
19.当介绍本实施方案的各种实施方案的元件时，冠词“一个”、“一种”、“该”和“所述”旨在意指存在这些元件中的一个或多个元件。术语“包括”、“包含”和“具有”旨在是包含性的，并且意指除了列出的元件之外还可存在附加元件。此外，以下讨论中的任何数值示例旨在非限制性的，并且因此附加的数值、范围和百分比在所公开的实施方案的范围内。此外，术语“电路”和“电路系统”和“控制器”可包括单个部件或多个部件，这些部件为有源的和/或无源的，并且被连接或以其它方式耦接在一起以提供所述功能。
20.在磁共振成像(mri)中，将对象置于磁体中。当对象处于由磁体生成的磁场中时，核(诸如质子)的磁矩尝试与磁场对准，但在核的拉莫尔频率下以随机顺序围绕磁场进动。磁体的磁场被称为b0并且在纵向或z方向上延伸。在采集mr图像的过程中，处于x-y平面中且接近拉莫尔频率的磁场(称为激励场b1)由射频(rf)线圈生成，并且可用于将核的净磁矩mz从z方向朝横向或x-y平面旋转或“倾斜”。在激励信号b1终止之后，核发射信号，该信号被称为mr信号。为了使用mr信号来生成对象的图像，使用磁场梯度脉冲(g
x
、gy和gz)。梯度脉冲用于扫描通过k空间、空间频率的空间或距离的反向。在所采集的mr信号和对象的图像之间存在傅里叶关系，因此可以通过重建mr信号来导出对象的图像。对象的图像可包括二维(2d)或三维(3d)图像。
21.本文呈现的实施方案与用于对mr图像去噪的基于深度学习(dl)的技术有关。该技术基于从来自重复图像采集的多个噪声样品(即噪声分布实现)获得的估计噪声实现。本技术保持平均信号强度，并且即使是最小结构也维持视敏度；从而使其适合定量和解剖图像去噪。
22.图1示出示例性mri系统10的示意图。在示例性实施方案中，mri系统10包括具有显示器14和键盘16的工作站12。工作站12包括处理器18，诸如运行可商购获得的操作系统的可商购获得的可编程机器。工作站12提供操作者界面，该操作者界面允许将扫描方案输入mri系统10中。工作站12联接到脉冲序列服务器20、数据采集服务器22、数据处理服务器24和数据存储服务器26。工作站12以及每个服务器20、22、24和26彼此通信。
23.在示例性实施方案中，脉冲序列服务器20响应于从工作站12下载的指令以操作梯度系统28和射频(“rf”)系统30。指令用于在mr脉冲序列中产生梯度波形和rf波形。rf线圈
38和梯度线圈组件32用于执行规定的mr脉冲序列。rf线圈38被示出为全身rf线圈。rf线圈38也可以是可放置在待成像解剖结构附近的局部线圈，或者是包括多个线圈的线圈阵列。
24.在示例性实施方案中，产生用于执行界定扫描的梯度波形并将其应用于梯度系统28，该梯度系统激励梯度线圈组件32中的梯度线圈以产生用于对mr信号进行位置编码的磁场梯度g
x
、gy和gz。梯度线圈组件32形成磁体组件34的一部分，该磁体组件还包括极化磁体36和rf线圈38。
25.在示例性实施方案中，rf系统30包括用于产生mr脉冲序列中使用的rf脉冲的rf发射器。rf发射器响应于来自脉冲序列服务器20的扫描方案和方向，以产生具有期望频率、相位和脉冲振幅波形的rf脉冲。所生成的rf脉冲可由rf系统30施加到rf线圈38。由rf线圈38检测到的响应mr信号由rf系统30接收，在由脉冲序列服务器20产生的命令的指示下被放大、解调、滤波和数字化。rf线圈38被描述为发射器和接收器线圈，使得rf线圈38发射rf脉冲并检测mr信号。在一个实施方案中，mri系统10可包括发射rf脉冲的发射器rf线圈和检测mr信号的单独的接收器线圈。rf系统30的传输通道可连接到rf传输线圈，并且接收器通道可连接到单独的rf接收器线圈。通常，传输通道连接到全身rf线圈38，并且每个接收器区段连接到单独的局部rf线圈。
26.在示例性实施方案中，rf系统30还包括一个或多个rf接收器通道。每个rf接收器通道包括rf放大器，该rf放大器放大由通道所连接到的rf线圈38接收的mr信号；和检测器，该检测器检测并数字化所接收的mr信号的i正交分量和q正交分量。然后，所接收的mr信号的量值可以被确定为i分量和q分量的平方和的平方根，如下面等式(1)所示：
[0027][0028]
并且所接收的mr信号的相位也可以如下面等式(2)所示来确定：
[0029][0030]
在示例性实施方案中，由rf系统30产生的数字化mr信号样本由数据采集服务器22接收。数据采集服务器22可以响应于从工作站12下载的指令而操作，以接收实时mr数据并提供缓冲存储器，使得没有数据因数据溢出而丢失。在一些扫描中，数据采集服务器22仅将所采集的mr数据传递到数据处理服务器24。然而，在需要来源于所采集的mr数据的信息来控制扫描的进一步执行的扫描中，数据采集服务器22被编程为产生所需的信息并将其传送到脉冲序列服务器20。例如，在预扫描期间，采集mr数据并将其用于校准由脉冲序列服务器20执行的脉冲序列。另外，导航器信号可在扫描期间被采集并且用于调整rf系统30或梯度系统28的操作参数，或者用于控制对k空间进行采样的视图顺序。
[0031]
在示例性实施方案中，数据处理服务器24从数据采集服务器22接收mr数据，并且根据从工作站12下载的指令对mr数据进行处理。此类处理可包括：例如，对原始k空间mr数据进行傅里叶变换以产生二维或三维图像，将滤波器应用于重建图像，对所采集的mr数据执行反投影图像重建，去除mr数据中的伪影，生成功能mr图像，以及计算运动或流动图像。
[0032]
在示例性实施方案中，由数据处理服务器24重建的图像被传送回工作站12并且存储在该工作站处。在一些实施方案中，实时图像存储在数据库存储器高速缓存(图1中未示出)中，实时图像可从该数据库存储器高速缓存输出到操作者显示器14或位于磁体组件34附近的显示器46，以供主治医生使用。批处理模式图像或所选择的实时图像可存储在磁盘
存储装置48或云端上的主机数据库中。当此类图像已被重建并且传输到存储装置时，数据处理服务器24通知数据存储服务器26。操作者可以使用工作站12来存档图像、产生胶片或经由网络将图像发送到其他设施。
[0033]
如早前所述，从数据采集服务器22采集的mr数据可包括由于受检者的病理状况(诸如人体内的金属植入物或骨折)引起的伪影。使用深度学习直接去除这些伪影会向常规方法提供优异的性能。
[0034]
图2a是在图1的mri系统10中使用的示例性伪影减少系统200的示意图。在示例性实施方案中，系统200包括计算设备202，该计算设备被配置为减少医学图像中的伪影。计算设备202包括dl网络模型204和训练图像数据库206。来自训练图像数据库206的训练图像是在采集主扫描之前历史性或实时性获得的基础真实图像，并且用于训练dl网络模型204。在一个实施方案中，与此一起呈现了训练dl网络模型204的技术。计算设备202然后可使用所训练的dl网络模型204来生成具有减少的伪影的医学图像。计算设备202可包括在mri系统10的工作站12中，或者可包括在与工作站12通信的单独的计算设备上。
[0035]
图2b是示例性方法250的流程图。方法250可在伪影减少系统200上实现。在示例性实施方案中，该方法包括使用多个训练图像训练252dl网络以预测dl网络的输入数据中的噪声。该多个训练图像包括多个激发图像，其在本文中也称为许多激发(nex)图像，是使用mr成像设备针对每行k空间训练数据采集的。如本领域技术人员将理解的，nex有助于提高mri系统10的信噪比(snr)，因为针对图像接收到的数据量增长，然后数据量平均化。例如，将每行k空间的nex加倍使snr提高2的平方根该多个训练图像可存储在同一患者的历史图像数据库中或不同患者的各种病理的历史图像数据库中，可在需要时从该历史图像数据库中采集这些图像。在一个实施方案中，训练dl网络包括向dl网络提供一对训练图像(一个作为输入nex图像，另一个作为从另一nex图像导出的输入图像中的噪声实现)，来确定该多个nex图像中该对nex图像之间的噪声。
[0036]
方法250进一步包括在步骤254利用mr成像设备生成受检者的图像数据。如本文所用，受检者是人(或患者)、动物或虚假动物。换句话说，在患者的医学扫描期间，可以在步骤254期间获得患者解剖的图像数据。此外，在步骤256，该方法包括将获得的受检者的图像数据作为输入提供给已经在步骤252中所训练的深度学习网络模型来确定图像数据中的噪声。在步骤258，生成受检者的去噪医学图像。该去噪医学图像基本含有减少的伪影，并且是基于在步骤256图像数据中的所确定的噪声生成的。在一个实施方案中，生成去噪医学图像包括从该受检者的图像数据中减去该图像数据的噪声。
[0037]
图3是示例k空间训练数据261的采样模式259的示意图。完整k空间261由最大kx或ky值(k
x，最大
和k
y，最大
)限定，该最大kx或ky值由最大频率编码梯度或相位编码梯度限定。一般而言，k空间261表示从mr信号直接获得的原始数据，其中k空间kx-ky值对应于mr图像的空间频率。如早前所述，在本技术的一个实施方案中，针对每行263k空间训练数据采集多个激发(nex)图像。在一个实施方案中，获得的k空间训练数据仅是部分k空间数据。换句话说，在一个实施方案中，不采集高空间频率数据263的一部分，而采集相当截断数据。截断可以在kx维度和/或ky维度中，并且可以在三维(3d)采集中的kz维度中。将完整k空间261截断成部分k空间。截断可以是对称的或不对称的，即k空间可以在两个维度上对称截断或在一个维度上不对称截断。
[0038]
图4是可用作200的实施方案中的dl网络模型204以减少由于患者医学状况引起的伪影的示例dl网络模型300的表示。示例dl网络模型300包括层320、340、360和380。层320和340使用神经连接330来连接。层340和360使用神经连接350来连接。层360和380使用神经连接370来连接。数据经由输入312、314、316从输入层320向前流到输出层380并到达输出390。输入312、314、316可以是源图像和目标图像，并且输出390可以是最终输出图像。例如，在一个实施方案中，输入312、314和316可以是该多个nex图像，并且针对k空间训练数据和输出390获得的目标噪声可以是由dl网络确定的噪声。
[0039]
层320是输入层，其在图3的示例中包括多个节点322、324、326。层340和360是隐藏层，并且在图3的示例中包括节点342、344、346、348、362、364、366、368。dl网络模型300可包括比所示的更多或更少的隐藏层340和360。层380是输出层，并且在图3的示例中包括具有输出390的节点382。每个输入312至316对应于输入层320的节点322-326，并且输入层320的每个节点322-326具有到隐藏层340的每个节点342-348的连接330。隐藏层340的每个节点342-348具有到隐藏层360的每个节点362-368的连接350。隐藏层360的每个节点362-368具有到输出层380的连接370。输出层380具有输出390以提供来自示例dl网络模型300的输出。
[0040]
在连接330、350和370中，某些示例连接332、352、372可被赋予增加的权重，而其他示例连接334、354、374可在dl网络模型300中被赋予较小的权重。例如，通过经由输入312-316接收输入数据来激活输入节点322-326。通过数据分别经由连接330和350向前流过网络模型300来激活隐藏层340和360的节点342-348和362-368。在经由连接370发送在隐藏层340和360中处理的数据之后，激活输出层380的节点382。当输出层380的输出节点382被激活时，节点382基于在dl网络模型300的隐藏层340和360中完成的处理来输出适当的值。
[0041]
图5是示出可用于训练图4的dl网络模型的多个训练图像的示意图500。如早前所述，该多个训练图像包括使用mr成像设备针对每行k空间训练数据采集的多个激发图像或nex图像。此外，该多个训练图像包括从nex图像实现的噪声，如下文将描述的那样。
[0042]
例如，nex图像中的每个nex图像均包括一些固有噪声，即，未在外部向其中添加噪声。假设存在总共n个nex图像-nex1 502、nex2 504、nex3 506，以此类推直至nexn 508，其中的每个nex图像分别包含固有噪声n1、n2、n3至nn。还假设图像nex1 502可以表示为(x n1)，其中x表示正在被扫描的受检者的清晰图像并且n1是图像nex1中的噪声。此外，nex2504可以表示为(x n2)，其中n2是图像nex2中的噪声。从nex1中减去nex2之后，我们得到：
[0043]
nex1-nex2＝(x n1)-(x n2)＝n1-n2
ꢀꢀ
(1)
[0044]
因此，方程式(1)给出来自nex图像的mri扫描的噪声实现或真实噪声系数的一个示例。可以针对每对nex图像重复上述过程。例如，在图5中，图像nex1具有(n-1)个可以与之配对的其他图像nex2至nexn。类似地，nex2、nex3和所有其他图像可以彼此配对，并且这些图像以及它们的噪声实现或噪声系数可以用作用于训练dl网络的训练图像。例如，nex1图像可以用作输入图像，并且噪声系数n1-n2可以用作用于训练dl网络的目标图像或目标噪声。因此，所训练的dl网络然后将会确定每个输入图像的噪声。
[0045]
如上所述，为了训练dl网络，可以提供nex图像作为输入图像，并且可以提供来自这些nex图像的噪声实现作为目标图像。然而，在一些实施方案中，不使用噪声作为目标图像，可以使用该对nex图像中的一个nex图像作为dl网络的目标图像，并且可以使用该对中
的另一nex图像作为dl网络的输入图像。由于噪声受到指示用于生成弥散加权图像(dwi)的梯度强度的b-值影响，所以在一个实施方案中，获得用于b＝0和b＝800(或其他值)的单独训练图像。例如：对于b＝800，采集12个nex图像，即图5中n＝12。因此，对于每个nex图像，有11个具有真实噪声实现的训练对。因此，每种情况存在11
×
11＝121个训练图像对(即(nex-1)
×
(nex-1))。因此，这种方法也有助于克服数据不足的挑战。应当注意，尽管以上描述适用于dwi mri，但是所呈现的技术同样也可以适用于任何其他类型的mri成像。例如，在后续段落中将讨论所呈现的技术适用于结构mri技术的结果。
[0046]
图6是用于预测噪声的dl网络系统600的示意图。该dl网络系统包括具有两个密集块602和604的dl网络601，该两个密集块被级联以预测噪声。如本领域技术人员将理解的，密集块是在卷积神经网络中使用的模块，该模块将所有层彼此直接连接。每个层从前面的所有层获得附加输入，并且将其自身的特征图谱传递到所有后续层。
[0047]
如早前所述，dl网络601的输入606是一对nex图像中的一个图像，例如nexi。此外，dl网络预测相加噪声608，然后通过添加块610将相加噪声添加到输入图像606中以生成输出图像612，该输出图像是与该对nex图像中的另一图像nexj的等效物。在另一实施方案中，dl网络本身可以预测输出图像nexj。在此类实施方案中，该对nex图像充当训练dl网络的输入图像和目标图像。
[0048]
在一个实施方案中，调整密集块602、604的参数值以减少dl网络601的输出(即，噪声608)与目标噪声之间的差异，该目标噪声是作为另一输入提供给dl网络601的或如方程式1中所解释的那样确定的。在一个实施方案中，将损失函数应用于该差异以调整密集块602、604的参数值。在另一实施方案中，损失函数可以是作为预测的目标图像之间的绝对差异总和的平均值来测量的平均绝对误差(mae)损失函数。在其他实施方案中，该损失函数可以包括其他损失函数，诸如均方误差损失函数、均值偏移误差损失函数、最小平方损失函数或最小绝对偏差损失函数。此外，在一个实施方案中，dl网络的滤波器大小设置为未定义，以使dl网络为大小不可知的网络。
[0049]
图7示出了根据本技术的实施方案的描绘由mri系统(例如，图1的系统10)生成的医学图像的示意图700。一般而言，图7示出了分别对应于单个nex图像数据和该多个nex图像数据的医学图像集合702、704。此外，在集合702中，上部图像706和708对应于等于零的b值，即b＝0且下部图像710和712对应于等于800的b值，即b＝800。左手侧(lhs)图像706和710对应于在没有dl网络去噪的情况下生成的图像，并且右手侧(rhs)图像708和712对应于在有dl网络去噪的情况下生成的图像。可以看出，与图像706和710相比，用dl网络去噪的图像708和712具有减少的伪影或噪声。
[0050]
而且，在集合704中，lhs图像714和718对应于在没有dl网络去噪的情况下生成的图像，并且rhs图像716、720对应于在有dl网络去噪的情况下生成的图像。上部图像714和716对应于等于零的b值并且下部图像718和720对应于等于800的b值。图像716是从用8个nex图像数据训练的dl网络生成的，即(n＝8)并且图像720是从用12个nex图像数据训练的dl网络生成的，即(n＝12)。可以看出，与图像714和718相比，图像716和720具有减少的伪影或噪声。还可以看出，与用单个nex图像数据训练的dl网络生成的图像708和712相比，用多个nex图像数据训练的dl网络生成的图像716和720具有更好的质量。
[0051]
图8示出了根据本技术的实施方案的描绘对象的弥散加权成像(dwi)的医学图像
的示意图800。一般而言，图8示出了单个nex体线圈图像802和图像804中的相应噪声。此外，图8示出了根据本技术生成的单个nex去噪体线圈图像806和图像808中的相应噪声。所有这些图像均针对等于800的b值。可以看出，与图像802相比，去噪图像806更清晰。在噪声图像808中也可以看到相同的效果，该噪声图像不具有像噪声图像804那样的任何结构，但只具有纯噪声。
[0052]
图9示出了根据本技术的实施方案的描绘比较去噪之前和去噪之后的体线圈图像的表观弥散系数(adc)图谱的示意图900。如本领域技术人员将理解的，adc表示来自dwi的组织中的水扩散率。一般而言，图9示出4张图形，图形902、图形904、图形906和图形908。在图形902至图形908中的每张图形中，水平轴910表示良好图像值，并且垂直轴912表示噪声图像值。图形902和图形904对应于一种类型的脑组织(例如，自质)，而图形906和图形908对应于另一类型的脑组织(例如灰质)。此外，图形902和图形906对应于去噪之前的体线圈图像，而图形904和图形908对应于去噪之后的体线圈图像。理想地，adc图谱应使其是线性的或是直线，即，噪声图像值912应随良好图像值910呈直接相关性增加。然而，如可以看出，去噪之前的体线圈图像(图形902和图形906)不遵循该趋势，因为它们含有更多噪声。去噪之前的体线圈图像(图形904和图形908)尽管不遵循理想趋势，但它们与图形902和图形906相比更窄，因为它们含有减少的噪声或伪影。
[0053]
应注意，图7至图9的结果对应于dwi mri技术。然而，本技术同样适用于任何其他mri技术，诸如结构mri。图10示出了根据本技术的实施方案的描绘对象的t2快速自旋回波(t2fse)mri的医学图像的示意图1000。一般而言，图10示出了单个nex体线圈图像1002和图像1004中的相应噪声。此外，图10示出了根据本技术生成的单个nex去噪体线圈图像1006和图像1008中的相应噪声。可以看出，与图像1002相比，去噪图像1006更清晰。在噪声图像1008中也可以看到相同的效果，该噪声图像不具有像噪声图像1004那样的任何结构，但只具有纯噪声。
[0054]
本技术的优点包括使用深度学习的特定mr噪声实现。这使得能够改善图像质量而不损害mr图像特征(无结构模糊和图像强度)。所提出的方法可以提供前沿优势使mr系统建议(如其中使用折衷的硬件规格来采集数据的gaussline mr系统)有价值。所提出的dl驱动技术可以帮助从此类系统传递高iq mr图像。
[0055]
该书面描述使用示例来公开本发明，包括最佳模式，并且还使本领域技术人员能够实践本发明，包括制造和使用任何设备或系统以及执行任何包含的方法。本发明的专利范围由权利要求书限定，并且可包括本领域技术人员想到的其他示例。如果此类其他示例具有与权利要求书的字面语言没有区别的结构元素，或者如果它们包括与权利要求书的字面语言具有微小差别的等效结构元素，则此类其他示例旨在落入权利要求书的范围内。