一种基于多个扫描仪数据的MRI重建网络的训练方法

一种基于多个扫描仪数据的mri重建网络的训练方法
技术领域
1.本发明涉及医学图像处理领域，尤其是磁共振成像的医学图像技术领域，主要用于实现对医学磁共振成像的加速重建。


背景技术：

2.磁共振成像(magnetic resonance imaging，mri)是目前临床医学影像中最重要的非侵入式检查方法之一，是继ct之后影像行业的又一大进步，成像质量优于b超和ct，但不会像ct等成像方式那样产生电离辐射；具有温度敏感性、多方位、多参数、多模态、多面成像能力等优点，已经广泛地应用于血管造影、神经病学、心脏病学检查等多种临床应用。如今，mri在临床上有广泛的应用，每年全世界至少有6000万病例利用mri技术进行检查。
3.然而，成像速度过慢和介电伪影较高仍然是横亘在mri领域多年的两大困扰。这会导致如下三个方面的问题：(1)会造成较高的检查费用；(2)会极大影响患者的舒适度和依从性，从而导致由于患者的不自主运动而引发磁共振图像的局部伪影；(3)难以应用于诊断时间要求较高的疾病筛查，例如中风。自1970年代mri出现以来，提高成像速度一直是一项主要的持续研究目标，也是近年来的研究热点之一。
4.最近的研究表明，利用压缩传感技术和深度神经网络的图像重建技术可以以高于香农-奈奎斯特采样比率的加速比对高倍欠采样的磁共振图像实现快速、准确的重建。众所周知，深度神经网络的训练通常需要大规模的训练数据，训练数据过少可能会导致网络的过拟合。然而，现实中mri的训练数据往往是严重不足的，这是因为mri数据的采集费用通常比较昂贵：需要较长的采集时间、mri扫描仪本身的成本就比较高、需要较高的人工费用。因此，为了获得大规模的训练数据，往往需要使用来自于多台mri扫描仪采集的数据进行深度网络的训练。
5.然而，在使用多台扫描仪进行网络训练时会产生两个问题：(1)扫描仪之间的分辨率差异问题：由不同厂商的不同扫描仪采集的磁共振图像的分辨率往往是不同的，很难将这些数据组织在一起对深度网络进行分批次训练；(2)实验表明，对于给定的目标扫描仪，并非是采用来自于更多的辅助扫描仪的数据对网络进行训练就能获得更好的重建性能，例如，对于3t的目标扫描仪，如果同时混合了多个1.5t的辅助扫描仪数据对深度网络进行训练，往往不如只用来自于目标扫描仪的训练数据。本发明针对这两个问题，给出了解决方案，提出了基于多个扫描仪数据的mri重建网络的有效训练方法。


技术实现要素：

6.为了对目标扫描仪的欠采样mri图像获得尽可能好的重建效果，需要充分利用尽可能丰富的mri数据对深度网络模型进行训练，本发明充分利用不同扫描仪采集的数据训练网络模型。由于不同扫描仪的分辨率一般是不同的(对应的k空间数据的大小也不相同)，因此很难将多个扫描仪的数据混合在一起进行分批次训练。本发明提出在一个训练批次中，按照各扫描仪分辨率的大小，依次使用不同扫描仪的数据对深度网络模型进行训练。
7.本发明提供的具体技术方案如下：
8.一种基于多个扫描仪数据的mri重建网络的训练方法，包括以下步骤：
9.步骤1记目标扫描仪为第0号扫描仪，选取目标扫描仪所采集的l0个人的k空间mri数据构成集合其中，其中，表示复数域。
10.步骤2选取d个辅助扫描仪所采集的k空间mri数据构成集合y＝{y1,y2,
…
,yd}，其中，中，且md和nd须满足：md＞m
d-1
＞m0或nd＞n
d-1
＞n0。
11.步骤3构建用于在目标扫描仪上实施mri重建的深度神经网络模型f
cnn
(
·
；θ)，其中，θ为f
cnn
的参数集。
12.步骤4由上述d 1扫描仪所采集到的k空间mri数据构建训练f
cnn
的训练集。对于通过如下方式构建第d个扫描仪的训练集：
[0013][0014]
其中，这里，f-1
表示二维逆傅里叶变换，表示对mri的k空间数据进行u倍欠采样的掩码矩阵，表示对进行u倍欠采样后的k空间数据。
[0015]
步骤5将目标扫描仪的训练集x0进一步分割为训练子集和验证子集且令
[0016]
步骤6基于上述d 1个扫描仪数据：x0,x1,x2,
…
,xd，训练f
cnn
(
·
；θ)，得到θ的最优参数集θ
*
。
[0017]
进一步，所述步骤6的具体步骤如下：
[0018]
步骤6.1随机初始化f
cnn
(
·
；θ)的参数集θ为θ
(0)
；
[0019]
步骤6.2令迭代轮数e＝1，迭代次数t＝1；
[0020]
步骤6.3对于各扫描仪d∈{0,1,2,
…
,d}，将训练集xd随机分割为b个子集：
[0021]
xd＝x
d；1
∪x
d；2
…
∪x
d；b
；
[0022]
步骤6.4令迭代批次b＝1，选取第d＝d号扫描仪；
[0023]
步骤6.5对于所有的由f
cnn
(
·
；θ
(t-1)
)估计的重构图像：并构建重构图像及其全采样图像的集合：
[0024][0025]
步骤6.6通过优化算法，求解如下目标式
[0026][0027]
其中，为损失函数；
[0028]
步骤6.7在验证集上评估深度神经网络f
cnn
(
·
；θ
(t)
)的重构性能：
[0029][0030]
其中，为mri图像的质量评估函数；
[0031]
步骤6.8令d＝d-1，t＝t 1，迭代执行上述步骤6.5～步骤6.7，直至d＝0；
[0032]
步骤6.9令b＝b 1，迭代执行上述步骤6.5～步骤6.8，直至b＝b；
[0033]
步骤6.10令e＝e 1，迭代执行上述步骤6.3～步骤6.9，直至e＝e，这里e为预设的最大训练轮数；
[0034]
步骤6.11选取当前深度神经网络f
cnn
(
·
；θ)的最优参数集其中，
[0035]
本发明的有益效果为：能够有效地将来自于不同厂商的分辨率不同的mri数据组织起来训练网络，并能够有效地针对目标扫描仪进行训练。相对于仅使用单一的扫描仪数据或乱序的多扫描仪数据，本发明所提供的方法达到了更好的重构效果，具有很强的实用性。
附图说明
[0036]
图1是本发明提出的基于多个扫描仪数据的mri重构网络的训练流程图。
[0037]
图2是对本发明所提出的基于多个扫描仪数据训练mri重构网络的主要训练过程的图示说明，其中，在网络两端，从上至下依次为来自于第1号、第0号和第2号扫描仪的欠采样数据，虚线箭头表示网络输入或输出的是来自于辅助扫描仪的mri数据；训练过程中，按照分辨率从高到低的顺序，依次使用来自于第2号、第1号和第0号扫描仪的数据对网络进行训练。
[0038]
图3给出了本发明所使用的目标扫描仪和两个辅助扫描仪所采集的k空间mri数据的可视化展示，其中，第一行展示了目标扫描仪(第0号扫描仪)siemens aera 1.5t的k空间mri数据，其分辨率为224
×
128；第二行展示了第1号辅助扫描仪philips ingenia 3t的k空间mri数据，其分辨率为336
×
261；第三行展示了第2号辅助扫描仪siemens verio 3t的k空间mri数据，其分辨率为512
×
288。
[0039]
图4给出了本发明所使用的目标扫描仪和两个辅助扫描仪所生成的mri图像的展示，从第一行至第三行依次为：第0号目标扫描仪siemens aera 1.5t的mri图像，第1号辅助扫描仪philips ingenia 3t的mri图像，第2号辅助扫描仪siemens verio 3t的mri图像。
[0040]
图5是本发明所使用的深度级联网络的网络结构图，其中，conv
i,j
表示第i个子网的第j个卷积层，dc表示数据一致性算子，yu为输入的k空间中的u倍欠采样的mri图像，
⊕
表示加和算子。
[0041]
图6(a)是中心欠掩码矩阵的示例，图6(b)是高斯掩码矩阵的示例。
[0042]
图7是采用中心掩码矩阵对图3中的全采样k空间数据进行欠采样后所生成的mri图像。
[0043]
图8是人工插值的磁共振图像的示例，其中，子图(a)为目标扫描仪所采集的图像，分辨率为224
×
128；子图(b)为对目标扫描仪所采集的图像使用双线性插值法在x轴方向
(即：水平方向)上进行1.5倍插值后得到的图像，分辨率为224
×
192，子图(c)为对目标扫描仪所采集的图像使用双线性插值法在y轴方向(即：竖直方向)上进行1.5倍纵向插值后得到的图像，分辨率为336
×
128，(d)为对目标扫描仪所采集的图像使用双线性插值法同时在x轴和y轴两个方向进行1.5倍值后得到的图像，分辨率为336
×
192。
[0044]
图8比较了基于不同的扫描仪数据训练得到的深度级联网络对第0号扫描仪的8倍欠采样mri数据的重构效果。为便于比较，从每张重构图像中选取了2个感兴趣区域进行了放大展示，放置在对应重构图像的下方。从左边第一列至右边最后一列所采用的训练数据依次来自于扫描仪：{0}、{0,1}、{0,2}、{0,1,2}；这里，表示未使用来自于任何扫描仪的训练数据，直接采用“零填充”方法(即：直接用0来填充欠采样k空间中的缺失数据)得到的重构图像；{i1,i2,
…
}表示第i1号、第i2号等扫描仪的集合，并且对目标扫描仪进行了加重显示，这里，第i1号扫描仪为目标扫描仪。
[0045]
图9比较了基于不同的扫描仪数据训练得到的深度级联网络对第2号扫描仪的12倍欠采样mri数据的重构效果。第一行从左至右所采用的训练数据依次来自于扫描仪：{2}、{2,0}、{2,1}、{0,1,2}，第二行从左至右所采用的训练数据依次来自于扫描仪：{2}、{2,2-x}、{2,2-y}、{2,2-x,2-y,2-xy}。
具体实施方式
[0046]
下面结合附图对本发明作进一步描述。
[0047]
参照图1～图9，一种基于多个扫描仪数据的mri重建网络的训练方法，其训练流程如图1所示，图2给出了主要训练步骤的可视化展示，具体包括以下步骤：
[0048]
步骤1记目标扫描仪为第0号扫描仪，选取目标扫描仪所采集的l0个人的k空间mri数据，构成集合其中，其中，表示复数域。
[0049]
步骤2选取d个辅助扫描仪所采集的k空间mri数据构成集合y＝{y1,y2,
…
,yd}，其中，中，且md和nd须满足：md＞m
d-1
＞m0或nd＞n
d-1
＞n0。图3以siemens aera 1.5t为目标扫描仪，以philips ingenia 3t和siemens verio 3t为辅助扫描仪，给出了所采集的k空间mri数据的可视化展示；图4给出了相应的mri图像的展示。
[0050]
步骤3构建用于在目标扫描仪上实施mri重建的深度神经网络模型f
cnn
(
·
；θ)，其中，θ为f
cnn
的参数集，f
cnn
(
·
；θ)可以是任意的可用于图像重建的神经网络，常用的网络有u型网络(unet)、深度级联网络，图5以深度级联网络为例给出了f
cnn
的一个范例。
[0051]
步骤4由上述d 1扫描仪所采集到的mri数据构建训练f
cnn
的训练集。对于通过如下方式构建第d个扫描仪的训练集：
[0052][0053]
其中，这里，f-1
表示二维逆傅里叶变换，表示对mri的k空间数据进行u倍欠采样的掩码矩阵，表示对进行u倍欠采样后的k空间数据。掩码矩阵可以使用中心掩码矩阵或高斯掩码矩阵，图6(a)给出了中心掩码矩阵的示例，图6(b)给出了高斯欠掩码矩阵的示例；图7给出了采用中心掩
码矩阵对图3中的全采样k空间数据进行欠采样后所生成的mri图像。
[0054]
步骤5将目标扫描仪的训练集x0进一步分割为训练子集和验证子集且令
[0055]
步骤6基于上述d 1个扫描仪的训练数据：x0,x1,x2,
…
,xd训练f
cnn
(
·
；θ)，得到θ的最优参数集θ
*
。
[0056]
进一步，所述步骤6的过程如下：
[0057]
步骤6.1随机初始化f
cnn
(
·
；θ)的参数集θ为θ
(0)
，初始化方法可从均值为0，方差为1的高斯分布中采样，作为初始权值，并令偏置项初始值为0；
[0058]
步骤6.2令迭代轮数e＝1，迭代次数t＝1；
[0059]
步骤6.3对于各扫描仪d∈{0,1,2,
…
,d}，将训练集xd随机分割为b个子集：
[0060]
xd＝x
d；1
∪x
d；2
…
∪x
d；b
；
[0061]
步骤6.4令迭代批次b＝1，选取第d＝d号扫描仪；
[0062]
步骤6.5对于所有的由f
cnn
(
·
；θ
(t-1)
)估计的重构图像：并构建重构图像及其全采样图像的集合：
[0063][0064]
步骤6.6通过优化算法，求解如下目标式
[0065][0066]
其中，为损失函数。常用的优化算法有随机梯度下降法和adam算法；可以采用范数、范数或charbonnier惩罚函数，其中，charbonnier惩罚函数定义为：其中x1、x2分别为重构图像和原始图像，∈为一个常量，可设∈＝0.001；
[0067]
步骤6.7在验证集上评估深度神经网络f
cnn
(
·
；θ
(t)
)的重构性能：
[0068][0069]
其中，为mri图像的质量评估函数，可以采用峰值信噪比(psnr)或结构化相似度(ssim)作为质量评估函数；
[0070]
步骤6.8令d＝d-1，t＝t 1，迭代执行上述步骤6.3～步骤6.7，直至d＝0；
[0071]
步骤6.9令b＝b 1，迭代执行上述步骤6.5～步骤6.8，直至b＝b；
[0072]
步骤6.10令e＝e 1，迭代执行上述步骤6.3～步骤6.9，直至e＝e，这里e为预设的最大训练轮数；
[0073]
步骤6.11选取当前深度神经网络f
cnn
(
·
；θ)的最优参数集其中，
[0074]
下面通过实验来验证本发明所提出的结合多个扫描仪数据的深度神经网络训练方法的有益效果。
[0075]
选取siemens aera 1.5t(第0号扫描仪)作为目标扫描仪，其分辨率为224
×
128；选取philips ingenia 3t和siemens verio 3t作为第1号和第2号辅助扫描仪，其分辨率分别为336
×
261、512
×
288。分别对17名受试者进行扫描：每个辅助扫描仪对5名受试者进行扫描，目标扫描仪对7名受试者进行扫描，获得对应的t2加权磁共振图像，每个模态在轴向方向上包含260个切片。图3展示了这三个扫描仪所采集到的k空间数据，图4展示了相应的mri图像。按照发明步骤4中所述的方法构建训练集和验证集，具体的，从每个扫描仪所采集的数据中选取5名受试者的mri图像作为训练集，选取剩下的两名受试者的mri图像(均来自于目标扫描仪)分别作为验证集和测试集。选取深度级联网络，其网络结构如图5所示，作为f
cnn
，对目标扫描仪的欠采样mri图像进行重建。
[0076]
目标函数的优化使用adam算法，动量大小设置为0.9，批次大小设置为5，初始学习率设置为0.001，并且每迭代40轮(epoch)后学习率下降10倍，进行70轮迭代。为了定量评价网络的重建性能，使用峰值信噪比(psnr)和结构相似度(ssim)对重构的磁共振图像进行质量评估。
[0077]
表1报告了当下采样倍数u＝8时使用来自于不同扫描仪的训练数据进行辅助训练，深度级联网络在测试集上所达到的重构性能。相应的，图8从视觉上对比了各mri重构图像的重构效果。在表1中，表示未使用来自于任何扫描仪的训练数据，直接采用“零填充”方法(即：直接用0来填充欠采样k空间中的缺失数据)得到的重构图像；{i1,i2,
…
}表示第i1号、第i2号等扫描仪的集合，并且对目标扫描仪进行了加重显示，这里，第i1号扫描仪为目标扫描仪。从表1和图8第一行的可视化展示可以看出，随着辅助扫描仪的增多，网络的重构性能和重构质量都在逐渐增强。
[0078][0079]
表1
[0080][0081]
表2
[0082]
进一步，为了验证数据增广不一定能带来良好的重构性能，表2和图9第一行以分辨率最高的第2号扫描仪为目标扫描仪，以第0号和第1号扫描仪为辅助扫描仪，对目标扫描仪的mri数据进行了u＝12倍下采样，验证使用不同扫描仪的训练数据对神经网络的重构性能的影响。可以看出，在此情形下，由于辅助扫描仪与目标扫描仪之间的分辨关系违背了发明步骤4中的约束条件，数据增广不但不能带来更好的重构性能，反而使网络的重构性能变得更差了。
[0083]
当目标扫描仪的分辨率本身较高时，难以从已有的扫描仪获取分辨率更高的训练数据，为了有效提升神经网络的重建效果，可以采用手工增广数据集的方法。由本发明的步骤4可知，手工增广的数据集中的每个mri图像至少要在水平方向(x-轴)或垂直方向(y-轴)上的分辨率高于目标扫描仪。因此，可以做如下增广：在水平方向(x-轴)上插值增广数据集、在垂直方向(y-轴)上插值增广数据集、在水平(x-轴)和垂直(y-轴)方向上同时插值增广数据集。当目标扫描仪为第2号扫描仪时，本发明采用双线性插值法模拟mri扫描仪，分别沿着x-轴方向、y-轴方向、(x,y)-轴方向对第2号扫描仪的mri数据进行插值，得到增广的数据集，并将生成这些增广数据子集的插值方法分别记为第2-x号、第2-y号、第2-xy号扫描仪。对于u＝12，表3和图9第二行分别进行了量化结果和可视化结果对比，可以看出，采用本发明所提出的数据增广方法也能够有效提升高分辨mri扫描仪的欠采样数据的重构效果。
[0084][0085]
表3
[0086]
本说明书的实施例所述的内容仅仅是对发明构思的实现形式的列举，仅作说明用途。本发明的保护范围不应当被视为仅限于本实施例所陈述的具体形式，本发明的保护范围也及于本领域的普通技术人员根据本发明构思所能想到的等同技术手段。