基于CAR2UNet网络的复数快速磁共振成像方法与流程

基于car2unet网络的复数快速磁共振成像方法
技术领域
1.本发明属于快速磁共振成像领域，涉及一种基于car2unet网络的复数快速磁共振成像方法。


背景技术：

2.磁共振成像(mri，magnetic resonance imaging)由于具有无辐射、软组织分辨率高和非入侵式检测等优点，被广泛应用到临床医学诊断中。但是mri技术还存在成像时间较长和容易产生运动伪影等缺点，使得该技术应用于实际临床医学诊断中的范围受限，所以如何加快磁共振成像成为mri领域的研究热点之一。
3.伴随着近几年计算机硬件整体性能的提升，尤其是gpu性能的提升，在mri研究领域内出现了基于卷积神经网络的方法来加快磁共振成像，该方法取得了较好的效果。目前基于卷积神经网络的快速磁共振成像方法主要有两种，一种是基于实数展开训练的，另一种是基于复数展开训练的。基于实数的方法虽然能得到较好的成像效果，但是重建得到的图像只保留了幅值信息。但是mri采集到的数据是复数数据，复数数据中所包含的相位信息具有如磁化率、血流量等信息。在实际的临床应用中，磁共振图像中的病变部位往往是需要被特别关注的，而注意力机制又可以突出重建图像的局部细节，即病变部位，因此研究基于注意力机制和复数卷积神经网络的快速磁共振成像具有实际的临床应用价值。
4.目前已申请的和注意力机制和基于复数卷积神经网络的快速磁共振成像相关的专利有：
5.基于轻量级的递归式非局部自注意力的图像分割方法(申请号：cn202011261240.9)，该方法能够有效进行人像分割，效果显著。基于层次化多头交互注意力的对话状态生成方法(申请号：cn202011341577.0)，提出将自我注意力机制应用于任务型对话技术领域。基于ar2u
‑
net神经网络的快速磁共振成像方法(申请号：cn201911077341.8)，提出了实数注意力递归残差网络的磁共振成像方法。一种基于深度学习的多通道磁共振图像重建方法(申请号：cn201910641089.2)提出构建多通道深度学习模型，采用残差连接的方式来训练模型的方法，该方法具有重建速度快和重建效果好的优点。基于复数r2u_net网络的快速磁共振成像方法(申请号：cn201911380988.8)，提出了一种基于复数递归残差的卷积神经网络模型。
6.国内外已发表的基于复数卷积神经网络的快速磁共振成像方面的文章有：
7.2018年，lee d等人提出的基于双框架u
‑
net网络对磁共振图像的幅值和相位分别进行训练的方法(lee d,yoo j,tak s,et al.deep residual learning for accelerated mri using magnitude and phase networks[j].ieee transactions on biomedical engineering,2018,65(9):1985
‑
1995.)；2018年，eo t等人提出kiki
‑
net卷积神经网络(eo t,jun y,kim t,et al.kiki
‑
net:cross
‑
domain convolutional neural networks for reconstructing undersampled magnetic resonance images[j].magnetic resonance in medicine,2018,80(5):2188
‑
2201.)，将磁共振数据的实部和虚部作为两通道数据进行
训练，但是网络只重建了幅值图像，丢失了相位信息。
[0008]
2018年，trabelsi c等人提出了复数卷积神经网络的数学理论基础(trabelsi c,bilaniuk o,zhang y,et al.deep complex networks[j].arxiv preprint arxiv:1705.09792,2017.)，并基于复数模块的计算将复数卷积神经网络应用于音频预测中，验证了复数卷积神经网络的可行性。2019年，choi h s等人提出基于深层复数u
‑
net的相位感知语音增强技术(choi h s,kim j h,huh j,et al.phase
‑
aware speech enhancement with deep complex u
‑
net[c].international conference on learning representations.2018.)，进一步推进了复数卷积神经网络在语音领域的应用。2018年，dedmari m a等人提出了利用密集性全卷积神经网络的复数磁共振成像方法(dedmari m a,conjeti s,estrada s,et al.complex fully convolutional neural networks for mr image reconstruction[c].international workshop on machine learning for medical image reconstruction,2018:30
‑
38.)，取得了重建效果较好的幅值和相位图像。2019年，wang s等人提出了基于复数残差网络的并行磁共振成像方法(wang s,cheng h,ying l,et al.deepcomplexmri:exploiting deep residual network for fast parallel mr imaging with complex convolution[j].magnetic resonance imaging,2020,68:136
‑
147.)，恢复重建了高质量的幅值图像。2020年，cole e等人研究了端到端的复数卷积神经网络，利用多组数据对不同宽度、不同深度的网络进行了训练和分析，并验证了各网络的有效性(cole e k,cheng j y,pauly j m,et al.complex
‑
valued convolutional neural networks for mri reconstruction[j].arxiv preprint arxiv:2004.01738,2020.)。
[0009]
以上发表的基于复数卷积神经网络和注意力机制方面相关的文章中，主要是基于深度级联网络和u型卷积神经网络来进行mri快速成像，或者将注意力机制应用于分割或实数磁共振成像领域，没有出现过将注意力机制与复数u型递归残差卷积神经网络融合在一起用于快速磁共振成像方面的文章或专利。


技术实现要素：

[0010]
本发明在基于复数递归残差卷积神经网络的基础上，加入了复数注意力机制模块，提出了基于car2unet卷积神经网络的快速磁共振成像方法。car2unet卷积神经网络的子模块主要包括复数卷积、复数批标准化、复数激活函数、复数递归残差模块和复数注意力机制模块。其中，复数递归残差模块可以解决深层网络的训练问题和控制模型参数的总量，复数注意力机制模块可以突出感兴趣区域，弱化局部不相关的信息。基于复数car2unet网络重建得到的图像不仅具有幅值信息和相位信息，而且由于引入了复数注意力机制模块，能够还原出更多的高频信息，增强图像的局部细节。
[0011]
基于car2unet网络的快速磁共振成像方法，具体包括以下步骤：
[0012]
步骤一、数据处理与划分
[0013]
s1.1、数据采集与预处理
[0014]
初始数据为全采样的k空间复数数据，用s
k
(k
x
，k
y
)表示，其中，k
x
表示k空间频率编码fe方向的位置，k
y
表示k空间相位编码pe方向的位置；选取pe方向为模拟欠采样方向，也就是在pe方向每隔n行取一行，对于k空间中心区域全采集，采集的行数约占总行数的4％，
在fe方向全采集；根据以上要求构造欠采样模板，公式如下：
[0015][0016]
其中，mask表示欠采样模板，对于需要采集的数据，mask的值设置为1，不需要采集的部分设置为0，且mask矩阵的大小要与全采样k空间复数数据矩阵的大小一致；
[0017]
接下来对全采样k空间复数数据进行模拟欠采样，方法就是将欠采样模板mask与k空间复数矩阵点乘，公式如下：
[0018]
s
u
(k
x
，k
y
)＝mask.*s
k
(k
x
，k
y
)
ꢀꢀ
[2]
[0019]
其中，s
u
(k
x
，k
y
)表示欠采样k空间数据；.*表示点乘；
[0020]
对于全采样和欠采样的k空间数据s
k
(k
x
，k
y
)和s
u
(k
x
，k
y
)，进行傅里叶反变换，转换到图像域，公式如下：
[0021]
i
ref
(x，y)＝idft(s
k
(k
x
，k
y
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
[3
‑
1]
[0022]
i
u
(x，y)＝idft(s
u
(k
x
，k
y
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
[3
‑
2]
[0023]
其中，i
ref
(x，y)为全采样参考图像，i
u
(x，y)为欠采样图像，也就是填零重建图，将对应的数据对保存成mat文件构成训练数据。
[0024]
s1.2数据集划分
[0025]
将复数数据的实部和虚部一一对应分开，再将数据集分为训练集、验证集和测试集，其中全采样数据作为欠采样数据的真实值标签。
[0026]
步骤二：car2unet网络模型的构建与训练优化
[0027]
s2.1、car2unet网络的构建
[0028]
car2unet卷积神经网络包括四个复数降采样层和四个复数升采样层，其中每层复数降采样包含一个复数递归残差模块和复数最大值池化模块；每层复数升采样层包含一个复数递归残差模块和复数上采样模块；在升采样中，每层的上采样输出和对应层的降采样递归残差的输出进行合并作为复数注意力机制模块ca的输入，然后复数注意力机制模块的输出和上采样的输出合并，再依次经过复数递归残差模块得到升采样层的输出；该网络中复数递归残差模块中，包含两个复数递归单元和一个残差单元；复数卷积公式如下：
[0029][0030]
h
n
*w
n
‑1＝(a*x
‑
b*y) i(a*x b*y)
ꢀꢀ
[4
‑
2]
[0031]
其中，*表示卷积；h
n
＝x iy为复数卷积的卷积核，其中h
n
为一个复数矩阵，i表示虚部，x和y为实数矩阵；卷积核的大小为s
×
k
×
k
×
m，s表示上一层特征图的数量，k表示卷积核的大小，m为当前层的卷积核数量；复数数据的输入为w
n
‑1＝a ib，其中a和b都为实数矩阵，w
n
为经过卷积后的第n层输出；当n＝1时w
n
‑1＝w0，即填零重建图i
u
(x，y)；复数批标准化公式如下：
[0032][0033][0034]
其中，是计算中间值；v是协方差矩阵，v
ri
＝v
ir
，初始化为0，v
rr
和v
ii
的值初始化为
[0035][0036][0037]
其中，移位参数β为复数，其实部和虚部记为r{β}和i{β}均初始化为0；γ为缩放参数矩阵，γ
rr
和γ
ii
初始为γ
ri
初始化为0；
[0038]
复数激活函数公式如下：
[0039][0040]
其中，z为批标准化的输出，θ
z
是z的相位；b为实数，是一个可学习的参数；m是复数激活函数的输出；
[0041]
复数递归残差模块的公式如下：
[0042]
w
1 n
＝modrelu(bn(h
n 1
*(w
n
‑1 w
n
) b
n 1
))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
[7
‑
1]
[0043]
w
t n
＝modrelu(bn(h
n t
*(w
n
‑1 w
n t
‑1) b
n t
))
ꢀꢀꢀꢀꢀꢀꢀ
[7
‑
2]
[0044][0045]
其中，w
t n
是递归单元的输出，t表示递归次数，h
n t
表示第t次递归时的复数卷积核，b
n t
表示第t次递归时的卷积的偏置；w
n
和w
n 1
分别是残差单元的输入和输出，f表示残差，ρ(w
n
)表示输入w
n
的恒等映射；
[0046]
注意力机制是受人类视觉的处理机制启发而衍生出来的一项技术，即人类可以快速扫描全局图像时获得自己感兴趣的局部区域，弱化了不相关背景区域的特征响应。注意力机制也可以说是一种资源分配技术，可以主动并自觉地着重关注某一对象。设f
u
。是复数升采样层的特征，f
down
是复数降采样层的特征，σ1和σ2是参数值不同的复数激活函数modrelu，ψ代表复数线性变换，则复数注意力机制模块先将复数降采样层f
down
和上一层复数升采样层f
up
的特征分别经过一个1
×
1的复数卷积操作后进行合并，再依次经过复数激活函数σ1、复数线性变换ψ、复数激活函数σ2以及复数重采样得到复数注意力机制系数，最后将编码层特征乘以复数注意力机制系数进行输出。复数重采样的目的是为了把输出特征图的大小转换为复数降采样层f
down
输入的大小。
[0047]
s2.2、car2unet网络的训练
[0048]
将复数均方误差函数作为网络反向传播的损失函数，通过损失函数计算输出层的损失值；公式如下：
[0049][0050]
其中，car2unet(i
u(ξ)
)为数据经过网络后的输出；t表示批数据的大小，ξ表示同批数据的第ξ个图像；r()代表取实部，i()代表取虚部；
[0051]
s2.3、car2unet网络的优化
[0052]
将epoch次数作为循环迭代的次数，当epoch次数未达到设定值时执行优化算法，
当epoch次数达到设定值时，停止迭代，得到最终的网络参数θ；
[0053]
步骤三、基于car2unet网络的图像重建
[0054]
将训练好的car2unet网络参数θ对欠采样测试数据i
test_u
(x，y)进行重建，重建结果用i
out
(x，y)表示：
[0055]
i
out
(x，y)＝car2unet(i
test_u
(x，y)，θ)
ꢀꢀ
[9]
[0056]
把i
out
(x，y)经过傅里叶变换转换为k空间数据，用s
r
(k
x
，k
y
)表示，同样再把测试数据i
test_u
(x，y)转换为k空间数据，用s
u
(k
x
，k
y
)表示，把s
u
(k
x
，k
y
)中实际采集到的数据替换s
r
(k
x
，k
y
)中对应位置的数据，再通过傅里叶反变换转换到图像域，用i
rec
(x，y)表示：
[0057]
i
rec
(x，y)＝idft(s
u
(k
x
，k
y
) s
r
(k
x
，k
y
).*(1
‑
mask))
ꢀꢀ
[10]。
[0058]
通过本发明的方法，即通过car2unet卷积神经网络来进行快速磁共振成像的方法得到的重建图像，不仅保存了幅值信息，也保存了相位信息，并且由于复数注意力机制模块的作用，图像的区域细节也变得更加明显。本发明具有以下的特点：
[0059]
1)复数卷积神经网络不仅可以重建幅值图像，也可以重建相位信息。
[0060]
2)复数注意力机制模块的引入，可以在训练过程中加强图像中我们所感兴趣的部分的特征，减少不相关特征的提取，从而在重建图像的过程中恢复出更多感兴趣的高频细节，方便在临床应用时的诊断。
[0061]
3)复数递归残差的引入可以在使网络训练变得更加容易，控制模型参数数量。
[0062]
4)采用adam算法可以为不同的参数设置独立的自适应学习率，有利于模型得到更好的优化参数。
附图说明
[0063]
图1是欠采样方式；
[0064]
图2是复数注意力机制的结构图；
[0065]
图3是本发明的网络结构图；
[0066]
图4是复数图像重建实例的幅值对比图和误差图；
[0067]
图5是复数图像重建实例的幅值局部放大图；
[0068]
图6是复数图像重建实例的相位对比图和误差图；
具体实施方式
[0069]
以下结合附图对本发明作进一步的解释说明；
[0070]
基于car2unet网络的快速磁共振成像方法，实验环境为intel 17
‑
1070016g内存，tesla k80 11g显存，windows10，python3.7.1，pytorch1.7.0 cu110。具体包括以下步骤：
[0071]
步骤一、数据处理与划分
[0072]
本实例实验中采用人体膝盖复数磁共振图像(该数据来源于http：//old.mridata.org)，包括20个采集样本，每个采集样本的大小为320
×
320
×
256
×
8。取256
×
320的二维横切面，选择2000张单通道复数全采样图像。原始的全采样k空间数据为s
k
(k
x
，k
y
)，经过离散傅里叶反变换得到全采样图像i
ref
(x，y)。
[0073]
欠采样k空间图像由s
k
(k
x
，k
y
)经过模拟规则欠采样得到，规则欠采样模板如图1(b)所示，规则欠采样模板用mask表示。采样率选择27％，通过将s
k
(k
x
，k
y
)与mask点乘的方
式得到欠采样k空间数据s
u
(k
x
，k
y
)，对s
u
(k
x
，k
y
)进行离散傅里叶反变换，得到欠采样图像i
u
(x，y)，然后将全采样图像和欠采样图像一一对应组成数据集，全采样图像作为欠采样图像的真实值标签。
[0074]
将数据集的数据处理分成3部分，其中，1760对图像用来训练网络，120对图像作为训练中的验证数据，120对作为测试数据。
[0075]
步骤二、car2unet网络的构建与训练优化
[0076]
s2.1、car2unet网络构建
[0077]
复数注意力机制模块如图2所示，f
up
是复数升采样层的特征，f
down
是复数降采样层的特征，σ1和σ2是参数值不同的复数激活函数modrelu，ψ代表复数线性变换。复数注意力机制模块先将复数降采样层和上一层复数升采样层的特征分别经过一个1
×
1的复数卷积操作后进行合并，再依次经过复数激活函数σ1、复数线性变换ψ、复数激活函数σ2以及复数重采样得到注意力机制系数，最后将编码层特征乘以注意力机制系数进行输出。复数重采样的目的是为了把输出特征图的大小转换为复数降采样层f
down
输入的大小。
[0078]
如图3所示，复数递归残差u型卷积神经网络包括四个降采样层和四个升采样层，其中每层降采样包含一个复数递归残差模块和复数池化模块。每个升采样层包含一个复数递归残差模块和复数上采样模块，在升采样中，每个上采样的输出和相对应的上一层的降采样递归残差单元的输出进行合并，再依次经过复数递归残差模块得到升采样层的输出。该网络的复数递归残差模块中，包含两个复数递归单元和一个残差单元。
[0079]
car2unet网络的卷积操作中的卷积核大小设为3
×
3，步长设为1，卷积计算的填充参数设为1。复数池化窗口大小设为2
×
2，步长为2。在网络的最后一层的输出卷积中，卷积核大小设为1
×
1，步长设为1，填充参数为0。
[0080]
s2.2、car2unet网络训练、优化
[0081]
利用误差的反向传播机制和优化器更新car2unet网络参数。选取复数均方误差函数作为反向传播的损失函数。利用adam算法对网络参数进行优化；达到设定的训练次数时结束，得到参数优化后的car2unet卷积神经网络。设置epoch的值为50，即总共训练50次。
[0082]
步骤三、基于car2unet网络的图像重建
[0083]
在car2unet网络模型中导入步骤二优化后的网络模型参数θ，再输入测试集中欠采样数据i
test_u
(x，y)，得到预测数据i
out
(x，y)；然后利用数据一致性来进一步提高图像的重建质量。数据一致性操作在k空间中进行，利用真实采集到的数据替换k空间重建数据中对应位置上的数据，再利用离散傅里叶逆变换得到最终的重建图像i
rec
(x，y)。
[0084]
本发明可以通过总相对误差(total relative error，tre)和结构相似性(structural similarity，ssim)准则对复数重建图像进行定量的分析，分别如式12和式13所示。tre的值越小，代表重建的磁共振图像质量越高，而ssim的值越大，则代表重建的图像与参考图更相似，即重建质量越高。
[0085][0086]
其中，i
rec
(x，y)是复数欠采样磁共振数据的幅值重建图，i
ref
(x，y)是复数全采样磁共振数据的幅值参考图。
[0087][0088]
c1＝(k1l)2ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
[13
‑
2]
[0089]
c2＝(k2l)2ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
[13
‑
3]
[0090]
其中，a，b分别代表两张复数磁共振幅值图像，设μ
a
代表a的平均值，μ
b
代表b的平均值，σ
a
代表a的方差，σ
b
代表b的方差，σ
ab
代表a和b的协方差，l代表mr图像的像素值变化区间(可设为0
‑
255)，k1＝0.01，k2＝0.03，c1和c2是常数。
[0091]
如图4所示，是复数膝盖数据重建幅值图和幅值误差图，(a)是全采样幅值参考图，(b)是规则欠采样填零重建幅值图，图中有显著的重叠伪影，(c)是规则欠采样cunet重建幅值图，(d)代表规则欠采样car2unet重建幅值图，(e)是欠采样率为27％的规则欠采样模板，(f)是填零重建幅值的误差图，(g)是cunet重建幅值误差图，(h)是car2unet重建幅值的误差图。从图4可见，cunet和car2unet均可抑制填零重建幅值图中的重叠伪影，相比cunet重建，car2unet重建幅值的误差更小。其中填零重建ssim值为0.82，tre值为3.5
×
10
‑3；cunet的ssim值为：0.90，tre值为：1.6
×
10
‑3；car2unet的ssim值为：0.89，tre值为：1.6
×
10
‑3。car2unet的tre和cunet方法相当，但是car2unet的ssim值高于cunet方法的ssim值，即car2unet的重建质量相对更高。
[0092]
如图5所示，是将cunet卷积神经网络和car2unet卷积神经网络重建的膝盖幅值图像局部放大的细节图，其中图(a)是测试数据的全采样幅值参考图，(b)是cunet卷积神经网络重建的幅值图，(c)是cunet卷积神经网络重建的幅值图，(d)是测试数据的全采样幅值参考图的局部放大图，(e)是cunet卷积神经网络重建的幅值图的局部放大图，(f)是car2unet卷积神经网络重建的幅值图的局部放大图。如图中红色箭头所示，car2unet重建图像更接近参考图像。
[0093]
如图6所示，是复数膝盖数据重建相位图和相位误差图，(a)是全采样相位参考图，(b)是规则欠采样填零重建相位图，(c)是规则欠采样cunet重建相位图，图中有显著的重叠伪影，(d)代表规则欠采样car2unet重建相位图，(e)是欠采样率为27％的规则欠采样模板，(f)是填零重建相位的误差图，(g)是cunet重建相位误差图，(h)是car2unet重建相位的误差图。从图6可见，cunet和car2unet均可抑制填零重建相位图中的重叠伪影。
[0094]
120对测试图像的填零重建图的tre误差均值为2.3
×
10
‑3，ssim均值为0.82。cunet网络重建图的tre误差均值为1.2
×
10
‑3，ssim均值为0.88，car2unet网络重建图的tre误差均值为1.0
×
10
‑3，ssim均值为0.90。从均值比较可以看出car2unet的tre均值误差小于cunet方法，car2unet的ssim均值略高于cunet方法，即car2unet的重建质量总体更高。
[0095]
填零重建图的重建时间为0.9s；cunet网络训练50轮(50个epochs)大概需要12小时，重建一张复数磁共振图像需要0.3s；car2unet网络训练50轮大概需要25小时，重建一张复数磁共振图像需要0.6s。离线训练时间虽然较长，但重建速度较快。
[0096]
本文提出基于car2unet网络的快速磁共振成像方法，复数注意力机制模块通过关注图像的感兴趣区域来增加网络模型的重建精度。复数递归模块可以在增加卷积神经网络深度的同时控制模型参数数量，残差连接使得信息前后向传播更加顺畅。car2unet卷积神经网络能够使得感兴趣区域的细节更为清晰，重建出高质量的磁共振复数图像，重建速度也保持在秒级别，可达到实际应用的需求。