一种基于Transformer的乳腺癌磁共振成像病灶分割方法

一种基于transformer的乳腺癌磁共振成像病灶分割方法
技术领域
1.本发明涉及智慧医疗和深度学习技术领域，尤其涉及一种基于transformer的乳腺癌磁共振成像病灶分割方法。


背景技术：

2.目前，乳腺癌已经成为威胁女性健康的首要原因，据2020年国际癌症研究机构(iarc)调查的最新数据显示，乳腺癌新增人数达226万，肺癌为220万，乳腺癌正式取代肺癌，成为全球第一大癌症。各种影像学检查可有效地评估和诊断病情。在实践中，乳腺癌动态增强序列(dce-mri)拥有最佳的诊断效能，尤其在在发现微小病灶、多中心、多病灶及评价病变范围方面具有独特优势。随着深度学习的兴起和不断发展，研究者们希望能够通过ai来自动对医学图像分割以辅助医生就诊。相比于传统的机器学习方法，卷积网络在提取深度特征上更具优势：卷积运算的权重共享带来了特征的平移不变性，卷积算子的性质带了良好的局部敏感性。
3.目前，卷积神经网络(cnns)已经成为医学图像分割任务的标准方法。unet模型使得全卷积网络和编码器—解码器结构成为新的范式。然而，卷积运算的优点也带来了感受野受限和空间归纳偏差的固有缺陷，它无法捕捉全局上下文的关系。transformer内部独特的自注意力机制可以根据输入内容动态调整感受野的范围，相比于卷积操作它在长距离依赖建模上更具优势。然而最近提出的基于transformer的医学图像分割方法只是简单地将transformer视为辅助模块而没有将自注意力机制和卷积有效地结合起来。


技术实现要素：

4.本发明的目的是针对上述问题，提出一种基于transformer的乳腺癌磁共振成像病灶分割方法。
5.为了实现上述目的，本发明采用了如下技术方案：
6.一种基于transformer的乳腺癌磁共振成像病灶分割方法，构建transbc，所述transbc为基于transformer结合3d卷积的mri病灶分割模型，并且所述transbc的网络为编码器—解码器结构；所述编码器—解码器结构分为下采样阶段和上采样阶段，
7.其中所述下采样阶段为cnn编码器，用于提取不同层次的特征表示；
8.所述上采样阶段为transformer编码器，用于多次提取高分辨率特征图的长距离依赖关系补充并修正低分辨率cnn特征。
9.优选的，其包含以下步骤：
10.s1：采集动态增强乳腺癌(dce-mri)数据，并对数据进行预处理；
11.s2：构建transbc网络；
12.s3：构建transbc网络的编码器，所述transbc网络的编码器包括瓶颈模块和下采样模块；
13.s4：构建transbc网络的解码器，所述transbc网络的解码器包括transformer模
块、特征融合模块和上采样模块；
14.s5：利用s1得到的训练集和测试集来训练和测试transbc网络。
15.优选的，所述s1中的所述预处理包含以下步骤：所述预处理的步骤为，采集医院提供的病人乳腺癌mri数据，对mri图像进行重采样处理，确保其空间距离为1mm*1mm*1mm，然后对mri图像进行了裁剪操作，裁剪后的图像尺寸统一为(64，64，64)，所述s1中数据预处理完成后，将采集到的数据分为训练集和测试集。
16.优选的，所述s3包含以下步骤：
17.3-1：采用cnn编码器f
cnn
(
·
)；
18.3-1-1：构建瓶颈块，所述瓶颈块沿用resnet中的经典残差结构设计；
19.3-1-2：构建下采样块，所述下采样块由3d卷积层构成；
20.3-1-3：设置编码器f
cnn
(
·
)中卷积操作的激活函数为relu函数，relu函数定义为：out(in)＝max(0,in)；设置卷积核大小为2*2*2，步长为2。
21.3-2：输入图片经过f
cnn
(
·
)运算后的特征图公式为：
[0022][0023]
优选的，所述s4包含以下步骤：
[0024]
4-1：构建transformer模块；
[0025]
4-2：参考cbam设计了特征融合模块；
[0026]
4-3:构建上采样模块，使用级联上采样器渐进式地将分辨率为的特征图恢复成原图尺寸。
[0027]
优选的，所述4-1包含以下步骤：
[0028]
4-1-1：确定transformer模块的输入；
[0029]
4-1-2：transformer模块的输入为3d图片块其中h,w,d,c分别表示其高度、宽度和深度和通道数；
[0030]
4-1-3：加上位置编码，使用可学习的位置编码；
[0031]
4-1-4：所述transformer编码器包括多头自注意力块和多层感知机块，其中，所述自注意力块负责完成查询—键—值注意力的计算。
[0032]
优选的，所述4-1-2中包含以下步骤：对图片进行分块，将特征图x沿宽度、高度和深度三个维度进行分块，并将各块堆叠起来；然后使用块边长的按比例调整策略。
[0033]
优选的，所述s5中包含以下步骤：
[0034]
5-1：确定transbc网络的基本架构，初始化网络各组件连接权重、残差单元数量、卷积层数量、学习率、训练步长、优化器、迭代次数和训练批次；
[0035]
5-2：用s1划分的训练集输入transbc网络的编码器f
cnn
(
·
)，得到下采样的输出xs；
[0036]
5-3：使用解码器部分的transformer模块、特征融合模块和上采样模块对下采样结果解码，得到模型输出值xu；
[0037]
5-4：采用dice、iou和准确率对模型分割的准确度进行评估；
[0038]
5-5：按照步骤5-1设置的迭代次数训练模型，使用测试集来验证模型的分割效果。
[0039]
优选的，所述5-4中：
[0040]
dice的公式为：其中gt表示专家手动标注的金标准二值图像，pred为模型预测的结果。所述dice的取值为[0-1],dice越接近1就表明与金标准的重合度越高；
[0041]
iou的公式如下所示：iou和dice一样都是衡量网络预测图像和金标准的重合度；
[0042]
准确率的公式为：中，tp表示真阳性；tn表示真阴性；fp和fn则表示假阳性和假阴性。
[0043]
本技术还提供了一种mri病灶分割模型，使用上述所述的基于transformer的乳腺癌磁共振成像病灶分割方法构建得到，所述mri病灶分割模型为基于transformer结合3d卷积的3d医学图像分割模型，所述mri病灶分割模型的网络采用的是编码器—解码器结构；所述编码器—解码器分为下采样阶段和上采样阶段。
[0044]
本技术所提供的一种基于transformer的乳腺癌磁共振成像病灶分割方法，与现有技术中的基于transformer的医学图像分割方法只是简单地将transformer视为辅助模块不同，本技术中的transbc有效地利用了cnn和transformer的各自提取的信息。网络沿用编码器—解码器结构，使用cnn提取不同层次的特征表示，使用transformer编码器多次提取特征图的长距离依赖关系。同时还设计了可充分利用transformer特征和cnn特征的融合模块来拓展经典编码器—解码器结构中的跳接层。本方法的核心为使用transformer对高分辨率特征图进行编码，提取出长距离依赖来补充和修正低分辨率cnn特征，更加精准地处理复杂病灶以及病灶的边缘部分。
附图说明
[0045]
图1为本发明的一种基于transformer的乳腺癌磁共振成像病灶分割方法步骤示意图；
[0046]
图2为本发明的一种基于transformer的乳腺癌磁共振成像病灶分割方法流程图；
[0047]
图3为本发明的一种基于transformer的乳腺癌磁共振成像病灶分割方法模型结构图；
[0048]
图4为本发明的一种基于transformer的乳腺癌磁共振成像病灶分割方法transformer模块结构图；
[0049]
图5为本发明的一种基于transformer的乳腺癌磁共振成像病灶分割方法特征融合模块结构图；
[0050]
图6为本发明的一种基于transformer的乳腺癌磁共振成像病灶分割方法病灶边缘分割结果。图5展示了模型对恶性肿块边缘切片的预测能力。其中，第一行对应病灶中第1、2、3、4、5、6、39、40、41、42、43张冠状位切片，第2行为模型的分割结果，最后一行为切片对应的医生标注的标签(ground truth)。
[0051]
图7为本发明的一种基于transformer的乳腺癌磁共振成像病灶分割方法对复杂病灶的分割结果。图6展示了模型对内部灰度值不统一、形成明亮区域和黑暗区域互相交错
的病灶切片的预测能力。图6结构与图5相同。其中第一行对应肿块中第28到第37张冠状位切片，均为肿块的中心部分。
[0052]
图8为本发明的一种基于transformer的乳腺癌磁共振成像病灶分割方法在测试集上的实验结果。
具体实施方式
[0053]
为使本发明的目的、技术方案和优点更加清楚，以下结合具体实施例，对本发明作进一步地详细说明。
[0054]
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开说明书的具体实施例的限制。
[0055]
一种基于transformer的乳腺癌磁共振成像病灶分割方法，请参阅图1、图2，包含以下步骤：
[0056]
s1：采集动态增强乳腺癌(dce-mri)数据，并对数据进行预处理；
[0057]
具体的，在一实施方式中，每位病人包含4张mri图像，分别为动态一期、二期、四期和六期，其中动态扫描一期是增强造影剂生效前的蒙片，从第二期扫描序列起造影剂开始生效，之后每间隔一段时间(90秒到120秒)进行下一期动态扫描。然后对数据进行预处理，降低数据冗余度和复杂度。
[0058]
完成预处理后将mri数据按固定比例划分为训练集合测试集，在一实施方式中，数据使用的是某医院提供的200例病人的动态增强乳腺癌mri数据，其中有95例为良性肿瘤患者，105例为恶性肿瘤患者。
[0059]
所述预处理的步骤为，采集医院提供的病人乳腺癌mri数据d
bc
＝{idi,img
i1
,img
i2
,img
i4
,img
i6
,segi}，其中idi代表第i个病人的编号，img
i1
,img
i2
,img
i4
,img
i6
分别对应第i个病人的动态扫描第一期、二期、四期、六期mr图像，segi为mr图像中病灶的标签二值图像。同时，为了降低量度转换带来的误差，在一实施方式中，对mri图像进行重采样处理，确保其空间距离为1mm*1mm*1mm。考虑到病患的病情差异和对3d医学图像进行transformer编码的计算压力，在一实施方式中，对mri图像进行了裁剪操作，裁剪后的图像尺寸统一为(64，64，64)。数据预处理完成后，将d
bc
数据按照固定比例划分成训练集和测试集。
[0060]
s2：构建基于transformer结合3d卷积的mri病灶分割模型
‑‑
transbc网络，该网络采用的是编码器—解码器结构；经典的编码器—解码器分为下采样阶段和上采样阶段。
[0061]
s3：构建transbc网络的编码器；
[0062]
所述transbc网络的编码器包括瓶颈模块和下采样模块。
[0063]
具体步骤如下所示：
[0064]
3-1：采用cnn编码器f
cnn
(
·
)，
[0065]
具体的，在一实施方式中，所述3-1包含以下步骤：
[0066]
3-1-1：构建瓶颈块：
[0067]
瓶颈块沿用resnet中的经典残差结构设计。
[0068]
具体的，所述瓶颈块包含三阶段重复的3d卷积层—批归一化—relu层块，并在最后一阶段采用短跳接设计。
[0069]
相比于2d卷积，所述3d卷积实现了3维空间数据的特征提取，一般将卷积公式定义为：x
l
＝f(w
l
*x
l-1
；b
l
)，其中x
l-1
和x
l
分别第l层卷积层的输入和输出，w
l
和b
l
分别为第l层卷积层的卷积核参数和偏置项；
[0070]
所述残差结构的引入是为了避免模型的精度随着卷积层数的增加而下降，残差单元操作定义为z
l
＝z
l-1
f(z
l-1
；θ
l
)，其中z
l-1
和z
l
分别为第l层残差操作层的输入和输出，θ
l
为第l层残差操作中参数的集合。
[0071]
3-1-2：构建下采样块。
[0072]
所述下采样块由3d卷积层构成，卷积操作公式如步骤4-1-1所示；
[0073]
3-1-3：设置编码器f
cnn
(
·
)中卷积操作的激活函数为relu函数，relu函数定义为：out(in)＝max(0,in)；设置卷积核大小为2*2*2，步长为2。
[0074]
3-2：输入图片经过f
cnn
(
·
)运算后的特征图公式为：
[0075][0076]
s4：构建transbc网络的解码器。
[0077]
所述transbc网络的解码器包括transformer模块、特征融合模块和上采样模块，所述s4包含以下步骤：
[0078]
4-1：构建transformer模块：
[0079]
请参阅图4，图4为transformer模块结构，所述transformer模块用以捕捉特征的长距离依赖关系并对cnn编码器分支提取出来的特征图进行全局信息修正和空间信息互补。
[0080]
所述4-1的具体步骤如下：
[0081]
4-1-1：确定transformer模块的输入：
[0082]
transbc在每个跳接层阶段都使用了transformer模块。
[0083]
假设transformer编码器为f
cnn
(
·
)，特征融合模块为f
fusion
(
·
)，则每次融合后特征f
fus
公式为：
[0084]ffus
＝f
fusion
(f
l 1
,f
tran
(f
l
))
[0085][0086][0087]
在一实施方式中，所述transformer模块的输入并不是f
l
，而是上一层f
l-1
。相较于f
l
，f
l-1
少一次卷积操作，因此f
l-1
包含更多的空间细节信息；
[0088]
4-1-2：transformer模块的输入为3d图片块其中h,w,d,c分别表示其高度、宽度和深度和通道数。
[0089]
所述3d图片的尺寸为(h,w,d,c)。在一实施方式中，为满足transformer编码器的输入要求，需对图片进行分块，即图片序列化。将特征图x沿宽度、高度和深度三个维度进行分块，并将各块堆叠起来。相比于使用卷积层来进行分块，这样的处理可以减少信息损失。
[0090]
在一实施方式中，为了降低transformer编码器的计算量，使用块边长的按比例调整策略。通过实验比较，考虑到时间和空间复杂度的平衡，本技术小立方块的边长取为原立
方块边长的1/8，因此块数为8*8*8＝512。
[0091]
4-1-3：为了保留图像序列的空间信息，需要加上位置编码，使用可学习的位置编码，其维度和4-1-2中的维度保持一致：
[0092][0093]
其中，为块嵌入投影，为位置编码，a表示块边长，n为块的数量，b为嵌入向量的长度；
[0094]
4-1-4：transformer编码器包括多头自注意力块和多层感知机块。
[0095]
其中多头自注意力块负责完成查询—键—值注意力的计算，向量q,k,v来自于同一输入。计算公式为，
[0096][0097]
具体计算过程可拆解成如下步骤：
[0098]
(1)q和k通过点乘计算相似性，为满足矩阵运算规则需对k进行转置。对运算后的结果进行归一化，即除以dk意为向量k的长度。
[0099]
(2)通过softmax函数将相似性量化为概率分布。
[0100]
(3)将概率分布与v做向量乘法，每个输入图片序列的编码输出都会通过注意力机制引入其余图片序列的编码信息。
[0101]
多头自注意力块和多层感知机块构成了transformer编码器的一次编码，通常而言transformer编码器包含n次编码，编码公式如下：
[0102][0103][0104][0105][0106]
4-1-5：transformer编码器的输出特征图的维度为(n,d)，使用深度学习框架里相关维度调整函数可将维度变更为
[0107]
4-2：参考cbam设计了特征融合模块，结构如图5所示。
[0108]
设计特征融合模块主要出于两方面的考虑，一是cnn和transformer编码方式的差异性，二是cnn特征图和transformer特征图分辨率的差异性。
[0109]
特征模块的输入分别来自于cnn编码器模块和transformer模块。融合模块结构如图5所示。将局部特征l和全局特征g对位元素相加后送入瓶颈结构块，对其输出分别从通道和空间位置的角度来计算特征的重要性。特征融合模块的运算过程如下：
[0110]
f＝bottleneck(l g)
[0111]
ch_c of＝avg_p ooling(f) max_p ooling(f)
[0112]
sp_c of＝softmax(f)
[0113]
ff＝f*ch_c of f*sp_c of。
[0114]
4-3:构建上采样模块，使用级联上采样器渐进式地将分辨率为的特征图恢复成原图尺寸。
[0115]
上采样过程包含多个重复的上采样块，它们由2
×
上采样器、核大小为3*3*3的3d卷积层和relu层组成。上采样器采用内插值的方法，即在原有图像体素的基础上，在体素点之间使用三线性插值算法插入新的体素值。对于特征图x，其尺寸为(w,h,d)，对x进行2倍的上采样，得到下采样后的x
′
尺寸为(2w,2h,2d)。
[0116]
s5：利用s1得到的训练集和测试集来训练和测试transbc网络。
[0117]
5-1：确定transbc网络的基本架构，初始化网络各组件连接权重、残差单元数量、卷积层数量、学习率、训练步长、优化器、迭代次数和训练批次；
[0118]
5-2：用步骤1)划分的训练集输入transbc网络的编码器f
cnn
(
·
)，得到下采样的输出xs；
[0119]
5-3：使用解码器部分的transformer模块、特征融合模块和上采样模块对下采样结果解码，得到模型输出值xu；
[0120]
5-4：采用dice、iou和准确率对模型分割的准确度进行评估；
[0121]
dice的公式为：其中gt表示专家手动标注的金标准二值图像，pred为模型预测的结果。所述dice的取值为[0-1],dice越接近1就表明与金标准的重合度越高。
[0122]
iou的公式如下所示：iou和dice一样都是衡量网络预测图像和金标准的重合度。
[0123]
准确率的公式为：中，tp表示真阳性；tn表示真阴性；fp和fn则表示假阳性和假阴性。准确率的值越高表明预测正确的体素占总体素的比例越高。
[0124]
5-5：按照步骤5-1设置的迭代次数训练模型，使用测试集来验证模型的分割效果。
[0125]
上述所述的一种基于transformer的乳腺癌磁共振成像病灶分割方法，针对乳腺癌磁共振成像(mri)往往具备病灶边界模糊、病灶内部灰度值不均衡的特点，使用传统卷积网络在处理过程上存在空间归纳偏差、感受野受限等问题，提出一个将transformer和卷积运算结合起来3d医学图像分割模型——transbc。网络沿用经典的编码器—解码器结构。下采样阶段cnn编码器提取不同层次的特征表示；上采样阶段transformer编码器多次提取高分辨率特征图的长距离依赖关系补充并修正低分辨率cnn特征。模型的核心是使用transformer对高分辨率特征图进行编码，提取出长距离依赖来补充和修正低分辨率cnn特征。在乳腺癌数据集上的实验结果也表明了本技术的模型能够更加精准地处理病灶的边缘部分，同时对于某些病灶内部灰度值不均衡的困难样本具备更好的分割效果。
[0126]
以上所述仅为本发明的实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围。