一种脑肿瘤MR图像分割方法

一种脑肿瘤mr图像分割方法
技术领域
1.本发明涉及一种mr图像分割方法，尤其是涉及一种脑肿瘤mr图像分割方法。


背景技术：

2.胶质瘤是最常见的原发性中枢神经系统脑肿瘤，约占所有中枢神经系统肿瘤的27％，约占恶性中枢神经系统肿瘤的80％。核磁共振成像技术(magnetic resonance imaging，mri)具有非侵入式、对人体无害且获得的图像非常清晰等优点，而被广泛应用于临床脑肿瘤诊断中。为了更好的辅助医生对病人进行诊断治疗，需要准确的知道脑肿瘤的大小、位置和形状。但是，医生手动从mr图像中分割脑肿瘤需要花费大量的时间和精力，并且由于脑肿瘤外观的高度复杂性，很容易出现误差。因此，脑肿瘤mr图像的自动分割可以极大地提高医生的诊断效率。然而，由于不同患者脑肿瘤的大小、形状和位置存在高度变化性，且在同一患者大脑中正常软组织与病变组织之间的边界比较模糊，准确的自动分割仍然是一项艰巨的任务。
3.在脑肿瘤mr图像分割领域中，u-net是应用最为广泛的基础分割网络。在u-net及其增强网络中，编码器通过一系列的卷积和下采样操作逐步实现对输入图像特征的提取。随着卷积和下采样操作的进行，编码器中各层级特征图的大小在逐渐减小，而感受野在逐渐增大。随着网络的训练，编码器各个层级特征学习到了当前尺度下关键性的判别特征信息。u-net中编码器特征和解码器特征间的跳跃连接引入了浅层的特征信息，进一步提高了特征的利用率。然而，观察u-net及其增强网络发现，跳跃连接时仅利用相同尺度的特征按通道进行拼接。但是，这忽略了编码器中具有不同感受野的多尺度特征间的互补信息对当前尺度特征的指导作用。此外，编码器特征在整个网络结构中处于相对较浅的位置，而解码器特征处于相对较深的位置，直接跳跃连接时，编码器特征和解码器特征间存在语义特征差距。由此，现有的u-net及其增强网络在对脑肿瘤mr图像进行分割的准确性仍有待提高。


技术实现要素：

4.本发明所要解决的技术问题是提供一种分割准确性高的脑肿瘤mr图像分割方法。
5.本发明解决上述技术问题所采用的技术方案为：一种脑肿瘤mr图像分割方法，包括以下步骤：
6.步骤1：对brats2020训练集中的数据进行划分，所述的brats2020训练集包含293名高级别胶质瘤(high-grade glioma，hgg)患者和74名低级别胶质瘤(low-grade glioma，lgg)患者的数据，共367名患者的数据，每个患者的数据均包括5个三维图像，5个三维图像分别为flair模态的三维mr图像、t1模态的三维mr图像、t1ce模态的三维mr图像、t2模态的三维mr图像以及三维ground truth(gt)分割掩膜图像，这5个三维图像的长均为240pt、宽均为240pt和通道数均为155，即这5个三维图像的尺寸大小均为240pt
×
240pt
×
155，所述的gt分割掩膜图像中具有对整个肿瘤区域(whole tumor，wt)、肿瘤核心区域(tumor core，tc)、增强肿瘤区域(enhanced tumor，et)以及其他所有区域的标记，肿瘤核心区域采用标
签1标记，整个肿瘤区域采用标签2标记，增强肿瘤区域采用标签4标记，其它所有区域采用标签0进行标记，具体划分过程为：将brats2020训练集中234名高级别胶质瘤患者和59名低级别胶质瘤患者的数据作为训练数据，将brats2020训练集中59名高级别胶质瘤患者和15名低级别胶质瘤患者的数据作为验证数据；
7.步骤2：进行数据预处理，具体处理过程为：
8.步骤2.1、对训练数据和验证数据中每个患者的flair模态的三维mr图像、t1模态的三维mr图像、t1ce模态的三维mr图像、t2模态的三维mr图像这四个模态的三维mr图像分别采用z-score方式进行标准化，即将这四个模态的三维mr图像的体素值标准化为零均值和单位标准差，具体为：先确定每个患者的每个模态的三维mr图像中体素值大于零像素点的数量和位置，然后计算每个模态的三维mr图像中体素值大于零的区域的均值和标准差，最后将每个模态的三维mr图像分别作为原始三维mr图像，采用公式(1)分别对每个模态的三维mr图像中体素值大于零的区域进行z-score标准化操作得到每个模态的标准化三维mr图像，每个模态的标准化三维mr图像中的体素值符合标准正态分布：
[0009][0010]
式(1)中，v表示原始三维mr图像中的体素值，μ表示原始三维mr图像中体素值大于零的区域的均值，σ表示原始三维mr图像中体素值大于零的区域的标准差，v
′
表示原始三维mr图像经过z-score标准化后得到的标准化三维mr图像中的体素值；
[0011]
步骤2.2、对训练数据和验证数据中每个患者的flair模态的三维mr图像、t1模态的三维mr图像、t1ce模态的三维mr图像、t2模态的三维mr图像对应的标准化三维mr图像分别按照以下方式进行拼接处理：
[0012]
将同一个患者的flair模态的标准化三维mr图像、t1模态的标准化三维mr图像、t1ce模态的标准化三维mr图像以及t2模态的标准化三维mr图像中相同通道的图片按顺序组合成四通道的rgba图像其尺寸大小均为240pt
×
240pt
×
4，同时，将该患者的三维ground truth分割掩膜图像中相同通道的图片保存为四通道的rgba图像对应的分割掩码图像其尺寸大小为240pt
×
240pt
×
1，分割掩码图像作为四通道的rgba图像的真实标签，此时，训练数据中每个患者的flair模态的三维mr图像、t1模态的三维mr图像、t1ce模态的三维mr图像、t2模态的三维mr图像这四个模态的三维mr图像对应的标准化三维mr图像在拼接处理后共得到了[(234 59)
×
155]张四通道的rgba图像和[(234 59)
×
155]张单通道的分割掩码图像，验证数据中每个患者的flair模态的三维mr图像、t1模态的三维mr图像、t1ce模态的三维mr图像、t2模态的三维mr图像这四个模态的三维mr图像对应的标准化三维mr图像在拼接处理后共得到了[(59 15)
×
155]张四通道的rgba图像和[(59 15)
×
155]张单通道的分割掩码图像；
[0013]
步骤2.3、将训练数据中每个患者的flair模态的三维mr图像、t1模态的三维mr图像、t1ce模态的三维mr图像、t2模态的三维mr图像这四个模态的三维mr图像对应的标准化三维mr图像在拼接处理后共得到的[(234 59)
×
155]张四通道的rgba图像和[(234 59)
×
155]张单通道的分割掩码图像中不存在肿瘤区域的图像删除，得到24422张四通道的rgba图像和24422张单通道的分割掩码图像，采用得到的24422张四通道的rgba图像和24422张单通道的分割掩码图像构成训练样本；
[0014]
将验证数据中每个患者的flair模态的三维mr图像、t1模态的三维mr图像、t1ce模态的三维mr图像、t2模态的三维mr图像这四个模态的三维mr图像对应的标准化三维mr图像在拼接处理后共得到的[(59 15)
×
155]张四通道的rgba图像和[(59 15)
×
155]张单通道的分割掩码图像中不存在肿瘤区域的图像删除，得到4794张四通道的rgba图像和4794张单通道的分割掩码图像，采用得到的4794张四通道的rgba图像和4794张单通道的分割掩码图像构成验证样本；
[0015]
步骤3：在由编码器模块、解码器模块和桥接模块构成的现有的u-net网络中增加多尺度特征融合模块(msff)、融合特征加性注意力模块(ffaa)和编码器-解码器加性注意力拼接模块(e-daac)，得到多尺度特征融合和加性注意力分割网络，所述的多尺度特征融合和加性注意力分割网络包括编码器模块、解码器模块、桥接模块、多尺度特征融合模块(msff)、融合特征加性注意力模块(ffaa)和编码器-解码器加性注意力拼接模块(e-daac)；
[0016]
所述的编码器模块用于提取输入其内的四通道rgba图像中脑肿瘤的特征信息，生成尺寸大小为15pt
×
15pt
×
256的特征图输出，将该特征图称为编码特征图；所述的编码器模块包括按照先后顺序依次设置的第1个卷积块、第1个采样层、第2个卷积块、第2个采样层、第3个卷积块、第3个采样层、第4个卷积块和第4个采样层，所述的第1个卷积块用于接入大小为240pt
×
240pt
×
4的图像，并对该图像依次进行首次批归一化(batch normalization,bn)、首次mish函数激活、首次卷积处理、再次批归一化、再次mish函数激活以及再次卷积处理，得到大小为240pt
×
240pt
×
32的特征图输出，其中首次卷积处理和再次卷积处理分别采用32个步长为1、大小为3
×
3的卷积核实现；所述的第1个采样层用于接入所述的第1个卷积块输出的大小为240pt
×
240pt
×
32的特征图，并对该特征图进行步长为2的最大池化操作，得到大小为120
×
120
×
32的特征图输出；所述的第2个卷积块用于接入所述的第1个采样层输出的大小为120pt
×
120pt
×
32的特征图，并对该特征图依次进行首次批归一化(batch normalization,bn)、首次mish函数激活、首次卷积处理、再次批归一化、再次mish函数激活以及再次卷积处理，得到大小为120pt
×
120pt
×
64的特征图输出，其中首次卷积处理和再次卷积处理分别采用64个步长为1、大小为3
×
3的卷积核实现；所述的第2个采样层用于接入所述的第2个卷积块输出的大小为120pt
×
120pt
×
64的特征图，并将该特征图进行步长为2的最大池化操作得到大小为60pt
×
60pt
×
64的特征图输出；所述的第3个卷积块用于接入所述的第2个采样层输出的大小为60pt
×
60pt
×
64的特征图，并对该特征图依次进行首次批归一化(batch normalization,bn)、首次mish函数激活、首次卷积处理、再次批归一化、再次mish函数激活以及再次卷积处理，得到大小为60pt
×
60pt
×
128的特征图输出，其中首次卷积处理和再次卷积处理分别采用128个步长为1、大小为3
×
3的卷积核实现；所述的第3个采样层用于接入所述的第3个卷积块输出的大小为60pt
×
60pt
×
128的特征图，并对该特征图进行步长为2的最大池化操作得到大小为30pt
×
30pt
×
128的特征图输出；所述的第4个卷积块用于接入所述的第3个采样层输出的大小为30pt
×
30pt
×
128的特征图，并对该特征图依次进行首次批归一化(batch normalization，bn)、首次mish函数激活、首次卷积处理、再次批归一化、再次mish函数激活以及再次卷积处理，得到大小
为30pt
×
30pt
×
256的特征图输出；所述的第4个采样层用于接入所述的第4个采样层输出的大小为30pt
×
30pt
×
256的特征图，并对该特征图进行步长为2的最大池化操作得到大小为15pt
×
15pt
×
256的特征图输出，该特征图即为编码特征图；
[0017]
所述的桥接模块用于接入所述的编码器模块输出的编码特征图，并对编码特征图进行处理得到大小为15pt
×
15pt
×
512的特征图输出；
[0018]
所述的多尺度特征融合模块包括按照先后顺序依次设置的第1个上采样层、第2个上采样层、第3个上采样层、第4个上采样层、一个特征拼接层和一个卷积块，所述的多尺度特征融合模块的第l个上采样层用于接入所述的编码器模块的第l个卷积块输出的大小为的特征图，l＝1、2、3、4，所述的多尺度特征融合模块的第l个上采样层用于对接入的特征图进行双线性插值上采样，得到大小为240pt
×
240pt
×
(2
l-1
×
32)的特征图输出，所述的多尺度特征融合模块的特征拼接层用于接入所述的多尺度特征融合模块的第1个上采样层至第4个上采样层输出的特征图，并将所述的多尺度特征融合模块的第1个上采样层至第4个上采样层输出的特征图按通道进行拼接得到大小为的特征图输出，所述的多尺度特征融合模块的卷积块用于接入所述的特征拼接层输出的特征图，并对该特征图采用32个步长为1、大小为3
×
3的卷积核进行卷积操作得到大小为240pt
×
240pt
×
32的特征图输出；
[0019]
所述的融合特征加性注意力模块包括按照先后顺序依次设置的第1个下采样层、第1个加性注意力块、第2个下采样层、第2个加性注意力块、第3个下采样层、第3个加性注意力块、第4个下采样层和第4个加性注意力块，所述的融合特征加性注意力模块的第l个下采样层用于接入所述的多尺度特征融合模块的卷积块输出的大小为240pt
×
240pt
×
32的特征图，并对接入的特征图进行步长为2
l
的最大池化操作，得到大小为的特征图输出，所述的融合特征加性注意力模块的第l个加性注意力块用于接入所述的融合特征加性注意力模块的第l个下采样层输出的大小为的特征图和所述的编码器模块的第l个卷积块输出的大小为的特征图，将所述的融合特征加性注意力模块的第l个下采样层输出的大小为的特征图记为将所述的编码器模块的第l个卷积块输出的大小为的特征图记为所述的融合特征加性注意力模块的第l个加性注意力块用于对接入的特征图和先分别采用数量为2
l-1
×
32、步长为1、大小为1
×
1的卷积核进行卷积操作，分别得到对应的大小为的两个特征图，然后对这两个特征图进行按元素相加操作得到一个特征图，接着对得到的一个特征图依次进行mish函数激活、采用数量为2
l-1
×
32、步长为1、大小为1
×
1卷积核进行卷积操作以及sigmoid函数激活，得到大小为的特征图，最后将得到
的大小为的大小为的特征图与特征图进行按元素相乘操作，得到大小为大小为的特征图输出；
[0020]
所述的编码器-解码器加性注意力拼接模块包括按照先后顺序依次设置的第1个编码器-解码器加性注意力拼接块、第2个编码器-解码器加性注意力拼接块、第3个编码器-解码器加性注意力拼接块和第4个编码器-解码器加性注意力拼接块；
[0021]
将所述的融合特征加性注意力模块的第4个加性注意力块输出的特征图记为所述的桥接模块输出的大小为15pt
×
15pt
×
512的特征图记为所述的第1个编码器-解码器加性注意力拼接块用于接入特征图和特征图并对特征图和按照以下方式进行处理：先分别采用数量为(23×
32)、步长为1、大小为1
×
1的卷积核进行卷积操作，分别得到大小均为的对应的两个特征图，然后对此时得到的两个特征图进行按元素相加操作后，再依次进行mish函数激活、采用数量为(23×
32)、步长为1、大小为1
×
1卷积核的卷积操作和sigmoid函数激活，得到大小为的一个特征图，接着将此时得到的一个特征图与特征图进行按元素相乘操作，得到大小为的特征图，最后将此时得到的大小为的特征图与特征图按通道进行拼接，得到大小为的特征图输出；
[0022]
将所述的融合特征加性注意力模块的第3个加性注意力块输出的特征图记为所述的解码器模块的第2个上采样层输出的特征图记为所述的第2个编码器-解码器加性注意力拼接块用于接入特征图和特征图并对特征图和特征图按照以下方式进行处理：先分别采用数量为22×
32、步长为1、大小为1
×
1的卷积核进行卷积操作，分别得到大小均为的对应的两个特征图，然后对此时得到的两个特征图进行按元素相加操作后，再依次进行mish函数激活、采用数量为(22×
32)、步长为1、大小为1
×
1卷积核的卷积操作和sigmoid函数激活，得到大小为的一个特征图，接着将此时得到的一个特征图与特征图进行按元素相乘操作，得到大小为的特征图，最后将此时得到的大小为的特征图与特征图按通道进行拼接，得到大小为的特征图输出；
[0023]
将所述的融合特征加性注意力模块的第2个加性注意力块输出的特征图记为所述的解码器模块的第3个上采样层输出的特征图记为所述的第3个编码器-解
码器加性注意力拼接块用于接入特征图和特征图并对特征图和特征图按照以下方式进行处理：先分别采用数量为21×
32、步长为1、大小为1
×
1的卷积核进行卷积操作，分别得到大小均为的对应的两个特征图，然后对此时得到的两个特征图进行按元素相加操作后，再依次进行mish函数激活、采用数量为(21×
32)、步长为1、大小为1
×
1卷积核的卷积操作和sigmoid函数激活，得到大小为的一个特征图，接着将此时得到的一个特征图与特征图进行按元素相乘操作，得到大小为的特征图，最后将此时得到的大小为的特征图与特征图按通道进行拼接，得到大小为的特征图输出；
[0024]
将所述的融合特征加性注意力模块的第1个加性注意力块输出的特征图记为所述的解码器模块的第4个上采样层输出的特征图记为所述的第4个编码器-解码器加性注意力拼接块用于接入特征图和特征图并对特征图和特征图按照如下方式进行处理：先分别采用数量为(20×
32)、步长为1、大小为1
×
1的卷积核进行卷积操作，分别得到大小均为的对应的两个特征图，然后对此时得到的两个特征图进行按元素相加操作后，再依次进行mish函数激活、采用数量为(20×
32)、步长为1、大小为1
×
1卷积核的卷积操作和sigmoid函数激活，得到大小为的一个特征图，接着将此时得到的一个特征图与特征图进行按元素相乘操作，得到大小为的特征图，最后将此时得到的大小为的特征图与特征图按通道进行拼接，得到大小为的特征图输出；
[0025]
所述的解码器模块包括按照先后顺序依次设置的第1个卷积块、第1个上采样层、第2个卷积块、第2个上采样层、第3个卷积块、第3个上采样层、第4个卷积块和一个输出卷积块；所述的解码器模块的第l个卷积块用于接入所述的编码器-解码器加性注意力拼接模块中第l个编码器-解码器加性注意力拼接块输出的特征图，并对输入其内的特征图按照如下方式进行处理：依次对输入其内的特征图进行批归一化、mish函数激活以及采用数量为2
(5-l-1)
×
32、步长为1，大小为3
×
3卷积核的卷积操作，输出大小为的特征图；所述的解码器模块的第l个上采样层用于接入所述的解码器模块的第l个卷积块输出的特征图，并对输入其内的特征图进行双线性插值操作，得到大小为的特征图输出，所述的解码器模块的输出卷积块用于接入所述的解码器模块的第4个卷积块输出的特征图，并采用数量
为4、步长为1，大小为1
×
1的卷积核进行卷积操作，得到大小为240pt
×
240pt
×
4的特征图输出；
[0026]
步骤4：对所述的多尺度特征融合和加性注意力分割网络进行训练，具体过程为：
[0027]
(1)对所述的多尺度特征融合和加性注意力分割网络采用he_normal参数初始化方法进行初始化；
[0028]
(2)将步骤二中得到的训练样本随机分成多个batch，使每个batch中包含batchsize个训练样本，若训练样本数能被batchsize整除，则分成训练样本数/batchsize个batch，若训练样本数不能被batchsize整除，则将剩余部分舍去，得到|训练样本数/batchsize|个batch，其中batchsize＝16，| |为取整符号；
[0029]
(3)取其中一个batch，对这个batch中的所有四通道的rgba图像均进行左右方向和上下方向随机翻转的图像增强处理，概率为50％；
[0030]
(4)将所选取batch中经过图像增强处理后的所有四通道的rgba图像作为输入，输入到所述的多尺度特征融合和加性注意力分割网络中，得到所述的多尺度特征融合和加性注意力分割网络的输出结果；
[0031]
(5)根据所述的多尺度特征融合和加性注意力分割网络输出结果和所选取batch中所有四通道的rgba图像对应的单通道分割掩码图像，计算所选取batch中经过图像增强后所有四通道的rgba图像的分割损失值，求其平均值作为最终的损失值，其中，每个四通道的rgba图像的分割损失值ce计算如下所示：
[0032][0033]
其中n表示的是四通道的rgba图像中像素的总个数；c表示的是每个像素需要分类的类别数，这里取值为4，即整个肿瘤、肿瘤核心、增强肿瘤和背景四类；表示的是四通道的rgba图像对应的单通道的分割掩码图像中第n个像素所属的真实类别c；表示的是所述的多尺度特征融合和加性注意力分割网络关于输入的四通道rgba图像的输出结果中第n个像素预测为类别c的概率；
[0034]
(6)根据步骤(5)中计算得到的分割损失值，使用学习率为1e-4的adam优化器对所述的多尺度特征融合和加性注意力分割网络的参数进行训练；
[0035]
(7)重复步骤(3)-(6)，直至所有的batch的训练数据都对所述的多尺度特征融合和加性注意力分割网络进行一次训练，然后将验证样本依次输入到此时的多尺度特征融合和加性注意力分割网络中，并采用步骤(5)相同的方法得到验证样本中每个四通道的rgba图像的分割损失值，计算并得到所有验证样本的平均分割损失值；
[0036]
(8)重复步骤(2)-(7)，直至所述的多尺度特征融合和加性注意力分割网络在验证样本上的损失收敛，最终得到训练好的多尺度特征融合和加性注意力分割网络；
[0037]
步骤5：将需要分割的脑肿瘤mr图像按照步骤1和步骤2的方法处理为四通道的rgba图像，然后输入到训练好的多尺度特征融合和加性注意力分割网络中，多尺度特征融合和加性注意力分割网络输出分割预测结果。
[0038]
所述的桥接模块包括一个卷积块，所述的卷积块用于接入大小为15
×
15
×
256的
特征图，并对该特征图依次进行首次批归一化(batch normalization，bn)、首次mish函数激活、首次卷积处理、再次批归一化、再次mish函数激活以及再次卷积处理，得到大小为15
×
15
×
512的特征图输出至所述的多尺度特征融合模块，其中首次卷积处理和再次卷积处理分别采用512个步长为1、大小为3
×
3的卷积核实现。
[0039]
与现有技术相比，本发明的优点在于通过对u-net网络进行改进，在u-net网络中增加多尺度特征融合模块、融合特征加性注意力模块以及编码器-解码器加性注意力拼接模块来构建得到多尺度特征融合和加性注意力分割网络，通过多尺度特征融合模块，能够将编码器模块中具有不同感受野的各尺度特征图进行融合得到融合特征图，融合特征图兼具细节特征信息和高级语义特征信息，通过融合特征加性注意力模块在融合特征图与编码器模块各尺度特征图间引入加性注意力机制，采用融合特征图对编码器模块各尺度特征图进行指导，使被融合特征图指导后的编码器模块各尺度特征图更具判别性，通过编码器-解码器加性注意力拼接模块在经过融合特征图指导的编码器模块各尺度特征和解码器模块特征图间采用加性注意力机制，以降低跳跃连接时编码器模块和解码器模块由于所处网络深度不同而产生的语义特征差距，即通过加性注意力机制来自适应的学习跳跃连接特征中的重要特征信息，由此降低编码器模块特征和图解码器模块特征图间存在的语义特征差距，由此本发明分割准确性较高。
具体实施方式
[0040]
以下结合实施例对本发明作进一步详细描述。
[0041]
实施例：一种脑肿瘤mr图像分割方法，包括以下步骤：
[0042]
步骤1：对brats2020训练集中的数据进行划分，brats2020训练集包含293名高级别胶质瘤(high-grade glioma，hgg)患者和74名低级别胶质瘤(low-grade glioma，lgg)患者的数据，共367名患者的数据，每个患者的数据均包括5个三维图像，5个三维图像分别为flair模态的三维mr图像、t1模态的三维mr图像、t1ce模态的三维mr图像、t2模态的三维mr图像以及三维ground truth(gt)分割掩膜图像，这5个三维图像的长均为240pt、宽均为240pt和通道数均为155，即这5个三维图像的尺寸大小均为240pt
×
240pt
×
155，gt分割掩膜图像中具有对整个肿瘤区域(whole tumor，wt)、肿瘤核心区域(tumor core，tc)、增强肿瘤区域(enhanced tumor，et)以及其他所有区域的标记，肿瘤核心区域采用标签1标记，整个肿瘤区域采用标签2标记，增强肿瘤区域采用标签4标记，其它所有区域采用标签0进行标记，具体划分过程为：将brats2020训练集中234名高级别胶质瘤患者和59名低级别胶质瘤患者的数据作为训练数据，将brats2020训练集中59名高级别胶质瘤患者和15名低级别胶质瘤患者的数据作为验证数据；
[0043]
步骤2：进行数据预处理，具体处理过程为：
[0044]
步骤2.1、对训练数据和验证数据中每个患者的flair模态的三维mr图像、t1模态的三维mr图像、t1ce模态的三维mr图像、t2模态的三维mr图像这四个模态的三维mr图像分别采用z-score方式进行标准化，即将这四个模态的三维mr图像的体素值标准化为零均值和单位标准差，具体为：先确定每个患者的每个模态的三维mr图像中体素值大于零像素点的数量和位置，然后计算每个模态的三维mr图像中体素值大于零的区域的均值和标准差，最后将每个模态的三维mr图像分别作为原始三维mr图像，采用公式(1)分别对每个模态的
三维mr图像中体素值大于零的区域进行z-score标准化操作得到每个模态的标准化三维mr图像，每个模态的标准化三维mr图像中的体素值符合标准正态分布：
[0045][0046]
式(1)中，v表示原始三维mr图像中的体素值，μ表示原始三维mr图像中体素值大于零的区域的均值，σ表示原始三维mr图像中体素值大于零的区域的标准差，v
′
表示原始三维mr图像经过z-score标准化后得到的标准化三维mr图像中的体素值；
[0047]
步骤2.2、对训练数据和验证数据中每个患者的flair模态的三维mr图像、t1模态的三维mr图像、tlce模态的三维mr图像、t2模态的三维mr图像对应的标准化三维mr图像分别按照以下方式进行拼接处理：
[0048]
将同一个患者的flair模态的标准化三维mr图像、t1模态的标准化三维mr图像、t1ce模态的标准化三维mr图像以及t2模态的标准化三维mr图像中相同通道的图片按顺序组合成四通道的rgba图像其尺寸大小均为240pt
×
240pt
×
4，同时，将该患者的三维ground truth分割掩膜图像中相同通道的图片保存为四通道的rgba图像对应的分割掩码图像其尺寸大小为240pt
×
240pt
×
1，分割掩码图像作为四通道的rgba图像的真实标签，此时，训练数据中每个患者的flair模态的三维mr图像、t1模态的三维mr图像、t1ce模态的三维mr图像、t2模态的三维mr图像这四个模态的三维mr图像对应的标准化三维mr图像在拼接处理后共得到了[(234 59)
×
155]张四通道的rgba图像和[(234 59)
×
155]张单通道的分割掩码图像，验证数据中每个患者的flair模态的三维mr图像、t1模态的三维mr图像、t1ce模态的三维mr图像、t2模态的三维mr图像这四个模态的三维mr图像对应的标准化三维mr图像在拼接处理后共得到了[(59 15)
×
155]张四通道的rgba图像和[(59 15)
×
155]张单通道的分割掩码图像；
[0049]
步骤2.3、将训练数据中每个患者的flair模态的三维mr图像、t1模态的三维mr图像、t1ce模态的三维mr图像、t2模态的三维mr图像这四个模态的三维mr图像对应的标准化三维mr图像在拼接处理后共得到的[(234 59)
×
155]张四通道的rgba图像和[(234 59)
×
155]张单通道的分割掩码图像中不存在肿瘤区域的图像删除，得到24422张四通道的rgba图像和24422张单通道的分割掩码图像，采用得到的24422张四通道的rgba图像和24422张单通道的分割掩码图像构成训练样本；
[0050]
将验证数据中每个患者的flair模态的三维mr图像、t1模态的三维mr图像、t1ce模态的三维mr图像、t2模态的三维mr图像这四个模态的三维mr图像对应的标准化三维mr图像在拼接处理后共得到的[(59 15)
×
155]张四通道的rgba图像和[(59 15)
×
155]张单通道的分割掩码图像中不存在肿瘤区域的图像删除，得到4794张四通道的rgba图像和4794张单通道的分割掩码图像，采用得到的4794张四通道的rgba图像和4794张单通道的分割掩码图像构成验证样本；
[0051]
步骤3：在由编码器模块、解码器模块和桥接模块构成的现有的u-net网络中增加多尺度特征融合模块(msff)、融合特征加性注意力模块(ffaa)和编码器-解码器加性注意
力拼接模块(e-daac)，得到多尺度特征融合和加性注意力分割网络，多尺度特征融合和加性注意力分割网络包括编码器模块、解码器模块、桥接模块、多尺度特征融合模块(msff)、融合特征加性注意力模块(ffaa)和编码器-解码器加性注意力拼接模块(e-daac)；
[0052]
编码器模块用于提取输入其内的四通道rgba图像中脑肿瘤的特征信息，生成尺寸大小为15pt
×
15pt
×
256的特征图输出，将该特征图称为编码特征图；编码器模块包括按照先后顺序依次设置的第1个卷积块、第1个采样层、第2个卷积块、第2个采样层、第3个卷积块、第3个采样层、第4个卷积块和第4个采样层，第1个卷积块用于接入大小为240pt
×
240pt
×
4的图像，并对该图像依次进行首次批归一化(batch normalization,bn)、首次mish函数激活、首次卷积处理、再次批归一化、再次mish函数激活以及再次卷积处理，得到大小为240pt
×
240pt
×
32的特征图输出，其中首次卷积处理和再次卷积处理分别采用32个步长为1、大小为3
×
3的卷积核实现；第1个采样层用于接入第1个卷积块输出的大小为240pt
×
240pt
×
32的特征图，并对该特征图进行步长为2的最大池化操作，得到大小为120
×
120
×
32的特征图输出；第2个卷积块用于接入第1个采样层输出的大小为120pt
×
120pt
×
32的特征图，并对该特征图依次进行首次批归一化(batch normalization，bn)、首次mish函数激活、首次卷积处理、再次批归一化、再次mish函数激活以及再次卷积处理，得到大小为120pt
×
120pt
×
64的特征图输出，其中首次卷积处理和再次卷积处理分别采用64个步长为1、大小为3
×
3的卷积核实现；第2个采样层用于接入第2个卷积块输出的大小为120pt
×
120pt
×
64的特征图，并将该特征图进行步长为2的最大池化操作得到大小为60pt
×
60pt
×
64的特征图输出；第3个卷积块用于接入第2个采样层输出的大小为60pt
×
60pt
×
64的特征图，并对该特征图依次进行首次批归一化(batch normalization，bn)、首次mish函数激活、首次卷积处理、再次批归一化、再次mish函数激活以及再次卷积处理，得到大小为60pt
×
60pt
×
128的特征图输出，其中首次卷积处理和再次卷积处理分别采用128个步长为1、大小为3
×
3的卷积核实现；第3个采样层用于接入第3个卷积块输出的大小为60pt
×
60pt
×
128的特征图，并对该特征图进行步长为2的最大池化操作得到大小为30pt
×
30pt
×
128的特征图输出；第4个卷积块用于接入第3个采样层输出的大小为30pt
×
30pt
×
128的特征图，并对该特征图依次进行首次批归一化(batch normalization，bn)、首次mish函数激活、首次卷积处理、再次批归一化、再次mish函数激活以及再次卷积处理，得到大小为30pt
×
30pt
×
256的特征图输出；第4个采样层用于接入第4个采样层输出的大小为30pt
×
30pt
×
256的特征图，并对该特征图进行步长为2的最大池化操作得到大小为15pt
×
15pt
×
256的特征图输出，该特征图即为编码特征图；
[0053]
桥接模块用于接入编码器模块输出的编码特征图，并对编码特征图进行处理得到大小为15pt
×
15pt
×
512的特征图输出；
[0054]
多尺度特征融合模块包括按照先后顺序依次设置的第1个上采样层、第2个上采样层、第3个上采样层、第4个上采样层、一个特征拼接层和一个卷积块，多尺度特征融合模块的第l个上采样层用于接入编码器模块的第l个卷积块输出的大小为的第l个上采样层用于接入编码器模块的第l个卷积块输出的大小为的特征图，l＝1、2、3、4，多尺度特征融合模块的第l个上采样层用于对接入的特征图进行双线性插值上采样，得到大小为240pt
×
240pt
×
(2
l-1
×
32)的特征图输出，多尺度特征融合模块的特征拼接层用于接入多尺度特征融合模块的第1个上采样层至第4个上
采样层输出的特征图，并将多尺度特征融合模块的第1个上采样层至第4个上采样层输出的特征图按通道进行拼接得到大小为的特征图输出，多尺度特征融合模块的卷积块用于接入特征拼接层输出的特征图，并对该特征图采用32个步长为1、大小为3
×
3的卷积核进行卷积操作得到大小为240pt
×
240pt
×
32的特征图输出；
[0055]
融合特征加性注意力模块包括按照先后顺序依次设置的第1个下采样层、第1个加性注意力块、第2个下采样层、第2个加性注意力块、第3个下采样层、第3个加性注意力块、第4个下采样层和第4个加性注意力块，融合特征加性注意力模块的第l个下采样层用于接入多尺度特征融合模块的卷积块输出的大小为240pt
×
240pt
×
32的特征图，并对接入的特征图进行步长为2l的最大池化操作，得到大小为的特征图输出，融合特征加性注意力模块的第l个加性注意力块用于接入融合特征加性注意力模块的第l个下采样层输出的大小为的特征图和编码器模块的第l个卷积块输出的大小为的特征图，将融合特征加性注意力模块的第l个下采样层输出的大小为的特征图记为将编码器模块的第l个卷积块输出的大小为的特征图记为融合特征加性注意力模块的第l个加性注意力块用于对接入的特征图和先分别采用数量为2
l-1
×
32、步长为1、大小为1
×
1的卷积核进行卷积操作，分别得到对应的大小为的两个特征图，然后对这两个特征图进行按元素相加操作得到一个特征图，接着对得到的一个特征图依次进行mish函数激活、采用数量为2
l-1
×
32、步长为1、大小为1
×
1卷积核进行卷积操作以及sigmoid函数激活，得到大小为的特征图，最后将得到的大小为小为的特征图与特征图进行按元素相乘操作，得到大小为为的特征图输出；
[0056]
编码器-解码器加性注意力拼接模块包括按照先后顺序依次设置的第1个编码器-解码器加性注意力拼接块、第2个编码器-解码器加性注意力拼接块、第3个编码器-解码器加性注意力拼接块和第4个编码器-解码器加性注意力拼接块；
[0057]
将融合特征加性注意力模块的第4个加性注意力块输出的特征图记为桥接模块输出的大小为15pt
×
15pt
×
512的特征图记为第1个编码器-解码器加性注意力拼接块用于接入特征图和特征图并对特征图和按照以下方式进行处理：先分别采用数量为(23×
32)、步长为1、大小为1
×
1的卷积核进行卷积操作，分别得到大小均为的对应的两个特征图，然后对此时得到的两个特征图进行按元素相加操作后，再依次进行mish函数激活、采用数量为(23×
32)、步长为1、大小为1
×
1卷积核
的卷积操作和sigmoid函数激活，得到大小为的卷积操作和sigmoid函数激活，得到大小为的一个特征图，接着将此时得到的一个特征图与特征图进行按元素相乘操作，得到大小为的特征图，最后将此时得到的大小为的特征图与特征图按通道进行拼接，得到大小为按通道进行拼接，得到大小为的特征图输出；
[0058]
将融合特征加性注意力模块的第3个加性注意力块输出的特征图记为解码器模块的第2个上采样层输出的特征图记为第2个编码器-解码器加性注意力拼接块用于接入特征图和特征图并对特征图和特征图按照以下方式进行处理：先分别采用数量为22×
32、步长为1、大小为1
×
1的卷积核进行卷积操作，分别得到大小均为的对应的两个特征图，然后对此时得到的两个特征图进行按元素相加操作后，再依次进行mish函数激活、采用数量为(22×
32)、步长为1、大小为1
×
1卷积核的卷积操作和sigmoid函数激活，得到大小为的卷积操作和sigmoid函数激活，得到大小为的一个特征图，接着将此时得到的一个特征图与特征图进行按元素相乘操作，得到大小为的特征图，最后将此时得到的大小为的特征图，最后将此时得到的大小为的特征图与特征图按通道进行拼接，得到大小为按通道进行拼接，得到大小为的特征图输出；
[0059]
将融合特征加性注意力模块的第2个加性注意力块输出的特征图记为解码器模块的第3个上采样层输出的特征图记为第3个编码器-解码器加性注意力拼接块用于接入特征图和特征图并对特征图和特征图按照以下方式进行处理：先分别采用数量为21×
32、步长为1、大小为1
×
1的卷积核进行卷积操作，分别得到大小均为的对应的两个特征图，然后对此时得到的两个特征图进行按元素相加操作后，再依次进行mish函数激活、采用数量为(21×
32)、步长为1、大小为1
×
1卷积核的卷积操作和sigmoid函数激活，得到大小为的卷积操作和sigmoid函数激活，得到大小为的一个特征图，接着将此时得到的一个特征图与特征图进行按元素相乘操作，得到大小为的特征图，最后将此时得到的大小为的特征图，最后将此时得到的大小为的特征图与特征图按通道进行拼接，得到大小为按通道进行拼接，得到大小为的特征图输出；
[0060]
将融合特征加性注意力模块的第1个加性注意力块输出的特征图记为解码
器模块的第4个上采样层输出的特征图记为第4个编码器-解码器加性注意力拼接块用于接入特征图和特征图并对特征图和特征图按照如下方式进行处理：先分别采用数量为(20×
32)、步长为1、大小为1
×
1的卷积核进行卷积操作，分别得到大小均为的对应的两个特征图，然后对此时得到的两个特征图进行按元素相加操作后，再依次进行mish函数激活、采用数量为(20×
32)、步长为1、大小为1
×
1卷积核的卷积操作和sigmoid函数激活，得到大小为核的卷积操作和sigmoid函数激活，得到大小为的一个特征图，接着将此时得到的一个特征图与特征图进行按元素相乘操作，得到大小为的特征图，最后将此时得到的大小为的特征图，最后将此时得到的大小为的特征图与特征图按通道进行拼接，得到大小为按通道进行拼接，得到大小为的特征图输出；
[0061]
解码器模块包括按照先后顺序依次设置的第1个卷积块、第1个上采样层、第2个卷积块、第2个上采样层、第3个卷积块、第3个上采样层、第4个卷积块和一个输出卷积块；解码器模块的第l个卷积块用于接入编码器-解码器加性注意力拼接模块中第l个编码器-解码器加性注意力拼接块输出的特征图，并对输入其内的特征图按照如下方式进行处理：依次对输入其内的特征图进行批归一化、mish函数激活以及采用数量为2
(5-l-1)
×
32、步长为1，大小为3
×
3卷积核的卷积操作，输出大小为3卷积核的卷积操作，输出大小为的特征图；解码器模块的第l个上采样层用于接入解码器模块的第l个卷积块输出的特征图，并对输入其内的特征图进行双线性插值操作，得到大小为输入其内的特征图进行双线性插值操作，得到大小为的特征图输出，解码器模块的输出卷积块用于接入解码器模块的第4个卷积块输出的特征图，并采用数量为4、步长为1，大小为1
×
1的卷积核进行卷积操作，得到大小为240pt
×
240pt
×
4的特征图输出；
[0062]
步骤4：对多尺度特征融合和加性注意力分割网络进行训练，具体过程为：
[0063]
(1)对多尺度特征融合和加性注意力分割网络采用he_normal参数初始化方法进行初始化；
[0064]
(2)将步骤二中得到的训练样本随机分成多个batch，使每个batch中包含batchsize个训练样本，若训练样本数能被batchsize整除，则分成训练样本数/batchsize个batch，若训练样本数不能被batchsize整除，则将剩余部分舍去，得到|训练样本数/batchsize|个batch，其中batchsize＝16，| |为取整符号；
[0065]
(3)取其中一个batch，对这个batch中的所有四通道的rgba图像均进行左右方向和上下方向随机翻转的图像增强处理，概率为50％；
[0066]
(4)将所选取batch中经过图像增强处理后的所有四通道的rgba图像作为输入，输入到多尺度特征融合和加性注意力分割网络中，得到多尺度特征融合和加性注意力分割网络的输出结果；
[0067]
(5)根据多尺度特征融合和加性注意力分割网络输出结果和所选取batch中所有
四通道的rgba图像对应的单通道分割掩码图像，计算所选取batch中经过图像增强后所有四通道的rgba图像的分割损失值，求其平均值作为最终的损失值，其中，每个四通道的rgba图像的分割损失值ce计算如下所示：
[0068][0069]
其中n表示的是四通道的rgba图像中像素的总个数；c表示的是每个像素需要分类的类别数，这里取值为4，即整个肿瘤、肿瘤核心、增强肿瘤和背景四类；表示的是四通道的rgba图像对应的单通道的分割掩码图像中第n个像素所属的真实类别c；表示的是多尺度特征融合和加性注意力分割网络关于输入的四通道rgba图像的输出结果中第n个像素预测为类别c的概率；
[0070]
(6)根据步骤(5)中计算得到的分割损失值，使用学习率为1e-4的adam优化器对多尺度特征融合和加性注意力分割网络的参数进行训练；
[0071]
(7)重复步骤(3)-(6)，直至所有的batch的训练数据都对多尺度特征融合和加性注意力分割网络进行一次训练，然后将验证样本依次输入到此时的多尺度特征融合和加性注意力分割网络中，并采用步骤(5)相同的方法得到验证样本中每个四通道的rgba图像的分割损失值，计算并得到所有验证样本的平均分割损失值；
[0072]
(8)重复步骤(2)-(7)，直至多尺度特征融合和加性注意力分割网络在验证样本上的损失收敛，最终得到训练好的多尺度特征融合和加性注意力分割网络；
[0073]
步骤5：将需要分割的脑肿瘤mr图像按照步骤1和步骤2的方法处理为四通道的rgba图像，然后输入到训练好的多尺度特征融合和加性注意力分割网络中，多尺度特征融合和加性注意力分割网络输出分割预测结果。
[0074]
本实施例中，桥接模块包括一个卷积块，卷积块用于接入大小为15
×
15
×
256的特征图，并对该特征图依次进行首次批归一化(batch normalization,bn)、首次mish函数激活、首次卷积处理、再次批归一化、再次mish函数激活以及再次卷积处理，得到大小为15
×
15
×
512的特征图输出至多尺度特征融合模块，其中首次卷积处理和再次卷积处理分别采用512个步长为1、大小为3
×
3的卷积核实现。
[0075]
为了验证本发明的优异性，对本发明的多尺度特征融合和加性注意力分割网络的性能进行评估。基于brats2020验证数据集，对wt、tc和et的分割区域使用了dice系数和95％的hausdorff距离(hd95)作为评价指标。将多尺度特征融合和加性注意力分割网络的输出结果与真实标签输入评价代码中，以获得定量评价结果。其中，消融实验结果如表1所示：
[0076]
表1消融实验结果
[0077][0078]
在表1中，a组表示基础u-net网络，即现有的u-net网络，而b组表示向基础u-net网络中添加提出的多尺度特征融合模块msff。对比a组和b组的分割结果发现，多尺度特征融合模块msff的引入提升了网络的分割性能。其中et、wt和tc的平均dice分别提高了2.23％、2.13％和0.97％。c组表示在b组实验基础上，添加提出的融合特征加性注意力模块ffaa，对比b组和c组的分割结果发现，添加加性注意力操作后，网络关于三个区域分割结果的平均dice进一步提高。这表明编码器模块各尺度特征图经过全局融合特征图加性注意力的指导后更具判别性。对比c组和a组，观察到关于et、wt和tc的平均dice值分别提高了3.77％、2.71％和2.42％。这得益于多尺度特征融合和加性注意力共同作用的结果。d组表示向基础u-net网络中添加编码器-解码器加性注意力拼接模块，对比a组和d组分割结果发现，向基础u-net网络中添加编码器-解码器加性注意力拼接模块e-daac后，网络关于et、wt和tc的平均dice分别提高了2.94％、2.21％和2.25％。这说明通过在编码器模块和解码器模块特征图间引入加性注意力机制可以降低二者由于所处网络深度不同而导致的语义特征差距。并且，对比c组和d组实验结果可以发现，多尺度特征融合模块msff和融合特征加性注意力模块ffaa的引入对于网络分割性能的提升优于编码器-解码器加性注意力拼接模块e-daac。e组表示在c组实验的基础上，向网络中添加attention unet中的attention gate模块。对比e组和c组发现，增加attention gate模块后，网络的参数增加了约2m，但是网络的分割性能仅有略微提升。f组表示同时向基础u-net网络中添加本发明提出的三个模块，即本发明的多尺度特征融合和加性注意力分割网络。对比a、b、c、d和f五组实验结果发现，本发明的多尺度特征融合和加性注意力分割网络在三个肿瘤区域上取得了最好的分割性能。相较于基础u-net网络，本发明的多尺度特征融合和加性注意力分割网络关于et、wt和tc的平均dice分别提高了6.23％、3.53％和5.93％。此外，对比e组和f组发现，f组网络的参数比e组少约1.6m，但是分割结果远高于后者。这表明本发明的多尺度特征融合和加性注意力分割网络中提出的编码器-解码器加性注意力拼接模块e-daac与attention gate模块相比，具有更少的网络参数且对于网络分割结果的提升具有更好的效果。这些结果表明，本发明基于对基础u-net网络进行改进，增加的提出的msff、ffaa和e-daac对于脑肿瘤mri图像分割问题的有效性。
[0079]
将采用多尺度特征融合和加性注意力分割网络的本发明方法与采用现有几种网络的分割方法进行实验对比，对比实验结果如表2所示：
[0080]
表2对比实验结果
[0081][0082]
注：加粗数字表示该列最优值。
[0083]
分析表2可知：本发明关于et、wt和tc取得了显着的分割性能，关于et、wt和tc在各种指标上的分割结果均优于采用现有其它网络的分割方法。这证明了本发明的多尺度特征融合和加性注意力分割网络的优越性以及本发明方法的优越性。