一种基于空间信息与特征通道的脑肿瘤医学图像分割方法

1.本发明属于医学图像分割领域。具体涉及一种基于空间信息与特征通道的卷积神经网络模型。


背景技术：

2.脑部胶质瘤是一种常见的原发性或继发性脑肿瘤疾病，这是一种具有高治疗难度、高死亡率、高复发率的顽固疾病。早期诊断阶段，凭借精确的医学成像技术，提高对病变区域的精确分割能力，可以帮助医生及时准确地给出诊断结果，开展后续治疗。计算机医学图像分析可以为医学专业人员理解疾病和研究临床挑战提供精确的指导，以提高诊断质量。在临床上，医学图像中病变的分割大多由经验丰富的医生通过人工方式进行诊断，这种方式对于医生来说是十分耗时的。经历长时间、大量的诊断工作后，体力精神上的疲劳容易导致误诊概率的上升。
3.目前传统的图像处理技术主要包括特征提取和分类器两部分。特征提取算法的设计复杂性与应用局限性、稳定性，以及特定的特征提取算法与特定的分类器相结合的局限性限制着图像处理技术的发展。计算机神经网络的结构模仿人类大脑的结构，由大量并行的节点构成，每个节点都能执行一些基本的计算，通过对学习样本的训练，可以获得节点间的连接关系以及连接的权值，以提高分割精度。因此基于深度学习的分割技术在该领域的性能优于其它传统的计算机视觉方法。
4.国内外的研究学者针对基于卷积网络的脑肿瘤分割问题做了大量的研究工作。网络模型支链结构和注意力机制就是其中相对成熟的改进网络技术。网络支链结构中通过不同大小的卷积核获得不同大小的感受野，然后经过拼接过程可以获得不同尺度的融合，从而增加该层结构的特征信息量。注意力机制通过快速扫描全局图像，获得需要重点关注的目标区域即注意力焦点，然后对该区域投入更多注意力资源，以获取更多所需要关注目标的细节信息，而抑制其他不相关信息。
5.但这单独使用两种技术中的一种存在一定的局限性，主要体现在：网络模型支链结构原理是在训练过程阶段获取样本中更多不同尺度的信息，此方法会导致模型分割时间成本升高。目前单一的注意力机制仅仅局限于增强目标区域的权重，没有利用特征通道之间的相关性，最终使得模型分割效果提升有限。


技术实现要素：

6.本发明针对现有技术的不足，提出了一种基于空间信息与特征通道的脑肿瘤医学图像分割方法。
7.本发明是一种基于u-net网络结构的改进方法，其中编码器的部分使用repvgg 模块，利用其支链网络结构的优势以及可重构化的特点达到减少复杂模型参数量、增强特征提取能力的目的。同时网络在解码器的跳跃连接部分加入挤压与激励模块和注意力模块组成的双注意力机制，增强特征提取能力、抑制不相关区域，提高特征的利用率。整个网络的
改进旨在削减病变分割时间成本，提高脑肿瘤分割精度。
8.本发明方法具体包括以下步骤：
9.步骤1：将三维的mri数据集进行预处理；
10.步骤2：经过上述预处理步骤处理后的数据集作为模型训练数据集a；
11.步骤2-1：编码器部分将预处理完成的数据集a中图像x0先经过4次repvgg卷积模块和下采样处理实现增加特征通道数量和缩小图片尺寸的目的，第5次仅经过1个 repvgg卷积模块进行处理,每一次处理得到具有不同图片尺寸和不同特征通道数的结果gi；
12.步骤2-2：解码器部分将上述第5次的结果g5经过4次上采样和增加双注意力机制的vgg卷积模块进行处理，最后经过1
×
1卷积进行特征融合，得到每个像素属于目标分类的概率预测值；
13.步骤2-3：通过bcediceloss函数对多区域进行预测结果和真实标签进行计算得到损失值，通过反向传播更新步骤2-1和2-2神经网络的参数；当bcediceloss函数函数的数值趋于稳定后，得到最终的模型参数集合；
14.步骤3：将模型结构和参数重构减小参数量；
15.编码器中的repvgg模块，通过重构的方式将1x1的支链卷积和恒等映射合并到 3x3卷积堆栈中，减小模型参数量，加快模型分割图像速度。
16.作为优选，所述的将三维的mri数据集进行预处理；具体包括以下步骤：
17.步骤1-1：将三维mri数据进行二维切片处理，得到分别为t1,t2,flair，t1ce 四个特征通道的二维图片序列，并删除其中像素值为零的图片；
18.步骤1-2：将具有四个特征通道的二维图片序列进行归一化处理；
19.步骤1-3：将上述1-2归一化后的二维图片序列进行中心剪裁，图片大小从240
×
240剪裁到160
×
160。
20.作为优选，步骤2-1中所述采用的repvgg模块改进编码器的卷积模块，实现了增加特征信息量的同时防止梯度消失和梯度爆炸的效果；每层卷积公式如下；
21.gi＝f(xi) g(xi) x
i (1)
22.xi表示第i层卷积的输入，f(xi)表示3x3的卷积操作，g(xi)表示1x1的卷积操作，gi代表卷积融合后的结果。
23.作为优选，步骤2-2中所述采用的双注意力机制改进的vgg模块，实现了使得模型不仅在空间信息上对目标特征的提取更加精确，而且能够充分利用不同通道之间的相关信息；其具体为:
[0024][0025][0026]
g表示编码器的跳跃连接，x
l
代表上采样后的图像数据，f1和f2表示两个不同的1x1卷积，f3表示一个1x1卷积和sigmoid激活函数和relu激活函数的组合，f
sq
为全局平均池化卷积，f
ex
为1x1的卷积和relu激活函数，f
scale
为矩阵相乘操作。
[0027]
作为优选，步骤2-3中所述采用bcediceloss损失函数是因为软骰子损失和交叉熵损失的组合可以获得稳定性，同时因为分割的评估是在三个部分重叠的区域上进行，因此
选择同时对多区域优化，公式如下：
[0028]
l'(x,y)＝l'
dice
(x,y) 0.5*l'
bce
(x,y) (4)
[0029]
l(x,y)＝l
whole
(x,y) l
core
(x,y) l
enh
(x,y) (5)
[0030]
l'
dice
表示dice损失函数，l'
bce
表示交叉损失函数，两者的组合为bcediceloss；l
whole
整个肿瘤区域损失函数，l
core
表示肿瘤核心区域损失函数，l
enh
表示肿瘤增强区域损失函数；x表示预测值，y表示标签真实值，l'(x,y)表示单个区域的损失值，l(x,y)表示三个区域损失值的组合。
[0031]
作为优选，步骤3中所述将编码器中的repvgg模块，通过重构的方式将1x1 的支链卷积和恒等映射合并到3x3卷积堆栈中；首先将bn层和conv层转换成一个带有偏差向量的conv，将得到一个3x3卷积核，两个1x1卷积核，以及三个偏差值；再将两个1x1的卷积通过零填充的方式等价转换为3x3的卷积；利用公式将三个卷积核叠加为一个3x3的卷积并将三个偏差值相加；最终得到为仅有一个3x3卷积的 vgg结构，具体如下：
[0032][0033]
bn(x*w,μ,σ,γ,β)＝(x*w') b'(7)
[0034]
conv(x,w1) conv(x,w2) conv(x,w3)＝conv(x,w1 w2 w3)(8)
[0035]
公式(6)和公式(7)中，μ，σ，γ，β分别表示平均值、标准偏差和学习的比例因子和偏差，x为输入的数据，w为bn层的权重，w'为bn和conv层转换后的卷积核的权重，b'为转换后的偏差，*为卷积操作；；公式(8)中x为输入的数据，w1，w2，w3分别为三个卷积的权重参数，将三个卷积进行线性叠加最终得到为仅有一个3x3卷积的vgg结构。
[0036]
本发明的有益效果：
[0037]
1.本发明通过提出的可重构支链网络使得网络在训练阶段增加特征信息量的同时防止梯度消失和梯度爆炸，使得网络获得5个不同尺度的特征，增强模型学习能力。预测阶段能够通过参数重构使得网络模型参数量降低，提高分割效率。
[0038]
2.本发明通过注意力自适应加权，使得模型不仅在空间信息上对目标特征的提取更加精确，而且能够充分利用不同通道之间的相关信息。因此双注意力机制能够有效解决卷积神经网络中小目标分割能力弱以及多目标之间边缘分割不清晰的问题。
附图说明
[0039]
图1为整个编解码器网络模型结构图。
[0040]
图2为resnet和repvgg训练阶段和推测阶段结构图。
[0041]
图3为双注意力机制中空间注意力机制的流程图。
[0042]
图4为双注意力机制中通道注意力机制的流程图。
[0043]
图5为repvgg结构和参数重构化的流程图。
[0044]
图6为本发明和其他改进脑肿瘤医学图像分割方法的对比图。
具体实施方式
[0045]
为了使本发明的技术方案及优点更加清楚，下面将结合附图和实例对本发明进行详细说明。
[0046]
步骤1：将三维的mri数据集进行预处理。
[0047]
步骤1-1：将三维mri数据进行二维切片处理，得到四个特征通道的图片序列，将样本标签图中像素全部为0的图片删除以减少无关样本量。。
[0048]
步骤1-2：将四个模态的图片序列采用公式(2)中的方法将每张图片进行归一化处理，减小样本不平衡的状况，其中u为像素点的平均值，ai为每个像素点归一化前的值.bi为归一化后每个像素点的值。
[0049][0050]bi
＝(a
i-u)/s (2)
[0051]
步骤1-3：由于数据集图片中存在与分割目标无关的黑色背景，因此为了避免不必要的显存消耗，将上1-2归一化后的二维图片序列进行中心剪裁，将图片大小从 240
×
240剪裁到160
×
160。
[0052]
步骤2：将预处理完成的数据集放入模型进行训练。
[0053]
步骤2-1：编码器部分如附图1将预处理完成的数据集a中图像x0先经过4次 repvgg卷积模块和下采样处理实现增加特征通道数量和缩小图片尺寸的目的，第5 次仅经过1个repvgg卷积模块进行处理,每一次处理得到具有不同图片尺寸和不同特征通道数的结果gi。
[0054]
其中一个repvgg中包含两组相同结构的模块，模块中具有3x3卷积和1x1卷积以及恒等映射的模块，附图2中表示训练期间的信息流为：
[0055]gi
＝f(xi) g(xi) xi(3)
[0056]
其中f表示3
×
3卷积,g表示1
×
1卷积,xi表示恒等映射。该结构通过5次卷积提取到5个不同尺度的特征信息，分别对每个尺度的特征分别进行处理。整个网络通过跳跃连接在保留上层特征同时，还能对下层特征进行处理。这样通过引入层与层之间的信息，使用5个具有不同尺度和不同通道数的图像特征信息，提高所提取特征所包含的信息量。编码器部分通过引入repvgg实现增加每层特征信息量、预防梯度消失和梯度爆炸的作用。
[0057]
步骤2-2：解码器部分将上述第5次的结果g5经过4次上采样和增加双注意力机制的vgg卷积模块的处理，最后经过1
×
1卷积进行特征融合，得到每个像素属于目标分类的概率预测值。
[0058]
其中双注意力机制过程如下，结构如附图3跳跃连接特征gi和上采样结果x
l
分别进入1x1的卷积块处理得到结果为h
×
w的特征图，再将其拼接得到y，随后将y 经过1x1的卷积块、relu激活函数、sigmoid激活函数得到空间注意力系数将注意力系数与上采样的结果x
l
做矩阵乘法，其结果选择性地聚焦于特征图中的目标区域。
[0059]
如附图4注意力模块的结果将作为挤压和激励模块的输入x，挤压和激励模块通过整合所有通道映射中的相关特征来选择性地强调相互依赖的通道映射，输入x通过挤压f
sq
(全局平均池化)，然后再通过f
ex
(卷积网络和relu激活函数)得到通道注意力系数最后与x矩阵相乘以进一步改善通道维度特征表示，这有助于更精确的分割结果。
[0060]
步骤2-3：通过loss函数对预测结果和真实标签进行计算得到误差，再通过反向传播更新参数。当loss函数的数值趋于稳定后，得到最终的模型参数集合。其中训练期间使用
软骰子损失和交叉熵损失之和作为损失函数来获得稳定性：
[0061]
l'(x,y)＝l'
dice
(x,y) 0.5*l'
bce
(x,y) (4)
[0062]
为训练提供的标签是“水肿”、“非增强肿瘤和坏死”和“增强肿瘤”。然而，对分割的评估是在三个部分重叠的区域上进行的:整个肿瘤由所有标签组成、肿瘤核心由“非增强肿瘤和坏死”以及“增强肿瘤”组成。增强肿瘤为单一标签。因此选择优化这些区域而不是单独的类别，提高分割的性能，将优化目标更改为三个肿瘤子区域：
[0063]
l(x,y)＝l
whole
(x,y) l
core
(x,y) l
enh
(x,y) (5)
[0064]
训练过程使用了亚当优化器，学习率为0.003，动量参数为0.9，权重衰减为0.0001.
[0065]
步骤3：将模型参数重构减小参数量，编码器中的repvgg模块，可通过重构的方式将1x1的支链卷积和恒等映射合并到3x3卷积堆栈中，减小模型参数量，加快模型分割图像速度。
[0066]
采用结构重参数技术除去多余分支,其原理就是利用卷积的线性特征作简单的代数变换如附图2。在叠加之前，每个分支中使用bn，使用表示i
×
i 大小的卷积核，c2表示输出的通道数，c1表示输入的通道数，使用μ(i)，σ(i)，γ(i)，β(i)分别表示平均值、标准偏差和学习的比例因子和偏差，使用x表示输入数据。从参数重构的角度，首先我们将卷积层与bn层进行融合，虽然bn层在训练时起到了积极作用，然而，在网络inference时多了一些层的运算，影响了模型的性能，且占用了更多的内存或者显存空间。因此，有必要将bn层的参数合并到卷积层，减少计算来提升模型inference的速度。首先bn层表达式为:
[0067][0068]
首先将每个bn及其前一个conv层转换成一个带有偏差向量的conv。
[0069][0070]
最后融合的结果为：
[0071]
bn(x*w,μ,σ,γ,β)＝(x*w') b' (8)
[0072]
因输入层与输出层之间存在因恒等映射特征值前后不变，故可以构造为一个 1x1的单位卷积，经过上面的变换后，将得到一个3x3卷积核，两个1x1卷积核，以及三个偏差值。再将两个1x1的卷积通过零填充的方式等价转换为3x3的卷积。利用公式conv(x,w1) conv(x,w2) conv(x,w3)＝conv(x,w1 w2 w3)(9)将三个卷积核叠加为一个3x3的卷积并将三个偏差值相加，其中中x为输入的数据，w1，w2， w3分别为三个卷积的权重参数。最终得到为仅有一个3x3卷积的vgg结构。
[0073]
根据附图6，本发明dualattentionrepunet在dice值上明显优于其他模型。提出的模型很好地检测到了所有三个区域，其预测结果与正式真实掩码重合度极高，同时重构化后的模型有效地减小参数量和降低分割时间，使得模型参数量从8.83mb 减小到8.32mb，分割病例的时间由7.12s减少为6.58s。