一种基于改进U-Net型网络的心脏MRI分割方法

一种基于改进u-net型网络的心脏mri分割方法
技术领域
1.本发明涉及医学图像处理技术领域，具体涉及一种基于改进的u-net型网络的心脏mri分割方法。


背景技术：

2.心脏是人体最重要的器官之一，是循环系统中的主要器官，为血液流动提供动力。心血管疾病是全身性血管病变或系统性血管病变在心脏的表现，具有高发病率、高致残率、高死亡率的特点，己经成为人类最普遍的死亡原因。心脏功能分析在临床心脏病学中对患者管理、疾病诊断、风险评估和治疗决策发挥着重要作用，可以通过推导心室容积、卒中容积、射血分数和心肌质量等临床参数，定量分析整体和局部心脏功能。而上述这些参数主要是通过对心脏磁共振图像进行分析得到的，目前心脏磁共振图像的分割工作主要是由有经验的医生完成，这样会耗费大量的人力物力，并且很可能会因为注意力下降或疲劳等原因导致诊断效率低下，因此，临床上特别迫切需要快速、准确、自动化的心脏分割方法。
3.不仅左心室的形态、结构异常作为疾病诊断的重要依据，近年来很多心血管疾病(例如心律失常性有心事心肌病)的诊断也离不开右心室形态变化的观察，但是右心室由于心室壁薄使得内外莫边界极易混淆，并且由于肌小梁粗大等特点导致右心室的边缘检测难度远高于左心室。且心脏一直处于运动状态，其本身结构的复杂性更使得心室内部结构难以清楚识别和判断。而传统的图像分割算法需要大量的先验知识作为基础，并且对心脏磁共振图像进行分割的效果并不理想，因此传统的图像分割算法存在较为明显的局限性。本文在基于深度学习图像分割算法的基础上，对其进行改进以实现心脏磁共振图像的精确分割。本文提出了一种改进u-net型网络的心脏mri分割方法。主要是利用残差块和降维的inception块来代替基本的u-net块来保证输出特征的表达能力，有助于缓解梯度消失的问题，并且增加了网络的宽度，提高了网络对不同尺度特征的适应性，同时引入一种新的通道注意力机制模块，利用解码器特性提供的全局上下文信息作为低级特征的指导，以选择有意义的上下文信息来指导和增强低级编码器特性，生成具有增强上下文信息的精细编码器特征，改进了编码器和解码器的连接过程，提高了分割模型网络的准确性。


技术实现要素：

4.本发明的目的是为了解决心脏mri分割的精确度问题，提出的一种改进u-net型网络的mri分割方法。
5.上述发明的目的主要是通过以下技术方案实现的：
6.s1、对心脏mri图片和标注图片进行图像预处理的操作；
7.s2、将进行预处理后的心脏mri及其专家标注图片分为训练集、验证集和测试集；
8.s3、搭建分割网络结构；
9.图2所示为本文提出的分割网络结构图，该分割网络由编码部分和解码部分组成，编码部分在每一次下采样之后首先通过一个如图3所示残差块，在增加网络深度的同时防
止梯度消失，有利于更好的提取图像特征。然后通过一个如图4所示的降维的inception块，降维是为了避免输入inception块的通道数过多，在每个卷积操作之前都先经过一个1x1的卷积块来控制输入通道数量，降低了计算成本，同时增加了网络的宽度，从而提高了网络对不同尺度特征的适应性，提升了网络性能。
10.图中的空间注意力模块(sam)如图5所示，输入特征图u的通道数为c、高度为h、宽度为w，经过空间注意力时，同时进行最大空间池化和全局平均池化，得到两个1
×h×
w的feature map进行拼接，最后通过一个2
×1×
1的卷积操作，将拼接的特征图从2
×h×
w变为1
×h×
w，然后用sigmoid进行激活，得到空间注意力的特征图，直接施加到原始特征图上，这种重新校准特征图提供了更多的权重相关的空间信息，忽略了不相关的空间信息。编码器经过降维的inception块后得到的特征图和解码器中同一层级特征图分别输入通道注意力模块中(如图6所示)，两者分别在通道维度进行最大池化和平均池化，得到c
×1×
1两个向量，然后通过一个共享的mlp(多层感知机)，中间隐藏层的节点为c/r(r为节点减少比例，取为8)，输出节点与通道的维度保持一致为c，编码器和解码器通过通道注意力机制获得的两列向量分别进行相加，最后用sigmoid进行激活并与原始特征图相乘，得到经过通道校准后的特征图，给重要的通道赋予大的权重，忽略不重要的通道。然后在解码器阶段将通过空间注意力模块得到的特征图以及在上采样之后得到的特征图三者进行拼接，拼接后经过一个残差块，然后再进行上采样。
11.s4、利用s2中得到的训练集，依批次输入分割网络，进行训练；
12.s5、用二元交叉熵损失函数来计算预测结果与真实标签之间的损失，进行反向传播更新权重；
13.二元交叉熵损失函数的计算公式如下：
[0014][0015]
式中y为真实标签，为预测结果。二元交叉熵损失函数适用于二分类问题。当y为0的时候，公式的前半部分为0，需要尽可能为0才能使后半部分数值更小；当y为1时，后半部分为0，需要尽可能为1才能使后半部分的值更小，这样就达到了让尽量靠近y的效果。
[0016]
s6、在每次训练结束时，用验证集评估从s3中得到的模型并保存评估结果最好的模型；
[0017]
s7、利用s2中得到的测试集，输入至s6中评估结果最好的模型进行分割，得到预测图片；
[0018]
s8、：用dice相似系数作为评价标准来对分割效果进行评估。
[0019]
发明效果
[0020]
本发明提供了一种基于改进u-net网络的心脏mri分割方法。用残差块和降维的inception块替代原始u-net中的编码器每一层的结构，从而更精确的提取图片特征信息。为了解决u-net模型中的跳跃长连接在传递关键细节特征时将无用信息或噪声同时传入解码层的问题，在网络模型中引入了注意力机制。通过空间注意力机制以及通道注意力机制的引入，增强了编码器-解码器特征连接，能够很好地增强前景的特征，同时抑背景的特征，提高了心脏mri分割的准确性。
附图说明
[0021]
图1摘要附图；
[0022]
图2分割网络结构图；
[0023]
图3残差块结构图；
[0024]
图4降维inception块结构图；
[0025]
图5空间注意力模块结构图；
[0026]
图6通道注意力模块结构图；
[0027]
具体实施方法
[0028]
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0029]
实施例1：
[0030]
如图1所示本文提供的一种基于改进u-net网络的心脏mri分割方法，包含步骤：
[0031]
s1、对心脏mri图片和标注图片进行图像预处理的操作；
[0032]
s2、将进行预处理后的心脏mri及其专家标注图片分为训练集、验证集和测试集；
[0033]
s3、搭建分割网络结构；
[0034]
s4、利用s2中得到的训练集，依批次输入分割网络，进行训练；
[0035]
s5、用二元交叉熵损失函数来计算预测结果与真实标签之间的损失，进行反向传播更新权重；
[0036]
s6、在每次训练结束时，用验证集评估从s3中得到的模型并保存评估结果最好的模型；
[0037]
s7、利用s2中得到的测试集，输入至s6中评估结果最好的模型进行分割，得到预测图片；
[0038]
s8、用dice相似系数作为评价标准来对分割效果进行评估。
[0039]
本发明实施例选取acdc(自动心脏诊断挑战)数据集，先对mri图片和标注图片进行预处理，将处理后的图片按照70％、10％和20％的比例分为训练集、验证集和测试集。将训练集依批次输入至构建好的分割网络中，进行训练。并用二元交叉熵损失函数计算预测结果与真实标签之间的损失，用随机梯度下降法优化损失函数，进行反向传播更新权重。使用验证集评估模型并保存评估结果最好的模型参数。将测试集输入至训练好的分割网络中进行分割，得到预测图片，用dice相似系数作为评价标准来对分割效果进行评估。
[0040]
下面对本发明实施例进行详细的说明：
[0041]
本发明实施例采用心脏磁共振图片，应用本发明算法实现分割具体实现如下。
[0042]
s1、对心脏mri图片和标注图片进行图像预处理的操作；
[0043]
首先选取acdc公开数据集中的100例患者及其对应的专家标注图片进行镜像、随机旋转、随机裁剪、弹性形变的数据增强方式，得到10000张训练样本，图片大小均裁剪为224
×
224大小，其中镜像等操作是通过python完成的。
[0044]
s2、将进行预处理后的心脏mri及其专家标注图片分为训练集、验证集和测试集；
[0045]
将进行预处理后的磁共振图片按照70％、10％和20％的比例分为训练集、验证集
和测试集。
[0046]
s3、搭建分割的网络；
[0047]
图2所示为本文提出的分割网络结构图，该分割网络由编码部分和解码部分组成，编码部分在每一次下采样之后首先通过一个如图3所示残差块，在增加网络深度的同时防止梯度消失，有利于更好的提取图像特征。然后通过一个如图4所示的降维的inception块，降维是为了避免输入inception块的通道数过多，在每个卷积操作之前都先经过一个1x1的卷积块来控制输入通道数量，降低了计算成本，同时增加了网络的宽度，从而提高了网络对不同尺度特征的适应性，提升了网络性能。
[0048]
图中的空间注意力模块(sam)如图5所示，输入特征图u的通道数为c、高度为h、宽度为w，经过空间注意力时，同时进行最大空间池化和全局平均池化，得到两个1
×h×
w的feature map进行拼接，最后通过一个2
×1×
1的卷积操作，将拼接的特征图从2
×h×
w变为1
×h×
w，然后用sigmoid进行激活，得到空间注意力的特征图，直接施加到原始特征图上，这种重新校准特征图提供了更多的权重相关的空间信息，忽略了不相关的空间信息。编码器经过降维的inception块后得到的特征图和解码器中同一层级特征图分别输入通道注意力模块中(如图6所示)，两者分别在通道维度进行最大池化和平均池化，得到c
×1×
1两个向量，然后通过一个共享的mlp(多层感知机)，中间隐藏层的节点为c/r(r为节点减少比例，取为8)，输出节点与通道的维度保持一致为c，编码器和解码器通过通道注意力机制获得的两列向量分别进行相加，最后用sigmoid进行激活并与原始特征图相乘，得到经过通道校准后的特征图，给重要的通道赋予大的权重，忽略不重要的通道。然后在解码器阶段将通过空间注意力模块得到的特征图以及在上采样之后得到的特征图三者进行拼接，拼接后经过一个残差块，然后再进行上采样。
[0049]
s4、利用s2中得到的训练集，依批次输入分割网络，进行训练；
[0050]
将准备好的训练集图片依批次输入至分割网络中，编码部分输出的每一层特征都会经过空间注意力模块，同时与对应的解码器层中的特征图一同经过通道注意力模块，并与上采样部分的特征图三者进行拼接，然后通过一个残差块之后上采样，直至上采样至原图片大小。
[0051]
s5、用二元交叉熵损失函数来计算预测结果与真实标签之间的损失，进行反向传播更新权重；
[0052]
将上述得到的预测结果经过sigmoid函数，把数值变为0到1之间，之后利用二元交叉熵损失函数来计算预测结果与真实标签之间的损失。用随机梯度下降法优化损失函数，进行反向传播更新权重。二元交叉熵损失函数的计算公式如下：
[0053][0054]
式中y为真实标签，为预测结果。二元交叉熵损失函数适用于二分类问题。当y为0的时候，公式的前半部分为0，需要尽可能为0才能使后半部分数值更小；当y为1时，后半部分为0，需要尽可能为1才能使后半部分的值更小，这样就达到了让尽量靠近y的效果。
[0055]
s6、在每次训练结束时，用验证集评估从s3中得到的模型并保存评估结果最好的模型；
[0056]
每次训练结束时，用验证集评估模型的分数，并与上一次评估的分数进行比较，从而保存得分最高的模型。
[0057]
s7、利用s2中得到的测试集，输入至s6中评估结果最好的模型进行分割，得到预测图片；
[0058]
s8、用dice相似系数作为评价标准来对分割效果进行评估。
[0059]
利用测试集对训练好的网络模型进行测试，将最后得到的预测结果用dice相似系数作为评价标准来对分割效果进行评估。dice相似系数是一种集合相似性度量函数，用于衡量两个二值样本之间的重叠程度，度量值在[0,1]之间，dice相似系数为1表示完全重叠，计算公式如下：
[0060][0061]
式中|x|表示集合x中的元素数，|y|表示集合y中的元素数，而|x∩y|表示集合x和y共有的元素数。用于评价图像分割的dice系数公式为：
[0062][0063]
式中表示模型预测结果中对应的像素值，yi表示真实标签中对应的像素值，直接计算模型输出的预测结果和真实标签的所有像素点的误差，衡量了预测结果与真实标签数据的整体一致性。