一种基于UNet++的低级别胶质瘤图像分割方法与流程

一种基于unet 的低级别胶质瘤图像分割方法
技术领域
1.本发明属于医学图像处理领域，具体涉及一种基于unet 的低级别胶质瘤图像分割方法。


背景技术：

2.如今，医学图像处理已逐渐发展为一个重要的研究领域。利用计算机图像处理技术对二维切片图像进行分析和处理，实现对肿瘤病变区的分割提取，可以辅助医生进行临床分析，从而提高医疗诊断的准确性和可靠性。胶质瘤患者就诊时最常做的检查是磁共振成像(mri)。核磁共振成像可产生高质量无损伤和无颅骨伪影的脑影像，是临床医学研究脑部组织结构的主要影像学工具和脑肿瘤诊疗的主要技术手段。由于成像技术限制和影像采集过程环境因素等影响，仍导致mri脑影像存在运动伪影和噪声的情况。
3.在脑肿瘤分割技术发展初期，多使用无监督分割。无监督分割通过计算机对图像进行集聚统计分析，是一种无先验图像的分割技术。后来随着机器学习的发展，出现了大量用传统机器学习处理脑肿瘤的分割算法,比如支持向量机 (svm),条件随机场(crf)和随机森林(rf)等。2013年，卷积神经网络(cnn) 作为最流行的深度学习技术之一，在各个应用场景中得到了广泛的应用，成为计算机视觉领域中领先的机器学习工具。2014年，jonathan long等人提出的fullyconvolutional network，采用已有的较优图像分类网络，例如alexnet，作为网络的编码器模块，并增加了带有转置卷积层的解码器模块，实现端到端的训练，解决了像素级图像分割任务。
4.同年ian j.goodfellow等提出gan，一个通过对抗过程生成模型的新框架，使网络框架不再完全依赖数据量和标签。2015年，ronneberger等人通过扩大网络解码器模块的容量来改进全卷积架构。他们提出了u-net架构，它包括一个可以捕获上下文信息的编码器和一个能够实现精确定位的解码器。但u-net的集联操作将高分辨率特征映射从编码器与相应解码器上采样得到的特征映射相连接，导致语义上不同的特征映射融合，造成低级特征和高级特征之间存在语义鸿沟，未能达到最好的预测效果。
5.目前在胶质瘤分割中存在两个问题，第一，由于成像技术的限制造成的光照和阴影，以及脑肿瘤图像数据有限且类别不平衡等问题，精确标注图像较少，如何解决这些问题以提高网络模型的抗噪性和泛化能力。第二，脑瘤的空间位置和形状尺寸复杂多变，不同患者之间存在较大差异，以及正常组织和病变组织的结构存在较大差异等原因，在面对这些复杂的情况时，如何更加快速精准、高效智能化的肿瘤分割。
6.在目前的医学分割领域，最常用的深度学习框架是采用编码器解码器结构的 u-net网络，网络经过四次降采样(最大池化)，四次上采样(转置卷积)，得到最终的分割结果。u-net中的编码器部分把图像分解为不同层次的特征映射，在四次下采样后，取一半卷积核进行上采样，再剪切对应下采样层的特征映射，和上采样得到的特征映射拼接在一起。特征映射的拼接操作可以恢复部分在上采样的过程中丢失的语义特征，从而保证分割的精度。
7.但u-net中简单的拼接操作会使编码器得到的特征映射与解码器中得到的特征映
射直接级联，导致语义上不同的特征映射融合，造成低级特征和高级特征之间存在语义鸿沟，不能达到高精度的医学分割。


技术实现要素：

8.为解决上述技术问题，本发明以低级别胶质瘤的分割作为研究方向，提出一种基于unet 的低级别胶质瘤分割方法。本发明方法从肿瘤mri图像里自动学习病灶特征，实现了对低级别胶质瘤mri图像的分割，相比于现有u-net技术本发明的分割结果更为准确。在unet 中，将u-net中简单的跳跃连接(拼接)改为密集跳跃连接，融合编码器网络的高分辨率特征映射和相应的解码器网络中语义丰富的特征映射，从而使网络可以更有效地捕获目标肿瘤的细粒度细节。
9.基于上述问题，本发明提供了一种基于unet 的低级别胶质瘤图像分割方法，
10.所述分割方法的步骤包括：
11.s1、获取低级别胶质瘤mri图像和已标注的对应分割掩膜图像；
12.s2、构建低级别胶质瘤图像的训练集、验证集和测试集；划分后的训练集包括分割掩膜以及经过灰度归一化和数据增强处理后的低级别胶质瘤图像数据；
13.s3、构建unet 卷积神经网络模型，所述unet 卷积神经网络模型包括编码器结构、解码器结构和密集跳跃连接结构；
14.s4、利用低级别胶质瘤图像作为训练集训练已构建的unet 卷积神经网络，生成网络模型，并利用低级别胶质瘤图像的测试集图像数据对模型效果进行评估；
15.s5、利用训练好的unet 网络模型对待测的低级别胶瘤样本图像进行分割并取得分割结果。
16.进一步的，所述步骤s2的训练集、验证集和测试集的构建过程为：对数据集里的图像进行灰度归一化，将训练集、验证集和测试集按照约7:2:1的比例进行划分，将其中2828张已经标记好的低级别胶质瘤的mri图像和对应的分割掩膜作为训练集样本，并对原始训练数据分别做水平和垂直镜像变换以及旋转变换来扩充训练集。
17.进一步的，所述步骤s3里所述的unet 卷积神经网络模型分为5层结构，自上到下，将编码器特征与下一层编码器上采样特征进行融合；融合后的模块输出继续与下一层相应模块上采样特征再融合，直至循环到模块下一层没有对应的上采样模块为止；所述网络模型一共采用15个节点，每个节点使用2个尺寸为3*3步长为1的卷积核，每个卷积层后接leaky-rule和一个批规范化(bn)层，以提高网络性能。
18.本发明的有益效果是：
19.本发明提供的一种基于unet 的低级别胶质瘤图像分割方法，使用unet 卷积神经网络建立一个端到端的胶质瘤分割模型，通过使用密集跳跃连接来融合深层特征和浅层特征，网络分割结果准确率高，抗噪性好，并且缩短了训练时间，提高了检测效率。与基于u-net的分割模型进行对比，在低级别胶质瘤 mri图像分割问题上的相似度效果有了很大的提升。
附图说明
20.图1为本发明提供的一种基于unet 的低级别胶质瘤图像分割方法的流程图；
21.图2为本发明提供的一种基于unet 的低级别胶质瘤图像分割方法的网络模型结构图；
22.图3为本发明提供的一种基于unet 的低级别胶质瘤图像分割方法的密集跳跃连接结构图；
23.图4为本发明提供的一种基于unet 的低级别胶质瘤图像分割方法的无病灶低级别胶质瘤mri切片图；
24.图5为图4切片图对应的分割掩膜图；
25.图6为采用u-net网络模型对图4切片的分割结果图；
26.图7为采用本发明unet 的低级别胶质瘤图像分割方法对图4的分割结果图；
27.图8为本发明提供的一种基于unet 的低级别胶质瘤图像分割方法的有病灶低级别胶质瘤mri切片图；
28.图9为图8切片图对应的异常分割掩膜图；
29.图10为采用u-net网络模型对图8切片的分割结果图；
30.图11为采用本发明unet 的低级别胶质瘤图像分割方法对图8的分割结果图；
具体实施方式
31.为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本技术的实施例及实施例中的特征可以相互组合。在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。
32.如图1所示，本发明的一种基于unet 的低级别胶质瘤图像分割方法，所述分割方法的步骤包括：
33.s1、获取低级别胶质瘤mri图像和已标注的对应分割掩膜图像；
34.s2、构建低级别胶质瘤图像的训练集、验证集和测试集；划分后的训练集包括分割掩膜以及经过灰度归一化和数据增强处理后的低级别胶质瘤图像数据；
35.s3、构建unet 卷积神经网络模型，所述unet 卷积神经网络模型包括编码器结构、解码器结构和密集跳跃连接结构；
36.s4、利用低级别胶质瘤图像作为训练集训练已构建的unet 卷积神经网络，生成网络模型，并利用低级别胶质瘤图像的测试集图像数据对模型效果进行评估；
37.s5、利用训练好的unet 网络模型对待测的低级别胶瘤样本图像进行分割并取得分割结果。
38.如图1所示，所述步骤s2的训练集、验证集和测试集的构建过程为：对数据集里的图像进行灰度归一化，将训练集、验证集和测试集按照约7:2:1的比例进行划分，将其中2828张已经标记好的低级别胶质瘤的mri图像和对应的分割掩膜作为训练集样本，并对原始训练数据分别做水平和垂直镜像变换以及旋转变换来扩充训练集。
39.如图2所示，所述步骤s3里所述的unet 卷积神经网络模型分为5层结构，自上到下，将编码器特征与下一层编码器上采样特征进行融合；融合后的模块输出继续与下一层相应模块上采样特征再融合，如此循环到模块下一层没有对应的上采样模块为止；所述网
络模型一共采用15个节点，每个节点使用2个尺寸为3*3步长为1的卷积核，每个卷积层后接leaky-rule和一个批规范化(bn)层以提高网络性能。
40.如图3所示，单个节点的输出结果为：
[0041][0042]
x
i,j
表示当前节点，即特征提取模块的输出，i表示编码器下采样的层序，j表示同一层的模块序号，j＝0表示编码器特征提取模块，h(
·
)表示特征提取模块的卷积操作，u(
·
)表示上采样操作，[]表示密集跳跃连里的特征通道连接。综上所述，每个模块的输出如下公式所述：
[0043][0044]
所述网络采用dice系数损失函数作为损失函数，如下公式所示：
[0045][0046]ygt
表示胶质瘤标注，y
p
表示预测结果，表示第b张图像的分割标注，表示第b张图像的预测概率，n表示批次大小。
[0047]
本发明使用unet 卷积神经网络建立一个端到端的胶质瘤分割模型，通过使用密集跳跃连接来融合深层特征和浅层特征，网络分割结果准确率高，抗噪性好，并且缩短了训练时间，提高了检测效率。为验证本算法在低级别胶质瘤分割问题上的相似度效果的提升，采用dice系数进行对比，dice系数是一种评估相似度的函数，通常用于计算两个样本的相似度或者重叠度。计算结果表明：u-net的分割模型的dice系数为0.8521，本发明的unet 网络模型dice 系数为0.8910，unet 网络模型相比于u-net的分割模型在胶质瘤图像分割上 dice系数提高了3.89％。
[0048]
根据获取的无病灶低级别胶质瘤mri图像(如图4所示)，将基于u-net网络实现的分割网络所得到的结果(图6所示)与异常分割掩膜(图5所示)对比，可知结果存在误分割的情况，unet 网络将u-net的中的简单拼接改为密集跳跃连接，融合了编码器网络的高分辨率特征映射和对应的解码器网络中语义丰富的特征映射，使得到分使割结果(如图6所示)更加准确，避免了误分割的情况。根据获取的有病灶低级别胶质瘤mri图像(如图8所示)，将基于u-net网络实现的分割网络所得到的结果(如图10所示)与异常分割掩膜(如图9所示)对比，结果并不准确，unet 网络将u-net的中的简单拼接改为密集跳跃连接，避免了语义上不同的特征映射融合而导致的低级特征和高级特征之间的语义鸿沟，使分割结果(如图11所示)边缘更加清晰，更加准确地反映了了病灶的位置尺寸，便于辅助医师进行诊断。
[0049]
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改，等同替换和改进等，均应包含在本发明权利要求的保护范围之内。