一种基于超像素和全卷积神经网络的脑部MR图像分割方法与流程

一种基于超像素和全卷积神经网络的脑部mr图像分割方法
技术领域
1.本发明属于图像分割领域，具体地讲，设计一种基于超像素和全卷积神经网络的图像分割方法，实现对脑部mr图像的准确分割。


背景技术：

2.我们所熟知的许多图像分割算法都是对像素进行操作的，在分割过程中把图像当成一个二维矩阵进行数据处理，没有考虑像素之间的空间组织关系，这就导致算法处理效率过低。超像素是指具有相似纹理、颜色、亮度等特征的相邻像素构成的图像块。它利用像素之间特征的相似程度将像素分组，可以获取图像的冗余信息，在很大程度上降低了后续图像处理任务的复杂度。超像素分割算法因为其独有的特点使其应用范围极为广泛，在众多的图像分割算法中有着重要地位。随着近年来对超像素研究的不断深入，出现了许多优秀的超像素生成算法，这些算法主要可以分为两大类，一种是基于图论的方法，另一种是基于梯度下降的方法。其中基于图论的方法是把图像转化为带权无向图，接着对生成的图按照一定的规则划分子图，划分的标准就是让子图内的相似性最大，而子图间的相似性最小。本质上就是移除带权无向图中特定的边，从而产生符合要求的子图。基于梯度的方法本质上是对像素点进行聚类，接着进行不断地迭代，直到符合要求为止，产生的类簇就是超像素。超像素分割算法普遍存在超像素数量、紧密度与分割质量、算法实用性之间相互制约的问题，对于具有精细结构的目标也很难精准分割出来。传统的图像分割算法都是利用颜色、纹理和亮度等低级的语义信息来分割图像，运行的速度快、复杂度较低同时也能够保持良好的边缘信息。但是在实际应用中，图像中的内容可能比较复杂，具有比较大的差异性，这就造成了使用传统分割方法效果不理想的现象。近年来随着深度学习不断地发展，其已经应用到各个领域之中，取得了十分显著的研究成果，而人工神经网络在图像分割中的应用，使图像分割的效果得到了更进一步的提升。fcn网络模型是十分经典的图像语义分割网络模型之一，后续的许多网络模型都是在该网络基础上进行改进的。fcn是把cnn最后的全连接层使用卷积层代替，其最大的特点就是可以接受任意尺寸的输入图像，通过反卷积操作对最后一个卷积层的特征图进行上采样，使它恢复到输入图像相同的尺寸，从而实现了端到端的语义分割。基于fcn的分割缺少空间信息的考虑，且存在着训练数据较多，计算成本高的问题。对于医学图像而言，纹理、颜色等特征信息较少，分界线不明显，这些因素都会对分割效果造成影响。


技术实现要素：

3.本发明的目的在于克服现有技术的不足，构建同时考虑全局特征和局部细节信息的全卷积神经网络，通过多数投票规则实现像素的重新划分，提出一种基于超像素和全卷积神经网络的脑部mr图像分割方法，提高脑部mr图像分割的准确度，其分割结果优于其他分割方法。
4.为了实现上述目的，本发明所采用的技术方案是：
一种基于超像素和全卷积神经网络的脑部mr图像分割方法，其关键步骤包括：步骤一，采用简单线性迭代聚类算法对源图像进行预处理，获得超像素分割结果；步骤二，构建基于加权融合的全卷积神经网络，在不同路径的上采样过程中，对不同图像层进行加权融合，从而获得不同的分割结果；步骤三，设计基于多数投票规则的像素分类方法，通过比较不同分割结果中像素的分类标签，对歧义像素进行重新划分，获得最终的细化分割结果。
5.步骤一所述的采用简单线性迭代聚类算法，算法描述为：给定一幅源图像i，n为源图像中所有像素的数目，以网格间距初始化k个聚类中心，计算距离测量公式如下：其中，表示像素p与像素q的灰度距离，表示像素p与像素q的空间距离，m和s表示两个参数，用于平衡灰度距离和空间距离，m的取值范围为[1, 40]。
[0006]
在步骤二中，构建基于加权融合的全卷积神经网络，在不同路径的上采样过程中，对不同图像层进行加权融合，构建方式为：通过构建5条不同的网络路径，获得5种包含不同信息量的图像分割结果；第一条路径中，对第五层的池化层执行32倍反卷积，获得分割结果fcn-32s；第二条路径中，对第五层的预测结果进行2倍上采样与第四层的预测结果进行加权融合（权值均为1/2），获得分割结果fcn-16s；第三条路径中，对第五层的预测结果进行4倍上采样，对第四层的预测结果进行2倍上采样，二者与第三层的预测结果进行加权融合（权值均为1/3），获得分割结果fcn-8s；第四条路径中，对第五层的预测结果进行8倍上采样，对第四层的预测结果进行4倍上采样，对第三层的预测结果进行2倍上采样，三者与第二层的预测结果进行加权融合（权值均为1/4），获得分割结果fcn-4s；第五条路径中，对第五层的预测结果进行16倍上采样，对第四层的预测结果进行8倍上采样，对第三层的预测结果进行4倍上采样，对第二层的预测结果进行2倍上采样，四者与第一层的预测结果进行加权融合（权值均为1/5），获得分割结果fcn-2s；在步骤三中，设计基于多数投票规则的像素分类方法，通过比较不同分割结果中像素的分类标签，对歧义像素进行重新划分，方法描述如下：对于源图像i中的像素p，如果p在所有不同的分割结果rk（）中均被划分到了同一区域，则该像素无需进行重新划分，其分类标签为。如果像素p在不同分割结果中被划分到了不同的区域，即像素p的分类标签是有歧义的，则像素p的最终分类标签将根据p本身的灰度值及分割结果rk中p所属区域m内的像素灰度均值确定。
[0007]
歧义像素p的最终分类标签为，。其中，表示像素p的灰度值。表示像素p在分割结果rk中所属的分割区域，q表示分割区域内的像素，表示区域内的像素的个数。
[0008]
本发明提出方法的主要优点有：（1）采用简单线性迭代聚类算法，对源图像进行超
像素分割，提高后续处理的运行效率；（2）构建基于加权融合的全卷积神经网络，在不同路径的上采样过程中，对不同图像层进行加权融合，同时考虑像素的全局特征和局部细节信息；（3）设计基于多数投票规则的像素分类方法，对类标签有歧义的像素进行重新划分，提高图像分割的准确度。
附图说明
[0009]
图1是本发明基于超像素和全卷积神经网络的脑部mr图像分割方法的流程图；图2是本发明提出的基于加权融合的全卷积神经网络模型；图3是本发明基于超像素和全卷积神经网络的脑部mr图像分割方法获得的图像分割结果与其他分割结果的对比示例。
具体实施方式
[0010]
下面结合附图对本发明进行详细说明，以便本领域的技术人员更好地理解本发明。需要指出的是，在不脱离本发明核心思想的前提下，本领域的技术人员可以对本发明做出一些改进，这些都属于本发明的保护范围。
[0011]
如图1所示，本发明提供一种基于超像素和全卷积神经网络的脑部mr图像分割方法，包括如下步骤：步骤一，采用简单线性迭代聚类算法对源图像进行超像素分割，算法描述为：给定一幅源图像i，n为源图像中所有像素的数目。以网格间距初始化k个聚类中心。计算距离测量公式如下：其中，表示像素p与像素q的灰度距离，表示像素p与像素q的空间距离，m和s表示两个参数，用于平衡灰度距离和空间距离，m的取值范围为[1, 40]。
[0012]
步骤二，构建基于加权融合的全卷积神经网络，在不同路径的上采样过程中，对不同图像层进行加权融合，构建方式为：通过构建5条不同的网络路径，获得5种包含不同信息量的图像分割结果。
[0013]
第一条路径中，对第五层的池化层执行32倍反卷积，获得分割结果fcn-32s；第二条路径中，对第五层的预测结果进行2倍上采样与第四层的预测结果进行加权融合（权值均为1/2），获得分割结果fcn-16s；第三条路径中，对第五层的预测结果进行4倍上采样，对第四层的预测结果进行2倍上采样，二者与第三层的预测结果进行加权融合（权值均为1/3），获得分割结果fcn-8s；第四条路径中，对第五层的预测结果进行8倍上采样，对第四层的预测结果进行4倍上采样，对第三层的预测结果进行2倍上采样，三者与第二层的预测结果进行加权融合（权值均为1/4），获得分割结果fcn-4s；第五条路径中，对第五层的预测结果进行16倍上采样，对第四层的预测结果进行8倍上采样，对第三层的预测结果进行4倍上采样，对第二层的预测结果进行2倍上采样，四者
与第一层的预测结果进行加权融合（权值均为1/5），获得分割结果fcn-2s；步骤三，设计基于多数投票规则的像素分类方法，通过比较不同分割结果中像素的分类标签，对歧义像素进行重新划分，方法描述如下：对于源图像i中的像素p，如果p在所有不同的分割结果rk（）中均被划分到了同一区域，则该像素无需进行重新划分，其分类标签为。如果像素p在不同分割结果中被划分到了不同的区域，即像素p的分类标签是有歧义的，则像素p的最终分类标签将根据p本身的灰度值及分割结果rk中p所属区域m内的像素灰度均值确定。
[0014]
歧义像素p的最终分类标签为，。其中，表示像素p的灰度值，表示像素p在分割结果rk中所属的分割区域，q表示分割区域内的像素，表示区域内的像素的个数。
[0015]
本实施例中，图2是本发明提出的基于加权融合的全卷积神经网络模型，其输入为源图像，输出为5种不同的分割结果。
[0016]
图3是本发明基于超像素和全卷积神经网络的脑部mr图像分割方法获得的图像分割结果与其他分割算法获得的分割结果的对比示例，共包括两组图像((i)和(ii))。其中，第(ii)组中源图像是在第(i)组中源图像上添加高斯噪声n(0, 0.001)获得的。图3(a)是脑部mr源图像，图3(b)-(f)是不同分割算法获得的分割结果。从图中可以看出，本发明获得的分割结果具有清晰的边缘，能够很好地保留源图像中组织区域的结构信息和更多的细节信息，优于其他分割结果。此外，本发明能够有效地避免噪声的影响。
[0017]
表1为图3中不同分割算法的准确度评价结果。其中，最优评价结果用粗体标出。从表中可以看出，本发明获得的分割结果在准确度上优于其他分割算法，从客观角度验证了上述主观评价。
[0018]
表1 图3分割结果的准确度评价测试图像本发明dcehl-iimtiimtotsu(i)0.95930.91560.85320.81650.8021(ii)0.84470.83210.75290.73450.7300