一种基于卷积神经网络的胎儿胼胝体超声图像分割方法

1.本发明属于医学图像处理技术领域，具体涉及一种基于卷积神经网络的胎儿胼胝体超声图像分割方法。


背景技术：

2.胼胝体位于大脑半球纵裂的底部，是大脑半球中最大的连合纤维。胼胝体发育不良(acc)是胎儿中枢神经系统畸形中的一种先天性发育异常，指在发育过程中胼胝体部分或完全缺失，利用影像学检查在胎儿期诊断胼胝体发育状况具有重要研究意义。产前超声是目前临床诊断较常用的检查方法，超声受胎位和图像分辨率影响，难以直接显示胼胝体的完整形态。并且在这个过程中，由于胎儿胼胝体特征不明显，较难辨别，严重依赖医生的诊断经验且工作量巨大。深度学习技术已经在医学影像分析领域得到广泛应用，为胎儿超声图像的高精度分析和acc智能识别提供了有利的技术途径。
3.医学图像分割是一个重要且有很大发展空间的研究方向，由于医学图像固有的特征——分辨率低、噪声大、数据集少等，使其成为了在图像语义分割中需要攻克的重要难点之一。在医学图像分割领域中，为解决上述问题提出了很多解决方案，总得来说大致可以分为两个类别：基于传统数字图像处理的方法，基于深度学习的方法。
4.目前，基于深度学习的方法已经被应用于多种医学图像的分割任务。针对胎儿胼胝体的分割，中国发明专利申请“cn113160265a一种用于胼胝体状态评估的脑部胼胝体分割预测图像的构建方法”针对提出了如下技术方案：从获取的胎儿脑部超声图像中绘制出胼胝体初始轮廓线，计算胼胝体初始轮廓线的关键点偏移量，根据胼胝体初始轮廓线和关键点偏移量在所述胎儿脑部超声图像中裁剪出脑部胼胝体分割预测图像。
5.然而，上述方案中所用的深度神经网络的注意力和特征融合方式没有考虑不同特征之间的依赖关系，从而使得对图像的分割结果仍然不够理想。


技术实现要素：

6.基于现有技术的缺陷，本发明提供一种基于卷积神经网络的胎儿胼胝体超声图像分割方法，目的在于提供更加准确、高效的胎儿胼胝体超声图像的分割方法。
7.一种基于卷积神经网络的胎儿胼胝体超声图像分割方法，包括如下步骤：
8.步骤1，采集或输入胎儿胼胝体的超声图像；
9.步骤2，将所述超声图像输入卷积神经网络模型进行分割，
10.其中，所述卷积神经网络模型包括如下三个模块：特征提取模块、多尺度特征融合模块、空间注意力和通道注意力模块；
11.步骤3，输出分割后的结果。
12.优选的，在卷积神经网络模型的训练过程中，所述超声图像输入模型前还进行预处理，所述预处理的具体方法包括：
13.步骤1.1，将胎儿超声图像的像素值调整到[0,255]；
[0014]
步骤1.2，从调整后超声图像中裁剪出胎儿脑部，将裁减后的图片使用直方图进行校正；
[0015]
步骤1.3，对校正后的超声图像使用翻转、镜像对称、弹性形变或图像混合中至少一种方法进行数据增强。
[0016]
优选的，步骤1.3中，所述图像混合是将来自训练集的图像进行随机合并，所述随机合并是将两个随机的训练集样本数据(xi yi)和(xj yj)进行线性组合，线性组合后得到的混合样本由下式给出：
[0017]
x
mixup
＝λxi (1-λ)xj[0018]ymixup
＝λyi (1-λ)yj[0019]
其中λ∈[0,1]并且根据beta分布进行分配，x表示超声图像，y表示超声图像的训练标签，i、j分别表示两个训练数据。
[0020]
优选的，步骤2中，所述特征提取模块的卷积神经网络以残差单元为主体构成。
[0021]
优选的，步骤2中，所述特征提取模块采用resnet101，负责输出超声图像4个深度的特征；
[0022]
所述多尺度特征融合模块将4个深度特征上采样到[512,512]，再通过一个卷积网络输出融合特征；
[0023]
所述空间注意力和通道注意力模块将融合特征和4个深度特征结合作为输入，计算后输出胎儿胼胝体超声图像分割结果。
[0024]
优选的，所述卷积神经网络模型在训练时使用ac损失函数。
[0025]
本发明还提供一种用于实现上述分割方法的系统，包括如下模块：
[0026]
数据采集和预处理模块，用于采集或输入胎儿胼胝体的超声图像；
[0027]
图像分割模块，用于将超声图像输入卷积神经网络模型进行分割，其中，所述卷积神经网络模型包括如下三个模块：特征提取模块、多尺度特征融合模块和空间注意力和通道注意力模块；
[0028]
数据输出模块，用于输出分割后的结果。
[0029]
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序用于实现基于卷积神经网络的胎儿胼胝体超声图像分割方法。
[0030]
本发明构建的基于卷积神经网络的分割框架可以实现对胎儿胼胝体超声图像端到端的分割，准确率有所提升，加之引入了多尺度特征融合、空间注意力机制和通道注意力机制，可以提升胎儿胼胝体的可识别性。因此，本发明的方法和系统能够解决现有技术中分割效果粗糙和图像预处理等技术问题，能够更加准确、高效地分割胎儿胼胝体超声图像。
[0031]
在优选方法中，分割模块中使用基于ac的损失函数，可以有效的结合长度和区域信息训练模型。将上述方法集成到一起，能够最大化的提升模型的最终性能。
[0032]
显然，根据本发明的上述内容，按照本领域的普通技术知识和惯用手段，在不脱离本发明上述基本技术思想前提下，还可以做出其它多种形式的修改、替换或变更。
[0033]
以下通过实施例形式的具体实施方式，对本发明的上述内容再作进一步的详细说明。但不应将此理解为本发明上述主题的范围仅限于以下的实例。凡基于本发明上述内容所实现的技术均属于本发明的范围。
附图说明
[0034]
图1为本发明实施例1中基于卷积神经网络的胎儿胼胝体超声图像分割方法的训练测试流程图；
[0035]
图2为本发明实施例1中基于卷积神经网络的胎儿胼胝体超声图像分割方法的结构图；
[0036]
图3为本发明实施例1中基于卷积神经网络的胎儿胼胝体超声图像分割方法的空间注意力机制和通道注意力机制结构图。
具体实施方式
[0037]
需要特别说明的是，实施例中未具体说明的数据采集、传输、储存和处理等步骤的算法，以及未具体说明的硬件结构、电路连接等均可通过现有技术已公开的内容实现。
[0038]
实施例1基于卷积神经网络的胎儿胼胝体超声图像分割方法和系统
[0039]
本实施例提供基于卷积神经网络的胎儿胼胝体超声图像分割方法和系统，所述系统包括如下模块：
[0040]
数据采集和预处理模块，用于采集或输入胎儿胼胝体的超声图像；
[0041]
图像分割模块，用于将超声图像输入卷积神经网络模型进行分割，其中，所述卷积神经网络模型包括如下三个模块：特征提取模块、多尺度特征融合模块、空间注意力和通道注意力模块；
[0042]
数据输出模块，用于输出分割后的结果。
[0043]
利用该系统实现胎儿胼胝体超声图像分割方法如图1-3所示。
[0044]
图1为本发明提出的基于卷积神经网络的胎儿胼胝体超声图像分割方法的训练以及测试流程：采集已标准的胎儿胼胝体超声图像作为数据集，对数据集进行预处理，构建基于卷积神经网络的胎儿胼胝体超声图像分割框架，训练深度神经网络。测试流程只需将测试集图像输入到已训练好的卷积神经网络中即可输出测试图像。
[0045]
首先采集胎儿胼胝体的超声图像，对采集到的超声图像进行灰度标准化预处理操作，之后对不同个体的胎儿脑部进行裁减，对所得的数据进行数据增强，充分利用有限的胎儿胼胝体超声图像数据。将胎儿超声图像减去最小像素值，再除以像素取值范围，再乘以255，把像素值调整到[0,255]。从调整后超声图像中裁剪出胎儿脑部，将裁减后的图片使用直方图进行校正。最后对校正后的超声图像使用翻转、镜像对称、弹性形变、图像混合的方法进行数据增强。其中图像混合方法会将来自训练集的图像进行随机合并，以使混合样本是两个训练数据(xi yi)和(xj yj)的线性组合，混合样本由下式给出：
[0046]
x
mixup
＝λxi (1-λ)xj[0047]ymixup
＝λyi (1-λ)yj[0048]
其中λ∈[0,1]并且根据beta分布进行分配：对于α∈(0,∞)，λ～β∈(α,α)。x表示超声图像，y表示超声图像的训练标签，i、j分别表示两个训练数据表示。
[0049]
图2为本发明所述的基于卷积神经网络的胎儿胼胝体超声图像分割方法结构图。如图2所示，整体框架分为三个模块，模块一中的卷积神经网络以残差单元为主体构成的胼胝体图像特征提取网络，模块二中是在模块一的基础输出上进行多尺度特征融合，模块三是在模块二的基础添加空间注意力和通道注意力模型，增加感受野，提高最终的分割准确
率，主要任务是输出胎儿胼胝体超声图像分割图。特征提取网络由resnet101，一共由33个残差块构成，负责输出超声图像4个不同深度的特征。多尺度特征融合将4个深度特征上采样到[512,512],再通过一个卷积网络输出融合特征。将融合特征和4个深度特征结合作为注意力机制的输入，最后输出胎儿胼胝体超声图像分割结果。
[0050]
训练卷积神经网络时，使用ac损失函数，从分割结果的长度和区域两个方面来定义训练损失。
[0051]
在卷积神经网络训练完成之后，将测试集输入到训练好的模型，得出胎儿胼胝体超声图像分割结果，使用相应的评价指标对结果进行评价，并根据评价结果修改网络。
[0052]
图3示出了本发明所述的基于卷积神经网络的胎儿胼胝体超声图像分割方法的空间注意力机制和通道注意力机制结构图。本模块由两部分组成：空间注意力机制和通道注意力机制。空间注意力模型用于捕捉长距离依赖，解决局部感受野问题，通道注意力模型用于捕获通道间存在的依赖关系，增强特定的语义特征表示，两个通道最后通过一个卷积核大小为1的卷积层输出后相加得到分割结果图。
[0053]
本实施例的模型最终使用ac损失函数，结合分割结果的长度和区域两个方面来定义训练损失。使用随机梯度下降法为优化方法，初始学习率设置为0.0001，后面逐渐增长到0.01，持续一段时间后降低到0.001，当loss下降到一定程度不再下降时结束训练。具体的测试流程中，将测试集作为输入图像，图像预处理后通过分割框架中的卷积神经网络对图像进行预测，输出胎儿胼胝体超声分割图像。
[0054]
通过实验验证，发现本实施例的方法在实际进行图像分割时，能够取得显著更好的miou指标，这表明本发明的模型具有很好的图像分割性能。
[0055]
通过上述实施例可以看到，本发明提供了一种基于卷积神经网络的胎儿胼胝体超声图像分割方法和系统，能够准确、高效地分割胎儿胼胝体超声图像，具有很好的应用前景。