一种基于DeepLabV3网络的左心室超声动态分割方法与流程

一种基于deeplabv3网络的左心室超声动态分割方法
技术领域
1.本发明属于医学图像处理技术领域，涉及一种基于deeplabv3网络的左心室超声动态分割方法。


背景技术：

2.超声心动图能够直观显示和定量测量心脏解剖结构、功能及血流动力学方面的重要信息，从而反映心脏生理或病理状态下的构型特征，是心脏病诊断的主要医学影像手段。准确的心室内膜定位是超声心动图诊断的重要环节，传统方式此过程需要医师多次手动选择相关切面及描记感兴趣区域，效率低、精度和可重复性差，无法完全满足实际应用的需求。
3.传统的超声心动图左心室分割主要包括边缘检测和模型匹配法。需要人工进行分割结果的确认及标注结果调整。虽然边缘检测法能够适用于诸多复杂的心腔形状，但是因为其准确率较低，无法直接作为医生的参考。模型匹配法则只能适用于特定的一种或几种的心腔形状，如果存在病人心腔形状较为复杂的情况时时无法得到较好的准确率。
4.对于超声心动图中的左心室的动态分割仍然存在难点，主要在左心室本身的复杂生理结构以及心脏超声图像存在的大量噪声等因素上，例如在心脏收缩的过程中，心腔内乳头肌的干扰会造成边界模糊。相比于传统图像处理方法，深度学习在超声心动图分割中表现出更大的潜能，因为深度学习在大规模的生物图像上进行模型训练，其分割复杂的心腔仍能达到很高的精度。但是基于现有的方法，但是大部分学者的研究在更为清晰的mri图像或者静态超声影像上，因此在解决二维超声心动图中左心室的动态分割的问题上，算法仍有很大的提升空间。


技术实现要素：

5.为了解决现有技术存在的不足，本发明的目的是提供一种基于deeplabv3网络的左心室超声动态分割方法，使用弱监督的学习方式学习标注图像的特征对未进行标注的二维超声心动图中的心尖四腔切面中的左心室超声图像进行动态分割。
6.本发明方法包括以下步骤：
7.步骤1：收集二维超声心动图中心尖四腔切面的数据，所述数据包括斯坦福心脏超声数据集，所述斯坦福心脏超声数据集中的视频包含对部分帧中心脏收缩末期和舒张末期的左心室的标注。
8.步骤2：对数据集进行预处理，所述预处理包括裁剪和遮罩，以去除文本、心电图以及扫描扇区之外的其他信息，所述其他信息具体包括帧率，医院信息等，与使用的超声机器有关。同时根据不同的超声采集机器调整图像为600
×
600或768
×
768像素，并使用opencv通过三次插值下采样为112
×
112大小的视频并使用中心化z
‑
score的方法进行标准化。之后对预处理后的数据集按照75％，12.5％，12.5％的比例划分为训练集，测试集以及验证集。
9.步骤3：对步骤2中的训练集数据采用本发明提出的如附图2所示的基于deeplabv3网络的网络模型进行训练：在训练阶段，使用pytorch深度学习框架对训练集进行模型参数的学习，首先图像输入到resnet50的残差网络结构中，resnet50的结构如附图3所示，之后采用一个4个并行的空洞卷积，分别是一个1
×
1的卷积以及三个不同膨胀率的空洞卷积的空间金字塔池化(atrous spatial pyramid pooling，aspp)结构，学习图像的多尺度特征，同时增加全局平均池化层来增加图像级的特征来捕获全局信息。最后得到具有分割结果的特征图，再通过双线性上采样恢复到原图尺寸。
10.步骤4：使用训练阶段得到的最终权重参数文件对验证集进行验证，验证集评估出来的效果用来调整超参数，最后使用测试集进行测试并对结果进行评估。
11.本发明方法中，步骤2中还包括数据格式转换的步骤，将dicom格式转化为avi格式。
12.本发明实现过程中的伪代码如下：
[0013][0014]
本发明方法的有益效果在于：
[0015]
实施本发明的左心室超声动态分割的方法，使对心脏超声视频中的左心室的实时动态分割变得可行。在使用自己采集的相关超声数据时，可以同时减轻初期对数据集标注的工作量。
[0016]
本发明采用的网络以弱监督的方式去学习数据特征，只需要对视频数据集中的多帧图像进行少量标注即可进行训练，减轻了工作量。
[0017]
本发明采用基于deeplabv3网络的左心室动态分割模型，能够自动地、准确地动态提取二维超声心动图中心尖四腔切面中的左心室区域，无需人工进行交互，通用性、泛化能
力较好。
[0018]
本发明技术方案中的网络使用了空洞卷积，对比普通卷积，网络使用更少的参数达到了同样的效果，也降低了网络的复杂度。
附图说明
[0019]
图1是本发明方法技术方案的简略流程图。
[0020]
图2是本发明方法的网络结构图。
[0021]
图3是本发明resnet50残差网络结构示意图。
[0022]
图4是本发明二维超声心动图心尖四腔切面dicom数据转化为avi格式之后中的一帧图像。
[0023]
图5是本发明对视频去除冗余数据以及下采样之后中的一帧图像。
[0024]
图6是本发明实施例中分割结果视频中其中一张的原视频图像以及利用本发明模型对左心室进行分割的结果图。
具体实施方式
[0025]
结合以下具体实施例和附图，对本发明作进一步的详细说明。实施本发明的过程、条件、实验方法等，除以下专门提及的内容之外，均为本领域的普遍知识和公知常识，本发明没有特别限制内容。
[0026]
本发明中的二维超声心动图指是通过探头产生的声束透入胸壁后扇形扫描获得的心脏成像。其中心尖四腔切面是从心尖平面获取的成像，包含多个心动周期的超声视频。如附图4所示，为心尖四腔视频中的一帧图像。
[0027]
针对目前现有技术存在的不足，本发明提供一种可以对二维超声心动图中的心尖四腔切面中的左心室超声图像动态分割的方法。本发明的方法实施包括：
[0028]
1)收集二维超声心动图中从心尖切面采集的心尖四腔切面的数据，数据包括斯坦福心脏超声数据集，形成数据集。
[0029]
所述斯坦福心脏超声数据集中的视频包含对部分帧中左心室的标注。
[0030]
2)对dicom格式数据进行转化为avi格式的操作，如附图4所示为转换为avi之后的一帧图像，对数据集进行预处理，所述预处理包括裁剪和遮罩，以去除文本、心电图以及扫描扇区之外的其他信息，所述其他信息与使用的超声机器有关，具体包括帧率，医院信息等。同时根据不同的超声采集机器调整图像为不同生成的方形图像为600
×
600或768
×
768像素，并使用opencv通过三次插值下采样为112
×
112大小的视频并使用中心化z
‑
score的方法进行标准化。如附图5所示。
[0031]
中心化z
‑
score方法首先对于输入的图像x
i
按照公式(1)求像素平均值u，其中n为图像像素点总数，然后按照公式(2)计算图像的标准差σ，最后根据公式(3)将由不同仪器采集到的图像数据映射到(
‑
1,1)之间，使得均值u为0，标准差σ为1。
[0032]
[0033][0034][0035]
3)对数据集以75％，12.5％，12.5％的比例进行划分，划分为训练集，测试集，验证集。
[0036]
4)对训练集中的数据采用pytorch框架实现的本发明方法用gpu进行训练，同时设置batch_size＝20，num_works＝4，对于数据的分批读入采用随机的方式提高网络的鲁棒性，网络能够学习标注区域的特征，对于每一个视频数据集输入到resnet50残差网络结构中，之后采用一个4个并行的空洞卷积，分别是一个1
×
1的卷积以及三个膨胀率分别为6，12，18的空洞卷积的空间金字塔池化(atrous spatial pyramid pooling，aspp)结构，学习图像的多尺度特征，同时增加全局平均池化层来增加图像级的特征来捕获全局信息。将得到的及结果加入到具有256输出通道的1
×
1卷积核中，可以理解为将5个batch的数据按dim＝1轴即通道channel轴进行拼接concat(dim＝1)得到最后具有分割结果的特征图，再通过双线性上采样恢复到原图尺寸。训练阶段使用loss function来进行模型训练，将最好的模型权重参数保存。
[0037]
5)使用训练阶段得到的权重参数对验证集进行验证进一步调节模型的参数，最后使用测试集进行测试采用相似度(dice)系数进行评估。
[0038]
dice系数是一种集合相似度度量指标，用于计算两个样本之间的相似度值的范围为0到1，分割结果最好时值为1，最差时值为0。公式如下，其中p代表预测的左心室区域，t代表真实的左心室区域。计算公式如下式(4)。
[0039][0040]
如附图6所示为分割结果视频中的一张，左方为原视频图像，右方为本发明的模型对视频中心脏的左心室进行分割的结果，结果显示的灰色部分区域为心脏的左心室部分。
[0041]
本发明的保护内容不局限于以上实施例。在不背离本发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。