一种三通道级联SEU-Nets肝肿瘤分割方法与流程

一种三通道级联seu-nets肝肿瘤分割方法
技术领域
1.本发明涉及一种三通道级联seu-nets肝肿瘤分割方法，属于医学影像处理技术领域。


背景技术：

2.癌症是影响人类身体健康的重大疾病，肝癌更是癌症中患病人数最多。肝脏病变区域在增强型ct图像动脉期、静脉期和延迟期的特征表现都不一样。在增强型ct图像中，肝脏动脉期中的密度特征明显，与周围器官的差异性对比度较大，然后在静脉期间对比差异度到达顶点，但是与器官对比度降低，一直到延迟期时，肝脏病变区域的密度继续下降。


技术实现要素：

3.本发明所要解决的技术问题是克服现有技术的缺陷，提供一种三通道级联seu-nets肝肿瘤分割方法，使用se结构改进传统u-net网络结构，来提高u-net网络中卷积层的特征提取能力，然后使用3d卷积模块和c-lstm模块进行多模态特征提取，具体是使用3d卷积模块对同一切片三个时期的特征图进行融合，再使用c-lstm对不同切片间特征信息进行提取，最终达到能够充分利用增强型ct多模态特征信息的目的。
4.为达到上述目的，本发明提供一种三通道级联seu-nets肝肿瘤分割方法，包括：
5.获取包含肝脏肿瘤的静脉期ct图像、包含肝脏肿瘤的动脉期ct图像和包含肝脏肿瘤的延迟期ct图像；
6.利用第一级肝脏分割网络从静脉期ct图像中分割出肝脏区域，并根据预设置的阈值将肝脏区域转化为二值的肝脏掩膜；
7.利用动脉期ct图像、静脉期ct图像和延迟期ct图像分别与肝脏掩膜进行掩膜运算，获得动脉期的肝脏感兴趣区域、静脉期的肝脏感兴趣区域和延迟期的肝脏感兴趣区域；
8.利用第二级肿瘤分割网络处理动脉期的肝脏感兴趣区域、静脉期的肝脏感兴趣区域和延迟期的肝脏感兴趣区域，获得动脉期深层图像特征图、静脉期深层图像特征图和延迟期的深层图像特征图；
9.利用特征级联融合对动脉期深层图像特征图、静脉期深层图像特征图和延迟期深层图像特征图进行特征融合，并且输出肝脏肿瘤分割概率图。
10.优先地，第二级肿瘤分割网络包括用于处理处理动脉期肝脏感兴趣区域的动脉期分割网络、用于处理静脉期肝脏感兴趣区域的静脉期分割网络和用于处理延迟期肝脏感兴趣区域的延迟期分割网络；
11.第一级肝脏分割网络、动脉期分割网络、静脉期分割网络和延迟期分割网络均为seu-net网络，seu-net网络包括输入端口input、卷积层conv 1-1、se层1-1、卷积层conv 1-2、se层1-2、池化层maxpool-1、卷积层conv 2-1、se层2-1、卷积层conv 2-1、se层2-2、池化层maxpool-2、卷积层conv 3-1、se层3-1、卷积层conv 3-2、se层3-2、池化层maxpool-3、卷积层conv 4-1、se层4-1、卷积层conv 4-2、se层4-2、池化层maxpool-4、卷积层conv 5-1、se
层5-1、卷积层conv 5-2、se层5-2、上卷积层upconv-1、卷积层conv 6_1、卷积层conv6-2、上卷积层upconv-2、卷积层conv 7-1、卷积层conv 7-2、上卷积层upconv-3、卷积层conv 8-1、卷积层conv 8-2、上卷积层upconv-4、卷积层conv 9-1、卷积层conv 9-2、卷积层conv 10-1和输出端口output，输入端口input、卷积层conv 1-1、se层1-1、卷积层conv1-2、se层1-2、池化层maxpool-1、卷积层conv 2-1、se层2-1、卷积层conv 2-1、se层2-2、池化层maxpool-2、卷积层conv 3-1、se层3-1、卷积层conv 3-2、se层3-2、池化层maxpool-3、卷积层conv 4-1、se层4-1、卷积层conv 4-2、se层4-2、池化层maxpool-4、卷积层conv 5-1、se层5-1、卷积层conv 5-2、se层5-2、上卷积层upconv-1、卷积层conv6_1、卷积层conv 6-2、上卷积层upconv-2、卷积层conv 7-1、卷积层conv 7-2、上卷积层upconv-3、卷积层conv 8-1、卷积层conv 8-2、上卷积层upconv-4、卷积层conv 9-1、卷积层conv 9-2、卷积层conv 10-1和输出端口output依次连接。
12.优先地，第一级肝脏分割网络、动脉期分割网络、静脉期分割网络和延迟期分割网络中的卷积层均使用3
×
3的卷积核，第一级肝脏分割网络、动脉期分割网络、静脉期分割网络和延迟期分割网络中最大池化层均使用2
×
2的卷积核。
13.优先地，利用特征级联融合对动脉期深层图像特征图、静脉期深层图像特征图和延迟期深层图像特征图进行特征融合，并包括：
14.利用3d卷积模块对来自同一切片的动脉期深层图像特征图、静脉期深层图像特征图和延迟期深层图像特征图进行融合；
15.利用c-lstm模块对连续获取的特征图的特征信息进行提取。
16.优先地，利用c-lstm模块对连续获取的特征图的特征信息进行提取，包括：
17.前n张特征图只输出当前特征图，n为正整数；
18.n张特征图之后，采用若干个之前连续的特征图预测当前特征图；
19.特征信息为肝脏区域的病变区域范围。
20.优先地，静脉期ct图像、动脉期ct图像和延迟期ct图像设置如下：
21.hu值的窗位设置为20，窗宽设置为200。
22.优先地，3d卷积模块使用3
×3×
3的3d卷积核。
23.优先地，训练第一级肝脏分割网络和第二级肿瘤分割网络，包括：
24.初始化seu-net网络的网络参数；
25.将获取的训练样本中静脉期ct图像输入第一级肝脏分割网络中，分割出肝脏区域；
26.利用自主调整学习率大小的adam优化器，基于肝脏区域迭代更新seu-net网络的网络参数，每迭代若干次后根据最新的肝脏区域计算网络损失函数；
27.根据网络损失函数进行收敛判断，当网络损失函数收敛时结束迭代，输出训练好的第一级肝脏分割网络和第二级肿瘤分割网络；
28.将获取的测试集输入训练好的第一级肝脏分割网络和第二级肿瘤分割网络中，输出肝脏肿瘤分割概率图；
29.基于dice相似系数、voe体积重叠误差、rvd相对体积误差、准确率和召回率对肝脏肿瘤分割概率图进行判断是否合格，如果不合格则重新训练第一级肝脏分割网络和第二级肿瘤分割网络直到合格为止。
30.优先地，网络损失函数为dice损失函数，公式为：
[0031][0032]
其中，s表示第一级肝脏分割网络的分割结果，g表示我们标注的金标准。
[0033]
超参数β1,β2为adam优化器动力值，分别取0.9和0.999。
[0034]
优先地，seu-net网络的网络参数包括学习率、下降速度和动量参数。
[0035]
本发明所达到的有益效果：
[0036]
本发明使用se结构改进传统u-net网络结构，来提高u-net网络中卷积层的特征提取能力，然后使用3d卷积模块和c-lstm模块进行多模态特征提取，具体是使用3d卷积模块对同一切片三个时期的特征图进行融合，再使用c-lstm对不同切片间特征信息进行提取，最终达到能够充分利用增强型ct多模态特征信息的目的；提升肝脏肿瘤的整体分割精度，本发明方法的肝脏肿瘤分割精度高，分割结果准确可靠，肝脏肿瘤分割效果远高于单通道/单期ct影像的分割效果，另一方面优化了网络训练过程，减少了网络参数，降低了分割运算复杂度，加快了网络的收敛速度，提升了网络的可靠性和有效性，进而提高了分割效率并进一步提高分割精度。
附图说明
[0037]
图1为本发明实施例中流程图；
[0038]
图2为本发明实施例中se结构示意图；
[0039]
图3为本发明实施例中se结构中压缩操作和激励操作的示意图；
[0040]
图4为本发明实施例中使用的基本u-net结构的结构图；
[0041]
图5为本发明实施例中seu-net网络结构的示意图；
[0042]
图6为本发明实施例中三通道级联seu-nets网络结构的示意图；
[0043]
图7为本发明实施例中多模态seu-nets网络结构的示意图；
[0044]
图8为本发明实施例中3d卷积模块和c-lstm模块的流程图；
[0045]
图9为本发明实施例中实验用的动脉期ct图像的示意图；
[0046]
图10为本发明实施例中实验用的静脉期ct图像的示意图；
[0047]
图11为本发明实施例中实验用的延迟期ct图像的示意图；
[0048]
图12为本发明实施例中实验用的ct图像金标准的示意图；
[0049]
图13为现有技术中对比算法h-denseunet的分割结果的示意图；
[0050]
图14为现有技术中对比算法dc-cunets的分割结果的示意图；
[0051]
图15为本发明实施例中第二级肿瘤分割网络的分割结果的示意图；
[0052]
图16为本发明实施例中第二级肿瘤分割网络基于3d卷积和c-lstm的分割结果示意图。
具体实施方式
[0053]
以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
[0054]
肝脏病变区域在增强型ct图像动脉期、静脉期和延迟期的特征表现都不一样，放
射科医生在根据增强型ct图像做出诊断的时候，也会根据三个时期的特征差异做出判断。在增强型ct图像中，肝脏动脉期中的密度特征明显，与周围器官的差异性对比度较大，然后在静脉期间对比差异度到达顶点，但是与器官对比度降低，一直到延迟期时，肝脏病变区域的密度继续下降，肝癌在增强型ct图像上主要表现为肝脏病变边缘不清晰，且肝脏阴影病变区域在动脉期的特征亮度较低，与周围器官对比度低，但随着造影剂的流入时间变化，在静脉期和延迟期病变区域与肝脏实质的差异就变大了从而便于医生做出合理的诊断。通过专业性研究发现，混合性肝癌是由于肝细胞癌和胆管癌在病变区域的体积比不同，所以特点也不同。因此，在日常诊断中，医生可以根据肝脏病变区域在增强型ct图像上所表现的特征差异性，可以很快确定病变的肝癌种类。因此，我们在肝脏肿瘤分割网络中如果能够结合三个时期之间的特征信息，那么分割精度将会显著提高。
[0055]
本发明基于增强型ct三个时期对不同类型肝脏肿瘤的特征差异性提出了三通道级联seu-nets。首先介绍了三期增强型ct的特点，论证了使用三通道网络对提高肝脏肿瘤分割精度的有效性，并且在训练过程中重点论述了级联网络的优越性，流程框图具体如图1所示。
[0056]
具体实行步骤如下：
[0057]
步骤1、获取包含肝脏肿瘤的静脉期ct图像，动脉期ct图像和延迟期ct图像；
[0058]
步骤2、利用第一级肝脏分割网络从静脉期ct图像中分割出肝脏区域，并根据预设置的阈值将肝脏区域转化为二值的肝脏掩膜；
[0059]
步骤3、利用动脉期ct图像、静脉期ct图像和延迟期ct图像分别与肝脏掩膜进行掩膜运算，获得动脉期的肝脏感兴趣区域，静脉期的肝脏感兴趣区域和延迟期的肝脏感兴趣区域；步骤4、利用第二级肿瘤分割网络处理动脉期的肝脏感兴趣区域、静脉期的肝脏感兴趣区域和延迟期的肝脏感兴趣区域，获得动脉期深层图像特征、静脉期深层图像特征和延迟期的深层图像特征；
[0060]
步骤5、利用特征级联融合对动脉期深层图像特征、静脉期深层图像特征和延迟期深层图像特征进行特征融合，并且输出肝脏肿瘤分割概率图。
[0061]
se结构(squeeze压缩，excitation激励)如图2和图3所示，基本u-net网络结构具体如图4所示，seu-net网络结构图如图5所示，三通道级联seu-nets网络结构图如图6所示。表1详细表示三通道seu-nets分割网络的各层布局。
[0062]
表1三通道seu-nets分割网络的各层布局
[0063]
[0064][0065]
在第一级肝脏分割网络使用静脉期ct图像分割出肝脏区域mask的基础上，第二级肿瘤分割网络使用三个通道分别分割增强型ct动脉期、静脉期和延迟期三个时期的肝脏肿瘤，每个通道使用的网络结构也是seu-net网络，使用编码器对增强型ct三个时期的特征信息进行提取，并且使用了特征图在特征通道上进行特征级联相加的方式来充分结合三个时期的特征信息，最后再通过解码器将编码器提取到的特征图逐步恢复到与输入图像大小一致的尺寸。
[0066]
如图7所示，本发明使用3d卷积和c-lstm(convolutionlong short-term memory,
卷积长短时间记忆)来进行多模态特征提取，具体是使用3d卷积来对同一切片三个时期的特征图进行融合，再使用c-lstm对不同切片间特征信息进行提取，最终达到能够充分利用增强型ct多模态特征信息的目的。进而充分利用了增强型ct图像的三个时期之间的特征信息，显著提高了肝脏肿瘤的分割精度和分割准确。
[0067]
如图7所示，第二级肿瘤分割网络的三个编码器分别用于不同的模态特征提取过程。所提出的3d卷积模块有效地融合了增强型ct三个时期，三种模态的特征信息。然后，利用c-lstm模块更好地利用空间和顺序，利用c-lstm模块对连续切片之间的空间和顺序相关性进行建模，并以端到端的方式共同优化多模态融合。网络结构的流程如下所示，具体分为三个部分。本发明使用的大小为3
×3×
3的3d卷积核。
[0068]
(1)编码器提取特征过程
[0069]
编码器是第二级肿瘤分割网络下采样特征提取过程，其中，输入图像大小h
×
w，卷积层使用大小为3
×
3的卷积核，最大池化层使用大小为2
×
2的卷积核来生成特征图。在解码器中，主要是通过反卷积层来逐步恢复特征图到与输入图像的大小一致的尺寸。三个时期的切片ct图像先通过第一级肝脏分割网络得到的肝脏掩膜，然后在进入第二级肿瘤分割网络进行下采样过程，分别得到三个时期的特征图，大小为h
×w×
c。对于编码器，本发明采用与seu-net体系结构，每个卷积层使用卷积核大小3
×
3来生成一组特征图，然后得到输出。
[0070]
(2)多模态特征提取过程
[0071]
使用特征级联相加的方式对第二级肿瘤分割网络提取到的特征图进行融合，以此能使得更好的结合增强型ct图像的三个时期的特征信息。为了能够更好的结合三个时期的特征信息，使用3d卷积模块来进行三个时期特征图的融合。通过编码器提取特征的过程后，三个时期每一个时期的特征图变成一个h
×w×
c的特征空间，然后将三个时期的特征图在通道数上进行叠加，变成c
×3×h×
w的特征空间，3d卷积核大小为3
×3×
3，通过3d卷积模块后，特征图为h
×w×
c。当3d内核跨不同的堆栈进行卷积时，它会为每个模态分配不同的权重，并对输出特征图中的特征值求和。提出的多模态特征提取融合了三个时期的特征图信息，并对增强型ct图像不同切片之间的相关性进行提取，从而达到了多模态特征提取的过程。
[0072]
(3)解码器恢复特征图尺寸过程
[0073]
解码器通过不断地反卷积层对经过多模态特征提取后的特征图进行上采样过程，慢慢把特征图恢复到与输入图像尺寸大小一致的图像，同时还可以达到像素级分割的效果。
[0074]
卷积、池化层和se层为现有技术，本实施例不再一一举例。
[0075]
本发明使用的训练集是40套病人的ct图像，其中35套数据作为训练集，5套作为测试集。每个病人ct图像分为三个时期，每个时期有50张切片。每张切片通过seu-nets编码器进行特征提取，进行下采样，三个通道共得到3
×
32
×
32
×
512大小的特征图，三个时期同一位置的切片在进行通道数的叠加，对特征图重塑512
×
32
×
32
×
3,再通过3d卷积核，大小为3
×3×
3，进行同一位置的切片的三个时期的特征提取，得到512
×
32
×
32
×
1的特征图。50张切片进行同样的过程得到50
×
512
×
32
×
32的特征图，这表示50张切片每一张各自对应着512张大小为32
×
32的特征图，本发明再用c-lstm进行切片间的特征提取，再次进行特征
重塑为512
×
50
×
32
×
32，意思是把512张大小为50
×
32
×
32的序列性特征图作为输入到c-lstm中，用4个之前特征图来预测当前特征图，对于第1,2,3张特征图只输出当前特征图，对于之后的就继续进行预测，这样就可以保证输入输出维度一致，即输出也为50
×
32
×
32，但是已经充分提取切片之间的特征相关性。最后再把特征图重塑为50
×
512
×
32
×
32，再作为解码器的输入。
[0076]
训练第一级肝脏分割网络和第二级肿瘤分割网络，包括：
[0077]
初始化seu-net网络的网络参数；
[0078]
将获取的训练样本中静脉期ct图像输入第一级肝脏分割网络中，分割出肝脏区域；
[0079]
利用自主调整学习率大小的adam优化器，基于肝脏区域迭代更新seu-net网络的网络参数，每迭代若干次后根据最新的肝脏区域计算网络损失函数；
[0080]
根据网络损失函数进行收敛判断，当网络损失函数收敛时结束迭代，输出训练好的第一级肝脏分割网络和第二级肿瘤分割网络；
[0081]
将获取的测试集输入训练好的第一级肝脏分割网络和第二级肿瘤分割网络中，输出肝脏肿瘤分割概率图；
[0082]
基于dice相似系数、voe体积重叠误差、rvd相对体积误差、准确率和召回率对肝脏肿瘤分割概率图进行判断是否合格，如果不合格则重新训练第一级肝脏分割网络和第二级肿瘤分割网络直到合格为止。
[0083]
dice相似系数、voe体积重叠误差、rvd相对体积误差、准确率和召回率的计算过程以及采用的计算公式属于现有技术，本发明不再详细举例。
[0084]
seu-net网络的网络参数包括学习率、下降速度、动量参数和batch_size。batch size定义：一次训练所选取的样本数，为预先设定。
[0085]
本发明将ct图像hu值的窗位设置为20，窗宽设置为200。所以在处理原始ct图像时，本发明以ct图像中每个像素点为基本单元并减去图像的平均值，由此得到的新ct图像就是本发明进行归一化操作后的ct图像，对ct图像进行归一化有以下好处。批量归一化层应用在很多网络结构中，它的优点就是可以对ct图像就行预处理，对整副ct图像的数值进行归一化处理。而且还可以在网络模型训练中加快损失函数的收敛速度。肝脏及肝脏肿瘤分割模型都是采用线性归一化的预处理方式，y表示归一化后的图像，x为当前像素值，x_min为图像所有像素的最小值，x_max为图像所有像素的最大值，具体如下式所示。
[0086][0087]
训练时首先使用主要使用可以自主调整学习率大小的adam优化器，并且能够不稳定的目标函数情况下快速收敛的优点，可以自适应学习速率下降，使得收敛速度更快，参数不会过拟合。超参数β1,β2为adam优化器动力值大小分别取0.9和0.999。具体网络参数设置如表2所示。
[0088]
表2网络模型参数设置
[0089]
学习率1e-6下降速度1e-3动量参数0.9
batch_size5
[0090]
本发明使用的dice损失函数，具体形式如下式(1)所示。
[0091][0092]
其中，s表示我们的网络模型分割结果，g表示我们标注的金标准。
[0093]
本发明的实现环境是tensorflow和keras。具体实验环境如表3所示。
[0094]
表3实验的硬件及软件仿真环境
[0095][0096][0097]
本发明实验主要从五个指标来评估我们算法的优越性能，在肝脏肿瘤分割领域，评价算法优越性的最常用的指标是dice相似性系数，dice相似性系数主要表示肝脏肿瘤分割网络的结果与经过标注的金标准像素的相似性。此外还有一些常用的从不同方面来评价模型优越性的指标，这几个指标都是肝脏肿瘤分割领域常用的，能够有效准确的说明我们算法的优越性能。其中，我们s代表我们实验的肝脏肿瘤分割图，g代表的是经过标注的金标准。本发明主要介绍五种常用的指标以及相应的计算公式。
[0098]
(1)dice相似系数。定义如式(3)所示。
[0099][0100]
dice系数指的是分割结果和金标准重合程度大小，dice系数值越大就表示重合程度越大。
[0101]
(2)voe体积重叠误差。定义如式(4)所示。
[0102][0103]
该指标表示分割结果和和对应标注体积相重合的误差值大小。voe的值越大，就表示我们的分割结果与标注图像越一直，分割效果就越好。
[0104]
(3)rvd相对体积误差。定义如式(5)所示。
[0105][0106]
直观的说，该指标最主要的作用就是可以说明分割网络是否造成了肝脏肿瘤的欠分割和过分割现象。
[0107]
(4)准确率(precision)。定义如式(6)所示。
[0108][0109]
(5)召回率(recall)。定义如式(7)所示。
[0110][0111]
本发明实验主要对比算法是，曾经在肝脏肿瘤分割大赛中取得优秀效果的h-denseunet，还有本课题组之前的研究成果dc-cunets。本发明seu-nets的分割算法相比于dc-cunets肝脏肿瘤分割算法提升1.82％的肝脏肿瘤分割精度，对于边缘部分割效果也很好，准确度较高。通过实验证明了本发明提出的seu-nets肝脏肿瘤分割算法的优越性和准确性。几种对比算法的分割结果如表3所示。本发明提出的多模态seu-nets分割肝脏dice系数为95.87％，准确率为93.86％，肝脏肿瘤的dice系数为93.19％，由表可知，多模态seu-nets肝脏肿瘤分割算法相比于提出的seu-nets算法在肿瘤分割精度提升了3.07％，这意味着加入3d卷积和c-lstm的多模态特征提取模块极大提高了肝脏肿瘤分割精度。在其他指标上，准确率相比于seu-nets也提升了4.17％，但是由于多模态特征提取过程，对中间特征图做了太多操作，会降低对每张切片的分割速度。但实验结果依然证明了本发明提出的多模态seu-nets算法能够提高肝脏肿瘤的分割精度。
[0112]
表3肝脏肿瘤分割结果对比
[0113][0114]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。