一种基于深度学习的肝段分割方法及装置与流程

1.本发明属于医学影像技术领域，具体涉及一种基于深度学习的肝段分割方法及装置。


背景技术：

2.肝脏是人体中最大的实质性脏器,解剖学研究结果显示肝脏是一分段性器官，每一肝段都有独立的管道系统，可以作为一个外科切除单位。couinaud分段法是目前应用最广泛的肝脏分段方法。它将肝脏划分为8个独立的功能单元，如图2所示。根据couinaud肝脏分段法，肝中静脉将肝脏划分为左右叶，肝右静脉将右叶进一步分为右前叶和右后叶，左叶被肝左肝静脉分为左内叶和左外叶。另外，门静脉的左右分枝分别将右前叶、右后叶和左外叶分为右前叶上下段、右后叶上下段和左外叶上下段。尾叶是一个单独的结构，位于肝脏后部。尾状叶、左外叶上段、左外叶下段、左内叶、右前叶下段、右后叶下段、右后叶上段、右前叶上段分别被称为i段、ii段、iii段、iv段、v段、vi段、vii段和viii段。
3.现有肝脏分段方法通常采用比较传统的图像处理技术，比如，基于边缘的分割算法，基于hessian矩阵的多尺度滤波，直方图处理技术等。此类方法一般需要提取肝静脉和门静脉作为肝脏分段的重要依据。分割血管一般使用自适应阈值分割和区域增长等方法分割肝脏，使用基于hessianu矩阵的多尺度滤波得到增强的肝静脉图像等，此类技术既复杂又缺少鲁棒性。另外，目前虽然已经有了比较成熟的基于深度学习的肝脏分割方法，但此类方法仅仅对肝脏轮廓进行分割，没有涉及肝脏分段。


技术实现要素：

4.为了解决现有技术中存在的上述问题，本发明提供一种基于深度学习的肝段分割方法及装置，利用深度学习技术减少肝段预测的复杂度，提高肝脏手术规划的准确性。
5.为了实现上述目的，本发明采用以下技术方案。
6.第一方面，本发明提供一种基于深度学习的肝段分割方法，包括：
7.将静脉期ct图像输入到第一卷积神经网络，通过下采样减小图像尺寸，输出第一阶段的肝段预分割结果；
8.对第一阶段的肝段预分割结果进行上采样恢复到原始图像尺寸，并与原始输入ct图像一起对层维度进行滑窗处理后，共同输入到第二卷积神经网络进行进一步分割，输出第二阶段的肝段分割结果；
9.对第二阶段的肝段分割结果进行包括最大联通域选取、补洞的后处理，得到最终分割结果。
10.进一步地，在将ct图像输入到第一卷积神经网络之前，采用肝脏掩模切割肝脏部位，将平面分辨率为512*512像素*像素、层数大于100的原始ct图像缩放到32*320*320层*像素*像素，按照下面的公式将取值为[
‑
50,200]的ct值归一化为[0,1]：
[0011][0012]
式中，为任一ct值x归一化后的ct值，x
min
、x
max
分别为归一化前ct值的最小值
‑
50和最大值200。
[0013]
更进一步地，所述第一卷积神经网络包括卷积模块、上采样模块、下采样模块和残差模块，采用u型编码器
‑
解码器结构，输入ct数据经编码器的一个卷积模块后重复进行下采样和残差卷积，得到分辨率为4*10*10层*像素*像素的特征；再经解码器进行上采样和卷积恢复输入ct的分辨率32*320*320层*像素*像素；编码器和解码器之间通过远程连接恢复位置细节信息；解码器输出特征最后经过激活函数将肝段分为8类。
[0014]
更进一步地，所述第二卷积神经网络采用整体结构与第一卷积神经网络相同的u型结构，所不同的是在u型网络的底部增加一个用于提取全局特征的nonlocal模块，大小为(b,c,d,w,h)的输入特征分别经过1个卷积核大小为1的卷积，得到通道减半大小均为(b,c/2,d,w,h)的3个特征a、b、c，将特征a、c分别调整成大小为(b*d*w*h，c/2)的特征a
′
、c
′
，将特征b调整成大小为(c/2，b*d*w*h)的特征b
′
，特征a
′
和特征b
′
相乘得到大小为(b*d*w*h，b*d*w*h)的矩阵，与特征c
′
相乘后得到大小为(b*d*w*h，c/2)的矩阵，调整大小到(b,c/2,d,w,h)，最后经过一个卷积核为1的卷积，输出大小为(b,c,d,w,h)的特征。
[0015]
进一步地，模型训练的损失函数为：
[0016]
l＝l
dice
l
ce
[0017][0018][0019]
式中，l为损失函数，l
dice
为dice损失，l
ce
为ce损失，p为预测为肝段的像素点集合，g为肝段真实掩模像素点集合，|p|、|g|分别表示集合p、g中的元素个数即像素点数量，|p∩g|为p和g的交集中的元素个数即预测结果与真实掩模重合部分的像素点数量，p
ki
为第i个像素点属于第k个肝段的概率，y
ki
为第i个像素点的第k个标签值，y
ki
＝0或1，k＝1,2,
…
,k，k为肝段数量，k＝8，i＝1,2,
…
,n，n为像素点个数。
[0020]
第二方面，本发明提供一种基于深度学习的肝段分割装置，包括：
[0021]
预分割模块，用于将静脉期ct图像输入到第一卷积神经网络，通过下采样减小图像尺寸，输出第一阶段的肝段预分割结果；
[0022]
精分割模块，用于对第一阶段的肝段预分割结果进行上采样恢复到原始图像尺寸，并与原始输入ct图像一起对层维度进行滑窗处理后，共同输入到第二卷积神经网络进行进一步分割，输出第二阶段的肝段分割结果；
[0023]
后处理模块，用于对第二阶段的肝段分割结果进行包括最大联通域选取、补洞的后处理，得到最终分割结果。
[0024]
进一步地，在将ct图像输入到第一卷积神经网络之前，采用肝脏掩模切割肝脏部位，将平面分辨率为512*512像素*像素、层数大于100的原始ct图像缩放到32*320*320层*像素*像素，按照下面的公式将取值为[
‑
50,200]的ct值归一化为[0,1]：
[0025][0026]
式中，为任一ct值x归一化后的ct值，x
min
、x
max
分别为归一化前ct值的最小值
‑
50和最大值200。
[0027]
更进一步地，所述第一卷积神经网络包括卷积模块、上采样模块、下采样模块和残差模块，采用u型编码器
‑
解码器结构，输入ct数据经编码器的一个卷积模块后重复进行下采样和残差卷积，得到分辨率为4*10*10层*像素*像素的特征；再经解码器进行上采样和卷积恢复输入ct的分辨率32*320*320层*像素*像素；编码器和解码器之间通过远程连接恢复位置细节信息；解码器输出特征最后经过激活函数将肝段分为8类。
[0028]
更进一步地，所述第二卷积神经网络采用整体结构与第一卷积神经网络相同的u型结构，所不同的是在u型网络的底部增加一个用于提取全局特征的nonlocal模块，大小为(b,c,d,w,h)的输入特征分别经过1个卷积核大小为1的卷积，得到通道减半大小均为(b,c/2,d,w,h)的3个特征a、b、c，将特征a、c分别调整成大小为(b*d*w*h，c/2)的特征a
′
、c
′
，将特征b调整成大小为(c/2，b*d*w*h)的特征b
′
，特征a
′
和特征b
′
相乘得到大小为(b*d*w*h，b*d*w*h)的矩阵，与特征c
′
相乘后得到大小为(b*d*w*h，c/2)的矩阵，调整大小到(b,c/2,d,w,h)，最后经过一个卷积核为1的卷积，输出大小为(b,c,d,w,h)的特征。
[0029]
进一步地，模型训练的损失函数为：
[0030]
l＝l
dice
l
ce
[0031][0032][0033]
式中，l为损失函数，l
dice
为dice损失，l
ce
为ce损失，p为预测为肝段的像素点集合，g为肝段真实掩模像素点集合，|p|、|g|分别表示集合p、g中的元素个数即像素点数量，|p∩g|为p和g的交集中的元素个数即预测结果与真实掩模重合部分的像素点数量，p
ki
为第i个像素点属于第k个肝段的概率，y
ki
为第i个像素点的第k个标签值，y
ki
＝0或1，k＝1,2,
…
,k，k为肝段数量，k＝8，i＝1,2,
…
,n，n为像素点个数。
[0034]
与现有技术相比，本发明具有以下有益效果。
[0035]
本发明基于深度学习可以自主学习影像中肝段的特征，通过大量数据指导，学习到肝段分割的依据，不需要进行专门的血管分割步骤，相对通过先后获得肝脏掩模、分割静脉血管、利用静脉血管分割肝段的现有技术，降低了血管分割难度，简化了分割步骤，提高了鲁棒性。本发明在第一阶段粗分割的基础上，进行第二阶段的细分割，粗分割可以获得明显的全局特征；细分割在粗分割的基础上进行精细调整，可以使输出结果更加准确。
附图说明
[0036]
图1为本发明的实施例一种基于深度学习的肝段分割方法的流程图。
[0037]
图2为couinaud肝脏分段法示意图。
[0038]
图3为第一卷积神经网络示意图。
[0039]
图4为第一卷积神经网络的卷积、残差和下采样模块示意图。
[0040]
图5为第二卷积神经网络底部的nonlocal(非局部)模块
[0041]
图6为本发明的实施例一种基于深度学习的肝段分割装置的方框图。
具体实施方式
[0042]
为使本发明的目的、技术方案及优点更加清楚、明白，以下结合附图及具体实施方式对本发明作进一步说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0043]
图1为本发明实施例一种基于深度学习的肝段分割方法的流程图，包括以下步骤：
[0044]
步骤101，将静脉期ct图像输入到第一卷积神经网络，通过下采样减小图像尺寸，输出第一阶段的肝段预分割结果；
[0045]
步骤102，对第一阶段的肝段预分割结果进行上采样恢复到原始图像尺寸，并与原始输入ct图像一起对层维度进行滑窗处理后，共同输入到第二卷积神经网络进行进一步分割，输出第二阶段的肝段分割结果；
[0046]
步骤103，对第二阶段的肝段分割结果进行包括最大联通域选取、补洞的后处理，得到最终分割结果。
[0047]
本实施例中，步骤101主要用于进行第一阶段的肝段预分割。进行肝段分割需要输入静脉期的ct图像。由于原始ct图像的层数很多，一般为100～500层，显卡放不下整个原图，因此需要通过下采样减小图像尺寸、降低分辨率，以获得全局特征。将缩小尺寸后的图像输入到第一卷积神经网络进行预分割。由于第一阶段处理的对象是减小尺寸、降低分辨率后的ct图像，是一种精度不高的粗略分割，因此通过将第一阶段的肝段预分割称为粗分割。
[0048]
本实施例中，步骤102主要用于第二阶段的肝段分割。相对第一阶段的粗分割，第二阶段是在第一阶段的基础上进行的精细分割。本实施例要对第一阶段的预分割结果和原始图像进行相同的处理，由于第一阶段的预分割结果的图像尺寸小于原始尺寸，因此需要先通过上采样将其大小恢复到原始尺寸。由于原始图像的层数过多，因此需要对层维度进行滑窗，每次滑过一个窗口，只将层数位于窗口内的图像输入到第二卷积神经网络，即每次只处理一个窗口宽度的层数，比如，若窗口宽度为32，每次处理32层图像，直到处理完所有层的图像。第一阶段的预分割结果和原始图像同时进行滑窗，即选取相同的层数范围(如1～32层或33～64层)合并后输入到第二卷积神经网络。第二卷积神经网络输出8个肝段的分割结果。
[0049]
本实施例中，步骤103主要用于对第二阶段的分割结果进行后处理。第二阶段的分割结果上可能出现小的杂点，比如说网络在不是很确定左外叶上下段分界线的时候，两者分界的地方可能会有混淆，也就是说预测结果中左外叶下段中可能会包含一点左外叶上段，此时需要将左外叶上段部分去掉。所以，本实施例通过对第二阶段的肝段分割结果进行最大联通域选取、补洞等后处理，去掉小杂点，用周围的类别填充去掉的类别，实现对第二阶段分割结果的优化处理。
[0050]
作为一可选实施例，在将ct图像输入到第一卷积神经网络之前，采用肝脏掩模切
割肝脏部位，将平面分辨率为512*512像素*像素、层数大于100的原始ct图像缩放到32*320*320层*像素*像素，按照下面的公式将取值为[
‑
50,200]的ct值归一化为[0,1]：
[0051][0052]
式中，为任一ct值x归一化后的ct值，x
min
、x
max
分别为归一化前ct值的最小值
‑
50和最大值200。
[0053]
本实施例给出了在ct图像输入第一卷积神经网络之前进行的图像预处理步骤。首先采用肝脏掩模从输入ct图像中将肝脏部位切割出来；然后通过下采样缩小图像尺寸，原始图像的面分辨率为512*512像素*像素，层数大于100，像缩放到32*320*320层*像素*像素；并将原始图像的ct值归一化，归一化公式如上式。
[0054]
作为一可选实施例，所述第一卷积神经网络包括卷积模块、上采样模块、下采样模块和残差模块，采用u型编码器
‑
解码器结构，输入ct数据经编码器的一个卷积模块后重复进行下采样和残差卷积，得到分辨率为4*10*10层*像素*像素的特征；再经解码器进行上采样和卷积恢复输入ct的分辨率32*320*320层*像素*像素；编码器和解码器之间通过远程连接恢复位置细节信息；解码器输出特征最后经过激活函数将肝段分为8类。
[0055]
本实施例给出了第一卷积神经网络的一种技术方案。第一卷积神经网络采用编码器
‑
解码器u型结构，如图3所示，整个网络的形状很像字母“u”，左半边是编码器，右半边是解码器。分辨率为32*320*320的数据进入编码器后首先经过一个卷积模块，之后重复进行下采样和残差卷积，其中编码器对层维度下采样3次，对宽、高维度分别下采样5次。经上述操作后编码器底部特征分辨率为4(32/23)*10(320/25)*10(320/25)。相应地，解码器由上采样模块和卷积模块组成，对层维度上采样3次，对宽、高维度分别上采样5次恢复原始分辨率32*320*320。编码器和解码器之间通过远程连接恢复位置等细节信息。编码器的特征最后经过sigmoid激活函数，将肝段分为8类。图3中的卷积、残差和下采样模块的结构如图4所示。卷积模块由3*3的卷积、bn(batch normalization，批量标准化)层和relu激活层组成。残差模块的输入由两个3*3的卷积层、两个bn层、一个relu激活层和一个leakyrelu激活层组成。另外，残差模块的输入通过残差连接与第二个bn层的输出结合，最后经过leakyrelu激活层。下采样模块同样使用残差连接，与残差模块不同的是，第二个卷积层步长为(2,2,2)或步长为(1,2,2)，残差路径上也加入一个步长为(2,2,2)或(1,2,2)的卷积层和一个bn层，其余结构跟残差模块相同。
[0056]
作为一可选实施例，所述第二卷积神经网络采用整体结构与第一卷积神经网络相同的u型结构，所不同的是在u型网络的底部增加一个用于提取全局特征的nonlocal模块，大小为(b,c,d,w,h)的输入特征分别经过1个卷积核大小为1的卷积，得到通道减半大小均为(b,c/2,d,w,h)的3个特征a、b、c，将特征a、c分别调整成大小为(b*d*w*h，c/2)的特征a
′
、c
′
，将特征b调整成大小为(c/2，b*d*w*h)的特征b
′
，特征a
′
和特征b
′
相乘得到大小为(b*d*w*h，b*d*w*h)的矩阵，与特征c
′
相乘后得到大小为(b*d*w*h，c/2)的矩阵，调整大小到(b,c/2,d,w,h)，最后经过一个卷积核为1的卷积，输出大小为(b,c,d,w,h)的特征。
[0057]
本实施例给出了第二卷积神经网络的一种技术方案。第二卷积神经网络与第一卷积神经网络采用相同的u型结构，所不同的是在u型网络的底部增加了一个用于提取全局特征的nonlocal模块。nonlocal模块的结构如图5所示，主要由4个卷积核大小为1的卷积模块
组成。输入到nonlocal模块的特征大小为(b,c,d,w,h)(b
‑
批次，c
‑
肝段通道数，d
‑
层数，w
‑
宽度，h
‑
高度)，经过3个卷积核大小为1的卷积后得到通道数减半大小均为(b,c/2,d,w,h)的3个特征a、b、c，将a、b、c用矩阵表示，并通过调整矩阵大小使其中两个矩阵a、b相乘，然后再与第三个矩阵c相乘，最后经过一个卷积核为1的卷积模块输出。nonlocal模块的这种结构有利于帮助网络学习全局特征，以提高分割结果的准确性。
[0058]
作为一可选实施例，模型训练的损失函数为：
[0059]
l＝l
dice
l
ce
[0060][0061][0062]
式中，l为损失函数，l
dice
为dice损失，l
ce
为ce损失，p为预测为肝段的像素点集合，g为肝段真实掩模像素点集合，|p|、|g|分别表示集合p、g中的元素个数即像素点数量，|p∩g|为p和g的交集中的元素个数即预测结果与真实掩模重合部分的像素点数量，p
ki
为第i个像素点属于第k个肝段的概率，y
ki
为第i个像素点的第k个标签值，y
ki
＝0或1，k＝1,2,
…
,k，k为肝段数量，k＝8，i＝1,2,
…
,n，n为像素点个数。
[0063]
本实施例给出了网络模型进行训练的损失函数的表达式。本实施例的损失函数包含两部分，一部分是dice损失，另一部分是ce损失。两部分损失的表达式如上。dice损失是分割任务中常用的损失函数，可以在一定程度上缓解类别不均衡，但是对边界分割有局限性；而ce损失可以补充边界信息，使边界更加准确，采用这两种损失的和作为损失函数，两种损失取长补短，可以使分割结果更加准确。具体计算方法如上式，公式中的“log”是取对数运算，一般是指以e为底的自然对数。
[0064]
图6为本发明实施例一种基于深度学习的肝段分割装置的组成示意图，所述装置包括：
[0065]
预分割模块11，用于将静脉期ct图像输入到第一卷积神经网络，通过下采样减小图像尺寸，输出第一阶段的肝段预分割结果；
[0066]
精分割模块12，用于对第一阶段的肝段预分割结果进行上采样恢复到原始图像尺寸，并与原始输入ct图像一起对层维度进行滑窗处理后，共同输入到第二卷积神经网络进行进一步分割，输出第二阶段的肝段分割结果；
[0067]
后处理模块13，用于对第二阶段的肝段分割结果进行包括最大联通域选取、补洞的后处理，得到最终分割结果。
[0068]
本实施例的装置，可以用于执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。后面的实施例也是如此，均不再展开说明。
[0069]
作为一可选实施例，在将ct图像输入到第一卷积神经网络之前，采用肝脏掩模切割肝脏部位，将平面分辨率为512*512像素*像素、层数大于100的原始ct图像缩放到32*320*320层*像素*像素，按照下面的公式将取值为[
‑
50,200]的ct值归一化为[0,1]：
[0070]
[0071]
式中，为任一ct值x归一化后的ct值，x
min
、x
max
分别为归一化前ct值的最小值
‑
50和最大值200。
[0072]
作为一可选实施例，所述第一卷积神经网络包括卷积模块、上采样模块、下采样模块和残差模块，采用u型编码器
‑
解码器结构，输入ct数据经编码器的一个卷积模块后重复进行下采样和残差卷积，得到分辨率为4*10*10层*像素*像素的特征；再经解码器进行上采样和卷积恢复输入ct的分辨率32*320*320层*像素*像素；编码器和解码器之间通过远程连接恢复位置细节信息；解码器输出特征最后经过激活函数将肝段分为8类。
[0073]
作为一可选实施例，所述第二卷积神经网络采用整体结构与第一卷积神经网络相同的u型结构，所不同的是在u型网络的底部增加一个用于提取全局特征的nonlocal模块，大小为(b,c,d,w,h)的输入特征分别经过1个卷积核大小为1的卷积，得到通道减半大小均为(b,c/2,d,w,h)的3个特征a、b、c，将特征a、c分别调整成大小为(b*d*w*h，c/2)的特征a
′
、c
′
，将特征b调整成大小为(c/2，b*d*w*h)的特征b
′
，特征a
′
和特征b
′
相乘得到大小为(b*d*w*h，b*d*w*h)的矩阵，与特征c
′
相乘后得到大小为(b*d*w*h，c/2)的矩阵，调整大小到(b,c/2,d,w,h)，最后经过一个卷积核为1的卷积，输出大小为(b,c,d,w,h)的特征。
[0074]
作为一可选实施例，模型训练的损失函数为：
[0075]
l＝l
dice
l
ce
[0076][0077][0078]
式中，l为损失函数，l
dice
为dice损失，l
ce
为ce损失，p为预测为肝段的像素点集合，g为肝段真实掩模像素点集合，|p|、|g|分别表示集合p、g中的元素个数即像素点数量，|p∩g|为p和g的交集中的元素个数即预测结果与真实掩模重合部分的像素点数量，p
ki
为第i个像素点属于第k个肝段的概率，y
ki
为第i个像素点的第k个标签值，y
ki
＝0或1，k＝1,2,
…
,k，k为肝段数量，k＝8，i＝1,2,
…
,n，n为像素点个数。
[0079]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。