基于多任务学习的肺结节检测分割方法

1.本发明属医学图像分析技术领域，具体涉及一种基于多任务学习的肺结节检测分割方法。


背景技术：

2.肺癌是最常见和致死人数最多的癌症之一。研究表明，如果肺癌患者能在早期被发现并得到治疗，其五年存活率可以达到60％；然而，临床数据显示肺癌的五年存活率仅为19％，尤其是，如果病人是在第四期确诊，其五年存活率仅有5％。由此可见，早期诊断对于挽救肺癌患者的生命起着至关重要的作用。肺癌的早期形态大多表现为肺部的恶性结节，使用计算机断层扫描(computed tomography，ct)进行肺结节筛查可以将肺癌患者的死亡率降低20％。然而，由于肺结节体积很小、形态变化较大、与周围组织的对比度低且一些肺结节附着在胸膜和血管上，导致肺结节检测与分割变得异常困难。
3.与此同时，经过多年的发展，深度学习的相关算法在计算机视觉领域取得了显著的成果。其中基于深度学习技术的经典模型faster r-cnn、fcn等被广泛应用于目标检测和分割任务。如he等人通过结合faster r-cnn和fcn的思想，利用一个网络同时解决目标检测和分割问题。然而现有的方法存在特征耦合问题，由于肺结节候选区域选取任务和假阳性去除任务的目标不同，而现有方法大多使用相同的特征图来执行这两个不同的任务，导致结果并不理想。


技术实现要素：

4.为了克服现有技术的不足，本发明提供一种基于多任务学习的肺结节检测分割方法。首先，对ct图像进行预处理，然后，对肺结节检测分割网络模型进行训练。本发明设计的肺结节检测分割网络模型包括特征提取、肺结节候选区域选取、肺结节假阳性去除和肺结节分割四个模块，采用多任务学习策略，引入分割任务辅助肺结节检测，克服了肺结节检测与分割任务中目标体积小、与周围组织对比度低且周围环境复杂的问题，同时，假阳性去除模块使用特征提取网络早期阶段的特征，能够解决肺结节候选区域选取和假阳性去除模块的特征耦合问题。本发明的模型复杂度小，且能够同时完成检测和分割两个任务。
5.一种基于多任务学习的肺结节检测分割方法，其特征在于步骤如下：
6.步骤1：对肺结节ct图像进行预处理；
7.步骤2：将预处理后的图像切割成大小为64
×
64
×
64的图像块，并输入到肺结节检测分割网络中进行训练，采用端对端的训练方式，得到训练好的网络，网络输出肺结节检测结果和肺结节分割结果；
8.所述的肺结节检测分割网络包括特征提取、肺结节候选区域选取、肺结节假阳性去除和肺结节分割四个模块，特征提取模块采用u型结构网络，包含编码器和解码器两部分，对任意一张输入图像，经过特征提取网络得到大小为原始输入图像1/4的特征图像；肺结节候选区域选取模块首先使用一个卷积核大小为3
×3×
3、填充量为1、步长为1的卷积层
对特征图像进行卷积，接着使用两个并行的大小为1
×1×
1的卷积核来生成分类概率和检测框位置预测值，分别作为属于肺结节的概率和候选肺结节的预测位置；肺结节假阳性去除模块首先采用3d roi align根据肺结节候选区域选取模块输出的检测框，从编码器输出的特征图像提取感兴趣区域，然后将提取到的感兴趣区域缩放到同一尺度，再用一个3
×3×
3大小的卷积核对缩放后的感兴趣区域进行卷积操作，并将卷积后得到的特征图像输入到三个串行的全连接网络中，得到修正后的分类概率和位置预测值，共同构成肺结节检测结果；肺结节分割模块依据检测框位置坐标对解码器输出的特征图像进行裁剪，再对得到的特征图像进行上采样，得到大小为32
×
32
×
32大小的特征图像，然后与编码器输出的特征图像进行拼接，并执行卷积、池化以及激活操作，再进行上采样，得到与输入图像大小相同的特征图像，将其与输入图像分别根据检测框位置坐标裁剪，对裁剪后得到的同样大小的数据块进行拼接，再使用1
×1×
1大小的卷积核进行卷积操作，经过激活函数，得到最终的肺结节分割结果图像，分割结果图像大小为64
×
64
×
64；
9.当肺结节预测位置和数据集给定的真实位置之间交并比大于等于0.5时，判定网络检测到的是一个真实的肺结节，当肺结节预测位置和数据集给定的真实位置之间的交并比小于0.1时，判定网络检测到的不是肺结节。
10.进一步地，步骤1所述的肺结节ct图像预处理过程具体如下：
11.步骤a：通过线性插值将ct图像重采样为空间分辨率为1mm
×
1mm
×
1mm的图像；
12.步骤b：使用阈值法对重采样后的ct图像进行二值化处理，将像素值小于400的记为1，反之记为0；
13.步骤c：将肺部以外区域的像素置为0；
14.步骤d：分别标记肺部两个最大连通区域；
15.步骤e：对标记后的两个连通区域采用半径为10的圆形结构进行形态学闭操作，再进行形态学膨胀操作，得到左右肺部的掩码图像；
16.步骤f：将原始ct影像与步骤e中得到的肺部掩码图像相乘，得到肺实质的分割结果图像；
17.步骤g：将肺实质的分割结果图像中像素值小于600或大于1000的像素置为0，然后按照下式进行归一化处理，得到像素值在[0-1]范围内的肺实质图像：
[0018][0019]
其中，v表示归一化之前的图像像素值，v
t
表示归一化之后的图像像素值。
[0020]
本发明的有益效果是：由于采用了预处理的方式，通过预先分割出肺实质，不仅将ct图像中的多余杂质排除，降低肺结节检测复杂度，同时也能在一定程度上提升肺结节检测和分割的精度。此外，采用多任务学习的方法，不仅可以同时完成肺结节检测和分割任务，还能降低模型的复杂度，提升模型的效率。本发明通过计算及辅助诊断方式，可以缓解因诊断医生经验及知识水平的导致的诊断错误问题，还可以帮助医生在大量重复的数据中准确的发现病人的病变位置，从而在早期加以干预和治疗，有效降低病人的发病率和死亡率。
附图说明
[0021]
图1是本发明的基于多任务学习的肺结节检测分割网络结构示意图。
具体实施方式
[0022]
下面结合附图和实施例对本发明进一步说明，本发明包括但不仅限于下述实施例。
[0023]
本发明提供了一种基于多任务学习的肺结节检测分割方法，采用多任务学习方式，同时解决肺结节检测和分割问题，其具体实现过程如下：
[0024]
1、数据预处理
[0025]
为了降低肺结节检测复杂度并提高精度，需要首先对肺实质进行分割，采用阈值法和形态学操作等对肺结节ct图像进行预处理，主要步骤包括：
[0026]
步骤a：通过线性插值将ct图像重采样为空间分辨率为1mm
×
1mm
×
1mm的图像；
[0027]
步骤b：使用阈值法对重采样后的ct图像进行二值化处理，将像素值小于400的记为1，反之记为0；
[0028]
步骤c：将肺部以外区域的像素置为0；
[0029]
步骤d：寻找上述得到的肺部中两个最大连通区域并标记，即为左右肺部；
[0030]
步骤e：对标记后的两个连通区域采用半径为10的圆形结构进行形态学闭操作，填充肺部中的细小的空洞；再进行形态学膨胀操作，使得到左右肺部的掩码图像包含尽可能多的肺部组织；
[0031]
步骤f：将原始ct影像与步骤e中得到的肺部掩码图像相乘，得到肺实质的分割结果图像；
[0032]
步骤g：经上述步骤分割得到的肺实质放射剂量仍在[1000,3000]之间，而放射剂量大于600的部分均为不同密度的骨头，此部分对于肺结节的检测没有影响，因此需要对肺实质的体素值进行归一化处理。首先使用[600,1000]为阈值对分割结果图像的像素值进行截断处理，然后将截断后图像的像素值映射到0～1之间：
[0033][0034]
其中，v表示归一化之前的图像像素值，v
t
表示归一化之后的图像像素值。
[0035]
2、模型检测和分割
[0036]
将经过预处理步骤得到的图像切割成大小为64
×
64
×
64的数据块，并输入到肺结节检测分割网络中进行训练。具体网络结构如图1所示。本发明设计的肺结节检测分割网络整体上包含四个模块，分别是：特征提取、肺结节候选区域选取、肺结节假阳性去除、肺结节分割模块。为了解决肺结节候选区域选取模块和假阳性去除模块之间的特征耦合问题，所设计的网络的假阳性去除模块选取特征提取网络早期阶段的特征，而不是和肺结节候选区域选取模块使用相同的特征。网络的肺结节候选区域选取、肺结节假阳性去除、肺结节分割三个模块共享同一个特征提取框架，且整个网络是端到端的，网络的损失函数为三个模块的损失函数之和。
[0037]
(1)特征提取模块
[0038]
特征提取模块采用u型结构网络，包含编码器和解码器两部分，对任意一张输入图
像，经过特征提取网络得到大小为原始输入图像1/4的特征图像，将用于后续任务。
[0039]
(2)肺结节候选区域选取模块
[0040]
为了从特征图像中得到所需要的肺结节候选区域，首先使用一个卷积核大小为3
×3×
3、填充量为1、步长为1的卷积层对特征图像进行卷积，接着使用两个并行的大小为1
×1×
1的卷积核来生成分类概率(表示属于肺结节的概率)和检测框位置预测值(即肺结节候选区域)，每个检测框位置为一个6元组(z,x,y,d,h,w)，其中，(z,x,y)分别表示预测得到的三维边界框的中心点坐标，d表示厚度，h表示高度，w表示宽度。
[0041]
(3)肺结节假阳性去除模块
[0042]
首先采用3d roi align从早期的特征图中选取感兴趣区域，即根据肺结节候选区域选取模块输出的检测框，从编码器输出的特征图像提取感兴趣区域，然后将提取到的感兴趣区域缩放到同一尺度，再用一个3
×3×
3大小的卷积核对缩放后的感兴趣区域进行卷积操作，并将卷积后得到的特征图像输入到三个串行的全连接网络中，得到修正后的分类概率和位置预测值，共同构成肺结节检测结果。
[0043]
(4)肺结节分割模块
[0044]
肺结节分割是在原始输入图像尺度上进行的，先依据检测框位置坐标对解码器输出的特征图像进行裁剪，再对得到的特征图像进行上采样，得到大小为32
×
32
×
32大小的特征图像，然后与编码器输出的特征图像进行拼接，并执行卷积、池化以及激活操作，再进行上采样，得到与输入图像大小相同的特征图像，将其与输入图像分别根据检测框位置坐标裁剪，对裁剪后得到的同样大小的数据块进行拼接，再使用1
×1×
1大小的卷积核进行卷积操作，经过激活函数，得到最终的肺结节分割结果图像，分割结果图像大小为64
×
64
×
64。
[0045]
整个网络采用端到端的方式进行训练。对于肺结节检测分割网络来说，当预测的检测框(肺结节预测位置)和真实的标注框(肺结节真实位置)之间的交并比大于等于0.5时，认为网络检测到的是一个真的肺结节，当和真实标注之间的交并比值小于0.1时，认为不是肺结节。进一步地，为了保证尽可能多地检测出肺结节，对于任何一个真实标注框来说，当不存在预测值和真实值之间的交并比大于等于0.5时，可以认为和真实标注有最大交并比的预测框为候选肺结节，再采用非极大值抑制来去除多余的候选框。
[0046]
对于任意输入图像，同样将其切块后输入到训练好的模型中，从而预测得到其中是否包含肺结节、肺结节的位置和置信度以及肺结节的边界等信息。