一种基于3D残差U-Net多任务学习的肺磨玻璃结节分割方法

本发明涉及医学影像分析，具体涉及一种基于3d残差u-net与多任务协同学习的肺部ct磨玻璃结节分割提取方法。

背景技术：

1、肺部磨玻璃结节是早期肺腺癌及其癌前病变在ct影像上的主要表现形式之一，结节的形态、大小、边界及内部实性成分直接决定了良恶性风险评估与临床随访策略的制定。磨玻璃结节在ct影像上表现为密度轻度增高的云雾状阴影，具有对比度低、边界模糊、形态不规则、与血管及胸膜结构易粘连等特点，给结节的准确分割与定量表征带来了极大挑战。准确分割与定量表征肺部磨玻璃结节，对肺癌早期筛查、结节良恶性鉴别和随访管理具有重要的临床意义与应用价值。在传统的肺结节分析方法中，放射科医师通常采用人工阅片结合半自动勾画工具进行结节标记与测量，存在效率低、主观性强、医师间一致性差等问题。近年来，研究者陆续引入了阈值法、区域生长、水平集、形态学分析等传统图像处理技术用于结节提取，但这些方法对磨玻璃结节低对比度、边界模糊、与血管粘连等干扰缺乏鲁棒性，难以实现自动化、高精度的结节分割。随着深度学习技术的发展，2d u-net、v-net、nnu-net等语义分割网络在医学影像分割领域取得了显著成效，并被逐步引入到肺结节分析中。但磨玻璃结节具有三维空间连续性强、轴位单层信息不完整、边界模糊等特点，基于二维切片的分割网络仍存在以下不足：（1）逐层二维分割缺乏层间三维上下文信息，导致结节轮廓在层间不连续、小结节漏分割；（2）单一分割任务未利用结节良恶性等高层语义信息，特征表达能力受限；（3）损失函数对磨玻璃边界模糊像素与正常肺组织像素的区分考虑不够，易出现边界过平滑或过分割。因此，亟需一种针对磨玻璃结节特点的、具有三维上下文建模与多任务协同表达能力的自动分割提取方法。

技术实现思路

1、为解决现有技术无法克服ct影像中磨玻璃结节对比度低、边界模糊、与血管胸膜粘连以及层间信息不连续等干扰，难以对肺部磨玻璃结节进行自动化、高精度分割提取的技术问题，本发明的目的在于提供一种基于3d残差u-net与多任务协同学习的肺部ct磨玻璃结节分割提取方法，所采用的技术方案具体如下：一种基于3d残差u-net与多任务协同学习的肺部ct磨玻璃结节分割提取方法，所述方法包括：采集低剂量螺旋ct胸部扫描序列并进行肺区域预分割与重采样预处理，获得标准化ct体数据；根据肺窗窗宽窗位对ct体数据进行灰度归一化数据增强；沿结节边界对增强后的体数据进行人工逐层标注，获得参考体数据集；基于3d残差卷积设计三维特征编码模块，将输入体数据转换成张量以提取结节三维上下文特征；基于3d反卷积设计三维特征解码模块，用于恢复体数据分辨率；设计多任务协同学习模块，包括体素分割子任务、结节良恶性分类子任务与边界距离回归子任务；在编码模块与解码模块对应层之间加入跳跃连接，构成mt-3dresunet融合模型；根据磨玻璃结节边界模糊、前景体素稀疏的特点设计多任务不确定性加权损失函数，获得各子任务的损失函数权重；根据损失函数权重进行多任务协同监督计算，获得模型反馈；根据mt-3dresunet融合模型进行训练获得训练好的模型；利用训练好的模型对肺部ct体数据进行磨玻璃结节分割提取；对分割提取结果进行三维连通域分析与形态学后处理，获得结节图像结果；对结节图像结果进行结节体积、直径、ct值统计及随访数据分析。

2、进一步地，所述ct数据采集与预处理方法包括：采集层厚不大于1.25mm的低剂量螺旋ct胸部扫描序列，扫描管电压为120kv，管电流为30-50mas，重建矩阵为512×512；对ct序列进行肺区域预分割，采用阈值法结合形态学操作提取左右肺掩膜并去除气管与主支气管；将ct序列重采样至1×1×1mm各向同性体素间距，获得标准化ct体数据。

3、进一步地，所述数据增强与标注方法包括：对ct体数据按肺窗窗宽1500hu、窗位-600hu进行灰度截断与线性映射，归一化公式如下所示：i_norm(x,y,z) = (i_in(x,y,z) -w_l) / w_w，式中，i_norm(x,y,z)表示归一化后的体素灰度值；i_in(x,y,z)表示体数据在(x,y,z)处的ct值；w_l表示窗位下限，取值为-1350hu；w_w表示窗宽，取值为1500hu；将截断映射后的体素值线性缩放至[0,1]区间；沿结节边界对体数据进行逐层人工标注，由两名胸部影像诊断医师独立标注并经高年资医师审核确认，生成参考体数据；以结节为中心裁剪64×128×128的体数据块并配合随机翻转与弹性形变扩充数据，获得标准数据集。

4、进一步地，所述mt-3dresunet融合模型获得方法，包括：将输入体数据块重塑为64×128×128×1的张量；三维特征编码模块由4个编码阶段组成，每个阶段包含2个三维残差卷积块与1个2×2×2步长的三维下采样卷积，逐阶段提取16、32、64、128通道的三维上下文特征；三维特征解码模块由4个解码阶段组成，每个阶段包含三维反卷积上采样与三维残差卷积块，逐步恢复体数据分辨率；在编码模块与解码模块对应层之间加入跳跃连接，将编码特征与解码特征在通道维度拼接；设计多任务协同学习模块，其中体素分割子任务对解码特征经1×1×1卷积与sigmoid激活输出结节体素概率图，结节良恶性分类子任务对最深编码特征经三维全局平均池化与全连接层输出良恶性概率，边界距离回归子任务对解码特征经1×1×1卷积输出体素到结节边界的距离图；融合获得mt-3dresunet融合模型。

5、进一步地，所述多任务不确定性加权损失函数获得方法，包括：针对磨玻璃结节边界模糊、前景体素稀疏、多任务量级差异大的问题，引入基于同方差不确定性的多任务自动加权机制，得到多任务不确定性加权损失函数，计算公式如下所示：l_seg = 1 - 2tp /(2tp + fp + fn)，l_cls = -[y·log(p) + (1-y)·log(1-p)]，l_dist = mae(d_pred,d_gt)，l_total = σ_k (1/(2σ_k^2))·l_k + log(σ_k)，k∈{seg, cls, dist}，式中，l_seg为结节体素dice损失；tp为结节区域的真阳性体素数；fp为肺组织被误判为结节的假阳性体素数；fn为结节被误判为肺组织的假阴性体素数；l_cls为良恶性分类交叉熵损失；y为良恶性真值标签；p为预测恶性概率；l_dist为边界距离回归平均绝对误差损失；d_pred为预测距离图；d_gt为由真值掩膜距离变换生成的真值距离图；σ_k为各子任务的可学习同方差不确定性参数；利用损失函数对mt-3dresunet融合模型进行多任务协同监督计算，获得模型反馈。

6、进一步地，所述模型训练获得方法，包括：将结节区域体素作为前景目标，将正常肺组织区域体素作为背景；采用在肺结节公开数据集上预训练的三维卷积权重初始化三维特征编码模块，进行迁移学习；训练时先冻结编码模块浅层阶段进行预热训练，再解冻全部参数进行微调；初始学习率设置为3×10^-4，并按余弦退火策略进行动态调整；批量大小设置为2，迭代训练不少于200个epoch；当验证集dice系数连续20个epoch不再上升时停止训练，保存最佳模型权重。

7、进一步地，所述三维连通域分析与形态学后处理方法，包括：将模型输出的结节体素概率图按预设阈值进行二值化；使用三维形态学闭运算填充结节内部细小空洞并平滑结节表面；根据三维连通域分析对每个结节区域进行标记，去除体积小于预设阈值的伪结节区域；计算每个结节的体积、等效直径、最大径线、平均ct值与实性成分占比；将结节形心映射至肺叶解剖分区，结合随访复查ct计算结节体积倍增时间，获得最终的结节图像结果与统计参数。

8、本发明具有如下优异效果：本发明通过采集薄层低剂量螺旋ct序列并进行肺区域预分割与重采样，获得各向同性的标准化ct体数据，体数据具有丰富的结节形态与尺度变化，能够为深度学习模型提供充足的样本；由于ct体数据灰度动态范围大，故采用肺窗窗宽窗位截断映射对体数据进行数据增强，在提高模型泛化能力的同时丰富数据多样性；将体数据沿结节边界进行逐层人工标注并双医师审核，获得高质量参考体数据；对体数据进行以结节为中心的裁剪与归一化处理以减少运算量并提升训练效率，获得标准数据集；由于磨玻璃结节具有三维空间连续性强、边界模糊的特点，故采用三维残差卷积构建三维特征编码模块，充分利用层间三维上下文信息，避免二维逐层分割的层间不连续问题；采用三维反卷积与跳跃连接构建三维特征解码模块，逐步恢复结节细节；设计多任务协同学习模块，以体素分割为主任务，以结节良恶性分类与边界距离回归为协同子任务，利用良恶性高层语义与边界几何约束增强特征表达能力；由于多任务量级与难度差异大，故引入基于同方差不确定性的自动加权机制设计多任务不确定性加权损失函数，避免人工调参导致的任务失衡，在不损失分割精度的前提下提升边界定位能力；利用训练好的模型对肺部ct体数据进行分割；由于模型分割结果可能存在细小噪声和空洞，故采用三维形态学闭运算与三维连通域分析进行后处理，获得完整的结节图像结果；最后对结节图像进行体积、直径、ct值、实性成分占比与体积倍增时间的统计与数据分析。本发明充分考虑了磨玻璃结节在三维形态、边界、灰度上的复杂性，设计了独特的三维残差编码、三维反卷积解码与多任务协同学习模块，增强了深度学习分割模型的三维上下文表达能力与多任务协同表征能力，提升了结节分割的完整度、层间连续性和边界准确度，为肺癌早期筛查与结节随访管理提供了可靠的技术手段。