基于跨尺度融合的CT影像肺血管分割方法

基于跨尺度融合的ct影像肺血管分割方法
技术领域
1.本发明涉及图像分割领域，具体涉及一种基于跨尺度融合的ct影像肺血管分割方法。


背景技术：

2.计算机辅助诊断系统是一种辅助医生进行诊断的工具，该系统通过对患者的数据进行处理分析，使医生做出更快更准确地诊断，在一定程度上减少了医生的工作量。该系统的完善对临床医学的发展起到了促进性的作用，其中，肺部疾病诊断是计算机辅助诊断系统的主要功能之一，而肺部及其血管的分割和可视化是计算机辅助诊断肺部疾病的重要依据。例如，肺血管分割及其3d可视化技术可在肺结节、肺栓塞、肺肿瘤的诊疗方面，提供手术规划、术后效果预测等辅助诊断功能。因此，准确分割并直观显示肺血管，对于临床诊断具有重要的指导意义。
3.在传统方法中，专业医生主要采用手动逐切片提取的方式获取肺血管数据，难免会存在耗时耗力且容易出错等问题。因此，使用医学图像分割技术实现肺血管的自动化提取，相较人工提取具有效率高、成本低、准确性高等优势，是医学影像发展的趋势。经ct扫描得到的肺部数据存在与周围组织对比度低、边界模糊和高噪声等问题，且肺血管的结构复杂多样，这也增加了肺血管分割的难度。
4.随着计算机技术的发展，许多研究人员也提出了大量的基于医学影像的肺血管分割方法，这些方法主要分为传统的血管分割方法、基于机器学习的血管分割方法和基于深度学习的血管分割方法。传统的血管分割方法主要包括基于阈值选择的血管分割方法、基于区域生长的血管分割方法和基于形态学的血管分割方法等。然而，传统的血管分割方法，大多依赖阈值的设定，需要人工干预，且在目标分布不均匀的条件下，分割精度差、效率低。基于机器学习的血管分割方法主要包括支持向量机、聚类算法和adaboost算法等，但是这些方法需要人工设计分割目标的特征模型，特征模型的先验参数与理想化条件较多，在图像差异较大的情况下，会导致分割性能严重下降。
5.随着ai技术的发展，深度学习取代传统机器学习方法，成为ai的前沿技术。目前基于深度学习的图像分割技术在分割速度和准确率上已经超越了传统的分割方法，被广泛运用于医学图像分割领域。深度学习方法尤其是全卷积神经网络(fully convolutional network,fcn)可以解决上述传统方法面临的问题。2015年，在fcn的基础上，ronneberger等人提出了u-net网络，该网络整体为encoder-decoder结构，并采用跳层连接实现多尺度融合。基于上述特点，u-net比fcn更适合用于肺血管分割。2018年，huang等人采用3d u-net实现了肝脏血管分割。该网络结构将3d卷积引入血管分割领域，可以直接对3d ct数据进行分割。相比于2d神经网络，可大幅度提高3d分割的准确率。
6.目前，基于深度学习的血管分割方法通常只使用一个神经网络同时分割多种尺度的血管。但是，由于小血管的表征能力不够，导致小血管的特征很容易被淹没在大血管的特征中，从而导致小血管的分割精度较低。此外，这类方法，在进行特征提取时，需要对图像进
行下采样和池化处理，这种处理方式存在信息丢失的问题，也会导致小血管的分割效果较差。
7.针对上述问题，本发明考虑将三个尺度的血管分开处理，以提高小血管的分割精度。此外，为了解决下采样造成的信息丢失问题，本发明设计了一个特征融合模块，用于恢复丢失的信息。因此，本发明提出了基于跨尺度融合的ct影像肺血管分割方法，其由共享的编码器和三个独立的解码器分支组成。


技术实现要素：

8.本发明的目的在于克服现有方法中所存在的上述不足，提出了一种基于跨尺度融合的ct影像肺血管分割方法，实现肺血管快速和准确的分割。
9.为解决上述问题，本发明提供一种基于跨尺度融合的ct影像肺血管分割方法，包括以下步骤：
10.s1：获取原始肺ct数据及肺血管标签，并进行预处理，得到训练集；
11.s2：截取ct序列中的最大连通区域，平衡正负样本数量；
12.s3：构建csf-u-net；
13.s4：使用预处理得到的训练集训练csf-u-net，其中csf-u-net的网络结构以3d resunet为基本结构，并根据网络结构的特点，使用基于多尺度肺血管标签的监督策略训练csf-u-net，在训练过程中，保存在验证集上效果最好的模型用于测试；
14.s5：最终使用训练完成的csf-u-net处理3d肺ct数据，得到肺血管分割结果。
15.其中，步骤s1对ct图像进行预处理，在不同仪器不同环境下采集得到的ct图像在对比度方面有很大的不同，本步骤通过体素值截取、数值归一化和线性灰度变换的手段预处理ct图像，来得到各方面一致的ct体数据，这使得后续用于训练的ct图像的空间信息和强度信息保持一致，并保证了后续深度学习步骤能提取到有用的特征，获得更好的效果。
16.优选地，所述步骤s1具体包括以下步骤：
17.s11：根据血管面积大小的不同，将肺血管标签拆分为小尺度、中尺度和大尺度血管标签；
18.s12：将ct图像的体素值截断在[-950, 250]范围内；
[0019]
s13：将体素值线性化归一到[0,1]范围内；
[0020]
s14：使用灰度线性变换来增强血管与其它背景图像之间的对比度。
[0021]
优选地，所述步骤s2具体包括以下步骤：
[0022]
s21：根据肺血管标签的数据分布，截取ct序列中的最大连通区域，平衡正负样本的数量；
[0023]
s22：使用数据增强，随机截取ct序列中连续的32张切片用于训练。
[0024]
优选地，所述步骤s3中的csf-u-net由共享的编码器和三个独立的解码器分支组成，三个独立的解码器分支分别为小尺度分支、中尺度分支和大尺度分支；其中，共享的编码器用于提取肺血管的多尺度特征，该部分采用参数共享的卷积神经网络。
[0025]
优选地，当肺ct影像被送入到csf-u-net网络中后，共享的编码器提取出三种尺度的肺血管特征，分别送入到三个独立的解码器(用于提取三种不同尺度的血管)中，并利用给定的多尺度血管标签，训练整个分割网络；
[0026]
其中，共享的编码器采用5层参数共享的卷积神经网络，将包含小血管特征较多的第三层特征作为小尺度分支的输入，第四层特征作为中尺度分支的输入，第五层特作为大尺度分支的输入；在三个独立的解码器分支中，小尺度分支包括三层卷积神经网络结构，中尺度分支包括四层卷积神经网络结构，大尺度分支包括五层卷积神经网络结构。
[0027]
优选地，在共享的编码器路径中，数据依次通过各层进行步长为2的卷积，不断减小图像分辨率，以提取图像的high-level语义特征，因此，共享的编码器中每一层结构块的输入图像的分辨率均为上一层结构块的一半，且通道数为上一层结构块的2倍；在三个独立的解码器路径中，各层结构块的图像大小以及卷积核的数量均与对应的编码器一致，可以通过步长为2的反卷积将high-level语义特征映射回原始尺寸；跳层连接结构是编码器和解码器多尺度融合的桥梁，通过级联的方式将下采样的特征信息补充到对应的上采样层，实现特征复用。
[0028]
优选地，步骤s3所述的csf-u-net网络，针对跳层连接结构，提出了跨层特征融合模块，以减少噪音信息的干扰。该跨层特征融合模块在跳层连接结构中，引入注意力机制融合编码器的特征，用于恢复丢失的信息。即本发明在融合编码器的特征前，该特征会先经过三个参数不共享的注意力模块，用于筛选出有用的特征进行聚合，从而抑制无效的特征，最后将由注意力模块增强后的三个特征分别与三个解码器分支的特征进行融合，以恢复丢失的空间细节信息。
[0029]
优选地，步骤s3所述的csf-u-net网络，为了增强小尺度、中尺度和大尺度血管在肺ct影像中的相关性，本发明以迁移学习为理论基础提出了跨尺度血管信息交互策略，对同一层不同尺度下的卷积神经网络模型进行卷积参数共享，即解码器分支中同一层的跨层特征融合模块中右侧的三个卷积层参数设置是相同的。
[0030]
优选地，为了解决多尺度血管分类不一致的问题，步骤s4中使用了基于多尺度肺血管标签的监督策略训练csf-u-net，该策略采用先融合后监督的思想，有效解决了三种尺度血管分类不一致的问题，大大减小了肺血管的分割误差。该监督策略为：先分别融合了小尺度、中尺度和大尺度的血管特征以及中尺度和大尺度的血管特征，得到两个新的特征图后，再用对应尺度的血管标签进行监督训练；训练过程中通过dice损失函数计算每个分支的输出结果与标记结果的误差，并通过不同权重将各分支损失进行叠加，用于后续训练；同时，通过梯度反向传播方法，采用adam优化算法对网络中的参数进行更新，以获得训练好的csf-u-net网络；
[0031]
其中，使用的dice损失函数表达式如下所示：
[0032][0033]
其中c是类别总数，h是ct图像的高，w是ct图像的宽，t是输入网络的ct切片数量，p是csf-u-net网络中输出的结果，是标注结果的one-hot编码的真实图。
[0034]
优选地，所述步骤s5中，使用训练得到的csf-u-net网络模型预测测试样本的每个像素点的类别概率，概率值最高的类别为该像素点的预测结果；以此方法，ct序列中每张切片的每个像素点都有且仅有一个预测类别，最后根据预测结果，使用三维重建技术建立三维血管结构，用于临床诊断。
[0035]
与现有技术相比，本发明的有益效果：
[0036]
1、本发明采用的以resunet为基本框架的网络结构能够实现多层特征复用，保留更多重要的特征，尤其是保留小目标区域的特征，进而提高分割效果。
[0037]
2、本发明针对肺血管分割提出了csf-u-net，该网络通过增强小血管的表征能力来提升小血管的分割精度。
[0038]
3、本发明针对跳层连接结构提出了跨层特征融合模块，该模块通过引入注意力机制增强适应三个解码器分支的编码器特征。此外，为了增强三种尺度的血管在肺ct影像中的关系，本发明以迁移学习为理论基础，提出了跨尺度血管信息交互策略。
[0039]
4、在训练阶段，为了减小肺血管分割的误差，本发明提出了基于多尺度肺血管标签的监督策略，解决了三种尺度的血管分类不一致的问题。
附图说明
[0040]
图1为本发明基于跨尺度融合的ct影像肺血管分割方法的具体流程示意图；
[0041]
图2为本发明具体实施例1中csf-u-net网络结构示意图。
[0042]
图3为本发明具体实施例1中跨层特征融合模块的结构示意图。
[0043]
图4为本发明具体实施例1中注意力模块结构示意图。
具体实施方式
[0044]
为使本发明的上述目的、特征和优点能够更为明显易懂，下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0045]
实施例1
[0046]
本实施例提供了一种基于跨尺度融合的ct影像肺血管分割方法，如图1所示，包括以下步骤：
[0047]
s1：获取原始肺ct数据及标签，并进行预处理，得到训练集；
[0048]
s2：截取ct序列中的最大连通区域，平衡正负样本数量；
[0049]
s3：构建csf-u-net；
[0050]
s4：使用预处理得到的训练集训练csf-u-net，其中csf-u-net的网络结构以3d resunet为基本结构，并根据网络结构的特点，使用基于多尺度肺血管标签的监督策略训练csf-u-net。在训练过程中，保存在验证集上效果最好的模型用于测试；
[0051]
s5：最终使用训练完成的csf-u-net处理3d肺ct数据，得到肺血管分割结果。
[0052]
首先本实施例需要将三种尺度(小尺度、中尺度和大尺度)的血管分开提取，因此本实施例需要三种尺度的血管标签。对此，本步骤根据不同尺度血管的面积大小，设定两个阈值(50和1000)，将肺血管标签拆分为三种尺度的血管标签；其次通过数据预处理来增强血管与其它背景图像之间的对比度，为肺血管分割奠定良好的基础；之后通过截取图像的最大连通区域，减少计算量，提高图像分割处理速度；然后以3d resunet为基本结构构建csf-u-net网络，实现多层的信息重用，更好地提取图像特征，尤其是保留小目标区域的特征，进而提高分割效果。本实施例采用的csf-u-net使用三个解码器分支分别提取三种不同
尺度的血管，该网络通过增强小血管的表征能力来提升小血管的分割精度。同时，针对跳层连接结构，设计了跨层特征融合模块，解决了下采样造成的信息损失问题。在跨层特征融合模块中，为了增强多尺度血管在肺ct影像中的关系，以迁移学习为理论基础，提出了跨尺度血管信息交互策略。最后，在训练阶段，为了解决多尺度血管分类不一致的问题，使用基于多尺度肺血管标签的监督策略训练csf-u-net，有效减小了分割误差。
[0053]
根据csf-u-net的特点，需要对原始肺血管标签进行预处理。由于原始ct序列数据是dicom格式的数据，其包含文件头等信息且必须使用特定的软件才能打开。此外，dicom格式的数据比较庞大，导致计算机处理速度下降，因此在数据预处理时往往要把dicom格式的数据转换为其它图像格式。
[0054]
与自然场景图像不同，ct数据的体素值由范围从[-1000, 3000]的hu值表示，需对图像进行预处理，以去除ct数据中不相关的信息。步骤s1具体包括以下步骤：
[0055]
s11：根据肺血管面积的不同，设定两个阈值(50和1000)，将原始肺血管标签拆分为三种尺度(小尺度、中尺度和大尺度)的血管标签。
[0056]
s12：将ct图像的体素值截断在[-950, 250]范围内，即将小于-950的体素点的体素值设置为-950，将大于 250的体素点的体素值设置为 250。
[0057]
s13：将体素值线性化归一到[0,1]范围内。
[0058]
s14：使用灰度线性变换来增强血管与其它背景图像之间的对比度。经过灰度变换后的ct图像可以使得血管部分被增强，其余背景图像得到了较好的抑制，为肺部血管分割奠定良好的基础。
[0059]
步骤s2具体包括以下步骤：
[0060]
s21：根据肺血管标签的数据分布，截取ct序列中的最大连通区域，以平衡正负样本的数量。在肺ct影像中，首尾的切片不包含血管区域。因此，可以根据血管标签将ct序列进行截取，即只截取包含血管区域的部分ct序列。此外，为了平衡正负样本的数量，在截取完成后，再各向外扩张20张切片，保留一定数量的负样本。
[0061]
s22：使用数据增强，随机截取ct序列中连续的32张切片用于训练。
[0062]
步骤s3所搭建的csf-u-net网络结构如图2所示。其以3d resunet为基本结构，包括共享的编码器和三个独立的解码器分支。其中，共享的编码器共有5层。在三个独立的解码器分支中，由于每个分支的输入不同，小尺度分支包括3层卷积神经网络结构，中尺度分支包括4层卷积神经网络结构，大尺度分支包括5层卷积神经网络结构。
[0063]
在共享的编码器路径中，数据依次通过各层进行步长为2的卷积，不断减小图像分辨率，以提取图像的high-level语义特征。因此，共享的编码器中每一层结构块的输入图像的分辨率均为上一层结构块的一半，且通道数为上一层结构块的2倍；其中共享的编码器第一层网络输出特征图的尺寸是512
×
512，通道数是16；第二层网络输出特征图的尺寸是256
×
256，通道数是32；第三层网络输出特征图的尺寸是128
×
128，通道数是64；第四层网络输出特征图的尺寸是64
×
64，通道数是128；第五层网络输出特征图的尺寸是32
×
32，通道数是256。
[0064]
在三个独立的解码器路径中，各层结构块的图像大小以及卷积核的数量均与对应的编码器一致，可以通过步长为2的反卷积将high-level语义特征映射回原始尺寸。
[0065]
另外，跳层连接是编码器和解码器多尺度融合的桥梁，通过级联的方式将下采样
的特征信息补充到对应的上采样层，实现特征复用。
[0066]
其中，在共享的编码器中，编码器的每个层由三个卷积块和一个残差块组成，即每一层对输入的特征图进行三次连续的卷积，并将结果与原特征图叠加。本实施例采用的卷积层的卷积核大小均为3
×3×
3。csf-u-net使用三个解码器分支分别提取三种不同尺度(小尺度、中尺度和大尺度)的血管。因此，为了降低三个解码器分支之间的耦合性，本实施例使用了图2所示的三个参数不共享的卷积层，提取适应不同分支的特征，并将其作为每个分支的输入。本实施例使用的卷积层包括3个3
×3×
3的卷积。
[0067]
其次，csf-u-net针对跳层连接结构，设计了图3所示的跨层特征融合模块，以减少噪音信息的干扰。该模块在跳层连接的结构中，引入注意力机制融合编码器的特征，用于恢复丢失的信息。即本实施例在融合编码器的特征前，该特征会先经过如图3所示的三个参数不共享的注意力模块，用于筛选出有用的特征进行聚合，从而抑制无效的特征。注意力模块如图4所示，本实施例将常用的k
×k×
k卷积拆分为k
×1×
1,1
×k×
1和1
×1×
k卷积计算attention矩阵。由于3种卷积有6种不同的排列次序，本实施例将6种不同排列次序得到的结果都进行了计算，并将6种结果的和作为最后的结果。这样做的目的是为了将卷积参数量由k
×k×
k减少为k
×3×
6，在保证分割精度的同时大大减少模型参数量。本实施例在注意力模块中使用的卷积核参数k为9。最后，将由注意力模块增强后的三个特征分别与三个解码器分支的特征进行融合，以恢复丢失的空间细节信息。
[0068]
最后，在csf-u-net中，为了增强小尺度、中尺度和大尺度血管在肺ct影像中的相关性，本发明以迁移学习为理论基础提出了跨尺度血管信息交互策略，对同一层不同尺度下的卷积神经网络模型进行卷积参数共享，即本实施例将解码器分支中同一层的跨层特征融合模块中右侧的三个卷积层的参数设置为完全一样的，三个卷积层均包含三个3
×3×
3的卷积。
[0069]
步骤s4中，为了解决多尺度血管分类不一致的问题，本发明使用了基于多尺度肺血管标签的监督策略训练csf-u-net。该策略采用先融合后监督的思想，有效解决了三种尺度血管分类不一致的问题，大大减小了肺血管的分割误差。本实施例先分别融合了小尺度、中尺度和大尺度的血管特征以及中尺度和大尺度的血管特征，得到两个新的特征图后，再分别对新得到的两种特征图和大尺度血管的特征图使用1
×1×
1的卷积生成三种分割结果，再用对应尺度的血管标签进行监督训练。训练过程中通过dice损失函数计算每个分支的输出结果与标记结果的误差，并通过不同权重将各分支损失进行叠加，用于后续训练。同时，通过梯度反向传播方法，采用adam优化算法对网络中的参数进行更新，以获得训练好的csf-u-net网络。由于三种分割结果(large,middle large,small middle large)在分割难度上依次递增，因此本实施例对前两种分割结果设置了一个超参数α控制其在总损失中的权重，在实验中，权重设置为0.7。
[0070]
使用的dice损失函数表达式如下所示：
[0071][0072]
其中c是类别总数，h是ct图像的高，w是ct图像的宽，t是输入网络的ct切片数量，p是csf-u-net网络中输出的结果，是标注结果的one-hot编码的真实图。
[0073]
步骤s5中，使用训练得到的csf-u-net网络模型预测测试样本的每个像素点的类别概率，概率值最高的类别为该像素点的预测结果。以此方法，ct序列中每张切片的每个像素点都有且仅有一个预测类别，最后根据预测结果，使用三维重建技术建立三维血管结构，用于临床诊断。
[0074]
实施例2
[0075]
在本实施例中，采用实施例1所述分割方法对肺部的血管进行分割。本实施例使用了来自浙江省某医院143位患者的原始ct影像来评估csf-u-net模型。图像通过高速螺旋ct机器将肺部从肺尖扫描到肺底生成，图像格式为dicom。由于在ct拍摄的过程中，ct机开始拍摄及结束拍摄的位置差异，导致每例病人的ct切片数也存在差异。根据统计，每例病人的切片数均在135～513范围内，143例病人共包含29056张ct图片，每张图片的大小均为512*512。另外，在专业医生的指导下，完成了ct图像中肺血管区域的标注工作。经过实验数据预处理，本实施例使用所有数据的70％作为训练集，30％作为验证集，确保实验中训练集和验证集的数量，避免过拟合或者欠拟合的情况发生。
[0076]
预处理时，首先从每个样本中截取出最大的连通区域，以尽量减少周围的黑色区域。在训练前，使用数据增强策略，随机截取ct序列中连续的32张切片用于训练。训练时，通过dice损失函数计算误差，更新csf-u-net网络中的参数，训练csf-u-net网络。本实施例通过dice相似系数(dice similarity coefficient,dsc)，灵敏度(sensitivity,sen)和精确率(precision,pre)来评价分割方法的分割效果。
[0077]
如表1所示，与现有的3d u-net和3d resunet分割方法对比，本方法展现了更好的性能。因此表明本发明专利提出的方法解决了小血管信息丢失的问题，提升了网络的分割效果。
[0078]
表1：本方法与3d u-net、3d resunet的实验结果对比
[0079][0080]
综上所述，本实施例所述分割方法与现有的同类方法相比，分割效果更好，具有明显的优势。
[0081]
以上所述，仅为本发明具体实施方式的详细说明，而非对本发明的限制。相关技术领域的技术人员在不脱离本发明的原则和范围的情况下，做出的各种替换、变型以及改进均应包含在本发明的保护范围之内。