一种基于上下文信息融合的三维医疗图像分割方法

1.本发明属于医疗图像分割技术领域，特别涉及一种基于上下文信息融合的三维医疗图像分割方法。


背景技术：

2.三维医疗图像数据通常使用体素表示，正如现在常见的ct影像。体素是一种规格化的表示方法，概念上类似于二维空间中的最小单位——像素，可以看作数据在三维空间分区中的最小单位。语义分割在生物医学图像分析中有着广泛的应用，如x射线、mri扫描、数字病理及内窥镜等。因而语义分割是医疗影像分析中一个很重要的任务，通过从三维医疗图像中快速自动分割器官，进而确定器官的空间几何形状和体积，可以帮助医生制定出准确的医疗方案。因此，基于三维医疗图像的器官分割具有重要的研究意义和临床价值。
3.根据网络输入数据维度的不同，三维医疗图像分割主要有两类方法。第一类方法是将数据按2d切片划分，以单张切片或相邻的多张切片作为输入，这样就可以采用二维分割网络进行分割，最后将分割结果按切片汇总成三维形式。第二类方法是直接将三维数据作为输入，采用3d cnn进行处理，3d cnn指的是将常见的2d cnn中的卷积、池化等操作替换为相应的三维操作。3d cnn的计算开销和内存开销很大，因此通常需要以滑动窗口的方式对原始的三维数据进行切块，分别进行分割，最后将风格结果汇总。相对于基于切片的方法，采用3d cnn可以更有效地利用数据在各个方向上的信息，理论上具有更好的表达能力。
4.在进行图像分割时，对一个像素类别的预测不仅需要考虑该像素自身的信息，还需要考虑其周围像素的信息和图片的整体信息。结合了像素周围其他像素的信息和图片整体特征的信息分别称为局部上下文信息和全局上下文信息，统称为上下文信息。现有的研究表明，充分利用上下文信息可以有效提高图像分割算法的准确率。
5.然而，现有的许多基于3d cnn的分割方法均采用使用编码器-解码器结构的网络。对于医疗图像分割任务，三维编码器-解码器结构的网络有着两点限制。一方面，下采样和上采样分成多阶段，且每个阶段都有相当数量的参数，这就导致总体网络往往有大量参数需要训练，存在过拟合的风险。另一方面，输入三维图像子块的空间尺寸相对较小，编码器进一步进行下采样会导致输入图像边界的细粒度信息丢失，从而影响语义分割这种密集预测任务的性能。


技术实现要素：

6.本技术的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本技术的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
7.针对现有技术中存在的问题与不足，本发明目的在于提供一种基上下文信息融合的三维医疗图像分割方法，整个三维图像分割网络采用基于子块的方式进行训练和预测，结合了像素周围其他像素的信息和图片整体特征的信息，通过并行的空洞卷积分支和自注
意力分支提取包含上下文信息的特征，再融合后生成分割结果。训练时通过样本均衡采样策略采样训练子块，避免了数据中可能存在的类别不平衡问题，提升了前景类别的分割精度；预测时利用滑动窗口裁切三维图像数据，得到预测子块作为网络输入，并采用高斯加权融合相邻预测子块的分割结果，从而缓解了子块边界预测不准的问题，进一步提高了分割精度，具有很好的普适性和通用性，以解决上述背景技术中提出的问题。
8.为实现上述目的，本发明提供如下技术方案：
9.本发明公开一种基上下文信息融合的三维医疗图像分割方法，三维医疗图像分割预测包括如下步骤：
10.步骤1，对获取到的三维医疗图像数据进行预处理，得到经过数据重采样和数据标准化后的优化三维医疗图像数据；
11.步骤2，在所述优化三维图像数据的不同位置上进行随机裁切得到多个训练子块；
12.步骤3，以所述训练子块大小的一半为步长，采用滑动窗口策略从所述优化三维图像数据中裁切与所述训练子块大小相同的预测子块；
13.步骤4，将所述预测子块输入至训练后的基于上下文信息融合的三维医疗图像分割网络，通过前向计算方法得出各个所述预测子块的预测分割结果；
14.步骤5，使用高斯加权策略融合相邻所述预测子块的预测分割结果，得到最终预测的三维医疗图像分割结果。
15.进一步的，步骤1中所述数据重采样的具体操作为：
16.采用所述三维医疗图像数据的数据集间距中值作为目标间距，并对其图像数据和标签数据分布采用三阶spline插值和最近邻插值进行重采样。
17.进一步的，步骤1中所述数据标准化的具体操作为：
18.计算所述三维医疗图像数据中所有前景类的体素强度的平均值和标准差，以及它们的0.5和99.5个百分位，然后将所有图像剪切到0.5和99.5个百分位，最后减去平均值并除以标准差。
19.进一步的，步骤4中所述三维医疗图像分割网络的训练步骤具体为：
20.步骤4.1，利用样本均衡采样策略针对所述训练子块进行采样，并将采样到的所述训练子块与其对应的分割标注作为训练样本；
21.步骤4.2，定义基于上下文信息融合的三维医疗图像分割网络，将所述训练样本输入至所述三维医疗图像分割网络中通过前向计算得到训练分割结果；
22.步骤4.3，根据所述训练分割结果和真实分割标签计算目标损失函数，并更新所述三维医疗图像分割网络的参数；
23.步骤4.4，判断是否达到预设的训练轮数，直至训练结束。
24.进一步的，所述三维医疗图像分割网络采用并行的空洞卷积分支和自注意力分支提取包含多尺度局部上下文信息和全局上下文的特征，将不同分支的特征进行融合从而生成结果；所述空洞卷积分支由g组空洞卷积堆叠而成，所述自注意力分支由卷积层、l层三维轴向自注意力层和转置卷积层堆叠而成。
25.进一步的，步骤4.1中所述样本均衡采样策略具体为：
26.采样的所述训练子块中，其中三分之二的子块来自于随机位置，另外三分之一的子块来自于保证包含的前景类别。
27.进一步的，步骤4.3中所述三维医疗图像分割网络的目标损失函数表示为：
28.l
total
＝λ1·
l
ce
λ2·
l
dice
；
29.其中，l
ce
和l
dice
分别为分割结果和真实分割标签之间的交叉熵损失和dice损失，λ1和λ2为交叉熵损失和dice损失的权重。
30.进一步的，步骤5中所述高斯加权策略的步骤具体为：
31.对每个所述预测子块的分割结果采用高斯分布作为权重，再在相邻预测子块的分割结果之间归一化权重，并以加权求和后的预测分割结果为最终的预测分割结果。
32.与现有技术相比，本发明的有益效果为：本发明提供一种基于上下文信息融合的三维医疗图像分割方法，本发明中三维医疗图像网络主要采用基于子块的方式进行训练阶段和预测阶段，通过三维医疗图像网络并行的空洞卷积分支和自注意力分支提取包含上下文信息的特征，融合后生成预测分割结果。再将得到的预测分割结果利用高斯加权融合相邻预测子块的预测分割结果，缓解了子块边界预测不准的问题，进一步提高了分割精度。此外，三维医疗图像网络训练时通过样本均衡采样策略采样训练子块，避免了数据中可能存在的类别不平衡问题，提升了前景类别的分割精度。本发明方法可以有效提高三维图像分割算法的准确率，可适用于各种器官的三维医疗图像分割任务，具有很好的普适性和通用性。
附图说明
33.构成本技术的一部分的附图用来提供对本技术的进一步理解，使得本技术的其它特征、目的和优点变得更明显。本技术的示意性实施例附图及其说明用于解释本技术，并不构成对本技术的不当限定。
34.在附图中：
35.图1：为本发明实施的一种基于上下文信息融合的三维医疗图像分割方法的三维医疗图像分割网络结构图；
36.图2：为本发明实施的一种基于上下文信息融合的三维医疗图像分割方法的三维医疗图像网络训练流程框图；
37.图3：为本发明实施的一种基于上下文信息融合的三维医疗图像分割方法的图像分割预测流程框图；
38.图4：为本发明实施的一种基于上下文信息融合的三维医疗图像分割方法用于nih胰腺数据集上的输出的可视化结果：(a)为真实分割结果，(b)为使用本发明预测结果。
具体实施方式
39.下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例。相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
40.另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
41.本发明公开了一种基于上下文信息融合人的三维医疗图像分割方法，下面将参考
附图并结合实施例来详细说明本公开。
42.参照图3所示，三维医疗图像分割预测主要包括以下步骤：
43.步骤1，对获取到的三维医疗图像数据进行预处理，得到经过数据重采样和数据标准化后的优化三维医疗图像数据；
44.步骤2，在优化三维图像数据的不同位置上进行随机裁切得到多个训练子块；
45.步骤3，以训练子块大小的一半为步长，采用滑动窗口策略从优化三维图像数据中裁切与训练子块大小相同的预测子块；
46.步骤4，将预测子块输入至训练后的基于上下文信息融合的三维医疗图像分割网络，通过前向计算方法得出各个预测子块的预测分割结果；
47.步骤5，使用高斯加权策略融合相邻预测子块的预测分割结果，得到最终预测的三维医疗图像分割结果。
48.具体而言，数据重采样的具体操作为：采用三维医疗图像数据的数据集间距中值作为目标间距，并对其图像数据和标签数据分布采用三阶spline插值和最近邻插值进行重采样。重采样是指根据一类象元的信息内插出另一类象元信息的过程，重采样主要分为上升采样和下降采样，小于原信号即下降采样，需要对信号进行抽取；大于原信号即上升采样，需要对信号进行插值。数据标准化的具体操作为：计算三维医疗图像数据中所有前景类的体素强度的平均值和标准差，以及它们的0.5和99.5个百分位，然后将所有图像剪切到0.5和99.5个百分位，最后减去平均值并除以标准差，把有量纲量变为无量纲量。数据标准化是一个常用的数据预处理操作,目的是将不同规格的数据转换到统一规格或不同分布的数据转换到某个特定范围,以减少规模、特征、分布差异等对模型的影响。因此，三维图像数据在经过数据重采样与数据标准化之后得到的优化三维医疗图像数据，能够确保不同三维图像数据间距的一致性，也就更好保持了样本之间的间距。
49.在优化三维图像数据的不同位置上进行随机裁切得到多个训练子块，并以训练子块大小的一半为步长，采用滑动窗口策略从优化三维图像数据中裁切与训练子块大小相同的预测子块。滑动窗口策略是在一个特定窗口大小的字符串或数组上进行操作，而不在整个字符串和数组上操作，这样就降低了问题的复杂度，从而也达到降低了循环的嵌套深度。这里通过滑动窗口策略裁切预测子块，对预测子块数量进行传输控制，以加速数据的传输、提高网络吞吐量，来避免数据拥塞的发生。
50.参照图2所示，三维医疗图像分割网络训练步骤包括：
51.步骤4.1，利用样本均衡采样策略针对训练子块进行采样，并将采样到的训练子块与其对应的分割标注作为训练样本；
52.步骤4.2，定义基于上下文信息融合的三维医疗图像分割网络，将训练样本输入至三维医疗图像分割网络中通过前向计算得到训练分割结果；
53.步骤4.3，根据训练分割结果和真实分割标签计算目标损失函数，并更新三维医疗图像分割网络的参数；
54.步骤4.4，判断是否达到预设的训练轮数，直至训练结束。
55.具体而言，首先采用和三维医疗图像分割预测阶段一致的方法对三维医疗图像数据进行预处理，得到数据重采样和数据标准化后的数据。然后，采用样本均衡策略从训练子块中采样子块，将采样到的训练子块与其对应的分割标注作为训练样本。样本均衡策略具
体为其中三分之二的子块来自于随机位置，另外三分之一的子块来自于保证包含的前景类别。再定义一个基于上下文信息融合的三维医疗图像分割网络根据采样得到的训练样本输入计算训练分割结果，根据训练分割结果和真实分割标签计算目标损失函数l
total
，并采用带有nesterov动量的随机梯度下降作为优化算法更新三维医疗图像分割网络的参数。其中，初始学习率为0.01，动量为0.9，权重衰减率为10-4。学习率采用多项式衰减,指数为0.9。总的来说,其中每轮采样250个批，批量大小为2。根据当前的训练轮数判断达到预设的训练总轮数200轮。若达到训练中止条件即训练轮数达到总轮数，则结束训练输出训练完成的三维医疗图像分割网络；否则，回至步骤4.1继续执行。
56.更进一步而言，目标损失函数l
total
表示为：
57.l
total
＝λ1·
l
ce
λ2·
l
dice
；
58.其中，l
ce
和l
dice
分别为训练分割结果和真实分割标签之间的交叉熵损失和dice损失，而λ1和λ2为交叉熵损失和dice损失的权重。
59.参照图1所示的三维医疗图像分割网络结构，三维医疗图像分割网络采用并行的空洞卷积分支和自注意力分支提取包含多尺度局部上下文信息和全局上下文的特征，将不同分支的特征进行融合从而生成分割结果；空洞卷积分支由g组空洞卷积层和卷积层堆叠而成，自注意力分支由卷积层、l层三维轴向自注意力层和转置卷积层堆叠而成。
60.具体而言，三维医疗图像分割网络包含并行的空洞卷积分支、自注意力分支和分割头。空洞卷积分支由四组空洞卷积层和卷积层堆叠而成，其中第g组包含两层空洞卷积，并且空洞率均为2g-1。空洞卷积层通过卷积层中卷积核中等间距地插入空洞，从而使得在计算量不变的情况下，增加了特征的感受野，渐进增长的空洞率使得网络感受野的尺寸也随着网络深度而增大。自注意力分支由卷积层、六层三维轴向自注意力层和转置卷积层堆叠而成，三维轴向自注意力先后依据宽度、高度和深度方向进行自注意力计算，从而建模全局关系。此外，三维轴向自注意力采用共享的相对位置编码来引入位置信息。
61.将预测子块输入至训练好的三维医疗图像分割网络中，通过前向计算方法得出各个预测子块的预测分割结果，而前向计算就是信号的正向传播的过程。其具体传播的过程为：首先利用空洞卷积分支中3
×3×
3卷积层对空洞卷积层每组的输出进行处理，然后将卷积后的各层空洞卷积层输出与自注意力分支最后一层转置卷积层的输出通过逐元素加的方式进行融合，最后再通过1
×1×
1卷积层输出而生成预测分割结果。
62.在步骤5中，使用高斯加权策略融合相邻预测子块的预测分割结果，得到最终的三维医疗图像分割结果。具体为对每个预测子块的分割结果采用高斯分布作为权重，再在相邻预测子块的分割结果之间归一化权重，并以加权求和后的预测分割结果为最终的预测结果。这样可以有效缓解子块边界预测不准的问题，使其能够应用于各种器官的三维医疗图像分割任务，具有较好的普适性和通用性。
63.实施例本发明在nih胰腺数据集上进行实验
64.nih胰腺数据集包括82次腹部ct增强扫描，每个ct扫描都是一个大小为512
×
512
×
c1的三维数据，其中c1的范围从181到466不等。数据中胰腺的标签由资深的放射科医生提供，这里进行的实验只是以胰腺分割为例来验证本发明的有效性，但是本发明的应用范围不仅限于胰腺分割，还可以应用于其他的器官区域分割。
65.实验对比了本发明的方法和三维医疗图像分割中的代表性方法，即等
人提出的“3du-net”(基于卷积网络的三维图像分割方法)和fausto milletari等人提出的“v-net”(基于体积全卷积三维图像分割方法)。为了验证本发明提出的网络模型(3d-canet)中各个结构的有效性以及训练阶段样本均衡采样和预测阶段高斯加权策略的有效性，3d-canet-wo-gc、3d-canet-single分别表示在原始3d-canet网络的基础上去除自注意力分支和只使用空洞卷积分支最后一层输出。3d-canet-wo-sample、3d-canet-wo-weight分别表示在训练时不采用样本均衡采样策略以及在预测时不使用高斯加权策略。实验采用前景类别的dice相似系数(dsc)作为评价指标。
66.实验结果如下表所示：
67.方法dsc3d u-net0.8332v-net0.83433d-canet-wo-gc0.82913d-canet-single0.81433d-canet-wo-sample0.83173d-canet-wo-weight0.85213d-canet0.8557
68.可从表中看出，本发明的方法优于3d u-net和v-net方法，因为本发明的方法避免了前述方法中多阶段下采样导致的分辨率下降和细节信息丢失，因此在这里三维胰腺分割任务上有着更好的分割精度。其次，3d-canet-wo-gc、3d-canet-single相比于原始3d-canet网络的分割性能都有所下降，这说明了本发明提出的方法中采用多尺度空洞卷积分支和自注意力分支输出的有效性。最后，3d-canet-wo-sample、3d-canet-wo-weight相比于原始3d-canet网络的分割性能都有所下降，这说明了本发明中样本均衡采样策略和高斯加权策略的有效性。
69.参照图4所示，展示了本发明在nih胰腺数据集的分割结果。图中(a)和(b)两列分别表示真实分割的结果和使用本发明方法预测的结果。可见，本发明提出的方法对胰腺进行很好的分割，并且分割结果能够很接近真实标签。
70.以上描述仅为本公开的一些较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开的实施例中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开的实施例中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。