基于深度学习注意力机制的肝脏肿瘤图像分割方法

1.本发明涉及图像处理技术领域，尤其是基于深度学习注意力机制的肝脏肿瘤图像分割方法。


背景技术：

2.肝癌严重威胁着人类的健康。在所有癌症中，肝癌发病率排在第六名，但死亡率却排第四位。肝癌病变切除手术是治愈肝癌的重要治疗手段，要求精准切除肿瘤病变区域，同时保证非病变区域完整性。医生只有精确分割出肝脏病变区域，才能对肝癌患者进行精确的诊断、分析以及治疗。肝脏肿瘤精确分割一直是研究的难点，不同病人的ct图像，甚至是同一病人ct图像的不同扫描断层中，肝脏肿瘤的位置并不固定，且大小、数目以及形状也随着扫描层的变化而不断变化，更糟糕的是影像噪声和模糊的组织边界也严重影响着医生对病变区域进行分割。
3.目前通过有经验的医师或专家进行手动分割病变的效果最佳，这也经常被作为医学图像分割预测结果的标准，然而却十分耗费精力和时间。更重要的是，手动分割具有不可重复性，这受限于医生的水平和经验，甚至是工作状态。由于不同的经验和水平，对于病变的分割结果是因人而异的；甚至同一医师对于某一组织部分的两次分割也可能会由于疲劳度的原因，造成一定差异。
4.为解决手动分割的缺陷，研究者提出一些半自动分割方法，如传统的医学图像分割算法和机器学习算法，这些算法的分割效率相比于手动分割有了很大提高。传统的医学图像分割算法，如snakes算法，该算法在分割肿瘤时，需要操作者手动在肝脏肿瘤边缘确定一部分轮廓点，形成一个初始轮廓，然后算法自动拟合最终轮廓，该操作比较依赖医生的主观经验以及知识，且精度也不够高；机器学习对手工特征提取依赖十分严重，而特征提取的优劣直接影响最终的肝脏肿瘤分割结果，因此分割精度会明显低于手动分割，分割效果也在一定程度上受限于医生的水平和经验。现代医学亟需一种高效方便、简单实用、可重复性强、精确的全自动分割手段。
5.深度学习的出现，成为了计算机视觉领域的一个研究热点，尤其是cnn促进了图像领域的发展。深度学习利用神经网络自动提取特征，克服了传统算法人工提取特征的局限，被广泛应用于医学图像处理领域中。
6.最早出现的深度学习肝脏肿瘤分割方法是基于图像块的分割方法，它以整张图像的每一个像素为中心点，以此为中心划分图像块，然后将图像块送入cnn，对其提取特征并预测其类别，此预测的类别便作为该图像块中心点的类别。基于图像块的图像分割方法有两个重大缺陷：一是该方法效率低下，基于图像块的肝脏肿瘤分割方法需要对每一个像素点进行分类，就需要以每一个像素点为中心划分图像块，那么毗邻的像素点之间必然包含了许多的重复计算，当图像分辨率较高时，便会额外占用很大的计算资源；二是损失了全局信息。基于图像块的方法，以某一像素点为中心的图像块作为训练数据，这必然会损失掉该图像块以外的图像信息，忽略全局信息，不利于高精度的肝脏肿瘤分割。
7.long等人在卷积神经网络的基础上提出了全卷积网络fcn，促进了图像分割领域的进步。fcn中没有全连接层，仅包含卷积层和池化层。fcn克服了基于图像块分割方法的缺陷，真正实现了端到端、像素到像素的训练和预测，在分割的过程中也不会丢失全局信息，一定程度上提高了分割精度；相对于基于图像块的分割方法，fcn没有计算冗余，提高了计算效率。fcn还有一个很大的优点就是不限制输入图像的空间尺寸，而传统卷积神经网络中的输入图像尺寸受制于全连接层的神经元个数。
8.在fcn的基础上，研究者又提出了许多新的网络模型，最著名的就是u-net网络，其它很多网络都是对u-net网络的改进，因此衍生出很多u型变种网络。
9.常规的卷积神经网络在多尺度特征提取和全局信息建模方面表现不佳。在肝脏肿瘤的分割任务中，不同的患者，甚至是同一患者，肝脏肿瘤的大小、形状、位置和数量都不尽相同，这给自动精细分割带来了很大的挑战。此外，有些病灶边界不清晰，加之噪声较大，限制了边缘分割的性能。显然，最终的分割结果明显受到多尺度和全局空间建模问题的挑战。
10.注意力机制最初在自然语言处理和机器翻译任务中被提出并成功应用，并取得了一定的效果。在计算机视觉领域，也有一些学者探索了在视觉和卷积神经网络中使用注意力机制来提升网络性能的方法。类似于空间注意力、通道注意力和自注意力等，都被证实有利于提高网络性能。在深度学习图像分割任务中，也有一些关于注意力机制的尝试，例如将通道注意力或包含self-attention机制的transformer融入u-net。
11.图像分割任务可以被认为是一个像素级的分类问题，它适合使用交叉熵监督学习和引导反向传播。在肝脏肿瘤分割任务中，肿瘤与背景之间存在严重的不平衡，这与常规的分割任务有很大的不同。普通的交叉熵函数计算所产生的背景损失远大于前景(待分割目标)损失，这将导致网络参数向着优化背景分割的方向更新。为了解决上述问题，在交叉熵中为背景和前景(待分割的肝脏肿瘤)赋予权重，给肿瘤赋予更大的损失权重以强调肝脏肿瘤对网络分类的重要性。


技术实现要素：

12.本发明要解决的技术问题是基于深度学习注意力机制的肝脏肿瘤图像分割方法，本发明基于深度学习注意力机制的肝脏肿瘤图像分割方法是一种语义分割图像处理网络。针对肝脏肿瘤的特点设计了两种注意力机制，有利于提高原有u型网络在肝脏肿瘤图像上的语义分割效果。
13.针对多尺度特征提取，提出了一种动态多尺度注意力机制，该机制为多尺度卷积分配自适应权重。尺度注意可以融合多个尺度的感受域，有利于多尺度目标的分割。针对空间信息的全局建模，提出了轴向注意力机制，可以有效地模拟空间的长期依赖关系。通过一种自适应的全局池化方式将这两种注意力机制有机地结合在一起，嵌入到u型网络中以提高肝脏肿瘤的分割性能。
14.本发明基于深度学习注意力机制的肝脏肿瘤图像分割方法，具体包括如下步骤：
15.步骤1：图像获取和图像预处理
16.通过对3d的ct图像进行切片化得到二维的ct切片图像；为ct图像的切片设置合适的窗位窗宽，以去除图像中的过多与肝脏肿瘤分割任务不相关的区域，并通过归一化标准化等操作对肝脏ct影响进行处理；
17.步骤2：构建u型的注意力机制网络
18.首先构建u型框架，在u型网络基础之上加入轴向注意力机制以及多尺度注意力机制，并将二者以自适应池化的方式结合起来；
19.步骤3：训练网络
20.从步骤2)处理好的数据中，挑选图像划分为训练集、测试集和验证集，使用数据集对网络模型进行训练，得到已经收敛的网络模型；
21.步骤4：肝脏肿瘤图像分割
22.将待处理的肝脏肿瘤ct切片输入到网络进行全自动的肝脏肿瘤分割。
23.有益效果：
24.与现有技术相比，本发明具有如下有点和有益效果：
25.1.本发明针对多尺度特征提取，提出了一种动态多尺度注意力机制，该机制为多尺度卷积分配自适应权重。尺度注意可以融合多个尺度的感受域，有利于多尺度目标的分割。
26.2.本发明针对空间信息的全局建模，提出了轴向注意力机制，可以有效地模拟空间的长期依赖关系。通过一种自适应的全局池化方式将这两种注意力机制有机地结合在一起，嵌入到u型网络中以提高肝脏肿瘤的分割性能。
附图说明
27.图1是本发明的实施流程图；
28.图2是普通u型网络的结构示意图；
29.图3是多尺度注意力机制的结构示意图；
30.图4是轴向注意力机制的结构示意图；
31.图5是将两种注意力以自适应池化的方式有机结合的结构示意图；
32.图6是本发明和现有方法在lits数据集上对比的结果；
33.图7是本发明在3d-ircadb和医院提供的测试集上的测试结果。
具体实施方式
34.本发明的基于深度学习注意力机制的肝脏肿瘤图像分割方法，实施流程图如图1所示，具体包括如下步骤：
35.步骤1：图像获取和图像预处理
36.首先通过对3d的ct图像进行切片化得到二维的ct切片图像，原始的ct切片空间分辨率为512
×
512。然后为ct图像的切片设置合适的窗位窗宽值，通过窗位窗宽截断以去除图像中的过多与肝脏肿瘤分割任务不相关的区域，这里我们以肝脏的参考hu值作为窗位，窗宽按照经验值设置为200。接着对ct图像以及其对应的分割标签进行外围的裁剪，去除过多的全黑背景区域，以优化网络的训练，裁剪后的切片空间分辨率为400
×
400。最后通过归一化标准化等操作对肝脏ct影响进行处理；
37.步骤2：构建u型的注意力机制网络
38.首先构建u型框架，在u型网络基础之上加入轴向注意力机制以及多尺度注意力机制，并将二者以自适应池化的方式结合起来。u型注意力机制网络包括编码网络和解码网
络，编码网络包括轴向注意力机制和多尺度注意力机制，编码网络负责特征提取，应用轴向注意力的全局建模构建全局依赖，充分提取信息，应用多尺度注意力的多尺度特征提取能力，对多尺度的输入进行自适应的特征提取，最后将这二者以自适应池化的方式有机结合，充分提取语义信息；同时编码网络的特征也会被馈送到解码网络辅助解码网络的语义分割。
39.编码网络包含四层，每一层都包含一个基于多尺度注意力机制的多尺度特征提取主干路以及一个基于轴向注意力的注意力旁路，旁路提取有效的全局信息，为主路提取的多尺度特征赋予自适应的选择权重；
40.解码网络也包含四层，每一层分别对应编码网络的每一层；解码网络的每一层都由反卷积构成；
41.编码网络和解码网络之间通过跳跃连接来传递信息，编码网络每一层的低层语义信息会流动到解码网络对应的网络层中，辅助高级语义信息实现精确分割。
42.u型的注意力机制网络包含了多尺度注意力机制，可以实现自适应的多尺度特征提取。
43.多尺度注意力机制包括多尺度特征提取和自适应权重两个部分，首先进行多尺度特征的提取：
[0044][0045]
是具有n路不同感受野的多尺度卷积，concat(
·
)表示特征图拼接，f(
·
)表示特征图，k(
·
)表示卷积核，p为特征图中的元素。
[0046]
然后生成多尺度特征的自适应权重，权重需要由特征图自身生成，需要要经过全局平均池化、全局最大池化以及权重生成层：
[0047][0048]zmax
(c)＝max(x(c,i,j))0≤i≤w-1 0≤j≤h-1
[0049]
weights＝σ(f(δ(f(z
avg
z
max
))))
[0050]zavg
(c)表示全局平均池化，h和w分别表示输入特征图的两个空间尺寸，x表示输入特征图；z
max
(c)表示全局最大池化，max表示最大值函数；weights表示生成的多尺度权重，f为全连接层，δ为relu激活函数，σ表示sigmoid激活函数。
[0051]
最后利用生成的通道级的权重对多尺度卷积提取到的不同尺度特征图进行加权，以得到自适应加权的多尺度注意力结果。
[0052]
u型的注意力机制网络包含了轴向注意力机制，可以实现有效的全局依赖建模。
[0053]
轴向注意力机制包含横轴注意力、纵轴注意力以及输出模块三个部分；首先输入需要经过横轴和纵轴的注意力，来捕获横向和纵向两个方向上的全局依赖：
[0054]
[0055][0056]
matmul(
·
)表示矩阵乘法，softmax(
·
)表示softmax函数，qh、kh和vh代表横向的输入，qw、kw和vw代表纵向的输入，dh和dw分别为横向输入和纵向输入的维度，permute表示维度的置换函数，还原纵向的维度方向。
[0057]
横向注意力和纵向注意力可以分别建模横向和纵向两个方向上的全局依赖，然后通过输出模块，得到最终的空间全局注意力：
[0058]
weights＝softmax(conv(concat(xh,xw)))
[0059]
xh,xw为横向和纵向两个方向输出的全局依赖，weights表示最终输出的空间全局注意力权重的热图，softmax(
·
)表示softmax函数，conv(
·
)表示3
×
3卷积，concat(
·
)表示特征图拼接；
[0060]
接着将生成的空间全局注意力权重热图对特征图的空间维度进行加权，最终得到轴向注意力机制的加权结果。
[0061]
最后将轴向注意力机制和多尺度注意力机制有机结合，具体步骤是将轴向注意力和全局平均池化和全局最大池化结合构建自适应的全局池化。由于轴向注意力对全局空间信息的有效建模能力，这样可以有效地防止全局池化所丢失的信息，尤其是对分割十分重要的细节信息。将轴向注意力和多尺度注意力结合的结构图如图4所示。
[0062]
在肝脏肿瘤图像分割任务中，可以使用权重交叉熵来解决肝脏肿瘤分割任务中背景和肿瘤之间严重的样本不平衡问题。因为图像分割任务可以被认为是一个像素级的分类问题，它适合使用交叉熵监督学习和引导反向传播。在肝脏肿瘤分割任务中，肿瘤与背景之间存在严重的不平衡，这与常规的分割任务有很大的不同。普通的交叉熵函数计算所产生的背景损失远大于前景(待分割目标)损失，这将导致网络参数向着优化背景分割的方向更新。为了解决上述问题，在交叉熵中为背景和前景(待分割的肝脏肿瘤)赋予权重，给肿瘤赋予更大的损失权重以强调肝脏肿瘤对网络分类的重要性。
[0063]
步骤3：训练网络
[0064]
从步骤2)处理好的数据中，挑选图像划分为训练集、测试集和验证集，使用数据集对网络模型进行训练，得到已经收敛的网络模型；模型训练的过程中为了减少模型的优化难度以及加速模型的训练，使用了迁移学习的训练方法。具体的实施步骤为，先利用处理好的数据集训练u型的基本网络，u型网络是图像语义分割的基础网络，网络结构简单，但是包含了语义分割必备的结构，包含编码器、解码器和跳跃连接结构。然后在u型网络训练好的参数基础之上，加入本发明提出的多尺度注意力机制和轴向注意力机制，继续通过训练来更新整个网络的参数。网络训练的过程中，使用nvidia gtx1080ti gpu训练网络，在网络收敛时停止训练。
[0065]
步骤4：肝脏肿瘤图像分割
[0066]
对待处理的肝脏肿瘤ct切片实施和数据集相同的预处理方法，然后将处理后的切片输入到网络进行全自动的肝脏肿瘤分割。
[0067]
如图6所示，在划分的lits数据集上与其他方法进行测试比较，我们的发明(图中第二列的注意力网络)取得了最好的性能。对于一些背景复杂、噪声严重的ct切片，本发明比其他算法具有更好的性能。特别是(a)和(e)，ct切片噪声明显较严重，而本方法仍能准确
捕获小病灶。然而，其他比较网络或多或少会产生假阳性和假阴性预测。
[0068]
如图7所示，为了证明本发明的泛化性能，我们在没有参与训练的3d-ircadb和山东省立医院提供的肝脏肿瘤数据集上测试了本发明的性能。第一和第三行为原始ct切片，第二和第四行为对应的分割结果。图7中红色区域为本发明预测的肿瘤。在分割样例(a)、(b)、(c)、(d)ct切片中均包含极小的肿瘤，分割结果表明，本发明具有很强的捕获小目标肿瘤的能力，同时可以有效地捕获不同大小的肝脏肿瘤，并获得良好的分割结果，如图7中分割样例(e)、(f)、(g)和(h)所示，其中包含多个多尺度的肿瘤。
[0069]
本发明方案所公开的技术手段不仅限于上述实施方案所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明的原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。