基于深度学习注意力机制的肝脏肿瘤图像分割方法

技术特征：
1.基于深度学习注意力机制的肝脏肿瘤图像分割方法，其特征在于，具体包括如下步骤：步骤1：图像获取和图像预处理；首先通过对3d的ct图像进行切片化得到二维的ct切片图像，然后为ct图像的切片设置合适的窗位窗宽值，以去除图像中的过多与肝脏肿瘤分割任务不相关的区域，接着对ct图像以及其对应的分割标签进行外围的裁剪，去除过多的全黑背景区域，以优化网络的训练，最后通过归一化标准化等操作对肝脏ct影响进行处理；步骤2：构建u型的注意力机制网络；首先构建u型框架，在u型网络基础之上加入轴向注意力机制以及多尺度注意力机制，并将二者以自适应池化的方式结合起来；多尺度特征提取作为网络的主路提取多尺度特征，轴向注意力和多尺度注意力中的全局池化结合构成自适应全局池化，生成更有效的多尺度自适应权重；步骤3：训练网络；从步骤2处理好的数据中，挑选图像划分为训练集、测试集和验证集，使用数据集对网络模型进行训练，得到已经收敛的网络模型；步骤4：肝脏肿瘤图像分割；对待处理的肝脏肿瘤ct切片实施和数据集相同的预处理方法，然后将处理后的切片输入到网络进行全自动的肝脏肿瘤分割。2.根据权利要求1所述的基于深度学习注意力机制的肝脏肿瘤图像分割方法，其特征在于，所述的u型的注意力机制网络包括编码网络和解码网络，编码网络包括轴向注意力机制和多尺度注意力机制，编码网络负责特征提取，应用轴向注意力的全局建模构建全局依赖，充分提取信息，应用多尺度注意力的多尺度特征提取能力，对多尺度的输入进行自适应的特征提取，最后将这二者以自适应池化的方式有机结合，充分提取语义信息；同时编码网络的特征也会被馈送到解码网络辅助解码网络的语义分割；编码网络包含四层，每一层都包含一个基于多尺度注意力机制的多尺度特征提取主干路以及一个基于轴向注意力的注意力旁路，旁路提取有效的全局信息，为主路提取的多尺度特征赋予自适应的选择权重；解码网络也包含四层，每一层分别对应编码网络的每一层；解码网络的每一层都由反卷积构成；编码网络和解码网络之间通过跳跃连接来传递信息，编码网络每一层的低层语义信息会流动到解码网络对应的网络层中，辅助高级语义信息实现精确分割。3.根据权利要求1所述的基于深度学习注意力机制的肝脏肿瘤图像分割方法，其特征在于，步骤3中的u型的注意力机制网络包含了多尺度注意力机制，可实现自适应的多尺度特征提取；多尺度注意力机制包括多尺度特征提取和自适应权重两个部分；多尺度特征提取如式(i)所示：式(i)中，是具有n路不同感受野的多尺度卷积，concat(
·
)表示特征图拼接，
f(
·
)表示特征图，k(
·
)表示卷积核，p为特征图中的元素；多尺度特征图的自适应权重是由特征图自身生成的，要经过全局平均池化、全局最大池化以及权重生成层，这三个过程如式(ii)、式(iii)和式(iv)所示：z
max
(c)＝max(x(c,i,j))0≤i≤w-1 0≤j≤h-1
ꢀꢀꢀ
(iii)weights＝σ(f(δ(f(z
avg
z
max
))))
ꢀꢀꢀꢀ
(iv)式(ii)、(iii)和(iv)中，z
avg
(c)表示全局平均池化，h和w分别表示输入特征图的两个空间尺寸，x表示输入特征图；z
max
(c)表示全局最大池化，max表示最大值函数；weights表示生成的多尺度权重，f为全连接层，δ为relu激活函数，σ表示sigmoid激活函数；生成的权重对多尺度卷积提取到的不同尺度特征图进行加权，得到自适应加权的多尺度注意力结果。4.根据权利要求1所述的基于深度学习注意力机制的肝脏肿瘤图像分割方法，其特征在于，步骤3中的u型的注意力机制网络包含了轴向注意力机制，可实现有效的全局依赖建模；轴向注意力机制包含横轴注意力、纵轴注意力以及输出模块三个部分；横轴注意力和纵轴注意力如式(v)和式(vi)所示：纵轴注意力如式(v)和式(vi)所示：式(v)和式(vi)中，matmul(
·
)表示矩阵乘法，softmax(
·
)表示softmax函数，q
h
、k
h
和v
h
代表横向的输入，q
w
、k
w
和v
w
代表纵向的输入，d
h
和d
w
分别为横向输入和纵向输入的维度，permute表示维度的置换函数，还原纵向的维度方向；横向注意力和纵向注意力可以分别建模横向和纵向两个方向上的全局依赖，然后通过输出模块，得到最终的空间全局注意力，如式(vii)所示：weights＝softmax(conv(concat(x
h
,x
w
)))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(vii)式(vii)中，x
h
和x
w
为式(v)和式(vi)计算输出的横向和纵向全局依赖，weights表示最终输出的空间全局注意力权重的热图，softmax(
·
)表示softmax函数，conv(
·
)表示3
×
3卷积，concat(
·
)表示特征图拼接；然后生成的空间全局注意力权重热图对特征图的空间维度进行加权，最终得到轴向注意力机制的加权结果。5.根据权利要求1所述的基于深度学习注意力机制的肝脏肿瘤图像分割方法，其特征在于，在步骤3构建u型的注意力机制网络过程中，将轴向注意力机制和多尺度注意力机制有机结合，具体步骤是将轴向注意力和全局平均池化和全局最大池化结合构建自适应的全局池化，然后将自适应全局池化结果用作生成多尺度特征图的自适应权重。6.根据权利要求1所述的基于深度学习注意力机制的肝脏肿瘤图像分割方法，其特征在于，使用权重交叉熵以解决肝脏肿瘤分割任务中背景和肿瘤之间严重的样本不平衡问题。7.根据权利要求1所述的基于深度学习注意力机制的肝脏肿瘤图像分割方法，其特征
在于，在步骤4网络训练的过程中，使用nvidia gtx1080ti gpu训练网络，在网络收敛时停止训练。

技术总结
本发明公开了一种基于深度学习注意力机制的肝脏肿瘤图像分割方法，属于图像处理领域。本发明将轴向注意力和多尺度注意力融合进深度学习肝脏肿瘤分割网络。轴向注意力能够在占用少量计算资源的情况下，有效地提取肝脏肿瘤CT图像的全局信息特征，而多尺度注意力可以有效地针对多尺度目标进行自适应的特征提取。网络整体采用U型的网络结构，主干为卷积提取路径，辅路为注意力机制，能够有效地提高肝脏肿瘤分割的性能。肿瘤分割的性能。肿瘤分割的性能。


技术研发人员：李春国 陆敬奔 张翅 冷天然 高振 孙希茜 杨绿溪
受保护的技术使用者：东南大学
技术研发日：2021.11.17
技术公布日：2022/6/28