基于transformer的医学图像快速分割网络

1.本发明属于深度学习技术领域，具体涉及基于transformer的医学图像快速分割网络。


背景技术：

2.自动医学图像分割在医学图像分析领域取得广泛的研究，这项工作可将放射科医生从繁琐的工作中解放出来，并降低医生出错的概率。
3.近年来卷积神经网络(cnns)由于其具有局部平移不变性和滤波器的共享特性，在医学图像分割领域取得重大进展，全卷积网络(fcns)及其变体(例如：u-net、segnet、ccnet等)在基于核磁共振成像(mri)的心脏图像分割、ct成像的肝脏和肿瘤分割得到广泛应用。vit架构通过大规模数据集的预训练，在图像分类上取得重要成果。
4.然而，上述方法依然存在缺点和不足，cnn由于其卷积操作的内在位置性和复杂的数据访问模式，任然无法满足当前临床应用对分割精度和速度的要求。transformer对计算力的高要求，使得在实际应用(如放射治疗)中很难得到应用。
5.为了加快人工智能技术在医学领域落地速度，提高医学图像分割速度和降低对计算能力的要求是急需解决的问题。


技术实现要素：

6.本发明要解决的技术问题是：提供基于transformer的医学图像快速分割网络，用于提升分割医学图像的速度。
7.本发明为解决上述技术问题所采取的技术方案为：基于transformer的医学图像快速分割网络，用于输入给定高度h、宽度w和通道c的图像，预测h
×
w对应的像素级标签；包括编码器和解码器，编码器通过跳跃连接解码器；编码器为levit模块，levit模块包括依次连接的卷积块和transformer块；卷积块用于输入给定高度h、宽度w和通道c的图像、降低分辨率、减少transformer块中的浮点数计算量并输出特征图；transformer块用于提取各种分辨率的特征图进行上采样；解码器为unet，通过跳跃连接从解码器中连接特征，用于通过级联上采样策略、利用cnn恢复上一层的分辨率并输出图像分割结果。
8.按上述方案，卷积块包括4层3x3卷积，步幅为2。
9.按上述方案，levit编码器包括levit-128s、levit-192和levit-384，根据输入transformer块的通道数设计。
10.按上述方案，设transformer块包括n个块，第n个块的多层感知器模块mlp的输出为多头注意力模块msa的输出为zn，bn为批处理标准化，则transformer块的计算公式如下：
[0011][0012]
[0013]
进一步的，设q、k和v分别为查询、键和值矩阵；通过学习得到的矩阵大小为m2×
d，m2为补丁的数量，d为查询或键的维度；b为注意偏差，用于在每个多头注意力模块msa内提供位置信息；则自注意力的计算方法如下：
[0014][0015]
按上述方案，解码器包括级联的多个上采样块，用于从编码器处获取具有形状的特征映射，使用级联的多个上采样块达到h
×
w的全分辨率。
[0016]
进一步的，每个上采样块包括两个3x3卷积层、批归一化层、relu层和一个上采样层。
[0017]
基于transformer的医学图像快速分割方法，包括以下步骤：
[0018]
s1：将包括依次连接的卷积块和transformer块的levit架构作为levit-unet的编码器，根据输入transformer的通道数设计levit编码器；
[0019]
s2：输入给定高度h、宽度w和通道c的图像到卷积块；
[0020]
s3：卷积块降低图像分辨率并输出特征图到transformer块；
[0021]
s4：transformer块提取各种分辨率的特征图进行上采样；
[0022]
s5：解码器通过跳跃连接连接特征，采用级联上采样策略，利用cnn恢复上一层的分辨率；
[0023]
s6：预测h
×
w对应的像素级标签，输出图像分割结果。
[0024]
一种计算机存储介质，其内存储有可被计算机处理器执行的计算机程序，该计算机程序执行图像分割方法。
[0025]
本发明的有益效果为：
[0026]
1.本发明的基于transformer的医学图像快速分割网络，提出了基于transformer的分割结构levit-unet，通过将编码器中的多级transformer块与levit集成在一起，从transformer块中提取多尺度特征图，并与卷积块的特征图进行特征融合，实现了提升分割医学图像的速度的功能。
[0027]
2.本发明第一个将levit集成到类似unet的架构中，提出了levit-unet架构的二维医学图像分割，用于一般医学图像分割任务的研究，解决了医学图像分割领域图像分割速度慢的问题；大量的实验表明，与目前的sota方法相比，该levit-unet具有优越的性能和良好的泛化能力。
[0028]
3.本发明提出的levit-unet充分利用transformer的优势来构建强大的全局语义关系，同时保留cnn的优点来提取底层特征，该框架合理利用了cnn局部特征表示和transformer全局特征提取的优点，利用levit中transformer块提取各种分辨率的特征图进行上采样，并通过跳跃连接到解码器中，有效提高了医学图像分割任务的准确性和效率，显示了准确性和效率之间的权衡能力，提升了医学图像对象分割的速度和整体的分割精度。
附图说明
[0029]
图1是本发明实施例的流程图。
[0030]
图2是本发明实施例的levit-unet网络架构图。
[0031]
图3是本发明实施例的levit-192网络架构图。
具体实施方式
[0032]
下面结合附图和具体实施方式对本发明作进一步详细的说明。
[0033]
本发明的实施例包括一个编码器和一个解码器；对于给定高度(h)、宽度(w)、通道(c)的输入图像，图像分割任务的目标是预测h
×
w对应的像素级标签。与传统的使用卷积操作对特征进行编码和解码不同，本发明在编码器部分应用levit模块提取特征，解码器部分与unet相同。
[0034]
该框架合理利用了cnn局部特征表示和transformer全局特征提取的优点，利用levit中transformer块提取各种分辨率的特征图进行上采样，并通过跳跃连接到解码器中，可以有效提高医学图像分割任务的准确性和效率。
[0035]
参见图1至图3，基于levit架构的levit-unet的二维医学图像快速分割，包括以下步骤：
[0036]
将levit架构作为levit-unet的编码器；
[0037]
编码器由两个主要的组件部分组成：卷积块和transformer块。具体来说，在卷积块中有4层3x3卷积，步幅为2，可以降低分辨率。这些特性图将被输入transformer块，这可以减少transformer块中的浮点数计算量。根据输入transformer的通道数，我们设计了三种levit编码器，分别命名为levit-128s、levit-192和levit-384。
[0038]
其中transformer块的计算公式如下：
[0039][0040][0041]
和zn分别表示第n个块的mlp(多层感知器)模块和msa(多头注意力)模块的输出。bn表示批处理标准化。
[0042]
自注意力的计算方法如下：
[0043][0044]
其中，q、k、v分别为查询、键和值矩阵，通过学习得到矩阵大小为m2×
d。m2和d表示补丁的数量和查询或键的维度。b表示注意偏差，可以在每个注意块内提供位置信息。
[0045]
levit-unet的解码器：
[0046]
与unet类似，通过跳跃连接从解码器中连接这些特征。采用级联上采样策略，利用cnn恢复上一层的分辨率。例如，从编码器处具有形状的特征映射；然后使用级联的多个上采样块来达到h
×
w的全分辨率，其中每个块由两个3x3卷积层、批归一化层、relu层和一个上采样层组成。
[0047]
以上实施例仅用于说明本发明的设计思想和特点，其目的在于使本领域内的技术人员能够了解本发明的内容并据以实施，本发明的保护范围不限于上述实施例。所以，凡依据本发明所揭示的原理、设计思路所作的等同变化或修饰，均在本发明的保护范围之内。