一种腹部多器官CT图像分割方法及系统

一种腹部多器官ct图像分割方法及系统
技术领域
1.本发明涉及图像处理技术领域，特别是涉及一种腹部多器官ct图像分割方法及系统。


背景技术：

2.得益于深度学习的发展，计算机视觉在医学图像分析中得到了广泛的应用。图像分割是医学图像分析的重要组成部分。准确、鲁棒的医学图像分割在计算机辅助诊断和图像引导的临床手术中发挥着不可代替的作用。
3.近年来，随着计算机硬件性能不断提高，基于卷积神经网络的深度学习方法应运而生，并且在许多分割任务中都获得了先进的性能。目前，基于卷积神经网络的分割方法虽然在医学图像分割领域取得了很好的效果，但仍不能完全满足医学应用对分割精度的严格要求。图像分割仍然是医学图像分析中的一项具有挑战性的任务。由于卷积运算的固有局部性，基于卷积神经网络的方法很难学习到全局和远程特征之间的依赖关系。研究者通过使用空洞卷积层、自注意力机制和图像金字塔解决这个问题。然而，这些方法在对远程特征依赖关系进行建模方面仍然存在方法固定、难以适应复杂形状对象的局限性。


技术实现要素：

4.本发明的目的是提供一种腹部多器官ct图像分割方法及系统，提高了腹部多器官ct图像分割的鲁棒性。
5.为实现上述目的，本发明提供了如下方案：
6.一种腹部多器官ct图像分割方法，包括：
7.获取待分割腹部多器官ct图像的数据集；
8.构建用于腹部多器官ct图像分割的深度学习模型；所述深度学习模型为基于transformer技术的u型网络；
9.利用所述数据集对所述深度学习模型进行训练，获得训练好的深度学习模型；
10.将待分割的腹部多器官ct图像输入训练好的深度学习模型，输出腹部多器官ct图像分割结果图。
11.可选地，所述深度学习模型包括依次连接的编码器模块、底层中心模块和解码器模块；
12.所述编码器模块包括依次连接的第一编码阶段、第二编码阶段和第三编码阶段；所述第一编码阶段包括依次连接的跨尺度嵌入层和两个连续的crossformer block；所述第二编码阶段和所述第三编码阶段均包括依次连接的分块合并层和两个连续的crossformer block；输入图像从所述第一编码阶段中的跨尺度嵌入层输入所述深度学习模型；
13.所述底层中心模块包括依次连接的分块合并层、两个连续的crossformer block和分块扩展层；
14.所述解码器模块包括依次连接的第三解码阶段、第二解码阶段和第一解码阶段；所述第三解码阶段、第二解码阶段和第一解码阶段均包括依次连接的两个连续的crossformer block和分块扩展层；
15.所述第一编码阶段与所述第一解码阶段跳跃连接，所述第二编码阶段与所述第二解码阶段跳跃连接，所述第三编码阶段与所述第三解码阶段跳跃连接。
16.可选地，所述跨尺度嵌入层用于采用4个核大小分别为4
×
4、8
×
8、16
×
16和32
×
32的卷积核，并以4为步长对输入图像进行采样，生成4个相应的图像分块，每4个相应的图像分块具有相同的中心，每4个相应的图像分块尺寸不同，每4个相应的图像分块被投影并连接为一个分块。
17.可选地，两个连续的crossformer block中第一个crossformer block包括短距离注意力模块和多层感知机模块，第二crossformer block包括长距离注意力模块和多层感知机模块；
18.两个连续的crossformer block表示为：
[0019][0020][0021][0022][0023]
其中，表示第l个crossformer block中短距离注意力模块的输出，z
l
表示第l个crossformer block中多层感知机模块的输出，表示第l 1个crossformer block中长距离注意力模块的输出，z
l 1
表示第l 1个crossformer block中多层感知机模块的输出，ln()表示层归一化，sda()表示短距离注意力模块，lda()表示长距离注意力模块，mlp()表示多层感知机模块。
[0024]
可选地，一种腹部多器官ct图像分割方法还包括：
[0025]
采用翻转变换与旋转变换对所述数据集中训练集中图像进行数据增强，获得数据增强后的训练集。
[0026]
本发明还公开了一种腹部多器官ct图像分割系统，包括：
[0027]
数据集获取模块，用于获取待分割腹部多器官ct图像的数据集；
[0028]
深度学习模型构建模块，用于构建用于腹部多器官ct图像分割的深度学习模型；所述深度学习模型为基于transformer技术的u型网络；
[0029]
深度学习模型训练模块，用于利用所述数据集对所述深度学习模型进行训练，获得训练好的深度学习模型；
[0030]
腹部多器官ct图像分割模块，用于将待分割的腹部多器官ct图像输入训练好的深度学习模型，输出腹部多器官ct图像分割结果图。
[0031]
可选地，所述深度学习模型包括依次连接的编码器模块、底层中心模块和解码器模块；
[0032]
所述编码器模块包括依次连接的第一编码阶段、第二编码阶段和第三编码阶段；
所述第一编码阶段包括依次连接的跨尺度嵌入层和两个连续的crossformer block；所述第二编码阶段和所述第三编码阶段均包括依次连接的分块合并层和两个连续的crossformer block；输入图像从所述第一编码阶段中的跨尺度嵌入层输入所述深度学习模型；
[0033]
所述底层中心模块包括依次连接的分块合并层、两个连续的crossformer block和分块扩展层；
[0034]
所述解码器模块包括依次连接的第三解码阶段、第二解码阶段和第一解码阶段；所述第三解码阶段、第二解码阶段和第一解码阶段均包括依次连接的两个连续的crossformer block和分块扩展层；
[0035]
所述第一编码阶段与所述第一解码阶段跳跃连接，所述第二编码阶段与所述第二解码阶段跳跃连接，所述第三编码阶段与所述第三解码阶段跳跃连接。
[0036]
可选地，所述跨尺度嵌入层用于采用4个核大小分别为4
×
4、8
×
8、16
×
16和32
×
32的卷积核，并以4为步长对输入图像进行采样，生成4个相应的图像分块，每4个相应的图像分块具有相同的中心，每4个相应的图像分块尺寸不同，每4个相应的图像分块被投影并连接为一个分块。
[0037]
可选地，两个连续的crossformer block中第一个crossformer block包括短距离注意力模块和多层感知机模块，第二crossformer block包括长距离注意力模块和多层感知机模块；
[0038]
两个连续的crossformer block表示为：
[0039][0040][0041][0042][0043]
其中，表示第l个crossformer block中短距离注意力模块的输出，z
l
表示第l个crossformer block中多层感知机模块的输出，表示第l 1个crossformer block中长距离注意力模块的输出，z
l 1
表示第l 1个crossformer block中多层感知机模块的输出，ln()表示层归一化，sda()表示短距离注意力模块，lda()表示长距离注意力模块，mlp()表示多层感知机模块。
[0044]
可选地，一种腹部多器官ct图像分割系统，还包括：
[0045]
数据增强模块，用于采用翻转变换与旋转变换对所述数据集中训练集中图像进行数据增强，获得数据增强后的训练集。
[0046]
根据本发明提供的具体实施例，本发明公开了以下技术效果：
[0047]
本发明一种腹部多器官ct图像分割方法及系统，通过构建并训练基于transformer技术的u型网络对腹部多器官ct图像进行分割，提高了建立远程特征关系的能力，克服了图像分割在跨尺度注意力方面的不足，从而提高了腹部多器官ct图像分割的鲁棒性。
附图说明
[0048]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0049]
图1为本发明一种腹部多器官ct图像分割方法流程示意图；
[0050]
图2为本发明深度学习模型的结构示意图；
[0051]
图3为本发明两个连续的crossfomer block结构示意图；
[0052]
图4为本发明短距离注意力与长距离注意力分块分组示意图；
[0053]
图5为本发明动态位置偏置的结构示意图；
[0054]
图6为本发明腹部多器官ct图像分割结果示意图；
[0055]
图7为本发明一种腹部多器官ct图像分割系统结构示意图。
具体实施方式
[0056]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0057]
本发明的目的是提供一种腹部多器官ct图像分割方法及系统，提高了腹部多器官ct图像分割的鲁棒性。
[0058]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
[0059]
图1为本发明一种腹部多器官ct图像分割方法流程示意图，如图1所示，一种腹部多器官ct图像分割方法，包括：
[0060]
步骤101：获取待分割腹部多器官ct图像的数据集。
[0061]
对待分割腹部多器官ct图像数据进行预处理，获得数据集。
[0062]
数据集包括训练集和测试集。
[0063]
采用翻转变换与旋转变换对数据集中训练集中图像进行数据增强，获得数据增强后的训练集。通过数据增强增加数据多样性同时减少内存压力。
[0064]
步骤102：构建用于腹部多器官ct图像分割的深度学习模型；深度学习模型为基于transformer技术的u型网络。
[0065]
深度学习模型为名为cross-net的u型网络。
[0066]
步骤103：利用数据集对深度学习模型进行训练，获得训练好的深度学习模型。
[0067]
其中，步骤103具体包括深度学习模型利用数据增强后的训练集进行训练，分割模型(深度学习模型)在训练过程中对训练集数据进行特征提取，并以训练集的标注数据作为网络模型的监督信息，直至分割模型设定的迭代次数，得到训练好的深度学习模型及其对应参数，完成深度学习训练。
[0068]
步骤104：将待分割的腹部多器官ct图像输入训练好的深度学习模型，输出腹部多器官ct图像分割结果图。
[0069]
其中，步骤104具体包括：将预处理后的待分割测试集图像数据输入训练好的cross-net网络，得到分割结果；分割结果如图6所示，图6中(a1)和(a2)表示待分割的腹部多器官ct图像，(b1)和(b2)表示相应的标签图像，(c1)和(c2)表示本发明技术方案分割获得的结果图像。
[0070]
如图2所示，深度学习模型包括依次连接的编码器模块(encoder)、底层中心模块(center block)和解码器模块(decoder)。
[0071]
编码器模块包括依次连接的第一编码阶段(stage 1)、第二编码阶段(stage 2)和第三编码阶段(stage 3)；第一编码阶段包括依次连接的跨尺度嵌入层(cross-scale embeeding layer，cel)和两个连续的crossformer block；第二编码阶段和第三编码阶段均包括依次连接的分块合并层(path merging)和两个连续的crossformer block；输入图像从第一编码阶段中的跨尺度嵌入层输入深度学习模型。
[0072]
跨尺度嵌入层用于采用4个核大小分别为4
×
4、8
×
8、16
×
16和32
×
32的卷积核，并以4为步长对输入图像进行采样，生成4个相应的图像分块，每4个相应的图像分块具有相同的中心，每4个相应的图像分块尺寸不同，每4个相应的图像分块被投影并连接为一个分块。
[0073]
第一编码阶段首先利用跨尺度嵌入层将输入图像转化为跨尺度图像分块，然后将跨尺度图像分块前馈到两个连续的crossformer block中学习远程特征关系，输出图像特征，其中输出图像特征的维数和分辨率保持不变；第二编码阶段利用分块合并层对第一编码阶段输出的图像特征进行下采样与维度合并，然后将下采样与维度合并后的图像特征前馈到两个连续的crossformer block中学习远程特征关系，编码器的第三编码阶重复第二编码阶段的过程。
[0074]
编码阶段或解码阶段中的跨尺度嵌入层或分块合并层用于生成图像分块与维度合并，以第一编码阶段跨尺度嵌入层为例，它位于编码器模块的第一个阶段，它接收一幅图像作为输入，使用4个核大小分别为4
×
4、8
×
8、16
×
16、32
×
32的卷积核并以4为步长对输入进行采样，生成4个相应的图像分块，每4个相应的图像分块具有相同的中心但不同的比例，这4个图像分块再被投影并连接为一个分块，采样和投影过程可以通过四层卷积来实现，4个内核的步长保持相同，以便它们生成相同数量的分块，其他阶段中分块合并层的工作方式与此类似，不同的是，第二、三编码阶段中的分块合并层使用两个核大小分别为2
×
2和4
×
4的卷积核，步长设置为2，将分块数量减少至四分之一。
[0075]
底层中心模块包括依次连接的分块合并层、两个连续的crossformer block和分块扩展层(path expanding)。
[0076]
解码器模块包括依次连接的第三解码阶段、第二解码阶段和第一解码阶段；第三解码阶段、第二解码阶段和第一解码阶段均包括依次连接的两个连续的crossformer block和分块扩展层。
[0077]
解码器模块的第三解码阶段利用两个连续的crossformer block接收底层中心模块提取的深层特征，再使用分块扩展层对提取的深层特征进行上采样，并将相邻特征图重构为更高分辨率的特征图，使特征维度降至之前相邻特征维度的一半；解码器模块第一解码阶段、第二解码阶段与第三解码阶段的过程类似，不同的是，第二解码阶段接收第三解码阶段输出特征，第一解码阶段接收第二解码阶段输出特征，这一过程不断对特征图进行上
采样和降低维度。第一解码阶段的分块扩展层的输出经过线性投影(linearprojection)后输出。
[0078]
第一编码阶段与第一解码阶段跳跃连接(skip connection)，第二编码阶段与第二解码阶段跳跃连接，第三编码阶段与第三解码阶段跳跃连接。
[0079]
在编码器模块第一、二、三编码阶段的输出特征与解码器模块第一、二、三解码阶段的输出特征之间建立跳跃连接，跳跃连接用于融合来自编码器的多尺度特征与解码器上采样特征，将编码器模块的浅层特征和解码器模块的深层特征在通道维度上拼接在一起，以减少编码器下采样过程中造成的空间信息丢失。
[0080]
如图3所示，两个连续的crossformer block中第一个crossformer block包括短距离注意力模块和多层感知机模块，第二crossformer block包括长距离注意力模块和多层感知机模块。
[0081]
短距离注意力(sda)模块或长距离注意力(lda)模块交替出现在不同的crossformer block中，动态位置偏置(dpb)在短距离注意力(sda)模块和长距离注意力(lda)模块中表示图象分块位置；此外，在crossformer block中还使用残差连接传递特征。
[0082]
两个连续的crossformer block表示为：
[0083][0084][0085][0086][0087]
其中，表示第l个crossformer block中短距离注意力模块的输出，z
l
表示第l个crossformer block中多层感知机模块的输出，表示第l 1个crossformer block中长距离注意力模块的输出，z
l 1
表示第l 1个crossformer block中多层感知机模块的输出，ln()表示层归一化，sda()表示短距离注意力模块，lda()表示长距离注意力模块，mlp()表示多层感知机模块。
[0088]
长短距离注意力(lsda)包括短距离注意力(sda)和长距离注意力(lda)，设输入图像大小为s
×
s，则对于短距离注意力(sda)，每g2个相邻分块被分为一组，对于长距离注意力(lda)，分块以固定间隔i进行采样来分组，则每个组大小为当s＝9，g＝3，i＝3时，短距离注意力(sda)与长距离注意力(lda)分块分组如图4所示，图4中(a)表示短距离注意力分块分组原理，(b)表示长距离注意力分块分组原理；在对分块进行分组后，短距离注意力(sda)和长距离注意力(lda)都在每组中使用了多头自注意力机制，多头自注意力机制由多个自注意力attention构成，自注意力attention表示输入特征与目标特征的匹配程度，可通过自注意力attention计算得到匹配度权重，每个自注意力attention的计算如下：
[0089]
[0090]
其中，分别表示query，key和value矩阵，g2表示分块的数量，d表示分块的维度，取值于动态位置偏置(dpb)产生的偏置矩阵。
[0091]
动态位置偏置(dpb)是基于多层感知机(mlp)动态生成相对位置偏置的可学习模块，其非线性变换由串联的三组全连接层、归一化层、relu激活组成，如图5所示，在非线性变换后由一个输出为1的线性层做偏置的表征，采用如下公式动态生成相对位置偏置：
[0092]bi,j
＝dpb(δx
ij
,δy
ij
)
[0093]
其中，b
i,j
表示第i个分块与第j个分块之间的相对位置偏置，δx
i,j
,δy
i,j
表示第i，j个分块之间的坐标距离。
[0094]
本发明构建了用于腹部多器官ct图像分割的深度学习模型cross-net，该分割模型克服了以往分割方法在构建跨尺度注意力方面的不足，能更加有效地分割形状、大小不同的器官，对腹部多器官ct图像分割有较强的鲁棒性。
[0095]
图7为本发明一种腹部多器官ct图像分割系统结构示意图，如图7所示，一种腹部多器官ct图像分割系统，包括：
[0096]
数据集获取模块201，用于获取待分割腹部多器官ct图像的数据集。
[0097]
深度学习模型构建模块202，用于构建用于腹部多器官ct图像分割的深度学习模型；深度学习模型为基于transformer技术的u型网络。
[0098]
深度学习模型训练模块203，用于利用数据集对深度学习模型进行训练，获得训练好的深度学习模型。
[0099]
腹部多器官ct图像分割模块204，用于将待分割的腹部多器官ct图像输入训练好的深度学习模型，输出腹部多器官ct图像分割结果图。
[0100]
深度学习模型包括依次连接的编码器模块、底层中心模块和解码器模块。
[0101]
编码器模块包括依次连接的第一编码阶段、第二编码阶段和第三编码阶段；第一编码阶段包括依次连接的跨尺度嵌入层和两个连续的crossformer block；第二编码阶段和第三编码阶段均包括依次连接的分块合并层和两个连续的crossformer block；输入图像从第一编码阶段中的跨尺度嵌入层输入深度学习模型。
[0102]
底层中心模块包括依次连接的分块合并层、两个连续的crossformer block和分块扩展层。
[0103]
解码器模块包括依次连接的第三解码阶段、第二解码阶段和第一解码阶段；第三解码阶段、第二解码阶段和第一解码阶段均包括依次连接的两个连续的crossformer block和分块扩展层。
[0104]
第一编码阶段与第一解码阶段跳跃连接，第二编码阶段与第二解码阶段跳跃连接，第三编码阶段与第三解码阶段跳跃连接。
[0105]
跨尺度嵌入层用于采用4个核大小分别为4
×
4、8
×
8、16
×
16和32
×
32的卷积核，并以4为步长对输入图像进行采样，生成4个相应的图像分块，每4个相应的图像分块具有相同的中心，每4个相应的图像分块尺寸不同，每4个相应的图像分块被投影并连接为一个分块。
[0106]
两个连续的crossformer block中第一个crossformer block包括短距离注意力模块和多层感知机模块，第二crossformer block包括长距离注意力模块和多层感知机模
块。
[0107]
两个连续的crossformer block表示为：
[0108][0109][0110][0111][0112]
其中，表示第l个crossformer block中短距离注意力模块的输出，z
l
表示第l个crossformer block中多层感知机模块的输出，表示第l 1个crossformer block中长距离注意力模块的输出，z
l 1
表示第l 1个crossformer block中多层感知机模块的输出，ln()表示层归一化，sda()表示短距离注意力模块，lda()表示长距离注意力模块，mlp()表示多层感知机模块。
[0113]
一种腹部多器官ct图像分割系统，还包括：
[0114]
数据增强模块，用于采用翻转变换与旋转变换对数据集中训练集中图像进行数据增强，获得数据增强后的训练集。
[0115]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0116]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。