一种基于图可逆神经网络的医学图像分割方法与流程

1.本发明涉及医学图像处理技术领域，尤其涉及一种基于图可逆神经网络的医学图像分割方法。


背景技术：

2.在医学图像任务之中，医学图像分割是医学成像分析中最具挑战性的任务之一，它旨在将原始图像数据转换为有意义的空间结构映射，提供目标器官或病变的体积和形状等基本特征，从而为计算机辅助诊断、治疗规划、图像引导的临床手术和预后评估等后续应用提供关键信息。因此，开展医学图像的分割算法的研究，解决现有分割方法的不足，提高分割的效果和性能具有重要的研究意义和临床应用价值。
3.全卷积神经网络和编码器-解码器架构，即u形网络，已被广泛应用于各种医学分割任务。例如，u-net是最受欢迎的u形模型，可作为许多任务的基准。受u-net的启发，研究人员提出了许多拓展的算法，例如dense-unet、recurrent unet、unet 、unet3 、3du-net、v-net和res-unet等。
4.虽然这些方法在医学图像分割方面取得了巨大进步，但基于cnn的网络结构仍然存在一些局限性。基于cnn的网络一般通过堆叠大量卷积块来实现，计算成本高，解释不充分。此外，由于卷积运算的固有特性，不容易获得全局和远距离的语义信息，这对复杂任务中的分割精度提出了挑战。例如，在处理低对比度的局部视觉模糊和器官时，大多数当前方法无法产生可靠的性能。
5.为了解决上述问题，一些研究通过提出扩张卷积、图像金字塔和自注意力机制来改进方法。尽管它们已被证明是有益的，但扩张卷积仍然以局部加权求和的方式关注有限的局部空间信息。图像金字塔通过金字塔池化操作以结合图像的局部和全局特征，但这只考虑空间层面的信息。non-local操作等自注意力机制通常需要很大的内存成本，这阻碍了它们的实际应用。


技术实现要素：

6.本发明为了克服现有技术的不足，提出一种基于图可逆神经网络的医学图像分割方法，以期在多类别的医学图像分割任务中能够达到好的分割性能，从而提高分割准确性。
7.本发明为解决上述技术问题，采用如下技术方案：
8.本发明一种基于图可逆神经网络的医学图像分割方法的特点是按如下步骤进行：
9.步骤1、获取一张待分割的医学图像并进行预处理，得到预处理后的医学图像c表示医学图像的通道数，h和w分别表示医学图像的高度及宽度；
10.步骤2、构建图卷积模块，包括：一个具有探索像素之间的空间全局关系的空间图卷积运算单元及一个具有探索跨通道的通道全局关系的通道图卷积运算单元；
11.所述空间图卷积运算单元包含n1个、m1个、k1个、l1个卷积核为1
×
1的卷积层；
12.所述通道图卷积运算单元包含n2个、m2个、k2个、l2个、r2个卷积核为1
×
1卷积层；
13.步骤2.1、将所述预处理好的医学图像x输入图卷积模块中的空间图卷积运算单元，并利用式(1)得到空间全局关系x
sgco
：
[0014][0015]
式(1)中，θ(
·
)表示n1个卷积层组成的学习函数；v(
·
)表示m1个卷积层组成的学习函数、δ(
·
)表示k1个卷积层组成的学习函数；w
sgco
表示l1个卷积层学习组成的权重矩阵；a
sgco
表示函数θ(x)v(x)
t
学习后组成的邻接矩阵；xs表示函数δ(x)的投影特征；
[0016]
步骤2.2、将所述预处理后的医学图像x输入图卷积模块中的通道图卷积运算单元，并利用式(2)得到跨通道的通道全局关系x
cgco
：
[0017][0018]
式(2)中，表示n2个卷积层组成的学习函数；表示m2个卷积层组成的学习函数；xc表示函数学习后组成的投影矩阵；a
cgco
表示k2个卷积层学习的邻接矩阵，w
cgco
表示l2个卷积层学习的权重矩阵，φ(
·
)表示r2个卷积层学习的函数；
[0019]
步骤3、建立基于可逆神经网络的双输入可逆融合模块diifm，并输入所述空间全局关系x
sgco
以及通道全局关系x
cgco
，从而利用式(3)得到融合特征信息fusesc：
[0020][0021]
式(3)中，表示x
sgco
所对应的支路输出，表示x
cgco
所对应的支路输出，concat(
·
)表示一个串联函数，κ(
·
)、ρ(
·
)和η(
·
)表示三个任意的转换函数，
⊙
表示点积操作；
[0022]
步骤4、构建基于pixelshuffle网络思想的采样模块中的降采样过程；
[0023]
步骤4.1、定义变量k，并初始化k＝0；将融合特征信息fusesc作为第k个融合特征信息fusesck；
[0024]
步骤4.2、通过采样模块对第k个融合特征信息fusesck进行降采样，得到第k个降采样的特征图像x
down,k
，所述第k个降采样的特征图像x
down,k
再经过所述图卷积模块及双输入可逆融合模块diifm中进行处理后，得到第k 1个降采样的融合特征信息fusesc
k 1
；
[0025]
步骤4.3、将k 1赋值给k后返回步骤4.2，直到k＞n为止，从而得到n 1个融合特征信息记为
[0026]
步骤5、底层的第n个融合特征信息fusescn按通道等拆分成第一融合特征信息fusesc
n0:c/2
和第二融合特征信息fusesc
nc/2:c
并送入双输入可逆融合模块diifm中进行特征提取，从而得到底层特征x
′
；
[0027]
所述底层特征x
′
再与底层的第n个融合特征信息fusescn送入所述双输入可逆融合模块diifm进行融合，得到融合特征fusex；
[0028]
步骤6、构建基于pixelshuffle网络思想的采样模块中的升采样过程，并使用双输
入可逆融合模块diifm中进行跨尺度的特征融合；
[0029]
步骤6.1、定义变量j，并初始化j＝n；将所述融合特征fusex作为第j个次跨尺度的融合特征信息fusedj；
[0030]
步骤6.2、将所述第j次跨尺度的融合特征信息fusedj通过所述采样模块进行升采样，得到第j个升采样的特征图像x
′
up,j
，所述升采样的图像特征x
′
up,j
与相同尺度下的第j-1个融合特征信息fusesc
j-1
一起送入所述双输入可逆融合模块diifm中进行跨尺度的特征融合，从而得到第j-1个跨尺度的融合特征信息fused
j-1
：
[0031]
步骤6.2、j-1赋值给j后，返回步骤6.2，直到j＝0为止，从而得到顶层的融合特征信息fused0；
[0032]
步骤7、所述顶层的融合特征信息集fused0输入分割器中，得到医学图像x的分割图p；
[0033]
步骤8、训练阶段：
[0034]
步骤8.1、利用式(4)和式(5)分别构建dice系数损失l
dice
以及交叉熵损失l
ce
，从而利用式(6)构建总的目标损失函数l：
[0035][0036][0037]
l＝λ1l
dice
λ2l
ce
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0038]
式(4)～式(6)中，表示医学图像x在第c通道上预测的第i个像素点的分割量，且pi∈p，表示医学图像x在第c通道上真实的第i个像素点的分割量，且gi∈y，y表示医学图像x的真实分割图；λ1和λ2分别为损失l
dice
和损失l
ce
的权重系数；n表示在一次训练中的输入图片数量；
[0039]
步骤8.2、利用adam优化器对所述图卷积模块、双输入可逆融合模块及采样模块构成的网络进行有监督训练，并计算总的目标损失函数l，当训练相应次数之后停止训练，从而得到最优的医学图像分割模型，用于实现医学图像的分割。
[0040]
与现有技术相比，本发明的有益效果在于：
[0041]
1、本发明利用图卷积模块以及双输入可逆融合模块组成的分割网络进行多类别的医学图像分割，在参数量少的情况下，能够实现很好的端到端的多类别分割效果，并且相比现有的分割方法，减少了参数的数量，实现了模型的可逆性，在不同数据集上具有更好的鲁棒性。实验结果表明，本发明提出的方法在参数较少的多类别医学图像分割数据集上优于最先进的方法。
[0042]
2、本发明通过图卷积模块之中的空间图卷积运算和通道图卷积运算对输入特征的全局信息进行建模。空间图卷积运算探索特征图中空间维度上像素之间的空间全局关系，而通道图卷积运算则侧重于跨通道的全局关系。通过对空间及通道全局关系的建模，深层次挖掘输入特征的全局信息，从而提升了图像的分割性能，增加了模型的可解释性。
[0043]
3、本发明双输入可逆融合模块是基于可逆神经网络的设计，增加模型的可逆性，通过加性耦合的方式来组合两个模块输入的特征，用于融合两种全局关系或者跨尺度的特征信息。双输入可逆融合模块基于可逆神经网络的思想，在一定程度上保证了网络结构的可逆性，并在模型中保留了输入的特征信息，增加了模型的可逆性。
附图说明
[0044]
图1为本发明一种基于图可逆神经网络的医学图像分割方法的流程图；
[0045]
图2为本发明一种基于图可逆神经网络的医学图像分割方法的分割原理框架图；
[0046]
图3为本发明图卷积模块的结构示意图；
[0047]
图4为本发明双输入可逆融合模块的结构示意图；
[0048]
图5为本发明采样模块原理图；
[0049]
图6为本发明在synapse腹部多器官分割测试集上的视觉对比效果图；
[0050]
图7为本发明参数量对比结果图；
[0051]
图8为本发明在candi大脑结构解剖测试集上的视觉对比效果图。
具体实施方式
[0052]
本实施例中，一种基于图可逆神经网络的医学图像分割方法，旨在解决多类别的医学图像分割问题，构建包含图卷积模块以及双输入可逆融合模块的分割网络结构，其中，利用图卷积模块实现空间图卷积运算(sgco)和通道图卷积运算(cgco)，且利用双输入可逆融合模块(diifm)进行融合特征提取，并能实现端到端的训练，网络结构参数量少且能够实现最佳的性能要求，为医学图像分割提供了切实可行的解决思路。具体的说，以synapse腹部多器官分割数据集为例，如图1和图2所示，该方法主要包括：
[0053]
步骤1、获取一张待分割的医学图像并进行预处理，得到预处理后的医学图像c表示医学图像的通道数，h和w分别表示医学图像的高度及宽度；
[0054]
输入的医学图像数据为二维医学图像数据，为数据集中某一图像切片。预处理中，对输入的医学图像切片数据进行相应的预处理过程，包括裁剪、翻转、旋转等操作。
[0055]
步骤2、构建图卷积模块，包括：一个具有探索像素之间的空间全局关系的空间图卷积运算单元及一个具有探索跨通道的通道全局关系的通道图卷积运算单元；
[0056]
空间图卷积运算单元包含n1个、m1个、k1个、l1个卷积核为1
×
1的卷积层；
[0057]
通道图卷积运算单元包含n2个、m2个、k2个、l2个、r2个卷积核为1
×
1卷积层；
[0058]
本发明实施例中，图卷积模块中具有空间图卷积运算(sgco)和通道图卷积运算(cgco)，图卷积运算过程均采用图卷积网络(gcn)结构实现。图卷积神经网络在长距离建模方面具有潜力。它能够在非欧几里德空间中执行推理，其中信息在每个节点之间传输并投影回每个位置。glore使用可学习投影矩阵，将特征映射到交互空间，并对投影的完全连通图进行卷积。beyondgrids学习对不同的图节点进行聚类，且并行卷积图。dgcnet的方法在通道域和空间域中提出了一种图卷积网络，以获得不同的全局上下文信息。
[0059]
对于图卷积网络，假设图卷积网络的输入特征是f
l
∈rn×d，其中d是输入特征的维度数，n＝h
×
w是输入特征的局部块的像素数。图卷积的输出是图卷积的定义为：
[0060]fl 1
＝f(f
l
；a)＝σ(af
l
w)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0061]
式(1)中，σ(
·
)是非线性激活函数，例如softmax(
·
)，而a∈rn×n是表征图的邻域关系的对称邻接矩阵，是权重矩阵。
[0062]
步骤2.1、将预处理好的医学图像x输入图卷积模块中的空间图卷积运算单元，并利用式(2)得到空间全局关系x
sgco
，如图3中的(a)所示：
[0063][0064]
式(2)中，x
sgco
是空间图卷积运算模块的输出，t是转置操作，θ(
·
)表示n1个卷积层组成的学习函数；v(
·
)表示m1个卷积层组成的学习函数、δ(
·
)表示k1个卷积层组成的学习函数；w
sgco
表示l1个卷积层学习组成的权重矩阵；a
sgco
表示函数θ(x)v(x)
t
学习后组成的邻接矩阵；xs表示函数δ(x)的投影特征；
[0065]
步骤2.2、将预处理后的医学图像x输入图卷积模块中的通道图卷积运算单元，并利用式(3)得到跨通道的通道全局关系x
cgco
，如图3中的(b)所示：
[0066][0067]
式(3)中，x
cgco
是cgco的输出。表示n2个卷积层组成的学习函数；表示m2个卷积层组成的学习函数；xc表示函数学习后组成的投影矩阵；a
cgco
表示k2个卷积层学习的邻接矩阵，w
cgco
表示l2个卷积层学习的权重矩阵，φ(
·
)表示r2个卷积层学习的函数；
[0068]
通道图卷积运算(cgco)中我们首先对输入的特征x进行正交投影到正交空间中，记为xc，再使用1
×
1卷积学习邻接矩阵a
cgco
，最后再通过1
×
1卷积输出通道图卷积运算(cgco)的结果。
[0069]
步骤3、建立基于可逆神经网络的双输入可逆融合模块diifm，并输入空间全局关系x
sgco
以及通道全局关系x
cgco
，从而利用式(3)得到融合特征信息fusesc：
[0070][0071]
式(4)中，表示x
sgco
所对应的支路输出，表示x
cgco
所对应的支路输出，concat(
·
)表示一个串联函数，κ(
·
)、ρ(
·
)和η(
·
)表示三个任意的转换函数，
⊙
表示点积操作。
[0072]
本发明实施例中，双输入可逆融合模块(diifm)采用可逆神经网络(inn)的结构来进行实现，以可逆神经网络为基础框架，结合hinet中的hin block模块结构实现，如图4。近年来，作为可逆图像变换的一种有效方案，可逆神经网络(inn)引起了广泛关注，并被应用于各种图像任务。它具有三个重要性质：1)inn的输入输出映射是双射的；2)inn的正向映射和反向映射是有效的和可计算的；3)双射映射可以很容易地处理雅可比行列式来显式地计算后验概率。由于这些特性，inn在许多任务中都取得了成功。其中，基于inn的开创性研究
可以在nice和realnvp这两篇文章中找到。基于inn的网络能够以双射映射的方式将输入分布转换为输出分布，而不会丢失信息。
[0073]
inn由几个可逆块组成。根据nice，realnvp等方法将块的输入沿通道维度分为和然后执行以下转换：
[0074][0075][0076]
其中κ(
·
)和η(
·
)是任意函数，通过可逆块后的输出是和其逆变换可计算为：
[0077][0078][0079]
为了增强网络的转换和表示能力，将上述转换扩充为：
[0080][0081][0082][0083][0084]
与简单卷积层相比，可逆神经网络具有良好的数学可逆性和信息无损性。为了提高效率和灵活性，我们提出了一种基于inn的双输入可逆融合模块(diifm)，该模块能够将编码器中的x
cgco
和x
cgco
的特征结合起来，并能够融合上采样特征和来自编码器的特征。为了更好的泛化，如图4所示，本发明将diifm的两个输入统一为和我们使用可逆块的一种变体结构，由此我们的diifm的转换过程定义如下：
[0085][0086][0087][0088]
在本发明实施例中，上述φ(
·
)、ρ(
·
)以及η(
·
)使用hinet中的hin block模块结构实现。
[0089]
步骤4、构建基于pixelshuffle网络思想的采样模块中的降采样过程；
[0090]
本发明实施例中，选取的是2
×
2的区域大小，其降采样过程将会对原图像尺寸降两倍处理，降采样的特征图像转换为原图尺寸的具体来说，本发明中该模块使尺寸为c1×
2h
×
2w的特征图变换为c2×h×
w，其中c1、c2分别为输入的通道数和输出的通道数，h、w分别代表特征图的高、宽的度量。
[0091]
步骤4.1、定义变量k，并初始化k＝0；将融合特征信息fusesc作为第k个融合特征信息fusesck；
[0092]
步骤4.2、通过采样模块对第k个融合特征信息fusesck进行降采样，得到第k个降采样的特征图像x
down,k
，第k个降采样的特征图像x
down,k
再经过图卷积模块及双输入可逆融合模块diifm中进行处理后，得到第k 1个降采样的融合特征信息fusesc
k 1
；
[0093]
步骤4.3、将k 1赋值给k后返回步骤4.2，直到k＞n为止，从而得到n 1个融合特征信息记为
[0094]
步骤5、底层的第n个融合特征信息fusescn按通道等拆分成第一融合特征信息fusesc
n0:c/2
和第二融合特征信息fusesc
nc/2:c
并送入双输入可逆融合模块diifm中进行特征提取，从而得到底层特征x
′
；
[0095]
底层特征x
′
再与底层的第n个融合特征信息fusescn送入双输入可逆融合模块diifm进行融合，得到融合特征fusex；
[0096]
步骤6、构建基于pixelshuffle网络思想的采样模块中的升采样过程，并使用双输入可逆融合模块diifm中进行跨尺度的特征融合；
[0097]
本发明实施例中，其升采样过程将会对原图像尺寸升两倍处理，为降采样过程的一个逆过程，会将原图像尺寸升2倍处理，升采样的特征图像转换为原图尺寸的2倍，具体来说，本发明中该模块使尺寸为c1×h×
w的特征图变换为c2×
2h
×
2w，其中c1、c2分别为输入的通道数和输出的通道数，h、w分别代表特征图的高、宽的度量。
[0098]
图5中给出了本发明中的采样模型的原理结构图。
[0099]
步骤6.1、定义变量j，并初始化j＝n；将融合特征fusex作为第j个次跨尺度的融合特征信息fusedj；
[0100]
步骤6.2、将第j次跨尺度的融合特征信息fusedj通过采样模块进行升采样，得到第j个升采样的特征图像x
′
up,j
，升采样的图像特征x
′
up,j
与相同尺度下的第j-1个融合特征信息fusesc
j-1
一起送入双输入可逆融合模块diifm中进行跨尺度的特征融合，从而得到第j-1个跨尺度的融合特征信息fused
j-1
：
[0101]
步骤6.2、j-1赋值给j后，返回步骤6.2，直到j＝0为止，从而得到顶层的融合特征信息fused0；
[0102]
步骤7、顶层的融合特征信息集fused0输入分割器中，得到医学图像x的分割图p；
[0103]
步骤8、训练阶段：
[0104]
步骤8.1、利用式(16)和式(17)分别构建dice系数损失l
dice
以及交叉熵损失l
ce
，从而利用式(18)构建总的目标损失函数l：
[0105][0106][0107]
l＝λ1l
dice
λ2l
ce
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(18)
[0108]
式(16)～式(18)中，表示医学图像x在第c通道上预测的第i个像素点的分割量，且pi∈p，表示医学图像x在第c通道上真实的第i个像素点的分割量，且gi∈y，y表示医学图像x的真实分割图；λ1和λ2分别为损失l
dice
和损失l
ce
的权重系数；n表示在一次训练中的输入图片数量。
[0109]
步骤8.2、利用adam优化器对图卷积模块、双输入可逆融合模块及采样模块构成的网络进行有监督训练，本实施例中学习率取2e-5，并计算总的目标损失函数l，当训练相应次数之后停止训练，从而得到最优的医学图像分割模型，用于实现医学图像的分割。
[0110]
本领域技术人员可以理解，输入医学图像的尺寸大小及输出语义类别种类数可自行设定，本发明输出相同尺寸大小的多类别的语义分割结果。示例性的，假如输入的医学图像尺寸大小为224
×
224，输出语义类别种类数为8，最终输出的语义分割结果尺寸为224
×
224，其中每一个像素点的值为0-7的某一个数，其中每一个数字代表一种类别。
[0111]
为了量化评估本发明的效果并验证本发明的有效性，为此将本发明方法与v-net等十七种算法相比较。选择dice相似系数(dice similaritycoefficient,dsc)以及hausdorff距离(hd，hd95即95％hd)两个性能指标作为评价指标。
[0112]
dsc对分割内部填充比较敏感，分割性能最好为1，最差为0，dsc的定义如下：
[0113][0114]
hausdorff距离则对分割边界比较敏感，hd的定义如下：
[0115][0116]
其中a,b分别为网络输出分割结果与真实的分割结果。
[0117][0118]
表1本发明的针对医学图像分割的图可逆神经网络方法在synapse腹部多器官数据集上与多个方法的对比性能结果。
[0119]
表1中，第一列为所列举的十七种对比方法以及所提出的针对医学图像分割的图可逆神经网络方法。表1中，第二列和第三列中我们给出我们的两种评价指标，分别为dice相似系数(dice similarity coefficient,dsc)以及hausdorff距离(hd，hd95即95％hd)。dsc对分割内部填充比较敏感，而hausdorff距离则对分割边界比较敏感。本发明的方法在
dsc评价指标上均超过其他的方法，hd95性能指标仅次于levit-unet及swinunet方法，总体而言，本发明提供了相对较好的性能。表1中，第四列到第十一列为synapse腹部多器官分割数据集中的8个分割区域在各个方法上的dsc性能对比。本发明提供的方法在三个器官分割区域达到最优，一个器官分割区域为次优，其余分割区域性能也比较好。
[0120]
图6是本发明的方法与u-net、att-unet、deeplabv3、transunet在synapse腹部多器官分割数据集上的应用。从图中可以看出，本发明提供的方法能够提供更佳的视觉质量及分割效果。
[0121]
图7是本发明的方法与u-net、att-unet、deeplabv3、transunet在参数量以及性能指标上的比较结果，其中
◇
标志所代表的方法为本发明的方法，
○
标志代表其他四种方法。从图中可以看出，本发明与其他方法相比，本发明提供的方法具有更少的参数量与更加的优异的分割能力。
[0122]
图8是本发明的方法与u-net、att-unet、deeplabv3、transunet在candi大脑结构解剖数据集上的应用。从图中可以看出，本发明提供的方法能够提供更佳的视觉质量及分割效果。