一种基于空间特征传导的脑组织图像分割方法

1.本发明属于数字图像处理领域，涉及一种基于空间特征传导的脑组织图像分割方法。


背景技术：

2.研究大脑的发育状态有助于评估未来罹患神经性疾病的风险，其中一项关键任务是将大脑准确分割为灰质、白质和脑脊液，从而量化大脑体积。然而，由放射科医生手动分割图像耗时耗力，并且分割效果严重依赖医生的个人经验。因此，研究高效、准确的自动化分割算法，辅助医生诊断，有助于减轻医生负担并提高诊断效率。
3.医学图像采用断层扫描的方式获取，面内分辨率通常呈现出各向同性，而面间分辨率通常与面内分辨率不同，导致整个图像在三维空间中呈现出各向异性。在各向异性的空间分辨率下，图像在各个轴向上所蕴含的信息量存在差距。
4.近年来，深度学习得益于其数据驱动的训练方式，在医学图像处理领域展现出巨大优势。与2d自然图像相比，3d医学图像包含大量空间信息，而普通的2d全卷积网络在所有切片上执行相同的卷积，无法捕获图像空间信息加以利用。目前基于卷积的空间特征提取方法可以大致分为三类：1)使用3d卷积的方法：由于3d卷积核在三个维度上呈现出各向同性，直接用其处理具有各向异性分辨率的图像可能导致提取的特征存在偏差；2)多轴面的方法：在三个正交的轴面内执行2d卷积，再进行特征融合，然而各向同性的2d卷积也无法对各向异性的图像特征进行有效区分；3)多切片的方法：使用2d卷积提取切片特征，同时引入相邻切片的信息用于辅助，仅引入相邻切片，使网络无法获取到图像的全局空间信息。


技术实现要素：

5.有鉴于此，本发明的目的在于提供一种基于空间特征传导的脑组织图像分割方法，实现从具有各向异性分辨的医学图像中，提取准确的空间特征，从而提升模型的分割精度。
6.为达到上述目的，本发明提供如下技术方案：
7.一种基于空间特征传导的脑组织图像分割方法，具体包括以下步骤：
8.s1：获取并预处理脑组织图像，然后将预处理后的图像划分为训练集和验证集；
9.s2：构建图像分割网络模型，包括编码解码网络结构和空间特征传导模块。该网络模型通过改进的卷积长短期记忆，逐切片地提取并传导空间特征，同时，通过上采样和下采样操作，在整个分割网络中传导并优化空间特征。
10.s3：将训练集输入图像分割网络模型训练，然后将验证集输入训练好的图像分割网络模型得到图像中每个像素属于每个类别的概率。
11.进一步，步骤s1中，所述预处理脑组织图像具体包括以下步骤：
12.s11：裁掉像素值全为0的切片，保留包含完整脑组织区域的最小立方体；
13.s12：对裁剪后的图像数据进行z-score归一化，使整个图像的均值为0，方差为1；
14.s13：将所有模态的图像拼接起来，组成多通道图像；
15.s14：从步骤s13所得的多通道图像中，随机提取一个尺寸为64
×
64
×
64的图像块。
16.进一步，步骤s2中，所述编码解码网络结构包括编码路径和解码路径；所述编码路径采用空间特征传导模块提取图像特征，再经下采样操作缩减特征尺寸；所述解码路径采用空间特征传导模块处理编码路径提取的特征，再经上采样操作恢复特征尺寸；所述编码路径和解码路径通过一个空间特征传导模块串连起来；所述解码路径最终输出图像中每个像素的预测概率；所述空间特征传导模块采用循环神经网络，其输入和输出都为一组连续切片的特征和提取的空间特征；且输入输出特征的尺寸相同。
17.进一步，步骤s2中，所述空间特征传导模块具体包括：将3d医学图像视为2d切片序列，基于卷积长短期记忆(convolutional long-short term memory，clstm)改进，维护一组空间特征，用于指导2d切片的特征提取；利用双向传导卷积lstm将正向序列最后输出的空间特征，传导给反向序列作为初始的空间特征；将正向序列和反向序列的输出在通道维度进行拼接，然后通过1
×
1卷积将通道数减半，得到空间特征传导模块的最终输出。
18.进一步，步骤s2中，所述卷积lstm的结构为：
19.f＝h
t-1
||x
t
[0020][0021][0022][0023][0024][0025][0026]
其中，||表示特征图在通道空间上的拼接；x
t
代表输入的图像特征中第t张切片，h
t
和c
t
分别代表lstm对第t张切片的输出和记忆状态；convc(
·
)、convi(
·
)、convf(
·
)、convo(
·
)表示卷积操作；wi、wf、wo是网络学习到的权重矩阵，ο表示哈达玛积；σ表示sigmoid激活函数；gi、gf、go分别表示记忆门、遗忘门、输出门，记忆门决定了候选记忆状态是否需要被整合到记忆状态c
t
中，遗忘门决定了记忆状态能否被保留下来，输出门决定了输出的特征。
[0027]
本发明的有益效果在于：本发明通过逐切片编码并传导特征，避免了直接处理各向异性的三维空间，使网络能够更准确地学习到切片间的空间信息。另外，本发明提出的空间特征传导模块可以很容易地嵌入到现有的网络模型中，提升网络性能。
[0028]
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
[0029]
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
[0030]
图1为本发明中图像分割模型的网络结构图；
[0031]
图2为本发明中空间特征传导模块的网络结构图。
具体实施方式
[0032]
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
[0033]
请参阅图1～图2，图1为本发明中图像分割模型的网络结构图，利用该模型进行图像分割的方法包含如下步骤：
[0034]
步骤1：从三维医学图像中，随机采样一块大小为64
×
64
×
64的像素块。具体步骤如下：
[0035]
步骤101：裁掉像素值全为0的切片，保留包含完整脑组织区域的最小立方体；
[0036]
步骤102：对裁剪后的图像数据进行z-score归一化，使整个图像的均值为0，方差为1；
[0037]
步骤103：对于多模态的数据，将所有模态的图像拼接起来，组成多通道图像；
[0038]
步骤104：从上述多通道图像中随机提取一个大小为64
×
64
×
64的像素块。
[0039]
步骤2：采用卷积核大小为1
×
1，步长为1的卷积将输入图像扩充为具有64个通道的图像特征ⅰ。
[0040]
步骤3：将步骤2得到的图像特征ⅰ送入编码器网络，得到具有纹理和语义信息的图像特征
ⅴ
。具体步骤如下：
[0041]
步骤301：将步骤2得到的图像特征ⅰ，送入空间特征传导模块，输出图像特征ⅱ和空间特征ⅰ；
[0042]
步骤302：对步骤301得到的图像特征ⅱ和空间特征ⅰ，使用卷积核大小为2
×
2，步长为2的卷积操作，输出宽高减半，通道数加倍的图像特征ⅲ和空间特征ⅱ，此操作的目的是扩大感受野，以增强网络对全局信息的学习能力；
[0043]
步骤303：将步骤302得到的图像特征ⅲ和空间特征ⅱ，送入空间特征传导模块，输出图像特征ⅳ和空间特征ⅲ；
[0044]
步骤304：对步骤303得到的图像特征ⅳ和空间特征ⅲ，使用卷积核大小为2
×
2，步长为2的卷积操作，输出宽高减半，通道数加倍的图像特征
ⅴ
和空间特征ⅳ；
[0045]
步骤4：将步骤304得到的图像特征
ⅴ
和空间特征ⅳ，送入空间特征传导模块，输出图像特征ⅵ和空间特征
ⅴ
，此操作的目的是对编码器网络提取到的特征进行增强，为解码器网络提供更多的空间语义信息。
[0046]
步骤5：将步骤4得到的图像特征ⅵ和空间特征
ⅴ
送入解码器网络，恢复图像特征的分辨率并完成分割。
[0047]
步骤501：对步骤4得到的图像特征ⅵ和空间特征
ⅴ
，使用卷积核大小为2
×
2，步长为2的反卷积操作，输出宽高加倍，通道数减半的图像特征ⅶ和空间特征ⅵ。
[0048]
步骤502：将步骤501得到的图像特征ⅶ和步骤303得到的图像特征ⅳ在通道维度
进行拼接，并和步骤501得到的空间特征ⅵ，一起送入空间特征传导模块，输出图像特征
ⅷ
和空间特征ⅶ。
[0049]
步骤503：对步骤502得到的图像特征
ⅷ
和空间特征ⅶ，使用卷积核大小为2
×
2，步长为2的反卷积操作，输出宽高加倍，通道数减半的图像特征
ⅸ
和空间特征
ⅷ
。
[0050]
步骤504：将步骤503得到的图像特征
ⅸ
和步骤301得到的图像特征ⅱ在通道维度进行拼接，并和步骤503得到的空间特征
ⅷ
，一起送入空间特征传导模块，输出图像特征
ⅹ
。
[0051]
步骤6：对步骤504得到的图像特征
ⅹ
，使用卷积核大小为1
×
1，步长为1的卷积操作，输出具有4个通道的图像特征，对应4个类别。
[0052]
步骤7：对步骤6得到的图像特征，使用softmax函数，得到每个像素属于每个类别的概率。
[0053]
如图2所示，本发明中空间特征传导模块的处理过程为：
[0054]
步骤1：输入的图像特征记作其中b、c、h和w分别代表批量大小(batch)、通道数(channel)以及特征图的高(height)和宽(width)，输入的空间特征记作h0和c0，如果没有输入空间特征，则用全0的矩阵代替。在图像特征x的batch维度上，构建正向切片序列(x1，x2，..xb)。
[0055]
步骤2：将步骤1得到的正向切片序列(x1，x2，..xb)以及空间特征h0和c0，送入卷积lstm，得到正向输出序列(h1，h2，..hb)和空间特征hb和cb。处理过程的表达式如下：
[0056]
f＝h
t-1
||x
t
[0057][0058][0059][0060][0061][0062][0063]
其中，f是中间变量，||表示特征图在通道空间上的拼接；x
t
代表第t张切片，h
t
和c
t
分别代表lstm对第t张切片的输出和记忆状态，t＝1，2，..b；convc(
·
)、convi(
·
)、convf(
·
)、convo(
·
)表示卷积操作；wi、wf、wo是网络学习到的权重矩阵，表示哈达玛积；σ表示sigmoid激活函数；gi、gf、go分别表示记忆门、遗忘门、输出门，记忆门决定了候选记忆状态是否需要被整合到记忆状态c
t
中，遗忘门决定了记忆状态能否被保留下来，输出门决定了输出的特征；
[0064]
步骤3：将步骤1所得正向切片序列(x1，x2，..xb)的顺序颠倒，获得反向切片序列(xb，x
b-1
，..x1)，将其送入卷积lstm，并将步骤2所得空间特征hb和cb作为和处理过程与步骤2一致。得到反向输出序列记作和空间特征记作和
[0065]
步骤4：将上一步所得反向输出序列的顺序颠倒，得到再将其与正向输出序列(h1，h2，..hb)在通道维度进行拼接，最后通过卷积核大小为1
×
1，步长为1的卷积，将通道数减半，得到模块最终输出的图像特征(y1，y2，..yb)，模块最终输出的空间特征为步骤3所得空间特征和
[0066]
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。