一种基于多尺度注意力网络的脑血管图像分割方法

1.本发明涉及脑血管图像分割方法。


背景技术：

2.血管疾病因其高发病率和高死亡率已成为人类健康的一种主要威胁,脑血管系统是一个复杂的动脉和静脉网络，为脑细胞提供至关重要的营养和氧气。此外，在更精细水平上，大脑血管之间的个体差异仍未被充分理解。自动准确的脑血管分割是脑血管结构可视化、血管诊断和计算机辅助干预的关键步骤。
3.当前的医学血管造影成像技术，如计算机断层血管造影(ct)、数字减影血管造影和磁共振血管造影(mra)，以不同的方式提供大量数据并对脑血管的研究提供了很大的帮助。time-of-flight磁共振血管成像(tof-mra)是基于血流或流入血管造影，它使用短回波时间和流量补偿，使流动的血液比静止的组织亮得多。头部tof-mra成像用于动脉造影(而部分静脉成像结果通常包含在数据采集中)以评估血管异常，如狭窄、动脉瘤和动静脉异常。然而，由于脑血管分支的复杂性，脑血管mra中不仅有许多微小的毛细血管，而且有较粗的颈内动脉(ica)。这就要求在脑血管分割任务中要考虑不同尺度的分割目标。同时，在数字减影血管造影成像过程中，造影剂的浓度会不断变化，扩散不均匀，这可能导致脑血管数字减影血管造影图像出现伪影和噪声。由于上述特点，如何从mra图像中自动准确地分割脑血管成为一个具有挑战性的问题。
4.但由医学专家来手工对脑血管图像进行分割与标注工作，在大型相关研究中既耗时又不切实际，尽管在过去的二十年余年中，针对不同的医学成像模式开发了许多不同的血管自动分割方法，但脑血管的分割仍然是一项只有少数研究者去探索的任务。


技术实现要素：

5.本发明要克服现有技术的上述缺点，为了提高脑部医学影像中脑血管分割的性能，提出了一种基于多尺度注意力机制网络模型的脑血管影像自动分割方法。
6.本发明的一种基于多尺度注意力网络的脑血管医学图像自动分割的方法，包括以下四个步骤：脑血管医学影像预处理、多尺度注意力unet(multi-scale attentionunet,msaunet)网络模型设计、网络模型训练、分割与三维重建。
7.1)对脑血管医学影像进行预处理。首先通过n4偏置场校正并归一化图像强度至[0,255]，然后重采样图像使层厚统一，再通过周围填0操作使影像体素大小h
×w×
d满足h、w、d均为32的整数倍，最后根据影像强度特征进行截窗位。
[0008]
2)设计一个多尺度注意力unet网络模型。本发明为了提高脑血管分割的性能，提出了一种msaunet模型，与unet的拓扑结构相似，本模型具有一个编码器和一个解码器，并利用跳级连接将编码器阶段的特征与解码器对应的特征进行结合，其中msab为多尺度注意力模块，msfb为多尺度特征融合模块。在编码阶段，利用msab提取多尺度特征，并利用四次池化操作，增大特征的感受野，提取高层次的语义表征能力较强的特征。在解码阶段，利用
上采样操作恢复高层次特征的尺寸的同时，结合编码阶段低层次的特征，利用msfb提取高分辨率的语义表征能力更强的特征。最终利用1
×
1的卷积操作以及sigmoid归一化实现从特征到像素类别的映射，获得与输入图像尺寸一致的分割掩膜。
[0009]
多尺度与注意力的实现方式如下：
[0010]
(2.1)提取图像的多尺度信息特征。本文采用串行提取的方式，能够减少内存的消耗，利用两个3
×
3的卷积可以提取感受野为3
×
3以及5
×
5的特征，相似的，利用三个3
×
3的卷积可以代替一个7
×
7卷积块。最终该模块可以分别结合3
×
3、5
×
5以及7
×
7的区域的上下文信息获取多个感受野的特征表示。
[0011]
(2.2)通过注意力机制为多尺度信息增加不同权重。简单的线性聚合不同尺度的特征的方式，对于不同的目标，各个感受野的特征都被同等对待。然而对于复杂且多变的脑血管分割目标，不同的输入图像对不同感受野的特征的敏感程度不同，一定程度上限制了模型的泛化能力。在msab中，我们将通过卷积提取到两个低尺度的特征以及两个高尺度的特征分别在通道上进行concat获得两个初步融合的不同尺度的特征信息，再分别通过一个串联的通道注意力模块(cam)以及一个空间注意力模块(sam)，最后将两个高低尺度下的特征进行像素级别的相加得到最终的输出。我们通过串联的方式使用两个独立的注意力模块，降低了网络的参数量，并对于脑血管图像特征分别进行通道与空间上的attention加权，通道注意力模块的计算如公式(1)所示，空间注意力的计算如公式(2)所示。
[0012]
mc(f)＝σ(mlp(avgpool(f)) mlp(maxpool(f)))
ꢀꢀꢀ
(1)
[0013]ms
(f)＝σ(f5×5([avgpool(f)；maxpool(f)]))
ꢀꢀꢀ
(2)
[0014]
其中，f表示输入的特征，avgpool为平均值池化，maxpool为最大值池化，两处的mlp为一个权重共享的多层感知机，σ表示sigmoid，[f1；f2]代表将f1与f2特征进行concat操作。
[0015]
3)对步骤2提出的msaunet网络模型进行训练。损失函数采用一般的dice损失函数：
[0016][0017]
4)最后将待分割的测试数据输入训练好的网络模型得到分割结果并进行三维重建。
[0018]
本发明考虑脑血管在脑部影像中高度复杂、位置形态不一等特点，针对性地提出基于多尺度特征提取以及注意力机制的msaunet网络模型进行脑血管影像的分割与三维重建。
[0019]
本发明的优点是：解决了脑部血管高度复杂、位置形态不一等带来的分割难题，提高mri脑血管影像的分割精度。
附图说明
[0020]
图1是本发明方法的整体流程。
[0021]
图2是本发明的模型整体框架的示意图。
[0022]
图3是本发明的多尺度注意力模块msab结构图。
具体实施方式
[0023]
下面结合附图对本发明作进一步描述。
[0024]
图1为本发明的一种基于多尺度注意力网络的脑血管图像分割方法的整体流程。
本发明所提出的一种基于多尺度注意力网络的脑血管医学影像的分割方法，主要包括如下步骤：预处理、设计网络模型、msaunet训练和测试分割与三维重建。模型的整体结构如图2所示。本发明的一种基于多尺度注意力网络的脑血管影像分割方法，具体步骤如下：
[0025]
1)对原始图像进行预处理；
[0026]
该步骤首先采用n4偏置场校准处理，得到的图像像素强度归一化为[0,255]。针对图像层厚不同以及现有标签数据存在间断不连续的问题，本发明将大小为448x448x128体素、层厚为0.51mm x 0.51mm x 0.80mm的mri原图像与标签图像进行了重采样工作，使层厚统一为1mm x 1mm x 1mm，经过重采样，我们获得的图像及其标签大小为460x460x205体素。将重采样得到的图像进行周围填0的padding操作得到大小为480x480x224体素的数据。最后对数据进行窗口为[25,75]的截窗位操作得到最终的输入影像。
[0027]
2)设计了一个多尺度注意力u形网络模型，网络设计方案如下：(1)根据脑血管在整幅图像中的形态特征，我们在编码部分应用多尺度的思想，提取了不同尺度下的血管特征以有效应对血管复杂的问题。(2)我们应用了注意力机制，通过串联通道注意力与空间注意力使网络能够更加关注占据整图中很小的脑血管部分。最终构建多尺度注意力模块msab，其结构图如图3所示。
[0028]
3)将经过预处理的输入图片送入msaunet进行训练。
[0029]
在训练阶段，将学习率设置为0.0001，并选择adam优化器。总共训练80个epoch，每20个epoch，学习率减少10倍,期间使用8个样本的batch size进行梯度更新，损失函数采用一般的dice损失函数。
[0030]
4)最后将待分割的测试数据输入训练好的模型得到分割结果并堆叠切片数据进行三维重建。
[0031]
本说明书实施例所述的内容仅仅是对发明构思的实现形式的列举，本发明的保护范围的不应当被视为仅限于实施例所陈述的具体形式，本发明的保护范围也及于本领域技术人员根据本发明构思所能够想到的等同技术手段。