一种基于U-net和注意力机制的婴幼儿脑组织分割方法与流程

一种基于u
‑
net和注意力机制的婴幼儿脑组织分割方法
技术领域
1.本发明属于图像处理领域，涉及一种基于u
‑
net和注意力机制的婴幼儿脑组织分割方法。


背景技术：

2.婴幼儿期(0～2岁)是大脑发育的关键时期，这个时期大脑的发育快，但也是罹患各种脑病的高发时期，而且这些疾病往往在3～4岁才有生理上的表现。因此研究婴儿大脑的发育有助于评估未来婴儿大脑神经发育和发育性神经精神疾病的风险。研究正常和异常早期大脑发育的一项重要步骤是将婴儿脑部mr图像准确分割为不同的关注区域，例如准确的将大脑分割出白质，灰质和脑脊液，通常这一步由放射科医生完成，医生需要耗费大量的时间来进行分割任务。因此研究自动的婴幼儿脑分割算法，对提高医生的诊断效率有重大的意义。
3.与成人脑部mri相比，婴儿脑部mr图像通常表现出组织对比度降低(特别是6至9个月大)，组织内强度变化大。就白质和灰质对比而言，婴儿脑部t1和t2 mr图像呈现三个不同的阶段：(1)婴儿期(小于等于6个月)，其中灰质在t1图像中显示出比白质更高的信号强度，并且t2图像中的组织对比度优于t1图像；(2)等强度期(6
‑
9个月)，其中白质的信号强度在发育过程中由于髓鞘化和成熟过程而增加；在此阶段，在t1和t2图像中，灰质和白质的信号区分最低。(3)早期成人阶段(大于等于9个月)，其中灰质强度远低于t1图像中的白质强度，与成人t1图像中的组织对比模式非常相似。
4.传统的mr脑组织分割算法中，基于多图谱的分割方法逐渐成为全脑组织分割的主流，但其缺陷在于对配准精度有严格依赖性，图谱相似性要求高。近几年，深度学习技术飞速发展，且广泛应用于医学图像分割领域，鉴于医学图像三维的特性，3d网络以其强大的空间特征提取能力是目前脑组织分割领域的研究热点。但目前的深度学习模型中，对样本的标签的使用多在于模型训练时使用预测值与真实值做损失，并且充分利用标签中蕴含的信息。


技术实现要素：

5.有鉴于此，本发明的目的在于提供一种基于u
‑
net和注意力机制的婴幼儿脑组织分割方法，实现对真实标签的深度利用，使得分割结果更加精准。
6.为达到上述目的，本发明提供如下技术方案：
7.一种基于u
‑
net和注意力机制的婴幼儿脑组织分割方法，该方法包括如下步骤：
8.步骤1：对训练样本按照32
×
32
×
32像素大小进行取块，使用随机取块的方式对每一个训练样本取一定的数量组成训练集；
9.步骤2：搭建dense
‑
unet网络模型，编码器部分，采用密集链接块提取特征，使用3
×3×
3的卷积层进行特征提取，池化层使用2
×2×
2的平均池化；
10.步骤3：使用dense
‑
unet网络模型对训练集进行训练、调参，在验证集验证模型效
果时，使用只提取中心块的方式来融合训练结果组合成最终的样本，保存最佳分割模型和结果，并对每一个样本都进行验证；
11.步骤4：比较模型预测结果和手工标签的结果，得到易分错区域的分布图，将错误的位置标记为1，正确的位置标记为0；
12.步骤5：使用高斯函数对每个样本的易分错区域的分布图进行模糊化，使其错误中心区域权重值高，边缘区域权重低，并且对整体结果加1，并求平均值作为验证样本的一个输入；
13.步骤6：对训练样本按照32
×
32
×
32像素大小进行取块，使用随机取块和步骤4得到的每个样本对应的错误区域取块的方式按照一定比例对每一个训练样本取一定的数量组成训练集；
14.步骤7：设计一个包含空间和易分错区域的自注意力机制加入到网络模型的第一层和第二层中；
15.步骤8：使用新的网络模型对训练集进行训练、调参，在验证集验证模型效果时，使用只提取中心块的方式来融合训练结果组合成最终的样本，保存最佳分割模型和结果，并对每一个样本都进行验证，多次交叉验证确保结果的真实性。
16.可选的，对所述训练样本进行切块训练，使用随机取块的方式加大样本量，在降低数据大小的同时提升训练集容量。
17.可选的，所述dense
‑
unet网络模型中，加入密集连接提高特征复用，并在第二次训练中加入注意力机制提高模型在易分错区域的分割能力。
18.可选的，所述训练样本在训练时，在卷积操作时，为保持卷积前后同样大小，进行补零操作，认为最终结果的边缘区域可靠程度没有中心区域高，采用取每个预测块中心块的方法来避免这种情况。
19.本发明的有益效果在于：本发明提供的婴幼儿脑组织分割，使用了二次训练的方式，第一次训练找出对模型来说难度较高的部分，第二次训练则使用挑选样本和引入注意力机制的方式来使网络更关注这类区域的方法来提升网络的准确度。
20.本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
21.为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
22.图1为基于u
‑
net和注意力机制的婴幼儿脑组织分割方法流程图；
23.图2为整体神经网络结构图；
24.图3为注意力机制结构图；
25.图4为取中心块拼接示意图；
26.图5为训练时的易错区域权重图；
27.图6为验证时的易错区域权重图。
具体实施方式
28.以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
29.其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
30.本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
31.图1是本发明的系统结构框图，其按照以下几个步骤：
32.步骤1：对训练样本按照32
×
32
×
32像素大小进行取块，使用随机取块的方式对每一个训练样本取一定的数量组成训练集；
33.在实例中，所述数据集为六个月大的婴儿脑mr图像，其图像分辨率为256
×
192
×
144，由于硬件的问题，整张图像无法直接放入模型进行训练，因此需要对图像进行切割取块组成一个新的数据集进行训练，这里取的块大小为32
×
32
×
32像素大小。
34.步骤2：搭建dense
‑
unet网络模型；
35.如图2所示，编码器部分，采用密集链接块提取特征，每个密集连接块包含数个卷积层，每个卷积层的输入是之前所有层的输出的拼接，卷积层的构成顺序是批标准化、激活函数relu、3
×3×
3的卷积。密集连接块内任意两层都是相互连接的，确保各层之间能最大量的信息流动。使用2
×2×
2的平均池化来做下采样部分。解码部分使用线性插值放大图像，使用3
×3×
3的卷积层减少通道数，采用跳级连接的方式引入编码器部分的信息。损失函数使用交叉熵损失函数。
36.步骤3：使用dense
‑
unet网络模型对训练集进行训练、调参，在验证集验证模型效果时，使用只提取中心块的方式来融合训练结果组合成最终的样本，保存最佳分割模型和结果，并对每一个样本都进行验证；
37.如图4所示，考虑到模型在训练时的卷积操作为了确保卷积前后保持一样的大小，通常会在原图周围加上padding，一般padding值取0或者复制最外层的值，但是都会对最终结果造成误差，导致最终结果的边缘上预测的值的准确度比中心来的低。这里采用只保留预测结果的中心部分的方法来规避这种误差，通过密集切割的方式使得最终拼接的图像完整。
38.步骤4：比较模型预测结果和手工标签的结果；
39.通过比较预测的结果和真实的标签，得到分错区域的分布图，将错误的位置标记为1，正确的位置标记为0；
40.步骤5：使用高斯函数对每个样本的易分错区域的分布图进行模糊化；
41.通过高斯模糊，使其错误区域分布图的错误中心区域权重值高，边缘区域权重低，并且对整体结果加1，如图5所示，并求平均值作为验证样本的一个输入，如图6所示。
42.步骤6：对训练样本按照32
×
32
×
32像素大小进行取块，使用随机取块和步骤4得到的每个样本对应的错误区域取块的方式按照一定比例对每一个训练样本取一定的数量组成训练集；
43.步骤7：设计一个包含空间和易分错区域的自注意力机制加入到网络模型的第一层和第二层中；
44.如图3所示，在模型训练时对输入的特征图求每一个像素点在所有通道上的平均值和最大值，再结合对应样本根据步骤5所计算出的易错区域权重图做一个通道上的拼接，组成一个三通道的特征向量，再使用3
×3×
3的卷积操作将三通道并成单通道，再使用sigmoid函数形成一个权重图，再将这个权重图与输入图像进行点乘，跳级连接到解码部分。
45.在验证时，由于验证部分没有对应的错误区域权重图，因此构建一个所有训练图像易错区域权重图的平均图作为验证的输入部分。
46.步骤8：使用新的网络模型对训练集进行训练、调参，在验证集验证模型效果时，使用只提取中心块的方式来融合训练结果组合成最终的样本，保存最佳分割模型和结果，并对每一个样本都进行验证，多次交叉验证确保结果的真实性。
47.最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。