一种基于双型U-Net模型的医学图像分割方法与流程

一种基于双型u
‑
net模型的医学图像分割方法
技术领域
1.本发明涉及医学图像处理领域，尤其是一种基于双型u
‑
net模型的医学图像分割方法。


背景技术：

2.在医学图像领域，医学图像分割是将例如ct或mri图像中的器官或病灶像素区域从医学图像背景中分离出来。由于它提供了相关器官或病灶的形状和体积的关键信息，进而帮助医生更准确地诊断病症，因此，医学图像分割是医学图像分析中最重要的的任务之一。医学图像分割主要面临的挑战有：(1)缺少大量由专业医生标注的医学图像；(2)图像质量低；(3)不同病人之间的图像差异大。对分割准确性和不确定程度的量化是十分重要的。因此，寻求一种自动、可泛化且高效的语义图像分割是非常必要的。
3.传统方法包括例如边缘检测滤波器和数学方法。之后，机器学期通过采取手动提取特征的手段，曾经长期作为主导技术。2000年之后，归功于计算机硬件性能的不断提升，深度学习开始展现其强大的性能并逐渐成为医学图像处理的主流方法。特别是在过去的几年中，基于深度学习的医学图像分割备受关注，进一步彰显了其强大的能力。
4.卷积神经网络(cnn)已经在医学图像自动分割领域拥有优异的表现。在不同的cnn模型中，一种以fcn及其延伸u
‑
net模型为代表的编码
‑
解码的端到端的网络结构，在医学图像分割领域大放异彩。ronneberger等人提出的u
‑
net，先验性地提出了在不同阶段网络结构之间设置跳跃连接形式。它主要由下采样和上采样两部分结构组成，并且在两者之间加入了跳跃连接，在这种方式的作用下，空间信息被应用到更深层次的网络中，从而有效地输出更准确的分割图。
5.泛化能力和鲁棒性是评估一个模型好坏的重要指标，因此，设计一个在不同医学图像数据集之间都具有以上两者性能的模型是非常重要的。


技术实现要素：

6.本发明的目的是针对现有技术的不足，提供一种基于双型u
‑
net模型的医学图像分割方法。在医学图像分割领域中，u
‑
net以其独有的u型网路结构表现突出，本发明在此结构基础上，对网络模块进行重新设计，提出双型u
‑
net。该网络使用两个u
‑
net结构连接，拥有两个编码器和两个解码器。在第一个解码器中，使用在imagenet上完成预训练的vgg
‑
19模块代替原结构。另外，本模块加入了空洞空间集金字塔池化模块(aspp)来获取网络的上下文信息。双型u
‑
net以其创新的结构，实现了在不同医学图像数据集上的鲁棒性，并且对于不平衡的数据集特别是roi区域较小的图像的分割有着更加优异的表现。
7.本发明解决其技术问题所采用的技术方案是：
8.步骤1、获取图像数据集，并进行图像增强等预处理：选用2015miccai提供的公共数据集，之后对图像进行图像增强，具体方法包括旋转90度、水平翻转、设置饱和度、随机亮度对比、重构尺寸、正则化等，通过图像增强的方法起到增大数据量，使网络训练效果更优；
9.步骤2、将数据集划分为训练集、验证集和测试集三大块：将处理好的数据集按比例随机分为训练集、验证集和测试集，所占比例分别为80％，10％，10％；
10.步骤3、搭建双型u
‑
net网络模型，使用预训练的vgg19替换模型的第一个编码器，对原模块进行改进，加入aspp获取网络模型的上下文信息：
11.双型u
‑
net网络是在原u
‑
net模型基础上，再联结一个新的编码
‑
解码结构，并使用在imagenet上预训练好的vgg19模型替换双型u
‑
net的第一个编码模块。在编码和解码结构之间加入aspp，使得网络能够获得更高分辨率的特征图，提升模型的性能；
12.步骤4、设计损失函数，评估指标：
13.双型u
‑
net网络模型使用二元交叉熵损失函数，使用dice系数、miou、准确率和召回率作为评估指标对输出结果进行评价对比；
14.dice系数:
[0015][0016]
其中a表示医生标记的真实值，b表示网络预测值；
[0017]
miou:
[0018][0019]
其中，tp表示预测为真阳性，即正确预测为病灶的区域，fn表示假阴性，即错误预测为非病灶区域，fp表示假阳性，即错误预测为病灶区域；
[0020]
准确率(precision)：
[0021][0022]
召回率(recall)：
[0023][0024]
步骤5、将待分割图像输入到网络模型中进行训练，得到分割结果：将训练集、验证集和测试集分别输入到网络模型中，得到输出图像以及对应的评估指标结果。
[0025]
本发明提出的双型u
‑
net网络的主要创新在：
[0026]
a.引入预训练好的vgg
‑
19结构代替原编码结构：vgg
‑
19是轻量级的网络，减少了模型的参数量；另外，vgg
‑
19拥有和u
‑
net相似的结构，使其可以很好的代替并嵌套进网络中；再次，使用vgg
‑
19结构可以使网络层次更深，获得更好的输出分割效果；
[0027]
b.两个u
‑
net网络串联：在普通的u
‑
net网络模型上，串联一个新的u
‑
net结构，并且将第一个网络的输出和输入同时作为第二个网络的输入，并且和第二个网络的输出进行连结，得到最终的输出结果。这样的结构提升了模型的性能，使分割效果更优；
[0028]
c.引入aspp结构：aspp为空洞空间金字塔池化操作，是语义分割模块，用于在卷积之前以多种比例对给定的特征层进行重采样。这相当于使用具有互补有效视场的多个filters探测原始图像，从而以多个比例捕获对象以及有用的图像上下文信息。映射不是使用实际的重采样特征，而是使用具有不同采样率的多个并行空洞卷积层实现的。
[0029]
本发明有益效果如下：
[0030]
本发明提高了模型的分割准确率，并有效改善了模型泛化能力和鲁棒性。本发明使得分割网络获取高分辨率的特征图，进而带来优异的表现。
[0031]
本发明用vgg
‑
19是轻量级的网络，减少了模型的参数量；另外，vgg
‑
19拥有和u
‑
net相似的结构，使其可以很好的代替并嵌套进网络中；再次，使用vgg
‑
19结构可以使网络层次更深，获得更好的输出分割效果；
附图说明
[0032]
图1为本发明实施方案的流程示意图。
[0033]
图2为本发明方案中双型u
‑
net的网络结构图。
具体实施方式
[0034]
下面结合附图和实施例对本发明作进一步说明。
[0035]
如图1所示，一种基于双型u
‑
net的医学图像分割方法：
[0036]
步骤1、获取图像数据集，并进行图像增强等预处理：选用2015miccai提供的公共数据集，之后对图像进行图像增强，具体方法包括例如旋转90度、水平翻转、设置饱和度、随机亮度对比、重构尺寸、正则化等，通过图像增强的方法起到增大数据量，使网络训练效果更优；
[0037]
由于医学数据集的获取和标注具有一定的困难，而且目前存在的大多数数据集只有少量的样本，这些使得训练深度模型具有挑战性。因此，针对数据样本少及数据不平衡的问题，使用数据增强的方法，可以使网络模型输出更好的分割结果；
[0038]
步骤2、将数据集划分为训练集、验证集和测试集三大块：将处理好的数据集按比例随机分为训练集、验证集和测试集，所占比例分别为80％，10％，10％；
[0039]
步骤3、搭建双型u
‑
net网络模型，使用预训练的vgg19替换模型的第一个编码器，对原模块进行改进，加入aspp获取网络模型的上下文信息：双型u
‑
net网络在原u
‑
net模型基础上，再联结一个新的编码
‑
解码结构，并使用在imagenet上预训练好的vgg19模型替换双型u
‑
net的第一个编码模块。在编码和解码结构之间加入aspp，使得网络可以获得更高分辨率的特征图，提升模型的性能；
[0040]
步骤4、设计损失函数，评估指标：双型u
‑
net网络模型使用二元交叉熵损失函数，使用dice系数、miou、准确率和召回率作为评估指标对输出结果进行评价对比；
[0041]
dice score:
[0042][0043]
其中a表示医生标记的真实值，b表示网络预测值；
[0044]
miou:
[0045][0046]
其中，tp表示预测为真阳性，即正确预测为病灶的区域，fn表示假阴性，即错误预测为非病灶的区域，fp表示假阳性，即错误预测为病灶的区域；
[0047]
准确率(precision)：
[0048][0049]
召回率(recall)：
[0050][0051]
步骤5、将待分割图像输入到网络模型中进行训练，得到分割结果：将训练集、验证集和测试集分别输入到网络模型中，得到输出图像以及对应的评估指标结果。
[0052]
如图2所示，双型u
‑
net网络模型结构图：
[0053]
1)编码部分：第一个编码结构使用预训练好的vgg
‑
19代替，第二个编码随机组成。每一个编码器实现编码输入图像中的信息。第二个编码器的每一个编码模块作3
×
3的卷积操作，伴随着批量归一化。批量归一化减少了模型内部的协变位移并规范化。使用relu激活函数是模型非线性化；
[0054]
2)解码部分：两个编码结构在原u
‑
net编码结构的基础上进行了改动。每一个解码模块在输入特征上实行2
×
2的双线性上采样操作。在解码模块ⅰ上，仅进行来自编码模块ⅰ(即vgg
‑
19)的跳跃连接，而在解码模块ⅱ上则进行来自编码模块ⅰ(vgg
‑
19)和编码模块ⅱ的跳跃连接，这种方法获取了空间分辨率并增加了输出特征图像的质量。在最后的输出阶段，将解码模块ⅰ的输出ⅰ、解码模块ⅱ的输出ⅱ进行连结，之后进行3
×
3的卷积操作，批量归一化以及relu激活函数的操作。最后，使用sigmoid激活函数，生成最终的模型输出结果。