基于深度学习的脑肿瘤分割质量评估方法、设备及介质与流程

1.本发明属于医疗信息技术领域，具体涉及一种基于深度学习的脑肿瘤分割质量评估方法、设备及介质。


背景技术：

2.近年来深度学习技术在疾病诊断、病灶分割等医疗影像分析领域取得了极大进展，然而，受数据噪声、感官噪声以及非最优超参数设置等诸多因素影响，深度学习模型给出的预测结果并不总是可靠的。病灶分割往往是整个分析流程的中间部分，不准确的分割结果会对后续分析产生偏差，从而影响最终结果，尤其是脑肿瘤分割，对疾病的诊断、监测和治疗都是十分必要的。对于利用深度学习技术进行脑肿瘤分割得到的分割结果，目前无法定量评估其好坏，且分割结果的不确定性使得到利用深度学习技术进行脑肿瘤分割难以落地临床。因此，有必要对脑肿瘤分割结果进行质量评估，根据评估结果决定是否需对分割结果进行人工干预，以实现辅助诊断全流程自动化。


技术实现要素：

3.本发明提供一种基于深度学习的脑肿瘤分割质量评估方法、设备及介质，能对脑部mri影像进行区域分割，并量化分割的不确定性，避免由模型分割不准确而导致的结果错误，为后续分析流程提供质量保证。
4.为实现上述技术目的，本发明采用如下技术方案：
5.一种基于深度学习的脑肿瘤分割质量评估方法，包括：
6.步骤1，收集脑肿瘤患者的脑部mri影像，并对其进行预处理；
7.步骤2，分割脑部mri影像中所有病灶，包括肿瘤、周围水肿和坏死三个区域，得到人工分割金标准；
8.步骤3，以预处理后的脑部mri影像作为输入，对应的人工分割金标准作为输出，训练深度学习模型，得到病灶分割模型；
9.步骤4，将预处理后的脑部mri影像输入到病灶分割模型，输出得到脑部mri影像的病灶分割概率图；
10.对病灶分割概率图二值化处理，得到病灶分割的二值化结果图；
11.步骤5，以脑部mri影像的病灶分割概率图作为输入，对应的人工分割金标准与二值化结果图的差值作为输出，训练深度学习网络，得到分割错误预测模型；
12.步骤6，将脑部mri影像的病灶分割概率图输入到分割错误预测模型，输出得到分割不确定性预测图谱；
13.将预处理后的脑部mri影像与步骤4对应得到的病灶分割的二值化结果图及本步骤6对应得到的分割不确定性预测图谱，在通道方向进行拼接得到拼接图；
14.计算人工分割金标准与二值化结果图之间的骰子相似性系数；
15.步骤7，以步骤6对应得到的脑部mri影像拼接图作为输入，骰子相似性系数作为输
出，训练深度学习模型，得到分割质量评估网络；
16.步骤8，对于新获取得到的脑肿瘤mri影像，按步骤1进行预处理，并使用病灶分割模型按步骤4得到病灶分割概率图和病灶分割的二值化结果图，使用分割错误预测模型按步骤6得到分割不确定性预测图谱，然后将新获取得到的脑肿瘤mri影像及其病灶分割的二值化结果图、分割不确定性预测图谱在通道方向进行拼接，最后使用分割质量评估网络对拼接得到的拼接图进行评估，得到该脑肿瘤mri影像与人工金标准之间的骰子相关系数，即为病灶分割模型对该脑肿瘤mri影像的分割质量评分。
17.在更优的技术方案中，步骤1所述的预处理包括图像增强和数据增广。
18.在更优的技术方案中，病灶分割模型采用u-net网络，步骤3训练病灶分割模型所采用的损失函数为类别交叉熵损失函数。
19.在更优的技术方案中，分割错误预测模型采用u-net网络，步骤5训练分割错误预测模型所采用的损失函数为类别交叉熵损失函数。
20.在更优的技术方案中，分割质量评估网络采用3d vgg网络，步骤7训练分割质量评估网络所采用的损失函数为均方误差损失函数。
21.在更优的技术方案中，步骤3至步骤5训练分割模型和分割错误预测模型的过程，将其中的分割模型作为生成网络，分割错误预测模型作为判别网络，采用生成判别网络的方式同时对分割模型和分割错误预测模型进行训练。
22.在更优的技术方案中，所述脑部mri影像包括t1、t2、t1ce和flair这四种模态数据，其中分割网络的输入采用单张切片图像对应t1、t2、t1ce和flair以4通道的方式输入，利用多模态影像数据信息互补，提高分割精度。
23.一种电子设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现上述任一项所述的基于深度学习的脑肿瘤分割质量评估方法。
24.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的基于深度学习的脑肿瘤分割质量评估方法。
25.有益效果
26.本发明利用人工智能的方法从脑部mri影像中提取深层卷积特征，实现了脑部肿瘤的自动分割与分割结果质量的智能评估，该模型可为后续自动化辅助诊断提供高质量的分割结果，同时提供像素级的分割不确定性图谱，以及单个图像dice系数预测值。在大规模的脑肿瘤分割任务中，可以通过设置阈值，借助模型预测的dice系数，快速鉴别自动分割结果不准确的个例，通过这些图像的不确定性图谱，则可发现模型分割不确定的区域，再判断是否需要人工修改分割结果，保证后续分析流程高质量进行。
附图说明
27.图1是本技术实施例所述方法的技术路线图。
具体实施方式
28.下面对本发明的实施例作详细说明，本实施例以本发明的技术方案为依据开展，给出了详细的实施方式和具体的操作过程，对本发明的技术方案作进一步解释说明。
29.实施例1
30.本实施例提供一种基于深度学习的脑肿瘤分割质量评估方法，如图1所示，包括以下步骤：
31.步骤1，收集脑肿瘤患者的脑部mri影像，并对其进行预处理。
32.本实施例收集的脑部mri影像包括t1ce,t1,t2和flair四种模态的数据。从中南大学湘雅医院、湘雅二医院、湖南省儿童医院、费城儿童医院、美国布朗大学附属罗德岛医院以及美国宾夕法尼亚大学附属医院等收集数据，其中肿瘤类别包括胶质瘤、脑膜瘤、垂体瘤、脑转移瘤、淋巴瘤、颅咽管瘤、神经胶质瘤、室管膜瘤、髓母细胞瘤、少枝胶质细胞瘤、星形细胞瘤、神经鞘瘤、非典型畸胎瘤样横纹肌瘤、原发性神经外胚层肿瘤、发育异常的神经上皮肿瘤、其他脑肿瘤共5543例。
33.由于无法保证影像的拍摄环境、拍摄设备等条件一致，收集到的不同mri影像之间会存在差异，因此本发明需要对收集到的mri影像进行预处理，包括图像增强与数据增广，以减少这种差异对后续模型训练的影响。由于医疗影像数据的标注需要耗费大量的医疗资源，尤其是三维影像数据，因此必要的数据增广可以增加数据的多样性，增强模型的鲁棒性。
34.mr扫描时，偏置场导致磁场强度不均匀，使得mr强度值在从同一扫描仪、同一患者甚至同一组织获得的图像中发生变化。在本案例中采用python包simpleitk中的n4biasfiledcorrection函数来解决这一问题。
35.由于mr扫描时间较长，一个序列中的不同切片很可能存在偏移，为了使模型更高效利用到不同维度之间的信息，对每一个序列用simpleitk基于第一张切片进行配准，同时对所有模态数据进行图像级配准。
36.使用nyul算法对图像强度进行标准化，使得同一身体区域内，特定的强度值代表所有不同的切片和患者的特定组织。针对每一个图像，采用z-score方法对图像进行标准化，数据符合标准正态分布，均值为0，标准差为1。
37.步骤2，分割脑部mri影像t1中所有病灶，包括肿瘤、周围水肿和坏死三个区域，得到人工分割金标准。分割方法为：将收集到的影像数据导入到3d slicer中，勾画脑肿瘤边界，最后将原影像数据图像与分割后图像导出为“.nii”格式。
38.步骤3，以预处理后的脑部mri影像作为输入，对应的人工分割金标准作为输出，训练深度学习模型，得到病灶分割模型。
39.本实施例中，将脑部mri影像t1ce,t1,t2和flair四种模态的数据，采用单张切片多模态图像通道堆叠的方式输入到用于病灶分割的深度学习模型中，利用多模态影像数据信息互补，提高分割精度。
40.步骤4，将预处理后的脑部mri影像输入到病灶分割模型，输出得到脑部mri影像的病灶分割概率图；对病灶分割概率图二值化处理，得到病灶分割的二值化结果图。
41.步骤5，以脑部mri影像的病灶分割概率图作为输入，对应的人工分割金标准与二值化结果图的差值作为输出，训练深度学习网络，得到分割错误预测模型。
42.以上步骤3-5：可以先通过步骤3使用所有训练数据训练得到病灶分割模型后，然后通过步骤4使用训练好的病灶分割模型获取病灶分割概率图及对应的二值化结果图，再通过步骤5使用训练数据来训练获得分割错误预测模型。
43.以上步骤3-5训练分割模型和分割错误预测模型的过程，可将其中的分割模型作为生成网络，分割错误预测模型作为判别网络，采用生成判别网络的方式同时对分割模型和分割错误预测模型进行训练。这样使得分割网络在训练时，能同时受到基于人工分割金标准的标准交叉熵损失函数和判别网络的对抗性损失监督。本实施例采用生成判别网络的训练方式。且模型训练采用的编程语言为python，采用的框架为keras。训练显卡为quadro gv100内存为32gb。在训练的过程中对进行图像增广，采用随机轴翻转，平移，随机裁剪等。
44.其中的分割模型(即生成网络，segmentor)采用的结构为unet，输入为预处理后的脑部mri影像切片t1，及对应的t2,t1ce,flair，输出为二值化的分割掩膜，即步骤2得到的人工分割金标准。该网络结构包含一个编码器和一个解码器。在编码器中，每一层都包含两个3*3的卷积操作，后面跟一个2*2，步长为2的最大池化层，达到下采样的目的，同时采用batch normalization使网络更好地收敛，卷积层激活函数为relu。在解码器中，每一层采用2*2，步长为2的转置卷积操作上采样，与对应层的编码器输出进行拼接，之后接两个正常的3*3的卷积操作。最后通过1*1的卷积使网络输出通道数为类别数。该网络采用的损失函数为类别交叉熵损失函数加上判别网络损失函数。
45.将分割网络定义为s，预处理输入t1模态的切片为x，人工分割金标准为y，分割结果为s(x)，该网络的损失函数可定义为：
[0046][0047]
其中λ＝0.01，p为输入mri影像切片x中的像素，s()
p
，y
p
为生成器与分割金标准在p位置的输出，ld为判别器损失函数，n为切片数量，c＝3为分割类别数量。
[0048]
分割错误预测网络(即判别网络，error map predictor)同样采用unet结构。在训练阶段，以分割网络的输出作为该网络的输入，以金标准的one-hot编码与二值化分割结果的差异作为该网络的输出(分割不确定性图谱)，训练采用的损失函数为类别交叉熵损失函数。
[0049][0050]
其中，
[0051][0052]
p为输入切片x中的像素，d()
p
、s()
p
分别为判别器和生成器在p位置的输出，n为切片数量。
[0053]
步骤6，获取分割质量评估模型的训练数据：将预处理后的脑部mri影像输入到病灶分割模型，输出得到脑部mri影像的病灶分割概率图；将脑部mri影像的病灶分割概率图输入到分割错误预测模型，输出得到分割不确定性预测图谱；将预处理后的脑部mri影像、病灶分割的二值化结果图以及分割不确定性预测图谱，在通道方向进行拼接得到拼接图；计算人工分割金标准与二值化结果图之间的骰子相似性系数。
[0054]
步骤7，将步骤6得到的脑部mri影像拼接图作为输入，骰子相似性系数作为输出，
训练深度学习模型，得到分割质量评估网络。
[0055]
其中，分割质量评估网络采用的网络结构为3d vgg。该网络一共包含5个卷积层，卷积核的大小为3*3*3,每层两个卷积操作。每个卷积层后为最大池化层，卷积核大小为2*2*2，步长为2。通过1*1*1的卷积操作，得到最后3个全连接层的输入，最后一层输出为单个神经元，采用的激活函数为sigmoid激活函数。该网络采用的损失函数为均方误差函数。该损失函数定义如下：
[0056][0057]
其中q为分割质量评估网络，xi为第i张输入图像，yi为第i张图像分割金标准，d为骰子相似性系数。
[0058]
步骤8，对于新获取得到的脑肿瘤mri影像，对其按步骤1进行预处理，并使用病灶分割模型按步骤4得到病灶分割概率图和二值化结果图，使用分割错误预测模型按步骤6得到分割不确定性预测图谱，然后将新获取得到的脑肿瘤mri影像及其病灶分割的二值化结果图、分割不确定性预测图谱在通道方向进行拼接，最后使用分割质量评估网络对拼接得到的拼接图进行评估，得到该脑肿瘤mri影像与人工金标准之间的骰子相关系数，即为病灶分割模型对该脑肿瘤mri影像的分割质量评分。
[0059]
通过本发明基于深度学习的脑肿瘤分割质量评估方法，由脑部mri影像能得到：(1)脑肿瘤分割结果，实现了病灶的自动分割，可以降低手工分割的时间成本及分割主观性影响；(2)像素级的分割不确定性图谱，该图能显示对于分割结果中不确定性较高的区域，为人工干预修改分割结果提供参考；(3)图像级的分割质量评估结果，可为大规模的分割任务提供快速简洁的质量评估依据。
[0060]
实施例2
[0061]
本实施例提供一种电子设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现实施例1所述的方法。
[0062]
实施例3
[0063]
本实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现实施例1所述的方法。
[0064]
以上实施例为本技术的优选实施例，本领域的普通技术人员还可以在此基础上进行各种变换或改进，在不脱离本技术总的构思的前提下，这些变换或改进都应当属于本技术要求保护的范围之内。