一种基于MR图像的鼻咽癌识别及肿瘤分割方法及系统与流程

一种基于mr图像的鼻咽癌识别及肿瘤分割方法及系统
技术领域
1.本发明涉及医疗图像处理领域，尤其涉及一种基于mr图像的鼻咽癌识别及肿瘤分割方法及系统。


背景技术：

2.鼻咽癌是一种起源于鼻咽部上皮细胞的恶性肿瘤，具有巨大的侵袭和转移潜能。由于鼻咽癌的解剖位置不明显，且症状非特异性，大多数患者诊断为晚期疾病。另一方面，复杂的颅底解剖结构增加了鼻咽癌分割的难度，从而降低了疾病分期的准确性和放疗的符合性。磁共振成像(magnetic resonance imaging，mri)由于其对软组织的分辨率、对骨髓浸润的检测灵敏度和多参数成像等优点，是鼻咽癌患者鉴别、分期、疗效评估和治疗后随访的首选成像方式。mri在鉴别内镜检查无法观察到的隐匿性鼻咽癌方面显示出很大的优势，目前，mri已成为疑似或确诊鼻咽癌患者的常规检查手段，凸显其在鼻咽癌筛查和治疗过程中的重要作用。
3.近十年来，人工智能(ai)得到了迅速的发展，而且在医学图像中正常解剖结构或病变的识别和自动分割方面都表现出了良好的性能。然而，无论是在放射治疗期间的成像研究还是在肿瘤总体积(gtv)的描绘研究中，对感兴趣区域(region of interest，roi)或肿瘤的分割都需要医生大量的操作，因此需要可以对肿瘤进行自动分割，进而查看患有癌症的概率和病变区域的辅助工具，在减轻医生工作量的同时，提高肿瘤分割效率。然而近年来，虽然有学者把深度学习应用在基于mr图像的鼻咽癌筛查或者鼻咽癌靶区勾画等方向，但是这些方法功能单一以及适用序列范围少。


技术实现要素：

4.本发明提供了一种基于mr图像的鼻咽癌识别及肿瘤分割方法及系统，以解决现有的鼻咽癌识别及肿瘤分割方法及系统功能单一，只能对鼻咽癌mr影像进行肿瘤分割，并未对进行鼻咽癌识别和肿瘤分割的三维深度学习模型进行优化，进一步提升模型性能，而且无法同时适用于mr平扫序列图像与mr增强序列图像的技术问题。
5.为了解决上述技术问题，本发明实施例提供了一种基于mr图像的鼻咽癌识别及肿瘤分割方法，包括：
6.接收第一用户上传的第一图像；其中，所述第一图像包括mr平扫序列图像或mr增强序列图像；
7.对所述第一图像进行预处理，得到所述第一图像对应的第二图像；
8.将所述第二图像输入至肿瘤分割模型，以使所述肿瘤分割模型对所述第二图像进行区域划分，输出所述第二图像对应的肿瘤分割图；
9.其中，所述肿瘤分割模型是根据多个第一鼻咽良恶性mr影像数据以及对应的多个带有肿瘤标记的第二鼻咽良恶性mr影像数据，对三维卷积神经网络模型训练而获得。
10.进一步地，在所述输出所述第二图像对应的肿瘤分割图之后，还包括：
11.接收并响应专家对所述第二图像对应的肿瘤分割图的审核意见；
12.若审核意见为区域划分错误，则将所述第二图像和所述第二图像对应的肿瘤分割图上传至所述肿瘤分割模型的数据库中；
13.若审核意见为未进行区域划分，则将所述第二图像上传至所述肿瘤分割模型的数据库中；
14.根据所述数据库中的数据，优化所述肿瘤分割模型。
15.进一步地，所述对所述第一图像进行预处理，得到所述第一图像的第二图像，具体为：
16.对所述第一图像进行影像数据清洗、数据归一化、平扫与增强影像配准的预处理，得到所述第一图像对应的第二图像。
17.进一步地，所述将所述第二图像输入至肿瘤分割模型，以使所述肿瘤分割模型对所述第二图像进行区域划分，输出所述第二图像对应的肿瘤分割图，具体为：
18.将所述第二图像输入至肿瘤分割模型；其中，所述肿瘤分割模型包含编码器与解码器；
19.通过所述编码器对所述第二图像执行若干次卷积，识别并提取所述第二图像中与鼻咽癌相关的影像特征，并对所述影像特征进行抽象处理，输出所述第二图像的鼻咽癌概率；
20.将所述编码器的每一次卷积的结果与对应的所述解码器的每一次卷积的结果共同作为所述解码器的下一次卷积的输入，逐步重构所述第二图像的肿瘤区域，并对所述解码器的最后一次卷积的结果进行上采样操作，得到并输出所述第二图像对应的肿瘤分割图。
21.进一步地，所述所述肿瘤分割模型是根据多个第一鼻咽良恶性mr影像数据以及对应的多个带有肿瘤标记的第二鼻咽良恶性mr影像数据，对三维卷积神经网络模型训练而获得，具体为：
22.接收第二用户上传的多个第一鼻咽良恶性mr影像数据以及对应的多个带有肿瘤标记的第二鼻咽良恶性mr影像数据；
23.对所述多个第一鼻咽良恶性mr影像数据以及所述对应的多个带有肿瘤标记的第二鼻咽良恶性mr影像数据进行预处理，得到所述多个第一鼻咽良恶性mr影像数据对应的多个第一训练数据，以及所述对应的多个带有肿瘤标记的第二鼻咽良恶性mr影像数据对应的多个第二训练数据；其中，所述预处理包括影像数据清洗，数据归一化，平扫与增强影像配准的操作；
24.构建适用于mr平扫序列与mr增强序列的三维卷积神经网络模型，将多个所述第一训练数据输入所述三维卷积神经网络模型，得到多个所述第一训练数据对应的肿瘤分割图；
25.计算多个所述第一训练数据对应的肿瘤分割图与多个对应的第二训练数据之间的偏差值，根据所述偏差值更新所述三维卷积神经网络模型的参数，进而得到所述肿瘤分割模型。
26.进一步地，在所述得到所述肿瘤分割模型之后，还包括对所述肿瘤分割模型进行性能评估，具体为：
27.根据模型评估指标，比较训练集与验证集的学习曲线，评估所述肿瘤分割模型的鲁棒性；
28.根据模型评估指标，比较测试集与验证集的识别和分割性能，评估所述肿瘤分割模型的泛化能力；
29.其中，评估指标包括auc、特异度、灵敏度、阳性预测值、阴性预测值、dice相似系数和表面平均距离。
30.为了解决相同的技术问题，本发明还提供了一种基于mr图像的鼻咽癌识别及肿瘤分割系统，包括：肿瘤分割模块和模型训练模块；
31.其中，所述肿瘤分割模块，用于对接收第一用户上传的第一图像，对所述第一图像进行预处理，得到所述第一图像对应的第二图像，并将所述第二图像输入至肿瘤分割模型，以使所述肿瘤分割模型对所述第二图像进行区域划分，输出所述第二图像对应的肿瘤分割图；
32.所述模型训练模块，用于根据多个第一鼻咽良恶性mr影像数据以及对应的多个带有肿瘤标记的第二鼻咽良恶性mr影像数据，对三维卷积神经网络模型进行训练，以获得肿瘤分割模型。
33.进一步地，本发明提供的一种基于mr图像的鼻咽癌识别及肿瘤分割系统，还包括：模型优化模块；
34.所述模型优化模块，用于接收并响应专家对所述第二图像对应的肿瘤分割图的审核意见；若审核意见为区域划分错误，则将所述第二图像和所述第二图像对应的肿瘤分割图上传至所述肿瘤分割模型的数据库中；若审核意见为未进行区域划分，则将所述第二图像上传至所述肿瘤分割模型的数据库中；然后根据所述数据库中的数据，优化所述肿瘤分割模型。
35.进一步地，所述肿瘤分割模块，还包括：第一数据上传单元、第一数据处理单元、识别提取单元和肿瘤分割单元；
36.其中，所述第一数据上传单元，用于接收第一用户上传的第一图像；其中，所述第一图像包括mr平扫序列图像或mr增强序列图像；
37.所述第一数据处理单元，用于对所述第一图像进行预处理，得到所述第一图像对应的第二图像；其中，所述预处理包括影像数据清洗，数据归一化，平扫与增强影像配准的操作；
38.所述识别提取单元，用于将所述第二图像输入至肿瘤分割模型，通过编码器对所述第二图像执行若干次卷积，识别并提取所述第二图像中与鼻咽癌相关的影像特征，并对所述影像特征进行抽象处理，输出所述第二图像的鼻咽癌概率；
39.所述肿瘤分割单元，用于将所述编码器的每一次卷积的结果与对应的解码器的每一次卷积的结果共同作为所述解码器的下一次卷积的输入，逐步重构所述第二图像的肿瘤区域，并对所述解码器的最后一次卷积的结果进行上采样操作，得到并输出所述第二图像对应的肿瘤分割图。
40.进一步地，所述模型训练模块，还包括：第二数据上传单元、第二数据处理单元、初始模型构建单元和模型性能评估单元；
41.其中，所述第二数据上传单元，用于接收第二用户上传的多个第一鼻咽良恶性mr
影像数据以及对应的多个带有肿瘤标记的第二鼻咽良恶性mr影像数据；
42.所述第二数据处理单元，用于对所述多个第一鼻咽良恶性mr影像数据以及所述对应的多个带有肿瘤标记的第二鼻咽良恶性mr影像数据进行预处理，得到所述多个第一鼻咽良恶性mr影像数据对应的多个第一训练数据，以及所述对应的多个带有肿瘤标记的第二鼻咽良恶性mr影像数据对应的多个第二训练数据；其中，所述预处理包括影像数据清洗，数据归一化，平扫与增强影像配准的操作；
43.所述初始模型构建单元，用于构建适用于mr平扫序列与mr增强序列的三维卷积神经网络模型，将多个所述第一训练数据输入所述三维卷积神经网络模型，得到多个所述第一训练数据对应的肿瘤分割图，并计算多个所述第一训练数据对应的肿瘤分割图与多个对应的第二训练数据之间的偏差值，根据所述偏差值更新所述三维卷积神经网络模型的参数，进而得到所述肿瘤分割模型；
44.所述模型性能评估单元，用于比较训练集和验证集的学习曲线，评估所述肿瘤分割模型的鲁棒性，并比较测试集与验证集的识别和分割性能，评估所述肿瘤分割模型的泛化能力；其中，评估指标包括auc、特异度、灵敏度、阳性预测值、阴性预测值、dice相似系数和表面平均距离。
45.相比于现有技术，本发明实施例具有如下有益效果：
46.本发明提出一种基于mr图像的鼻咽癌识别及肿瘤分割方法及系统，利用多个第一鼻咽良恶性mr影像数据以及对应的多个带有肿瘤标记的第二鼻咽良恶性mr影像数据，对构建的三维卷积神经网络模型训练获得肿瘤分割模型，并通过肿瘤分割模型实现对mr图像的肿瘤分割。在适用图像范围方面，本模型能够适用mr平扫序列和mr增强序列，且每个序列都获得出色且稳定的分割性能。
47.进一步地，通过肿瘤分割模型识别并提取mr图像中与鼻咽癌相关的影像特征，以实现对图像的鼻咽癌识别，并通过分割错漏的数据对模型进行优化，进一步巩固模型的鲁棒性、加强模型的泛化能力，从而提升图像的分割效果，其中可以根据模型评估指标评估所述肿瘤分割模型的鲁棒性和泛化能力。
附图说明
48.图1：为本发明一实施例提供的一种基于mr图像的鼻咽癌识别及肿瘤分割方法的流程示意图；
49.图2：为本发明一实施例提供的一种基于mr图像的鼻咽癌识别及肿瘤分割方法的肿瘤分割模型在不同时期的分割效果图；
50.图3：为本发明一实施例提供的一种基于mr图像的鼻咽癌识别及肿瘤分割系统的结构示意图；
51.图4：为本发明一实施例提供的一种基于mr图像的鼻咽癌识别及肿瘤分割系统的模型分割模块的结构示意图；
52.图5：为本发明一实施例提供的一种基于mr图像的鼻咽癌识别及肿瘤分割系统的肿瘤训练模块的结构示意图。
具体实施方式
53.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
54.实施例一：
55.请参照图1，为本发明实施例提供的一种基于mr图像的鼻咽癌识别及肿瘤分割方法，包括：
56.s101：接收第一用户上传的第一图像；其中，第一图像包括mr平扫序列图像或mr增强序列图像，第一用户可以是临床医生，也可以是患者。
57.s102：对第一图像进行预处理，得到第一图像对应的第二图像。
58.在本实施例中，进一步地，所述对第一图像进行预处理，得到第一图像的第二图像，具体为：
59.对第一图像进行影像数据清洗、数据归一化、平扫与增强影像配准的预处理，得到第一图像对应的第二图像。
60.需要说明的是，通过对第一图像进行预处理，使得第一图像转换为可用于输入模型的第一图像对应的第二图像。
61.s103：将第二图像输入至肿瘤分割模型，以使肿瘤分割模型对第二图像进行区域划分，输出第二图像对应的肿瘤分割图。
62.在本实施例中，进一步地，所述将第二图像输入至肿瘤分割模型，以使肿瘤分割模型对第二图像进行区域划分，输出第二图像对应的肿瘤分割图，具体为：
63.将第二图像输入至肿瘤分割模型；其中，肿瘤分割模型包含编码器与解码器；
64.通过编码器对第二图像执行若干次卷积，识别并提取第二图像中与鼻咽癌相关的影像特征，并对影像特征进行抽象处理，输出第二图像的鼻咽癌概率；
65.将编码器的每一次卷积的结果与对应的解码器的每一次卷积的结果共同作为解码器的下一次卷积的输入，逐步重构第二图像的肿瘤区域，并对解码器的最后一次卷积的结果进行上采样操作，得到并输出第二图像对应的肿瘤分割图。
66.需要说明的是，编码器和解码器的每一次卷积都依靠一个卷积组实现，每个卷积组都包含卷积层、bn层和激活函数层，而且随着编码器的逐次卷积，卷积组识别并提取的影像特征就越抽象，越抽象的影像特征越能表征输入的第二图像。通过对第二图像中与鼻咽癌相关的影像特征的识别并提取，并对提取到的影像特征进行抽象处理，输出第二图像的鼻咽癌概率，实现鼻咽癌的识别；并通过肿瘤分割模型逐步重构第二图像的肿瘤区域，进而得到并输出第二图像对应的肿瘤分割图。在本实施例中，当输出的鼻咽癌概率大于0.5时，则认为第二图像中对应区域患有鼻咽癌，否则认为不患鼻咽癌，然后结合肿瘤分割模型进行逐步重构，进而得到第二图像对应的肿瘤分割图。
67.其中，肿瘤分割模型是根据多个第一鼻咽良恶性mr影像数据以及对应的多个带有肿瘤标记的第二鼻咽良恶性mr影像数据，对三维卷积神经网络模型训练而获得。
68.在本实施例中，进一步地，所述肿瘤分割模型是根据多个第一鼻咽良恶性mr影像数据以及对应的多个带有肿瘤标记的第二鼻咽良恶性mr影像数据，对三维卷积神经网络模
型训练而获得，具体为：
69.接收第二用户上传的多个第一鼻咽良恶性mr影像数据以及对应的多个带有肿瘤标记的第二鼻咽良恶性mr影像数据；
70.对多个第一鼻咽良恶性mr影像数据以及对应的多个带有肿瘤标记的第二鼻咽良恶性mr影像数据进行预处理，得到多个第一鼻咽良恶性mr影像数据对应的多个第一训练数据，以及对应的多个带有肿瘤标记的第二鼻咽良恶性mr影像数据对应的多个第二训练数据；其中，预处理包括影像数据清洗，数据归一化，平扫与增强影像配准的操作；
71.构建适用于mr平扫序列与mr增强序列的三维卷积神经网络模型，将多个第一训练数据输入所述三维卷积神经网络模型，得到多个第一训练数据对应的肿瘤分割图；
72.计算多个第一训练数据对应的肿瘤分割图与多个对应的第二训练数据之间的偏差值，根据偏差值更新三维卷积神经网络模型的参数，进而得到肿瘤分割模型。
73.需要说明的是，多个带有肿瘤标记的第二鼻咽良恶性mr影像数据是由经验丰富的医生负责勾画和专家负责审核得到的，而且在得到肿瘤分割模型之后，根据肿瘤分割模型的性能选择合适的超参数。
74.在本实施例中，进一步地，在得到肿瘤分割模型之后，还包括对肿瘤分割模型进行性能评估，具体为：
75.根据模型评估指标，比较训练集与验证集的学习曲线，评估肿瘤分割模型的鲁棒性；
76.根据模型评估指标，比较测试集与验证集的识别和分割性能，评估肿瘤分割模型的泛化能力；
77.其中，评估指标包括auc、特异度(specificity)、灵敏度(sensitivity)、阳性预测值(positive predictive value，ppv)、阴性预测值(negative predictive value，npv)、dice相似系数(dice similarity coefficient，dsc)和表面平均距离(average surface distance，asd)，利用训练集、验证集、测试集来训练模型、评估和选择模型、测试模型的鲁棒性和泛化能力，该方法在t1平扫序列(t1wi)、t2平扫序列(t2wi)及t1增强序列(t1wic)上实现的性能详见表1。
78.表1在测试集中，模型的鼻咽癌识别性能
79.[0080][0081]
表1表达的是在测试集中，肿瘤分割模型的鼻咽癌识别性能；其中，各个评估指标的数值越接近100％，性能越好。
[0082]
表2在测试集中，模型的肿瘤分割性能
[0083] statisticsdscasd(mm)t1wicmedian0.7681.533t1wimedian0.7601.532t2wimedian0.7531.647
[0084]
表2表达的是在测试集中，肿瘤分割模型的肿瘤分割性能；其中，dsc表示肿瘤分割模型输出的肿瘤分割图与对应的实际肿瘤区域的重合度，数值越大越好，大于等于0.7表明性能好，asd表示肿瘤分割模型输出的肿瘤分割图与对应的实际肿瘤区域的表面平均距离，数值越小越好，小于等于2表明性能好。
[0085]
需要说明的是，分别对于增强序列(t1wic)、平扫序列(t1wi、t2wi)的mr图像，肿瘤模型在不同t时期的分割效果，请参照图2。
[0086]
进一步地，在输出第二图像对应的肿瘤分割图之后，还包括：
[0087]
接收并响应专家对第二图像对应的肿瘤分割图的审核意见；
[0088]
若审核意见为区域划分错误，则将第二图像和第二图像对应的肿瘤分割图上传至肿瘤分割模型的数据库中；
[0089]
若审核意见为未进行区域划分，则将第二图像上传至肿瘤分割模型的数据库中；
[0090]
根据数据库中的数据，优化肿瘤分割模型。
[0091]
需要说明的是，若审核意见为区域划分错误，则将第二图像和第二图像对应的肿瘤分割图上传至肿瘤分割模型的数据库中，以及若审核意见为未进行区域划分，则将第二图像上传至肿瘤分割模型的数据库中，都是在患者同意的前提下执行的。
[0092]
请参照图3，为了解决相同的技术问题，本发明还提供了一种基于mr图像的鼻咽癌识别及肿瘤分割系统，包括：肿瘤分割模块和模型训练模块；
[0093]
其中，所述肿瘤分割模块，用于对接收第一用户上传的第一图像，对第一图像进行预处理，得到第一图像对应的第二图像，并将第二图像输入至肿瘤分割模型，以使肿瘤分割模型对第二图像进行区域划分，输出第二图像对应的肿瘤分割图；
[0094]
所述模型训练模块，用于根据多个第一鼻咽良恶性mr影像数据以及对应的多个带有肿瘤标记的第二鼻咽良恶性mr影像数据，对三维卷积神经网络模型进行训练，以获得肿瘤分割模型。
[0095]
进一步地，请参照图3，本发明提供的一种基于mr图像的鼻咽癌识别及肿瘤分割系
统，还包括：模型优化模块；
[0096]
所述模型优化模块，用于接收并响应专家对第二图像对应的肿瘤分割图的审核意见；若审核意见为区域划分错误，则将第二图像和第二图像对应的肿瘤分割图上传至肿瘤分割模型的数据库中；若审核意见为未进行区域划分，则将第二图像上传至肿瘤分割模型的数据库中；然后根据数据库中的数据，优化肿瘤分割模型。
[0097]
进一步地，请参照图4，所述肿瘤分割模块，还包括：第一数据上传单元、第一数据处理单元、识别提取单元和肿瘤分割单元；
[0098]
其中，所述第一数据上传单元，用于接收第一用户上传的第一图像；其中，所述第一图像包括mr平扫序列图像或mr增强序列图像；
[0099]
所述第一数据处理单元，用于对第一图像进行预处理，得到第一图像对应的第二图像；其中，所述预处理包括影像数据清洗，数据归一化，平扫与增强影像配准的操作；
[0100]
所述识别提取单元，用于将第二图像输入至肿瘤分割模型，通过编码器对第二图像执行若干次卷积，识别并提取第二图像中与鼻咽癌相关的影像特征，并对影像特征进行抽象处理，输出第二图像的鼻咽癌概率；
[0101]
所述肿瘤分割单元，用于将编码器的每一次卷积的结果与对应的解码器的每一次卷积的结果共同作为解码器的下一次卷积的输入，逐步重构第二图像的肿瘤区域，并对解码器的最后一次卷积的结果进行上采样操作，得到并输出第二图像对应的肿瘤分割图。
[0102]
进一步地，请参照图5，所述模型训练模块，还包括：第二数据上传单元、第二数据处理单元、初始模型构建单元和模型性能评估单元；
[0103]
其中，所述第二数据上传单元，用于接收第二用户上传的多个第一鼻咽良恶性mr影像数据以及对应的多个带有肿瘤标记的第二鼻咽良恶性mr影像数据；
[0104]
所述第二数据处理单元，用于对多个第一鼻咽良恶性mr影像数据以及对应的多个带有肿瘤标记的第二鼻咽良恶性mr影像数据进行预处理，得到多个第一鼻咽良恶性mr影像数据对应的多个第一训练数据，以及对应的多个带有肿瘤标记的第二鼻咽良恶性mr影像数据对应的多个第二训练数据；其中，预处理包括影像数据清洗，数据归一化，平扫与增强影像配准的操作；
[0105]
所述初始模型构建单元，用于构建适用于mr平扫序列与mr增强序列的三维卷积神经网络模型，将多个第一训练数据输入三维卷积神经网络模型，得到多个第一训练数据对应的肿瘤分割图，并计算多个第一训练数据对应的肿瘤分割图与多个对应的第二训练数据之间的偏差值，根据偏差值更新三维卷积神经网络模型的参数，进而得到肿瘤分割模型；
[0106]
所述模型性能评估单元，用于比较训练集和验证集的学习曲线，评估肿瘤分割模型的鲁棒性，并比较测试集与验证集的识别和分割性能，评估肿瘤分割模型的泛化能力；其中，评估指标包括auc、特异度、灵敏度、阳性预测值、阴性预测值、dice相似系数和表面平均距离。
[0107]
相比于现有技术，本发明实施例具有如下有益效果：
[0108]
本发明提出一种基于mr图像的鼻咽癌识别及肿瘤分割方法及系统，利用多个第一鼻咽良恶性mr影像数据以及对应的多个带有肿瘤标记的第二鼻咽良恶性mr影像数据，对构建的三维卷积神经网络模型训练获得肿瘤分割模型，并通过肿瘤分割模型实现对mr图像的肿瘤分割。在适用图像范围方面，本模型能够适用mr平扫序列和mr增强序列，且每个序列都
获得出色且稳定的分割性能。
[0109]
进一步地，通过肿瘤分割模型识别并提取mr图像中与鼻咽癌相关的影像特征，以实现对图像的鼻咽癌识别，并通过分割错漏的数据对模型进行优化，进一步巩固模型的鲁棒性、加强模型的泛化能力，从而提升图像的分割效果，其中可以根据模型评估指标评估所述肿瘤分割模型的鲁棒性和泛化能力。
[0110]
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。