基于图像数据的疾病预后预测方法、系统及存储介质与流程

本技术涉及人工智能与图像处理，具体涉及一种基于图像数据的疾病预后预测方法、系统及存储介质。

背景技术：

1、各种疾病(如癌症等)的预后预测旨在利用医学数据来预测患者在未来某一段时间内疾病发生进展、复发或死亡的风险。通过对患者未来预后风险的预测，可以辅助临床制定更为精确的诊疗方案。在人工智能辅助医学诊断的领域中，医学图像因其可以直观展示组织器官的特异性变化，是最早受到关注且已经被广泛研究的方向之一。其中，核磁共振成像(magnetic resonance imaging，mri)和全视野数字病理图像(whole slide image，wsi)是两个在临床诊断中重要的工具。mri能够提供疾病宏观进展、组织结构特异性变化等信息，而wsi则通过观察组织切片，从更微观的角度，判断细胞水平的变化。通过结合mri与wsi在宏观与微观层面的视角，可以更全面地评估病灶组织，从而为疾病诊断提供更加全面细致的依据。

2、随着人工智能辅助诊疗的不断发展，出现了一些融合mri和wsi特征分析的方法。这类方法通常使用机器学习技术或卷积神经网络分别从mri和wsi中提取病灶区域的统计特征、纹理特征，然后将二者的特征进行简单拼接、筛选，进而构建预测模型。并且独立的mri与wsi特征计算方式也使得二者之间的特征缺少相关性，因此存在准确度较低的问题。

技术实现思路

1、本技术的至少一个实施例提供了一种基于图像数据的疾病预后预测方法、系统及存储介质，用于解决现有技术中疾病预后预测方法准确性不高等问题。

2、为了解决上述技术问题，本技术是这样实现的：

3、第一方面，本技术实施例提供了一种基于图像数据的疾病预后预测方法，包括：

4、获取待预测病灶的第一图像和第二图像，所述第一图像为至少一张核磁共振成像mri图像，所述第二图像为至少一张全视野数字病理图像wsi；

5、对所述第一图像进行图像预处理，得到所述待预测病灶的图像矩阵；对所述第二图像分别进行图像预处理，得到所述待预测病灶的前景图像，通过固定大小的滑动窗口，将所述前景图像分割为多个图像块，并根据图像块之间的连通关系，将所述前景图像的多个图像块表示为图结构数据；

6、将所述图像矩阵和所述图结构数据输入预先训练得到的多模态对比学习框架，得到所述图像矩阵对应的第一mri特征和所述图结构数据对应的第一wsi特征；其中，所述多模态对比学习框架包括3d医疗影像预训练模型、第一线性投影层、图神经网络和第二线性投影层，所述3d医疗影像预训练模型和第一线性投影层基于输入的图像矩阵生成mri特征，所述图神经网络和第二线性投影层基于输入的图结构数据生成wsi特征；

7、基于所述第一mri特征和所述第一wsi特征，对所述待预测病灶进行预后预测。

8、可选的，对所述第一图像进行图像预处理，得到所述待预测病灶的图像矩阵，包括：

9、对所述第一图像进行n4偏置场校正、重采样和强度归一化处理，获得第三图像；将不同序列的第三图像按照通道进行拼接，获得所述待预测病灶的图像矩阵。

10、可选的，对所述第二图像分别进行图像预处理，得到所述待预测病灶的前景图像，包括：

11、对所述第二图像进行颜色校正处理，获得第四图像；采用大津法从所述第四图像中分离得到所述待预测病灶的前景图像。

12、可选的，根据图像块之间的连通关系，将所述前景图像的多个图像块表示为图结构数据，包括：

13、将归属于同一前景图像的多个图像块输入预训练好的ctranspath网络，获得所述ctranspath网络输出的各个图像块的图像特征；

14、根据各个图像块的图像特征和各个图像块在前景图像中的连通关系，生成图结构数据。

15、可选的，基于所述第一mri特征和所述第一wsi特征，对所述待预测病灶部位进行预后预测，包括：

16、对所述第一mri特征和所述第一wsi特征分别进行降噪处理，得到第二mri特征和第二wsi特征；

17、计算所述第二mri特征和第二wsi特征的矩阵外积，得到第一融合特征；

18、将所述第一融合特征转换为一维矩阵并输入预先训练得到的多层感知机，获得所述多层感知机生成的预后预测结果。

19、可选的，所述方法还包括：

20、获取样本数据，所述样本数据包括多个病灶样本的第一样本图像和第二样本图像以及所述病灶样本的预后结果，其中，所述第一样本图像为mri图像，所述第二样本图像为wsi图像；

21、对所述第一样本图像进行图像预处理，得到所述病灶样本的样本图像矩阵；对所述第二样本图像分别进行图像预处理，得到所述病灶样本的前景样本图像，通过固定大小的滑动窗口，将所述前景样本图像分割为多个图像块，并根据图像块之间的连通关系，将所述前景样本图像的多个图像块表示为样本图结构数据；

22、通过多轮迭代，学习所述病灶样本的样本图像矩阵与样本图结构数据之间的相似性，其中，在每轮迭代中，随机抽取一个样本图像矩阵和一个样本图结构数据并输入多模态对比学习框架，得到所述样本图像矩阵对应的第三mri特征和所述样本图结构数据对应的第三wsi特征；计算所述第三mri特征和所述第三wsi特征之间的相似性，得到所述第三mri特征对应的病灶样本与所述第三wsi特征对应的病灶样本之间的相似度，并更新各个病灶样本之间的相似度矩阵；根据所述相似度矩阵和所述相似度矩阵对应的标签矩阵，构建所述多模态对比学习框架的损失函数并计算损失值；根据所述损失值，对所述多模态对比学习框架进行优化，直至达到预设的训练结束条件，获得训练好的所述多模态对比学习框架。

23、可选的，所述方法还包括：

24、将同一病灶样本的样本图像矩阵和样本图结构数据，输入训练好的所述多模态对比学习框架，获得所述样本图像矩阵对应的第四mri特征和所述样本图结构数据对应的第四wsi特征；

25、对所述第四mri特征和所述第四wsi特征分别进行降噪处理，得到第五mri特征和第五wsi特征；

26、计算所述第五mri特征和第五wsi特征的矩阵外积，得到第二融合特征；

27、将所述第二融合特征转换为一维矩阵并输入预先训练得到的多层感知机，获得所述多层感知机生成的所述病灶样本的预后预测结果；

28、基于所述病灶样本的预后预测结果和病灶样本的预后结果，对所述多层感知机进行训练，获得训练好的多层感知机。

29、第二方面，本技术实施例提供了一种基于图像数据的疾病预后预测系统，包括：

30、获取模块，用于获取待预测病灶的第一图像和第二图像，所述第一图像为至少一张核磁共振成像mri图像，所述第二图像为至少一张全视野数字病理图像wsi；

31、预处理模块，用于对所述第一图像进行图像预处理，得到所述待预测病灶的图像矩阵；对所述第二图像分别进行图像预处理，得到所述待预测病灶的前景图像，通过固定大小的滑动窗口，将所述前景图像分割为多个图像块，并根据图像块之间的连通关系，将所述前景图像的多个图像块表示为图结构数据；

32、特征转换模块，用于将所述图像矩阵和所述图结构数据输入预先训练得到的多模态对比学习框架，得到所述图像矩阵对应的第一mri特征和所述图结构数据对应的第一wsi特征；其中，所述多模态对比学习框架包括3d医疗影像预训练模型、第一线性投影层、图神经网络和第二线性投影层，所述3d医疗影像预训练模型和第一线性投影层基于输入的图像矩阵生成mri特征，所述图神经网络和第二线性投影层基于输入的图结构数据生成wsi特征；

33、预测模块，用于基于所述第一mri特征和所述第一wsi特征，对所述待预测病灶进行预后预测。

34、可选的，所述预处理模块，还用于：

35、将归属于同一前景图像的多个图像块输入预训练好的ctranspath网络，获得所述ctranspath网络输出的各个图像块的图像特征；

36、根据各个图像块的图像特征和各个图像块在前景图像中的连通关系，生成图结构数据。

37、第三方面，本技术实施例提供了一种基于图像数据的疾病预后预测系统，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现如第一方面所述的方法的步骤。

38、第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有程序，所述程序被处理器执行时，实现如第一方面或第二方面任一项所述的方法的步骤。

39、第五方面，本技术实施例提供了一种计算机程序产品，包括计算机指令，所述计算机指令被处理器执行时实现如第一方面或第二方面任一项所述的方法的步骤。

40、与现有技术相比，本技术实施例提供的基于图像数据的疾病预后预测方法、系统及存储介质，针对wsi和mri的数据特性，分别根据wsi中图像块的坐标和mri中不同序列图像的互补作用，将其分别转换为wsi图结构数据和3dmri图像矩阵。将wsi图结构数据和3dmri图像矩阵作为神经网络的双流输入，可以实现患者级特征的直接学习，并可以通过端到端的训练方式，直接对患者级的wsi和mri特征进行更新优化，避免了特征聚合过程中可能造成的信息丢失，还能够捕获图像内部的上下文关系，从而提高了预后预测的准确性。