一种弱监督多模态胃癌生存预测方法、系统及存储介质

摘要: 本技术涉及人工智能,更具体地涉及一种弱监督多模态胃癌生存预测方法、系统及存储介质。背景技术:1、胃癌是全球范围内发病率和死亡率均较高的恶性肿瘤之一,准确的生存预...
一种弱监督多模态胃癌生存预测方法、系统及存储介质

本技术涉及人工智能,更具体地涉及一种弱监督多模态胃癌生存预测方法、系统及存储介质。

背景技术:

1、胃癌是全球范围内发病率和死亡率均较高的恶性肿瘤之一,准确的生存预测对于临床治疗方案的制定和患者预后评估具有重要意义。传统的胃癌预后评估主要依赖于tnm分期系统和病理医生对组织切片的主观判读,这种方法存在观察者间差异大、重复性差等问题。ki-67作为细胞增殖标志物,其表达水平与肿瘤侵袭性和患者预后密切相关,但ki-67免疫组化染色需要额外的实验步骤和成本,且在部分临床场景中可能无法获取。因此,开发一种能够整合多种模态信息、同时具备模态缺失鲁棒性的生存预测方法具有重要的临床价值。

2、近年来,随着数字病理技术和深度学习算法的快速发展,基于全切片图像(wholeslide image, wsi)的计算病理学方法在肿瘤诊断和预后预测领域展现出巨大潜力。由于全切片图像具有千兆像素级的超高分辨率,直接处理完整图像在计算上不可行,因此多示例学习(multiple instance learning, mil)框架被广泛采用,将全切片图像视为包含大量图像块的包(bag),仅利用切片级别的弱监督标签进行训练。然而,现有的基于深度学习的全切片分析方法大多局限于单一图像模态,未能充分利用临床信息和免疫组化染色等多模态数据的互补优势,限制了模型对肿瘤异质性和患者预后的全面表征能力。

技术实现思路

1、为了解决上述问题而提出了本技术。根据本技术一方面,提供了一种弱监督多模态胃癌生存预测方法,所述方法包括:

2、获取待预测胃癌患者的模态数据,所述模态数据包括 h&e 染色全切片图像、ki-67 染色全切片图像与临床信息中的至少两类;

3、对全切片图像与临床信息进行预处理得到有效组织图像块集合与结构化描述文本,将有效组织图像块与结构化描述文本输入编码器,分别输出h&e图像块特征、ki-67图像块特征、全局文本特征与词元级文本特征;

4、通过注意力卷积块对图像块特征进行增强处理,得到增强h&e图像块特征与增强ki-67图像块特征;

5、通过交叉注意力模块实现增强h&e图像块特征与词元级文本特征的双向信息交互,分别生成融合临床语义的h&e特征与融合图像的文本特征;

6、采用门控注意力池化分别对增强h&e图像块特征、增强ki-67图像块特征、融合临床语义的h&e特征与融合图像的文本特征进行注意力加权聚合,对应得到h&e分支全局特征、ki-67分支全局特征、融合临床语义的 h&e 全局特征、融合图像的文本全局特征;

7、将h&e分支全局特征与融合临床语义的h&e全局特征进行逐元素加和,得到h&e侧融合全局特征;将全局文本特征与融合图像的文本全局特征进行逐元素加和,得到文本侧融合全局特征;

8、将h&e 侧融合全局特征、文本侧融合全局特征与ki-67分支全局特征输入多模态注意力融合模块,生成患者级融合特征;

9、基于患者级融合特征计算并输出患者生存风险评分,完成胃癌患者生存预后评估与风险分层。

10、在本技术的一个实施例中,所述对全切片图像与临床信息进行预处理得到有效组织图像块集合与结构化描述文本,包括:

11、对全切片图像进行图像块划分,采用阈值分割识别组织区域并过滤背景图像块,得到对应有效组织图像块集合;

12、将临床信息转换为结构化描述文本。

13、在本技术的一个实施例中,所述编码器为面向组织病理学领域预训练的 conch视觉 - 语言基础模型;

14、图像与文本通过同一编码器映射至共享语义空间,从特征编码阶段降低跨模态融合的异质性。

15、在本技术的一个实施例中,所述通过注意力卷积块对图像块特征进行增强处理,得到增强h&e图像块特征与增强ki-67图像块特征,包括:

16、所述注意力卷积块由卷积层与自注意力层串联构成;

17、所述卷积层用于提取图像块的局部纹理、细胞形态与组织结构模式,所述自注意力层用于建模全切片范围内图像块之间的长程空间关联,捕获肿瘤异质性的空间分布特征。

18、在本技术的一个实施例中,所述通过交叉注意力模块实现增强h&e图像块特征与词元级文本特征的双向信息交互,包括:

19、以增强 h&e 图像块特征为查询向量,以词元级文本特征为键向量和值向量,经注意力计算得到融合临床语义的 h&e 特征;

20、以词元级文本特征为查询向量,以增强 h&e 图像块特征为键向量和值向量,经注意力计算得到融合图像的文本特征。

21、在本技术的一个实施例中,所述采用门控注意力池化分别对增强h&e图像块特征、增强ki-67图像块特征、融合临床语义的h&e特征与融合图像的文本特征进行注意力加权聚合,包括:

22、所述门控注意力池化通过门控注意力机制为各图像块及文本词元分配注意力权重,依据各特征对生存预测的贡献度进行加权聚合得到对应全局特征,自适应聚焦与生存预后高度相关的组织区域与文本语义单元。

23、在本技术的一个实施例中,所述多模态注意力融合模块通过有效性掩码识别当前可用模态,对可用模态的特征动态分配融合权重;

24、当任意单一或多种模态缺失时,模型自动基于剩余可用模态完成特征融合与预测,无需调整网络结构。

25、在本技术的一个实施例中,所述编码器与多模态注意力融合模块预先通过联合损失函数训练得到:

26、所述联合损失函数以适配删失数据的负对数似然损失为主损失,辅以图像模态间对比损失与文本语义一致性对比损失;训练过程中采用随机模态丢弃策略模拟临床模态缺失场景,提升模型对模态缺失的鲁棒性。

27、根据本技术的另一方面,提供了一种弱监督多模态胃癌生存预测系统,包括特征编码模块、图像特征增强模块、跨模态交互模块、全局特征聚合模块、多模态融合模块与预测输出模块:

28、特征编码模块,用于获取待预测胃癌患者的模态数据,所述模态数据包括 h&e 染色全切片图像、ki-67 染色全切片图像与临床信息中的至少两类;对全切片图像与临床信息进行预处理得到有效组织图像块集合与结构化描述文本,将有效组织图像块与结构化描述文本输入编码器,分别输出h&e图像块特征、ki-67图像块特征、全局文本特征与词元级文本特征;

29、图像特征增强模块,用于通过注意力卷积块对图像块特征进行增强处理,得到增强h&e图像块特征与增强ki-67图像块特征;

30、跨模态交互模块,用于通过交叉注意力模块实现增强h&e图像块特征与词元级文本特征的双向信息交互,分别生成融合临床语义的h&e特征与融合图像的文本特征;

31、全局特征聚合模块,用于采用门控注意力池化分别对增强h&e图像块特征、增强ki-67图像块特征、融合临床语义的h&e特征与融合图像的文本特征进行注意力加权聚合,对应得到h&e分支全局特征、ki-67分支全局特征、融合临床语义的 h&e 全局特征、融合图像的文本全局特征;

32、多模态融合模块,用于将h&e分支全局特征与融合临床语义的h&e全局特征进行逐元素加和,得到h&e侧融合全局特征;将全局文本特征与融合图像的文本全局特征进行逐元素加和,得到文本侧融合全局特征;将h&e 侧融合全局特征、文本侧融合全局特征与ki-67分支全局特征输入多模态注意力融合模块,生成患者级融合特征;

33、预测输出模块,用于基于患者级融合特征计算并输出患者生存风险评分,完成胃癌患者生存预后评估与风险分层。

34、根据本技术的又一方面,提供了一种存储介质,所述存储介质上存储有计算机程序,所述计算机程序在运行时,执行上述一种弱监督多模态胃癌生存预测方法。

35、本技术通过融合h&e染色全切片图像、ki-67免疫组化染色全切片图像和临床信息三种模态,利用交叉注意力机制实现组织病理学图像特征与临床文本嵌入的双向交互,不仅得到融合临床语义的图像特征,还得到融合图像块信息的文本特征,通过加和操作降低模态异质性,使模型能够在细粒度层面建立图像区域与临床特征之间的关联,提高了多模态信息融合的有效性。