一种基于差分原型记忆库的鲁棒多模态癌症生存预测方法

摘要: 本发明涉及一种基于差分原型记忆库的鲁棒多模态癌症生存预测方法,属于医学人工智能与计算病理学领域。背景技术:1、癌症生存预测是临床肿瘤学中的一项关键任务,旨在基于...
一种基于差分原型记忆库的鲁棒多模态癌症生存预测方法

本发明涉及一种基于差分原型记忆库的鲁棒多模态癌症生存预测方法,属于医学人工智能与计算病理学领域。

背景技术:

1、癌症生存预测是临床肿瘤学中的一项关键任务,旨在基于可获得的临床数据评估患者的预后风险。早期的生存预测方法主要依赖单模态数据,例如采用多示例学习框架分析病理图像,或采用深度神经网络建模基因组表达谱。尽管这些方法验证了单一模态的有效性,但其本质上受限于对肿瘤生物学的不完整刻画。病理数据与基因组数据之间固有的互补性,促使研究者转向多模态融合方法。已有工作确立了跨模态特征整合对生存预测的有效性,近期方法则通过日益多样的融合策略进一步提升了预测性能。然而,这些方法普遍依赖完整的多模态输入,限制了其在模态缺失普遍存在的真实临床场景中的适用性。

2、为缓解上述问题,一类基于生成重建的方法通过生成模型重建缺失模态的特征,但此类方法对模态间的语义鸿沟高度敏感,且可能引入不真实的伪影。受原型学习启发的方法提供了另一种思路:通过构建具有代表性的知识表征,在某一模态缺失时提供补偿特征,从而规避生成方法的伪影问题。例如,现有代表性方法为各模态构建特定的原型库以捕捉与风险相关的特征,并以可用模态的编码特征作为查询、通过标准交叉注意力生成跨模态补偿表征。

3、然而,现有基于原型学习的方法仍存在两个关键局限。第一,原型库与编码器特征空间之间缺乏显式的对齐机制,导致原型表征与编码器特征空间之间产生偏差,并在训练过程中不断累积;第二,标准交叉注意力在生成补偿特征时易受噪声干扰,其均匀分布的注意力权重在含噪输入下会发生不可预测的漂移,从而使补偿特征质量退化。上述两个局限分别对应于持续存在的原型库与编码器之间的偏差,即原型库逐渐偏离编码器特征空间;以及对噪声敏感的缺失补偿,即标准交叉注意力在噪声下无法维持补偿特征的质量。

4、为解决上述局限,提出一种基于差分原型记忆库的鲁棒多模态癌症生存预测方法。

技术实现思路

1、本发明要解决的问题是:本发明提供了一种基于差分原型记忆库的鲁棒多模态癌症生存预测方法,以解决真实临床场景中多模态数据普遍存在的模态缺失和噪声干扰导致生存预测模型可靠性下降的问题,以及现有原型学习方法中原型库与编码器特征空间缺乏对齐、标准交叉注意力在噪声条件下补偿特征质量退化等挑战;本发明方法显著提升了多模态与单模态设置下癌症生存预测的准确性与鲁棒性。

2、本发明的技术方案是:一种基于差分原型记忆库的鲁棒多模态癌症生存预测方法,所述方法包括:

3、step1、对病理数据和基因组数据分别进行特征编码,得到病理编码特征和基因组编码特征;

4、step2、为病理数据和基因组数据分别构建原型记忆库,通过分数加权残差累积将当前样本的编码特征持续累积到原型记忆库中,使原型记忆库持续追踪编码器特征空间;

5、step3、当存在缺失模态时,以可用模态的编码特征作为查询,以缺失模态的原型记忆库作为键和值,通过差分原型注意力生成缺失模态的补偿特征;

6、step4、根据输入模态的完整情况,对各模态的编码特征与补偿特征采用相应的融合策略进行融合,得到融合表征;

7、step5、将融合表征输入生存预测头,输出离散时间区间上的风险分数,得到癌症生存预测结果。

8、进一步地,所述step1的具体步骤包括:

9、step1.1、对于病理数据,经图像块切割和特征提取后输入transmil网络进行聚合,得到患者级的病理编码特征;

10、step1.2、对于基因组数据,将其输入snn归一化网络进行特征提取,得到基因组编码特征。

11、进一步地,所述step2的具体步骤包括:

12、step2.1、将原型记忆库设计为独立于优化器的非参数缓冲区,为病理数据和基因组数据分别维护一组原型记忆库,原型记忆库依据生存时间区间划分为若干个分组,每个分组维护若干个原型记忆槽,每个原型记忆槽存储一个特征向量;

13、step2.2、在每次训练迭代中,对当前样本的编码特征和展平后的原型记忆库分别进行l2归一化,计算当前样本编码特征与所有原型记忆槽之间的余弦相似度,得到相似度分数;

14、step2.3、对相似度分数施加top-k稀疏筛选,仅保留相似度最高的k个原型记忆槽,其余置为负无穷,得到稀疏相似度分数;

15、step2.4、对稀疏相似度分数进行softmax归一化得到各原型记忆槽的更新权重,将加权后的增量累积至当前原型记忆库并进行l2归一化,完成本次更新。

16、进一步地,所述step3的具体步骤包括:

17、step3.1、以可用模态的编码特征作为查询,通过查询投影矩阵将查询投影为原维度的两倍,并沿特征维度拆分为两个查询组;

18、step3.2、以缺失模态的原型记忆库展平后作为键和值,分别计算两个查询组对每个原型记忆槽的注意力权重;

19、step3.3、通过一个可学习参数对两组注意力权重作差,得到差分原型注意力权重,使仅被单一查询组关注的原型记忆槽被保留、被两组同等激活的噪声驱动响应相互抵消;

20、step3.4、以差分原型注意力权重为权重对值进行加权求和,得到缺失模态的补偿特征;当两个模态均可用时,两个模态互相查询对方的原型记忆库,分别得到各自的语义增强后的模态平均特征。

21、进一步地,所述step4的具体步骤包括:

22、step4.1、当某一模态缺失时,将可用模态的编码特征与该缺失模态的补偿特征沿特征维度拼接后输入特征融合网络,得到融合特征;

23、step4.2、当两个模态均可用时,将每个模态的编码特征与其对应的语义增强特征相加取平均,得到语义增强后的模态平均特征,再将两个模态平均特征拼接后输入特征融合网络,得到融合特征。

24、进一步地,所述step5的具体步骤包括:

25、step5.1、将融合特征经生存预测头的权重矩阵映射为离散时间区间上的风险逻辑值;

26、step5.2、对风险逻辑值应用sigmoid函数得到各时间区间内发生死亡事件的风险率;

27、step5.3、对各时间区间的风险率进行累积连乘得到各时间点的生存概率,并将各时间点生存概率之和取负作为最终的风险分数。

28、进一步地,所述step2.2-step2.4中,当原型记忆库为病理模态原型记忆库时,具体包括:

29、s2.2、将病理模态原型记忆库展平为,其中为原型记忆槽的总数,为分组的数量,为每个分组的原型记忆槽数量,为特征维度;对当前样本的病理编码特征和分别进行l2归一化得到和,计算当前样本编码特征与第个原型记忆槽之间的余弦相似度:

30、

31、其中,表示当前样本编码特征与第个原型记忆槽之间的余弦相似度,表示第个原型记忆槽的l2归一化表示;

32、s2.3、对相似度分数施加top-k稀疏筛选,仅保留相似度最高的个原型记忆槽,得到稀疏相似度分数:

33、

34、s2.4、对稀疏相似度分数进行softmax归一化,得到各原型记忆槽的更新权重:

35、

36、其中,稀疏筛选之外的原型记忆槽因使其权重自动趋于零,从而保证仅有相似度最高的个原型记忆槽参与更新;最后,将加权增量累积至当前原型记忆库并进行l2归一化以完成本次更新:

37、

38、基因组模态原型记忆库采用与上述完全相同的更新机制。

39、进一步地,所述step3中,当原型记忆库为基因组模态缺失时,具体包括:

40、s3.1、以病理编码特征作为查询,以展平后的基因组原型记忆库作为键和值;通过查询投影矩阵将查询投影为原维度两倍并拆分为两个查询组:

41、

42、其中,为注意力头数,为每个头的维度;

43、s3.2、键和值经共享投影后,分别与两个查询组计算注意力权重:

44、

45、

46、其中,和分别为两个查询组对第个原型记忆槽的注意力权重;

47、s3.3、通过可学习参数对两组注意力权重作差,得到第个原型记忆槽的差分原型注意力权重:

48、

49、由于两个查询组共享同一被噪声扰动的查询,噪声驱动的激活在两组中同等出现并落入被抵消的分量,最终权重集中于少数占主导的原型记忆槽;

50、s3.4、以差分原型注意力权重为权重对值进行加权求和,得到基因组模态的补偿特征:

51、

52、其中,为第个原型记忆槽的特征向量;当病理模态缺失时,以基因组编码特征查询病理原型记忆库,采用对称方式得到病理模态的补偿特征。

53、进一步地,所述 step4 的具体实现包括,

54、s4.1、当基因组模态缺失时,将病理编码特征与基因组补偿特征沿特征维度拼接后输入特征融合网络,得到融合特征:

55、

56、其中,和为可学习权重矩阵,表示沿特征维度的拼接操作;当病理模态缺失时,采用对称的融合策略,以病理补偿特征和基因组编码特征作为输入;

57、s4.2、当两个模态均可用时,将每个模态的编码特征与其对应的语义增强特征相加取平均,得到语义增强后的模态平均特征和:

58、

59、再将两个语义增强后的模态平均特征沿特征维度拼接后输入特征融合网络,得到融合特征:

60、。

61、进一步地,所述 step5 的具体实现包括,

62、s5.1、将融合表征 $h_{fused}$ 经生存预测头的权重矩阵映射为离散时间区间上的风险逻辑值:

63、

64、其中,为预测头的权重矩阵,为离散化时间区间的数量,为风险逻辑值;

65、s5.2、通过 sigmoid 函数将风险逻辑值转换为各时间区间的风险率:

66、

67、其中,表示 sigmoid 函数,为第个时间区间内发生死亡事件的概率;

68、s5.3、通过累积连乘计算各时间点的生存概率,并将各时间点生存概率之和取负作为最终的风险分数:

69、

70、

71、其中,表示患者生存超过第个时间区间的概率,为最终预测的风险分数。

72、本发明还提供一种基于差分原型记忆库的鲁棒多模态癌症生存预测系统,所述系统包括:用于执行所述的基于差分原型记忆库的鲁棒多模态癌症生存预测方法的模块。

73、本发明还提供一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述程序时实现所述的基于差分原型记忆库的鲁棒多模态癌症生存预测方法。

74、本发明的有益效果是:

75、1、本发明将原型库重构为独立于优化器的非参数原型记忆库,并通过分数加权残差累积机制使原型记忆库直接吸收编码器特征、持续追踪编码器特征空间的变化,从而建立起原型库与编码器特征空间之间显式的对齐机制,克服了现有方法中原型库与编码器特征空间之间持续存在偏差并在训练中不断累积的问题。

76、2、本发明受差分transformer启发设计了差分原型注意力,通过将查询投影并拆分为两个查询组、对两组注意力权重作差,使被两组同等激活的噪声驱动响应相互抵消、被单一查询组关注的信息得以保留,使注意力权重集中于少数占主导的原型记忆槽,从而缓解了补偿特征生成对噪声扰动的敏感性,提升了含噪条件下模型预测的鲁棒性。

77、3、本发明在4个真实癌症数据集上与14种基线方法进行对比,本发明在多模态与单模态设置下均取得优异的生存预测性能;原型对齐质量分析验证了编码器对齐的原型记忆库的有效性,注意力权重分布可视化与噪声扰动鲁棒性分析共同验证了差分原型注意力的抗噪能力,模态缺失鲁棒性分析进一步验证了本发明框架的鲁棒性。