面向异构生物医学数据和门控跨模态融合的风险预测系统

本申请涉及人工智能与生物医学信息融合，特别是涉及面向异构生物医学数据和门控跨模态融合的风险预测系统。

背景技术：

1、在生物医学研究与临床决策中，单一数据模态往往只能提供片面的生物学证据。例如，组织病理全切片图像（wsi）能够直接观察组织形态与空间表型，但无法揭示分子层面的驱动机制；转录组学数据能够反映基因调控与通路扰动，却缺乏空间与形态学上下文。因此，多模态信息融合已成为计算生物学与精准医学的核心需求。在药物性肝损伤预测领域，现有融合研究多集中于化合物级别，即将化学结构描述符与体外生物测定数据或基因表达谱进行整合，以预测化合物的整体毒性风险。然而，化合物级融合无法区分同一化合物在不同个体或处理条件下产生的异质性损伤响应，也难以利用严格配对的组织病理与分子数据。样本级别的组织病理全切片图像与转录组学数据融合能够直接关联特定样本的空间形态表型与分子驱动机制，为药物性肝损伤提供更精细的证据。但实现此类样本级融合面临根本性障碍：全切片图像表现为数千个图像块的包结构，而转录组学表现为高维基因表达向量，两者在维度规模、噪声结构及语义内容上存在本质异构性——前者承载空间形态表型信息，后者承载通路级分子机制信息。现有融合策略主要分为三类：早期融合（earlyfusion）：在输入层或特征层将不同模态的特征进行简单拼接。该方法实现简单，但将异构表征视为同质数据，未显式建模模态间交互，难以处理维度差异与噪声结构不均的问题。晚期融合（late fusion）：各模态独立训练分类器，在决策层对预测结果进行投票或加权平均。该方法保留了模态独立性，但丢失了表征层面的互补信息，且无法处理样本级别的模态间表型-机制不对齐。混合融合（hybrid fusion）：在表征层面引入交叉注意力、门控残差等机制进行跨模态交互。近年来，此类方法在生物医学多模态学习中逐渐成为主流，因其能够建模样本特定的模态可靠性与部分不对齐。然而，现有混合融合方法在应用于高度异构的生物医学数据（如 wsi 与转录组）时，仍面临以下瓶颈：

2、（1）表征粒度与预测目标不匹配。 现有方法常将细粒度特征（如 patch 级图像特征或基因级表达值）直接输入融合模块，导致融合空间被高维异构噪声主导，样本级决策不稳定。亟需一种能够将各模态蒸馏为单一、紧凑、融合就绪的样本级向量的编码架构，以弥合wsi包结构与转录组向量之间的维度鸿沟。

3、（2）模态间可靠性差异与噪声异构。wsi中正常组织占比高、病变信号稀疏，转录组中基因表达受批次效应与技术噪声影响。不同样本中，两种模态的预测可靠性差异显著。现有融合方法缺乏样本自适应的可靠性平衡机制，容易在某一模态噪声较大时被其误导。

4、（3）表型-机制的非均匀对齐。 病理表型与分子机制提供互补证据，但并非在所有样本中均匀对齐。某些药物性损伤在形态上显著但基因表达变化微弱，或基因通路扰动强烈而形态改变不明显，呈现样本特定的表型-机制非对称现象。这种动态不对齐使得早期融合的特征拼接无法处理异构噪声，而晚期融合的决策层投票又丢失了表征层面的互补修正信息，导致融合性能受限。

5、（4）知识驱动的机制可解释性缺失。 现有转录组编码器多基于纯数据驱动的transformer或cnn，虽能捕捉统计关联，但容易强化虚假的基因共表达，忽略生物学通路先验。在药物安全性评价等监管场景中，模型的机制可解释性与生物学合理性至关重要。

技术实现思路

1、为了解决现有技术的不足，本申请提供了面向异构生物医学数据和门控跨模态融合的风险预测系统；以解决现有技术中存在的以下问题：异构模态数据维度差异大、噪声结构不同，难以在共享空间中对齐；不同样本中各模态的预测可靠性差异显著，固定融合策略易受单一模态噪声误导；表型与机制在样本级别非均匀对齐，简单拼接或晚期融合无法处理动态不对齐；现有转录组编码器缺乏生物学先验引导，输出表征的机制可解释性不足；现有融合架构未将编码器与融合模块进行端到端协同优化，导致编码器输出并非“融合就绪”。本申请是一种能够同时解决表征对齐、自适应可靠性平衡、样本级动态融合与生物学可解释性的多模态融合技术。

2、面向异构生物医学数据和门控跨模态融合的风险预测系统，包括：

3、获取模块，其被配置为：获取待预测组织样本的全切片病理图像以及转录组学数据，对全切片病理图像以及转录组学数据分别进行特征提取与蒸馏，得到每种模态的样本级表征；

4、共享空间投影模块，其被配置为：将各种模态的样本级表征通过线性投影映射到同一共享融合空间，得到投影后的各模态原始表征；

5、双向跨模态交互模块，其被配置为：将投影后的各模态原始表征输入依次连接的两个双向交互块进行跨模态信息交换，最后一个双向交互块输出到各模态的最终增强表征；

6、全局门控融合模块，其被配置为：通过全局标量门控对各模态的最终增强表征进行自适应融合，生成融合表征；

7、预测模块，其被配置为：将所述融合表征输入分类器，输出待预测组织样本的风险预测结果。

8、与现有技术相比，本申请具有以下有益效果：

9、1. 融合就绪的样本级表征设计：各模态编码器将高维异构输入（数千个图像块或数千个基因）蒸馏为单一、紧凑、固定维度的样本级向量，使融合模块在稳定低维空间中操作，避免了细粒度特征直接融合带来的维度灾难与噪声干扰。

10、2. 双向门控交互实现样本自适应融合：通过元素级门控（块内）与全局标量门控（块间）的两级门控机制，模型能够根据样本特定的模态可靠性，自适应地平衡原始表征与跨模态迁移特征。当某一模态在特定样本中噪声较大或信息不足时，门控机制自动降低其跨模态影响，保留另一模态的可靠证据。

11、3. 表征级融合优于决策级融合：与晚期融合（预测投票）相比，本申请在表征层面进行双向上下文交换，能够处理模态间的样本级表型-机制不对齐。实验表明，当图像分支与基因分支在概率层面存在分歧时，表征级门控融合仍能通过互补线索实现高于任一单模态的准确率。

12、4. 知识引导提升机制可解释性：通过将kegg通路共成员关系与string蛋白互作关系构建为混合知识图谱，并以软门控方式注入 transformer，转录组编码器不仅输出预测性表征，还保留了通路级的生物学语义，支持后续的药物作用机制解释与监管审计。

13、5. 端到端协同优化：整个系统以融合交叉熵损失为唯一目标函数进行端到端训练，梯度同时回传至病理编码器与转录组编码器，促使两者从初始随机状态即朝着“互相informative”的方向优化，而非各自独立训练后的强行拼接。

1.面向异构生物医学数据和门控跨模态融合的风险预测系统，其特征在于，包括：

2.如权利要求1所述的面向异构生物医学数据和门控跨模态融合的风险预测系统，其特征在于，所述对全切片病理图像以及转录组学数据分别进行特征提取与蒸馏，其中，对转录组学数据进行特征提取与蒸馏是通过知识引导转录组编码网络来实现的；所述知识引导转录组编码网络，包括：依次连接的混合知识图谱构建模块、图偏置注意力模块、图传播层和前馈精炼层；

3.如权利要求2所述的面向异构生物医学数据和门控跨模态融合的风险预测系统，其特征在于，所述混合知识图谱构建模块，用于：

4.如权利要求2所述的面向异构生物医学数据和门控跨模态融合的风险预测系统，其特征在于，所述图偏置注意力模块堆叠l=3层多头自注意力；在第层，基因对基因的注意力分数计算为：

5.如权利要求2所述的面向异构生物医学数据和门控跨模态融合的风险预测系统，其特征在于，所述图传播层，用于将图传播项注入表征：

6.如权利要求1所述的面向异构生物医学数据和门控跨模态融合的风险预测系统，其特征在于，所述将各种模态的样本级表征通过线性投影映射到同一共享融合空间，得到投影后的各模态原始表征，具体包括：

7.如权利要求1所述的面向异构生物医学数据和门控跨模态融合的风险预测系统，其特征在于，所述双向交互块，包括：

8.如权利要求7所述的面向异构生物医学数据和门控跨模态融合的风险预测系统，其特征在于，所述跨模态投影层，包括：

9.如权利要求7所述的面向异构生物医学数据和门控跨模态融合的风险预测系统，其特征在于，所述残差更新与层归一化层，包括：

10.如权利要求7所述的面向异构生物医学数据和门控跨模态融合的风险预测系统，其特征在于，所述通过全局标量门控对各模态的最终增强表征进行自适应融合，生成融合表征，具体包括：