基于双线性大语言模型的异质图学习药物重定位方法及系统

摘要: 本发明属于生物信息学和药物重定位,具体涉及一种基于双线性大语言模型的异质图学习药物重定位方法及系统,适用于利用已有药物发现新适应症的计算机辅助药物筛选场景。背景...
基于双线性大语言模型的异质图学习药物重定位方法及系统

本发明属于生物信息学和药物重定位,具体涉及一种基于双线性大语言模型的异质图学习药物重定位方法及系统,适用于利用已有药物发现新适应症的计算机辅助药物筛选场景。

背景技术:

1、药物重定位(drug repositioning),也称为药物重利用或老药新用,是指发现已有药物(包括已上市药物、临床试验阶段药物或候选化合物)的新治疗适应症的过程。与传统的从头药物研发相比,药物重定位具有成本低、周期短、风险小等显著优势,已成为药物研发领域的重要方向。据统计,成功获批的药物中有相当比例是通过重定位策略发现的,典型的成功案例包括沙利度胺重新用于多发性骨髓瘤治疗、西地那非从心血管适应症转向勃起功能障碍治疗等。

2、随着生物医学数据的快速增长,基于计算方法的药物重定位技术受到了广泛关注。现有的计算方法主要可分为以下几类:

3、第一类是基于相似性度量的方法。该类方法的核心假设是:相似的药物倾向于具有相似的治疗适应症,相似的疾病倾向于由相似的药物所治疗。通过计算药物之间的结构相似性、作用靶点相似性或者副作用相似性,以及疾病之间的表型相似性、基因关联相似性,建立药物—疾病之间的关联预测。然而,该类方法严重依赖于相似性计算的准确性,且难以捕捉药物与疾病之间的非线性关联模式。

4、第二类是基于网络扩散的方法。该类方法将药物和疾病作为网络中的节点,将已知的药物—疾病关联、药物—药物相似性和疾病—疾病相似性作为边,构建异质网络,然后通过网络传播或随机游走算法预测未知的药物—疾病关联。代表性方法包括nrwrh、drrs等。然而,该类方法通常面临药物—疾病关联网络极度稀疏的问题,已知的药物—疾病关联数量远小于潜在的药物—疾病配对数量,导致网络传播过程中信号衰减严重,预测性能受到制约。

5、第三类是基于矩阵分解和机器学习的方法。该类方法将药物—疾病关联预测建模为矩阵补全或分类问题,利用药物特征和疾病特征进行预测。近年来,图神经网络方法被引入药物重定位领域,通过在图结构上进行消息传播来学习药物和疾病的表示。然而,现有图神经网络方法存在以下不足:

6、(1)药物和疾病的初始特征通常采用随机初始化或基于相似矩阵的特征,未能充分利用药物机制描述和疾病表型描述中蕴含的丰富语义信息。药物文本描述中包含药理学机制、适应症、副作用等重要信息,疾病文本描述中包含病理过程、临床症状、分子机制等信息,这些信息对于药物重定位预测具有重要价值,但现有方法未能有效利用。

7、(2)药物—疾病关联数据存在严重的正负样本不平衡问题。已知的药物—疾病正关联数量极为有限,而未知配对的负样本数量巨大,导致模型训练时偏向于负样本预测,影响正样本的召回率。

8、(3)现有方法大多采用简单的内积或固定相似度函数计算药物与疾病之间的匹配程度,难以刻画疾病特异性的药物匹配关系。不同的疾病可能涉及不同的生物学通路和分子机制,对药物的要求也不同,一种固定的相似度度量无法适应不同疾病的特异性需求。

9、(4)图神经网络中的邻域信息聚合通常仅考虑一阶邻居,对高阶拓扑信息的利用不足,且不同跳数的邻域信息对最终节点表示的贡献被等同对待,未能实现自适应融合。

10、针对上述问题,本发明提出了一种基于双线性大语言模型的异质图学习药物重定位方法及系统。

技术实现思路

1、本发明的目的在于克服现有技术的不足,提供一种基于双线性大语言模型的异质图学习药物重定位方法及系统,通过引入大语言模型提取药物和疾病的深层语义信息,构建融合多种关系的异质图进行多跳消息传播,并采用双线性评分函数实现疾病特异性的药物匹配,从而提高稀疏关联网络中的候选药物识别和排序能力。

2、为实现上述目的,本发明采用以下技术手段:

3、一种基于双线性大语言模型的异质图学习药物重定位方法,包括以下步骤:

4、步骤一:获取药物文本描述、疾病文本描述、药物相似矩阵、疾病相似矩阵和已知药物—疾病关联数据;

5、步骤二:将药物文本描述和疾病文本描述分别输入预训练大语言模型,提取药物语义向量和疾病语义向量,并对提取的语义向量依次进行归一化、降维和特征映射,获得初始药物节点表示和初始疾病节点表示;

6、步骤三:根据药物相似矩阵构建药物相似图,根据疾病相似矩阵构建疾病相似图,并根据训练集中的已知药物—疾病关联构建药物—疾病二部图;所述药物相似图、疾病相似图和药物—疾病二部图构成异质图;

7、步骤四:在所述异质图中进行多跳消息传播,分别融合节点自身语义信息、一阶邻域信息和高阶邻域信息,得到药物的最终表示和疾病的最终表示;

8、步骤五:利用双线性评分函数计算候选药物与目标疾病之间的关联分数,并通过激活函数将所述关联分数转换为关联概率;

9、步骤六:采用加权二元交叉熵损失与排序损失联合训练模型,根据训练后的模型输出目标疾病对应的候选药物排序列表。

10、作为优选地,步骤二中所述归一化为l2归一化,所述降维通过dropout层实现,所述特征映射通过线性投影层实现,并在线性投影后应用层归一化。

11、作为优选地,步骤三中所述药物相似图采用k近邻策略构建,为每个药物节点保留相似度最高的k个药物邻居,得到二值k近邻邻接矩阵;所述疾病相似图采用k近邻策略构建,为每个疾病节点保留相似度最高的k个疾病邻居,得到二值k近邻邻接矩阵;并且在训练过程中对所述二值k近邻邻接矩阵应用dropedge进行随机丢弃。

12、作为优选地,步骤四中所述多跳消息传播包括:

13、对于药物节点,一跳表示为:;

14、对于疾病节点,一跳表示为:;

15、其中,和分别表示初始药物节点表示和初始疾病节点表示,表示药物相似图的邻接矩阵,表示疾病相似图的邻接矩阵,表示药物到疾病的关联矩阵,表示疾病到药物的关联矩阵,、、、为可学习的权重矩阵。

16、作为优选地,步骤四中所述高阶邻域信息包括二跳表示:

17、对于药物节点,二跳表示为:;

18、对于疾病节点,二跳表示为:;

19、其中,、、、为可学习的权重矩阵。

20、作为优选地,步骤四中采用自适应多跳融合获得最终表示:设置可学习权重向量和,通过softmax函数将可学习权重向量转换为归一化权重和,将零跳表示、一跳表示和二跳表示的加权和经elu激活后作为最终表示:

21、;

22、;

23、其中,表示药物的最终表示,表示疾病的最终表示。

24、作为优选地,步骤五中所述双线性评分函数的表达式为:,其中,为第i个药物,为药物的表征,为第j个疾病,为疾病的表征,为可学习双线性权重矩阵,为药物i与疾病j的匹配得分;所述关联概率通过sigmoid函数计算:。

25、作为优选地,步骤六中所述加权二元交叉熵损失为:

26、;

27、其中,表示mini-batch,表示正样本权重,表示药物与疾病是否存在已知关联;

28、所述排序损失为:

29、;

30、其中,包含正样本得分为与负样本得分为的配对的集合,表示间隔超参数;

31、总损失函数为:,其中表示排序损失权重。

32、作为优选地,步骤六中所述联合训练模型还包括:保留验证集上aupr最高的三个模型状态,对所述三个模型状态的预测概率进行平均作为集成预测结果。

33、一种基于双线性大语言模型的异质图学习药物重定位系统,用于执行如上述所述的方法,包括:

34、数据获取模块,用于获取药物文本描述、疾病文本描述、药物相似矩阵、疾病相似矩阵和已知药物—疾病关联数据;

35、语义表示模块,用于利用预训练大语言模型生成药物语义向量和疾病语义向量,并进行归一化、降维和特征映射;

36、异质图构建模块,用于根据药物相似矩阵构建药物相似图,根据疾病相似矩阵构建疾病相似图,并根据训练集中的已知关联构建药物—疾病二部图;

37、图表示学习模块,用于在异质图中进行多跳消息传播和自适应特征融合,得到药物和疾病的最终表示;

38、双线性预测模块,用于利用双线性评分函数计算候选药物与目标疾病之间的关联概率;

39、联合优化模块,用于采用加权二元交叉熵损失与排序损失联合训练模型;

40、候选输出模块,用于按关联概率从高到低输出目标疾病对应的候选药物排序列表;

41、所述数据获取模块、语义表示模块、异质图构建模块、图表示学习模块、双线性预测模块、联合优化模块和候选输出模块依次连接。

42、本发明具有以下有益效果:

43、1.充分挖掘生物医学文本语义信息,显著提升预测性能

44、本发明首次将预训练大语言模型引入异质图学习框架,通过掩码平均池化提取药物药理学描述、机制信息和疾病表型描述、病理描述中的深层语义特征,并经过l2归一化、dropout、线性投影和层归一化生成富含生物医学先验知识的节点初始表示。消融实验表明,去除大语言模型语义特征后,预测性能大幅下降,充分证明了大语言模型语义特征对预测性能的决定性贡献。相比现有方法采用随机初始化或基于相似矩阵的简单特征,本发明能够从非结构化文本中提取结构化知识,有效缓解了药物—疾病关联网络稀疏导致的冷启动问题。

45、2.构建多关系异质图并实现多跳自适应融合,充分捕获高阶拓扑结构

46、本发明构建了包含药物相似图、疾病相似图和药物—疾病二部图三类关系的异质图,通过k近邻策略和dropedge正则化构建高质量同质图,并执行零跳、一跳和二跳消息传播,使节点表示同时编码自身语义、一阶邻域和高阶邻域信息。创新性地引入可学习权重向量,通过softmax自适应融合不同跳数的表示,使模型能够根据数据特点自动平衡各跳信息的贡献。相比现有图神经网络固定聚合方式,自适应融合机制避免了人工调参的繁琐,使模型在不同数据集上均能获得最优表征,且dropedge正则化进一步增强了模型的泛化能力。

47、3.采用双线性评分函数,实现疾病特异性的药物匹配

48、本发明采用双线性变换代替传统的内积或固定相似度函数。可学习的双线性权重矩阵能够根据不同的疾病查询动态调整药物特征的投影方向,刻画疾病特异性的药物匹配关系。查询空间可视化结果验证了这一机制——已知关联药物和高评分预测候选药物紧密聚集于疾病查询点附近,而背景药物则远离查询点,表明双线性变换有效形成了面向目标疾病的候选药物排序空间,解决了现有方法中一种固定相似度无法适应不同疾病特异性需求的技术难题。

49、4.联合优化分类损失与排序损失,兼顾正样本召回和候选排序质量

50、针对药物重定位数据正负样本极端不平衡的问题,本发明设计了加权二元交叉熵损失与基于间隔的排序损失的联合优化框架。正样本权重有效缓解了模型对负样本的偏向,排序损失通过约束正样本得分高于负样本至少一定间隔直接优化排序性能。实验结果表明,本发明既具备极高置信度的候选筛选能力,又兼具广泛的候选召回能力,在不同排序深度下均保持优越性能。

51、5.整体预测性能显著优于现有方法

52、在两个基准数据集上的十折交叉验证结果表明,本发明在auc和aupr两项核心评价指标上均显著优于现有代表性方法,证明了本发明在不同数据分布下的稳定优越性。随机种子稳定性分析显示模型对随机初始化和数据划分具有良好鲁棒性,三模型集成预测策略进一步提高了预测稳定性。

53、6.预测结果具有生物学可解释性和机制合理性

54、本发明不仅输出候选药物排序列表,还通过分子对接分析考察药物与靶蛋白的结构兼容性,通过功能富集分析揭示候选药物相关基因富集于脂质代谢、花生四烯酸代谢、gpcr信号、细胞因子信号等疾病相关通路,为预测结果提供了分子层面的机制支持。以哮喘为目标疾病的实例验证表明,已知哮喘药物均被排在前列,同时产出了无直接证据支持的新候选假设,证明了本发明兼具已知关联恢复能力和新知识发现能力。

55、7.工业实用性强,应用范围广泛

56、本发明提供的方法和系统可部署于通用计算设备,适用于制药企业药物库重定位筛选、罕见病药物快速发现、药物安全性评价、个性化用药指导及生物医学研究等多个场景。方法流程清晰、模块化程度高,具有良好的可扩展性和可复现性,具备显著的工业应用前景。