用于分子图结构数据预测任务的门控双通道注意力学习方法
本发明属于图神经网络、注意力机制与分子图结构数据学习领域,具体涉及一种用于分子图结构数据预测任务的门控双通道注意力学习方法。
背景技术:
1、随着分子性质预测、材料性能评估、药物筛选等任务对分子图结构数据建模需求的提升,图注意力网络(graph attention network,gat)因具备基于邻域重要性自适应聚合的优势而得到了广泛的应用与研究。
2、然而,现有的图注意力网络通常采用单一路径的查询q、键k、值v、输出o投影矩阵来计算注意力权重并完成信息聚合,难以同时刻画同一分子图中不同作用力或不同关系类型在相似性度量与信息传递范围上的差异。
3、此外,在涉及多种相互作用力的图场景中,不同作用力对节点聚合的贡献通常存在显著差异,且该差异应当随着节点状态与上下文自适应变化;若为每种作用力完全独立复制、、、投影,则会导致模型参数量显著增加、训练不稳定或易过拟合。
4、因此,亟需一种能够在提升多作用力表达能力的同时有效控制参数规模,并能够结合结构先验约束与自适应融合机制的图注意力表征方案。
技术实现思路
1、本发明的主要目的在于,提供一种用于分子图结构数据预测任务的门控双通道注意力学习方法,该方法根据化学键边关系信息,在共价键作用力与至少一种非键作用力通道下分别构建独立的查询投影与键投影以进行差异化相似性度量,同时对各通道共享值投影与输出投影以控制参数规模,并引入门控网络对各通道聚合结果进行自适应加权融合,且结合按通道构造的边掩码约束,实现分子结构先验与可学习注意力的结合,以输出分子理化性质图级预测结果。
2、为了实现上述目的,本发明所采用的技术方案如下:
3、第一方面,本发明提供一种用于分子图结构数据预测任务的门控双通道注意力学习方法,该方法包括:
4、获取分子图结构数据的原子节点特征信息及化学键边关系信息,并根据化学键边关系信息和预设的共价键作用力类型与至少一种非键作用力类型,构造对应的多作用力边掩码矩阵;
5、构建门控esa主干网络,所述门控esa主干网络由门控自注意力层与门控聚合层堆叠构成且末端为门控聚合层;
6、在门控自注意力层中,为共价键作用力类型和所述至少一种非键作用力类型分别构建独立的查询投影矩阵和键投影矩阵,并构建所有作用力类型共享的值投影矩阵和输出投影矩阵;基于各作用力类型对应的查询投影矩阵与键投影矩阵计算注意力得分,并在所述多作用力边掩码矩阵约束下得到各作用力类型的注意力权重;利用注意力权重对共享的值投影矩阵输出的共享值向量进行加权聚合,得到各作用力类型的中间聚合输出;通过门控网络生成各作用力类型的门控系数,将各作用力类型的中间聚合输出分别与对应的门控系数相乘后求和,将求和结果经共享的输出投影矩阵进行映射,得到更新后的原子节点表示特征;
7、在门控聚合层中,接收上一层的原子节点表示特征,通过门控pma种子聚合机制,将原子节点集合映射为固定数量的图级种子表示;
8、将图级种子表示输入图级预测输出头,得到分子图结构数据对应的分子理化性质图级预测结果。
9、在一个实施方式中,多作用力边掩码矩阵针对不同作用力类型设定不同的结构约束条件,其中共价键作用力类型的边掩码矩阵限定信息传递仅在所述边关系信息所限定的边集合范围内进行,非键作用力类型的边掩码矩阵设定信息传递在同一分子图结构数据内的全部真实原子节点之间进行全连接,非键作用力类型包括范德华力或静电作用力。
10、在一个实施方式中,对原子节点特征信息进行编码生成原子节点隐藏表示,包括:
11、为原子节点特征附加结构位置编码,所述结构位置编码为拉普拉斯位置编码或随机游走结构编码;将附加结构位置编码后的原子节点特征经多层感知机映射至目标隐藏维度,得到原子节点隐藏表示;对于批处理场景,将不同规模的分子图补齐对齐为统一的稠密张量。
12、在一个实施方式中,门控自注意力层的处理步骤包括:
13、对于第
i种作用力类型,将原子节点隐藏表示分别与查询投影矩阵和键投影矩阵相乘,得到该作用力类型的查询向量和键向量,并将原子节点隐藏表示与共享的值投影矩阵相乘,得到共享值向量;
14、将查询向量和键向量按多头方式拆分后计算注意力得分,并在对应的多作用力边掩码矩阵的约束下,对未连接位置施加负无穷掩码,经归一化处理得到该作用力类型的注意力权重;
15、利用注意力权重对共享值向量进行加权聚合,得到该作用力类型的中间聚合输出;
16、将原子节点隐藏表示输入门控网络生成该作用力类型的门控系数,并与中间聚合输出相乘得到该作用力类型的门控输出;
17、最后对所有作用力类型的门控输出求和,并将求和结果经共享的输出投影矩阵进行映射,得到更新后的原子节点表示特征。
18、在一个实施方式中,门控pma种子聚合机制包括:
19、引入k个可学习的种子向量;
20、针对多种作用力类型,分别构建独立的查询投影矩阵和键投影矩阵,以种子向量经查询投影作为查询端,以原子节点表示特征经键投影作为键端,以原子节点表示特征经共享的值投影矩阵映射后得到的共享值向量作为值端,执行交叉注意力聚合,得到各作用力类型下的k个种子聚合特征;
21、利用种子级门控网络生成对应作用力类型的门控系数,对所述k个种子聚合特征进行门控加权融合,得到图级种子表示。
22、在一个实施方式中,门控esa主干网络由多个门控esa层堆叠形成,每个门控esa层被配置为门控自注意力层或门控聚合层,且最后一层门控esa层为门控聚合层;门控自注意力层和门控聚合层内的注意力子层之后均连接有前馈多层感知机子层,且相邻层间采用前归一化或后归一化结构。
23、在一个实施方式中,当图级预测任务为回归任务时,图级预测输出头映射输出回归数值;当图级预测任务为分类任务时,图级预测输出头映射输出分类预测概率。
24、在一个实施方式中,该方法还包括:
25、在前向传播过程中,收集门控自注意力层和门控聚合层中各节点或各种子对应各作用力类型的门控系数,构建多维度门控权重张量;
26、基于多维度门控权重张量,分别按通道、按节点或种子、以及按网络层进行汇总分析,得到各作用力类型的贡献排序、关键节点或种子的贡献程度,以及不同网络层之间的贡献变化趋势。
27、第二方面,本发明提供一种计算机装置/设备/系统,包括存储器、处理器及存储在存储器上的计算机程序,所述处理器执行所述计算机程序以实现第一方面所述方法的步骤。
28、第三方面,本发明提供一种计算机可读存储介质,其上存储有计算机程序/指令,该计算机程序/指令被处理器执行时实现第一方面所述方法的步骤。
29、总体而言,通过本发明所构思的以上技术方案与现有技术相比,能够取得以下有益效果:
30、本发明通过根据化学键边关系信息,为多种作用力类型分别构建独立的查询投影矩阵和键投影矩阵,实现了针对不同作用力信息的差异化相似性度量,同时通过构建所有作用力类型共享的值投影矩阵和输出投影矩阵,有效控制了模型参数规模并提升了训练数值稳定性;通过门控网络自适应生成各作用力类型的门控系数并与中间聚合输出相乘后求和,实现了多作用力贡献的动态加权融合。此外,主干网络采用门控自注意力层与门控聚合层交替堆叠的架构,在深层特征抽象的同时兼顾了节点级更新与图级表征的顺畅过渡,配合门控pma种子聚合机制将不同规模的原子节点集合高效映射为固定数量的图级种子表示,有效支撑了不同规模分子图数据下的分子理化性质图级预测任务,显著提升了模型的表征能力与处理效率。
31、进一步的,本发明通过为不同作用力类型构建具有差异化约束条件的多作用力边掩码矩阵,将局部边集合传播约束与同一分子图内全部真实原子节点全连接约束有机结合,既保留了分子图结构的局部拓扑先验,又扩展了对长程非局部交互作用的支持,从而有效抑制了无效或噪声连接对注意力计算的影响,提升了信息传递的针对性与模型的可解释性。
32、进一步的,本发明在不引入额外解释模型的前提下,通过在模型前向传播过程中收集门控自注意力层和门控聚合层中各节点或各种子对应各作用力类型的门控系数,构建多维度门控权重张量,并支持按作用力通道、按节点或种子、以及按网络层级进行多维度汇总与可视化分析,直观展示不同作用力类型的贡献排序、关键原子节点或种子的贡献程度,以及不同网络层之间的贡献变化趋势,为模型的内部决策逻辑提供了可靠、可追溯的定量解释依据。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com