一种神经网络多任务训练方法、系统及推理方法与流程
本技术主要涉及人工智能与机器学习领域,具体涉及一种神经网络多任务训练方法、系统及推理方法。
背景技术:
1、现有技术中,神经网络训练方案已尝试引入多序列比对msa来源的共进化信息以增强序列表征能力,以msa transformer为例,其直接以msa为输入,通过行列交错注意力在比对上做掩码语言建模,在接触预测等任务上表现突出;结构预测管线中的msa生成/补全方案以及共进化辅助突变筛选、序列-结构协同生成等方案则分别面向下游任务场景利用共进化信息。
2、然而,msa transformer推理阶段必须依赖msa输入,在浅/缺失msa场景下性能显著下降,推理成本高且适用场景受限;且msa生成补全、共进化辅助突变筛选等下游应用层面方案未涉及神经网络训练阶段的损失调度设计,无法直接解决预训练阶段共进化信号自适应注入的问题。
技术实现思路
1、本发明的核心目的是克服现有技术的上述缺陷,提供一种神经网络多任务训练方法、系统及推理方法,在神经网络多任务训练阶段充分利用深msa的共进化信号,同时避免浅msa/孤儿序列上固定协变权重带来的训练不稳定与跨深度档间指标离散过大,并在预训练完成后仍保持仅依赖单条查询序列即可推理的效果。
2、第一方面,本技术提供一种神经网络多任务训练方法,包括以下步骤:
3、s1:获取蛋白样本查询序列及其对应的多序列比对msa,对多序列比对msa执行质控过滤预处理得到质控后msa,并基于质控后msa确定多序列比对有效深度d;
4、s2:计算质控后msa中所有位点对的协变分数,按协变分数降序排列并选取前个位点对作为协变位点对集合,其中根据查询序列的长度确定;
5、s3:对查询序列执行随机掩码得到掩码后序列,将掩码后序列输入序列编码器,获得查询序列各位点的隐表示,分别计算掩码语言模型损失与协变损失;
6、s4:基于有效深度d按照分段函数计算协变损失权重;
7、s5:将掩码语言模型损失与协变损失按协变损失权重加权求和得到总训练损失,将总训练损失反向传播更新序列编码器的参数;遍历训练语料中的多个蛋白样本,重复步骤s1至步骤s5直至达到预训练的最大轮数或总训练损失在指定轮数内未下降。
8、在一个实施例中,s4中基于有效深度d按照分段函数计算协变损失权重包括:当所述有效深度d低于第一阈值时=0,当所述有效深度d高于第二阈值时取预设饱和值,当所述有效深度d介于所述第一阈值与所述第二阈值之间时随d单调非降。
9、在一个实施例中,所述s4中的协变损失权重为:
10、,
11、其中为第一阈值,为第二阈值,且<。
12、在一个实施例中,s4中分段函数也可以为光滑单调函数与硬门控的叠加形式,即当d低于第一阈值时=0,当d介于第一阈值与第二阈值之间时由光滑单调函数确定,光滑单调函数满足当d趋近于第一阈值时趋近于零、当d趋近于第二阈值时趋近于1且在中间区域单调递增,光滑单调函数包括sigmoid函数或指数饱和函数。
13、在一个实施例中,s5中协变损失为与掩码语言模型损失相互独立的损失支路,协变损失通过最小化所述协变位点对集合内位点对隐表示的余弦距离的平方来计算,使所述协变位点对集合内位点对的隐表示在向量空间中相互靠近。
14、在一个实施例中,s3中协变损失的计算方式为:
15、根据协变位点对集合确定参与计算的位点对数,计算每个位点对(i,j)的损失项,其中和分别为序列编码器最后一层在位点i和位点j的隐表示,为该位点对的协变分数;
16、对所有参与计算的位点对损失项取均值并乘以尺度因子,得到协变损失。
17、在一个实施例中,参与计算的位点对数为协变位点对集合中按协变分数降序排列的前半部分,即,其中,,其中为预设比例系数。
18、在一个实施例中,s3中协变损失通过配对打分头或注意力耦合计算,
19、通过配对打分头计算包括,由配对打分头接收所述序列编码器在位点对和的隐表示和的拼接作为输入,输出该位点对的协变预测分数,所述协变损失为所述协变预测分数与所述位点对的协变分数之间的差异;或
20、通过注意力耦合计算包括,将所述协变位点对集合中位点对的协变分数作为所述序列编码器最后一层的多注意力头平均后的注意力矩阵中对应位置的目标值,所述协变损失为所述注意力矩阵中对应位置的注意力权重与所述协变分数之间的差异。
21、在一个实施例中,s2中协变分数的计算采用互信息mi或经平均乘积校正的互信息mip;对质控后msa中每对位点对(i,j),统计标准氨基酸的联合出现频率矩阵,其中a和b分别表示位点i和位点j上出现的氨基酸种类以及位点i的边缘氨基酸频率和位点j的边缘氨基酸频率,
22、互信息mi为:
23、;
24、经平均乘积校正的互信息mip为:
25、。
26、在一个实施例中,s3中若协变位点对集合中的位点被掩码,则该位点对不参与协变损失计算;或者使用基于上下文推断的隐表示参与协变损失计算。
27、在一个实施例中,所述总训练损失的函数为:,
28、其中,为掩码语言模型损失,为协变损失,为协变损失权重。
29、第二方面,本技术提供一种神经网络多任务推理方法,包括采用上述神经网络多任务训练方法进行预训练,
30、在预训练完成后的所述序列编码器在推理阶段仅接收目标蛋白查询序列作为输入,由所述序列编码器输出所述目标蛋白查询序列中各位置的隐表示作为蛋白质表示。
31、第三方面,本技术提供一种神经网络多任务训练系统,包括:
32、msa预处理模块,用于获取蛋白样本查询序列及其对应的多序列比对msa,对多序列比对msa执行质控过滤预处理得到质控后msa,并基于质控后msa确定多序列比对有效深度d,以及计算质控后msa中所有位点对的协变分数,按协变分数降序排列并选取前位点对作为协变位点对集合,其中根据查询序列的长度确定;
33、序列编码器模块,用于接收执行随机掩码得到掩码后序列并输出各位点的隐表示;
34、双任务损失模块,用于分别计算掩码语言模型损失与协变损失;
35、深度自适应加权模块,用于基于有效深度d按照分段函数计算协变损失权重;将掩码语言模型损失与协变损失按加权求和得到总训练损失,将总训练损失反向传播更新序列编码器的参数。
36、第四方面,本技术提供一种电子设备,包括处理器以及用于存储处理器可执行指令的存储器,处理器执行指令时实现上述神经网络多任务训练方法和上述蛋白质语言模型推理方法的步骤。
37、第五方面,本技术提供一种计算机可读存储介质,其上存储有计算机指令,指令被处理器执行时实现上述神经网络多任务训练和上述蛋白质语言模型推理方法的步骤。
38、第六方面,本技术提供一种计算机程序产品,包括计算机程序或指令,计算机程序或指令被处理器执行时实现上述神经网络多任务训练方法和上述蛋白质语言模型推理方法的步骤。
39、通过训练-推理解耦的双任务架构,在训练期以多序列比对msa为监督源引入独立协变损失支路,并基于多序列比对msa有效深度实现协变损失权重的样本级分段自适应调度,既充分利用了深msa中的长程共进化信号,又避免了浅msa/孤儿序列场景下噪声协变监督干扰主任务导致的训练不稳定,同时预训练完成后推理阶段仅需单序列输入,无需多序列比对msa支持,兼顾了共进化建模能力与推理部署便捷性,有效降低了不同msa深度样本间的档间训练指标方差。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com