一种基于pMHC上下文和理化约束的抗原特异性T细胞受体CDR3β序列生成方法、系统、设备及介质
本发明涉及计算生物学、人工智能和生物信息处理,尤其涉及一种利用抗原肽-主要组织相容性复合物(peptide-major histocompatibility complex,pmhc)呈递上下文以及氨基酸残基理化约束,生成抗原特异性t细胞受体(t cell receptor,tcr)cdr3β候选序列的计算机实现方法、系统、电子设备及计算机可读存储介质。
背景技术:
1、t细胞受体通过识别由主要组织相容性复合物呈递的抗原肽而参与适应性免疫应答。其中,tcr β链的第三互补决定区(complementarity-determining region 3 beta,cdr3β)具有高度序列多样性,并与抗原肽及mhc呈递界面共同决定识别特征。面向肿瘤新抗原、病毒抗原或其他目标表位的tcr候选序列发现,通常需要在巨大的序列空间中寻找与给定抗原条件相适应的候选序列,单纯依赖实验筛选会带来较高的时间和资源成本。
2、已有的序列生成方法能够从天然tcr序列分布中学习局部氨基酸组合规律,或者将表位序列作为条件输入进行序列到序列生成。然而,只以表位肽作为条件时,难以区分同一表位在不同mhc呈递背景中的条件差异;而仅以离散氨基酸标记训练的模型,又难以在生成时显式利用残基的电荷、疏水性、极性和体积等连续理化信息。由此可能出现候选序列在语言模型概率上可接受、但与所给抗原条件的理化特征缺少一致性的情形。
3、此外,抗原-tcr配对样本相对于无标注的抗原肽和tcr序列语料通常较少。若直接以有限配对样本训练端到端条件生成网络,模型容易过度依赖局部配对数据分布,导致受体侧生成先验不足或抗原条件利用不稳定。因而,如何在保留天然tcr cdr3β序列自回归生成能力的同时,将pmhc呈递背景和可微的理化约束在每一解码位置引入候选序列生成过程,成为需要解决的技术问题。
技术实现思路
1、现有抗原条件tcr序列生成方法存在难以同时表征mhc呈递背景、氨基酸残基理化属性以及受体侧天然序列先验的问题,为解决上述技术问题,本发明提供一种基于pmhc上下文和理化约束的抗原特异性t细胞受体cdr3β序列生成方法,具体包括以下步骤:
2、获取步骤:获取包含mhc伪序列、表位肽序列以及与所述表位肽序列配对的t细胞受体cdr3β序列的条件微调数据,获取用于抗原侧编码器预训练的抗原侧序列语料和用于受体侧自回归解码器预训练的cdr3β序列语料,以及待查询的mhc伪序列和表位肽序列;根据所述待查询的mhc伪序列和表位肽序列构建pmhc条件输入;
3、编码步骤:对所述pmhc条件输入和t细胞受体cdr3β序列进行标记化及理化特征提取,为各标记构建atchley理化因子向量,一次性构造全局词表atchley矩阵;对每个样本的所述pmhc条件输入逐标记查表生成样本级pmhc atchley矩阵 ,从样本级pmhc atchley矩阵中筛选表位肽位置,计算该样本的表位肽平均理化向量;将所述pmhc条件输入及其atchley理化因子向量输入所述抗原侧编码器,获得pmhc上下文表征;其中,对pmhc输入条件进行标记化的具体方法为:采用分层残基标记方式,优先将匹配频次达到预设阈值的连续多氨基酸片段作为高层级标记;对未匹配所述高层级标记的氨基酸片段拆分为单残基标记;所述理化特征提取中,为各标记构建的atchley理化因子向量为对应标记所含氨基酸残基的五维atchley因子平均向量;
4、条件解码步骤:将已生成的t细胞受体cdr3β序列前缀及其atchley理化因子向量输入所述受体侧自回归解码器,获得当前解码状态;以当前解码状态为查询,并以所述pmhc上下文表征为键和值,执行交叉注意力条件融合,获得条件聚合表征;将所述聚合表征与当前解码状态进行残差相加并投影至词表,获得下一标记条件概率分布;
5、抗原侧编码器和受体侧自回归解码器的输入表征由标记嵌入、位置嵌入和经可学习矩阵投影后的atchley理化因子向量相加得到:
6、;
7、其中,表示pmhc条件输入中第个标记;表示标记嵌入函数;表示位置嵌入函数;表示第个标记的五维atchley理化因子向量;表示将理化因子投影至隐藏维度的可学习矩阵。对每一个pmhc标记,将标记嵌入、位置嵌入以及五维atchley理化因子的线性投影相加,得到输入至抗原侧编码器的向量。受体侧自回归解码器可采用相同形式构造其前缀标记表征。
8、损失计算与参数更新步骤:以获取步骤中包含mhc伪序列、表位肽序列及与所述表位肽序列配对的t细胞受体cdr3β序列的条件微调数据作为pmhc-cdr3β配对条件数据,基于所述配对条件数据对生成模型进行条件微调;根据各解码位置的下一标记条件概率分布和对应的真实cdr3β标记计算生成损失;基于全局词表atchley矩阵,将各解码位置的下一标记条件概率分布与词表中各标记对应的atchley理化因子向量进行加权求和,得到各解码位置预测的理化期望向量,并对有效解码位置的理化期望向量求平均,得到预测cdr3β序列的理化期望向量;根据所述理化期望向量计算理化约束损失,根据所述生成损失和理化约束损失计算条件微调的总损失,并根据所述总损失更新生成模型的参数;其中,条件微调包括:
9、根据模型预测的所述下一标记条件概率分布计算目标cdr3β标记的生成损失;并基于atchley理化因子表示,计算预测cdr3β序列的理化期望向量与同一样本表位肽理化向量之间的正例余弦相似度,以及与批内随机置换表位肽理化向量之间的负例余弦相似度,并根据所述正例余弦相似度、负例余弦相似度和预设间隔构建理化约束损失;条件微调的总损失:
10、,
11、其中,为理化约束权重;随后,通过生成损失与加权理化约束损失构成的联合损失函数优化所述抗原侧编码器和所述受体侧自回归解码器参数;
12、生成输出步骤:在推理阶段,将待查询的pmhc条件输入输入训练完成的模型,基于所述下一标记条件概率分布,自回归生成多个t细胞受体cdr3β候选序列;依据长度归一化累计对数概率对所述候选序列进行排序,并输出预设数量的候选序列。
13、具体地,获取步骤中,所述pmhc条件输入的构建过程包括:
14、按照表位肽序列在表位-pmhc映射表中查询对应的一个或多个mhc伪序列;对每个mhc伪序列分别构建由分类标记、mhc伪序列、表位肽序列和分隔标记依次组成的pmhc条件输入;在未查询到对应mhc伪序列时,采用预设hla等位基因对应的mhc伪序列作为回退输入;在缺少所述hla等位基因信息时,输出pmhc条件构建失败标识并停止该样本的候选序列生成。
15、其中,所述对pmhc输入条件进行标记化的具体方法为:采用分层残基标记方式,优先将匹配频次达到预设阈值的连续多氨基酸片段作为高层级标记;对匹配频次未达到预设阈值的连续氨基酸片段拆分为单残基标记;
16、所述理化特征提取中,为各标记构建的atchley理化因子向量为对应标记所含氨基酸残基的五维atchley因子平均向量。
17、优选地,所述抗原侧编码器和受体侧自回归解码器为经过预训练的模型,其预训练的具体执行方式为:
18、利用抗原侧序列语料对所述抗原侧编码器进行预训练:以随机掩码的抗原侧标记序列作为抗原侧编码器的输入,重建被掩码标记;抗原侧预训练阶段的损失函数为掩码语言模型损失,具体为:
19、;
20、其中,表示被掩码位置集合;表示位置的真实抗原侧标记;表示索引不属于集合的标记,即除被掩码位置外的其余可见标记;表示抗原侧编码器参数;为条件概率。
21、利用受体侧序列语料对所述受体侧解码器进行预训练的具体方式为:对应步骤s3,将第个真实cdr3β标记之前的真实标记前缀作为输入,预测第个真实cdr3β标记,并根据所述第个真实cdr3β标记在给定所述真实标记前缀条件下的条件概率计算受体侧预训练损失,所述受体侧预训练损失采用因果语言模型目标,具体为:
22、,
23、其中,表示第个待生成的cdr3β标记;表示第个标记之前已经生成的cdr3β标记前缀,即由至组成的标记序列;t表示序列标记数。训练时将真实cdr3β标记序列右移后输入受体侧自回归解码器,最小化各真实后一标记的负对数概率。
24、通过最小化所述受体侧预训练损失更新所述受体侧自回归解码器的参数:
25、,
26、其中,表示受体侧自回归解码器参数。与同属因果语言模型目标,但用于区分两阶段训练中的受体侧预训练过程;该过程仅使用未标注的cdr3β序列,以建立天然受体序列先验。
27、其中,抗原侧编码器和受体侧自回归解码器均使用标记嵌入、位置嵌入和atchley理化因子投影的加和作为输入表征。抗原侧处理过程中,将pmhc条件输入及其atchley理化因子矩阵输入完成预训练的抗原侧编码器。
28、优选地,所述抗原侧编码器包括一个或多个双向transformer编码层,所述受体侧自回归解码器包括与抗原侧编码器双向transformer编码层数量相同的因果transformer解码层;在所述抗原侧编码器和受体侧自回归解码器之后分别设置一个或多个用于条件编码和条件解码的transformer层,每一条件解码的transformer层包括受体侧掩码自注意力子层、以pmhc上下文表征为键和值的交叉注意力子层以及前馈网络子层。
29、抗原侧编码器经多层双向自注意力后输出初始抗原侧隐藏状态;通过一个或多个用于条件编码的transformer层进一步更新所述隐藏状态,得到pmhc上下文表征。所述在后续同时作为交叉注意力的键k和值v。每个条件编码层包括多头自注意力子层、位置前馈网络和层归一化。
30、受体侧处理过程中,以[cls]及已生成或真实的cdr3β前缀标记为输入,叠加相应atchley理化因子投影后输入完成预训练的受体侧自回归解码器,获得初始因果隐藏状态。将所述初始因果隐藏状态输入六个条件解码transformer层。每个条件解码层先执行受体侧掩码自注意力,得到该层的当前解码状态;以所述当前解码状态作为查询q,以pmhc上下文表征作为键k和值v,执行交叉注意力条件融合,得到条件聚合表征;交叉注意力条件融合的方式为:
31、;
32、其中,为交叉注意力;为归一化函数,优选时,选取softmax函数作为归一化函数。
33、具体地,生成输出步骤中对候选序列的排序包括:
34、在自回归采样过程中,以在同一pmhc条件下,以起始标记[cls]初始化多条候选路径;在每一解码轮次,根据各候选路径当前前缀计算下一标记条件概率分布,采样或选取下一标记,并累加所选标记的条件对数概率,直至生成终止标记[sep]或者达到预设最大序列长度;根据长度归一化后的累计对数概率,对同一pmhc条件对应的候选序列进行降序排列。
35、具体地,所述损失计算的具体方式为:
36、基于所述全局词表atchley矩阵,将各解码位置的所述下一标记条件概率分布与各可生成氨基酸标记的atchley理化因子进行加权求和,并对有效解码位置求平均,得到预测t细胞受体cdr3β序列的理化期望向量;在包含个配对样本的一个训练批次内,对于批次中的第个样本,计算其预测cdr3β序列的理化期望向量与同一样本表位肽平均理化向量之间的正例余弦相似度;对批次中的表位肽平均理化向量执行随机置换,并以置换后的其他样本表位肽平均理化向量作为第个样本的负例,计算所述预测cdr3β序列的理化期望向量与所述负例表位肽平均理化向量之间的负例余弦相似度;根据所述正例余弦相似度、负例余弦相似度和预设间隔构建铰链损失;其中,,且;
37、所述条件微调具体包括:
38、根据模型预测的所述下一标记条件概率分布计算目标cdr3β标记的生成损失;并基于atchley理化因子表示,计算预测cdr3β序列的理化期望向量与同一样本表位肽理化向量之间的正例余弦相似度,以及与批内随机置换表位肽理化向量之间的负例余弦相似度,并根据所述正例余弦相似度、负例余弦相似度和预设间隔构建理化约束损失;根据和计算条件微调的总损失;随后,通过生成损失与加权理化约束损失构成的联合损失函数优化所述抗原侧编码器和所述受体侧自回归解码器参数。
39、具体地,对所述pmhc条件输入和t细胞受体cdr3β序列进行标记化时,在屏蔽补充标记[pad]、序列起始/分类标记[cls]、被遮蔽的待重建标记[mask]和未知标记[unk]标记后,对多个候选路径的每次标记采样累积对应的对数概率;将片段标记展开为氨基酸残基序列,并按照所述氨基酸残基序列的残基数及预设惩罚指数对累计对数概率进行归一化;按照归一化后的累计对数概率对同一pmhc条件对应的候选序列排序,并保留预设数量的候选序列。
40、本发明还提出一种基于pmhc上下文和理化约束的抗原特异性t细胞受体cdr3β序列生成系统,该生成系统实质为计算机程序,具体包括:
41、获取模块,用于获取包含待测表位肽序列和mhc伪序列的pmhc输入条件;
42、编码模块,用于对所述pmhc输入条件进行标记化及理化特征提取,并通过抗原侧编码器生成pmhc上下文表征;
43、模型预训练模块:用于利用抗原侧序列语料对所述抗原侧编码器进行预训练,利用受体侧序列语料对所述受体侧解码器进行预训练;
44、条件解码模块,用于将已生成的t细胞受体cdr3β序列前缀及其对应的理化特征输入受体侧解码器,通过与所述pmhc上下文表征进行交叉注意力条件融合,计算得到下一标记条件概率分布;
45、损失计算与参数更新模块,用于将所述条件微调数据中的pmhc-cdr3β配对样本作为配对条件数据,计算生成损失和理化约束损失,根据所述生成损失与理化约束损失构成的总损失更新生成模型参数;
46、生成输出模块:用于将待查询的pmhc条件输入输入训练完成的模型,基于所述下一标记条件概率分布,自回归生成多个t细胞受体cdr3β候选序列;依据长度归一化累计对数概率对所述候选序列进行排序,并输出预设数量的候选序列。
47、本发明还提出一种电子设备,包括存储器和处理器,所述存储器上存储有可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述任一项所述基于pmhc上下文和理化约束的抗原特异性t细胞受体cdr3β序列生成的方法。
48、本发明还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述基于pmhc上下文和理化约束的抗原特异性t细胞受体cdr3β序列生成的方法。
49、与现有技术相比,本发明的有益效果为:与仅以表位或非条件tcr序列统计进行生成的方式相比,本发明将mhc伪序列和表位肽的组合表示为pmhc条件输入,使同一表位在不同呈递背景下能够形成可区分的编码表征。
50、除此之外,本发明还将atchley理化因子作为连续向量与标记嵌入、位置嵌入共同输入模型,并将预测词表概率映射回理化空间构造对比约束,从而将残基理化一致性直接作用于序列生成的概率分布,而非仅在生成后进行独立筛选。同时,本发明通过抗原侧编码器和受体侧自回归解码器的独立预训练、交叉注意力条件融合以及残差投影,使受体侧的序列先验与抗原侧的pmhc条件在每个生成位置协同作用;候选排序使用长度归一化累计对数概率,便于在不同候选长度之间进行可比的生成置信度排序。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com