基于多尺度上下文感知的剪接位点预测方法及系统

摘要: 本发明涉及rna剪接位点预测,尤其是指基于多尺度上下文感知的剪接位点预测方法及系统。背景技术:1、rna剪接是指将基因转录产生的pre-mrna中的内含子切除、...
基于多尺度上下文感知的剪接位点预测方法及系统

本发明涉及rna剪接位点预测,尤其是指基于多尺度上下文感知的剪接位点预测方法及系统。

背景技术:

1、rna剪接是指将基因转录产生的pre-mrna中的内含子切除、外显子连接,形成成熟mrna的生物过程。在真核生物中,前体mrna的剪接过程直接决定了成熟mrna的序列构成,是遗传信息从dna传递到蛋白质的关键调控环节。绝大多数真核生物的剪接过程由剪接体催化完成,剪接体是由5种小核核糖核酸(snrnas)和数百种相关蛋白质组成的核糖核蛋白复合物,可识别内含子两端的保守序列(通常为5'端gu和3'端ag,即gu-ag规则)以及分支位点,并通过两步转酯反应完成内含子切除与外显子连接,在此基础上,rna剪接还依赖于顺式作用元件(如剪接增强子、剪接沉默子)与反式作用因子(如sr蛋白家族、hnrnp蛋白等)的协同作用。

2、目前,剪接位点识别的生物学方法主要包括rt-pcr、rna-seq、转录组测序以及minigene报告实验等,这些方法虽然能够提供较为直接的生物学证据,但是普遍存在实验周期长、成本较高、对样本质量和组织来源依赖较强等问题。早期的剪接位点预测方法主要依赖传统机器学习模型,通过人工设计核苷酸组成特征、k-mer统计特征、序列motif特征或位置相关统计特征,并结合支持向量机、随机森林等分类器进行预测,该类方法对人工特征设计依赖性较强,难以充分挖掘复杂序列中的高阶上下文信息,导致剪接位点识别精度较低。

3、现有的基于深度学习的剪接位点预测方法大致经历了从卷积神经网络、循环神经网络到基于注意力机制与预训练语言模型的发展过程,早期方法通常采用卷积神经网络对候选位点邻域序列进行局部特征提取,虽然具有较高的计算效率,但是受限于固定卷积核尺寸,感受野有限,难以有效捕获远距离核苷酸之间的依赖关系,对于非典型剪接位点以及复杂顺式调控元件的识别能力不足;部分方法通过增加网络深度扩大感受野,但是会进一步带来参数量增加、梯度传播困难以及训练稳定性下降等问题,增加了剪接位点识别的算力成本和复杂度。随后,部分研究引入循环神经网络或双向长短期记忆网络以增强序列上下文建模能力,但是这类方法依赖序列递归计算,难以实现高效并行,在长序列场景下存在计算效率较低以及长距离信息衰减的问题,影响剪接位点识别的效率和准确性。近年来,基于transformer或大规模预训练语言模型的方法通过自注意力机制建模全局上下文信息,在剪接位点识别中取得了较高的预测性能,然而,标准自注意力机制的计算复杂度通常随序列长度呈平方增长,在处理长核苷酸序列时会带来较大的显存占用与推理开销,同时,其全局注意力机制往往对大量上下文区域进行均匀建模,难以突出与候选位点密切相关的关键调控区域,容易引入冗余信息,另一方面,大规模预训练模型通常参数规模庞大,对计算资源依赖较高,难以兼顾预测精度、推理效率以及部署需求。

4、综上所述,现有技术中的rna剪接位点预测方法存在难以兼顾预测精度、预测效率以及计算复杂度和算力成本的问题。

技术实现思路

1、为此,本发明所要解决的技术问题在于克服现有技术中的rna剪接位点预测方法存在难以兼顾预测精度、预测效率以及计算复杂度和算力成本的问题。

2、为解决上述技术问题,本发明提供了一种基于多尺度上下文感知的剪接位点预测方法,包括:

3、对待预测核苷酸序列进行独热编码,得到待预测核苷酸序列对应的编码矩阵;

4、将编码矩阵输入rna剪接位点预测模型中的多尺度堆叠残差-空洞卷积模块,输出多尺度核苷酸序列局部特征;

5、基于多尺度核苷酸序列局部特征的维度以及待预测核苷酸序列中各个碱基的位置,计算待预测核苷酸序列中各个碱基的正余弦位置编码向量,从而得到待预测核苷酸序列的正余弦位置编码;

6、将多尺度核苷酸序列局部特征与正余弦位置编码相加,得到位置增强的多尺度局部特征;

7、将位置增强的多尺度局部特征输入rna剪接位点预测模型中的软门控自注意力模块,输出待预测核苷酸序列的上下文特征表示;

8、将上下文特征表示输入rna剪接位点预测模型中的分类头,输出待预测核苷酸序列的中心位置的剪接位点预测结果。

9、优选地,对待预测核苷酸序列进行独热编码,得到待预测核苷酸序列对应的编码矩阵,包括:

10、将四种碱基分别表示为不同的四维向量;

11、利用独热编码和每种碱基的四维向量,将长度为l的待预测核苷酸序列转化为的编码矩阵。

12、优选地,将编码矩阵输入rna剪接位点预测模型中的多尺度堆叠残差-空洞卷积模块,输出多尺度核苷酸序列局部特征,包括:

13、将编码矩阵输入沿传播方向串联的多个卷积层,基于各个卷积层的输出得到多尺度核苷酸序列局部特征;

14、其中,沿传播方向串联的各个卷积层的空洞率单调递增,沿传播方向串联的各个卷积层的输出通道数单调递增;每个卷积层均包括至少两个级联的一维空洞卷积、prelu激活函数和残差跳跃连接。

15、优选地,待预测核苷酸序列中各个碱基的正余弦位置编码向量表示为:

16、,

17、,

18、其中,表示待预测核苷酸序列中碱基的位置索引;表示位置编码向量的维度索引;表示多尺度核苷酸序列局部特征的维度;表示位置的碱基的正余弦位置编码向量中第2i维的编码值;表示位置的碱基的正余弦位置编码向量中第2i+1维的编码值;

19、位置增强的多尺度局部特征表示为:

20、,

21、其中,表示多尺度核苷酸序列局部特征;表示待预测核苷酸序列的正余弦位置编码。

22、优选地,将位置增强的多尺度局部特征输入rna剪接位点预测模型中的软门控自注意力模块,输出待预测核苷酸序列的上下文特征表示,包括:

23、将位置增强的多尺度局部特征分别输入软门控自注意力模块中的多个注意力头;

24、对于每个注意力头,通过三个线性映射将位置增强的多尺度局部特征映射为查询矩阵、键矩阵和值矩阵,从而计算待预测核苷酸序列中不同位置核苷酸之间的相关性,输出注意力权重;

25、将注意力权重对应的值矩阵进行加权,得到各个注意力头的注意力输出特征;对各个注意力头的注意力输出特征进行拼接,并通过输出线性映射,得到目标注意力特征;

26、利用激活函数和sigmoid门控函数对位置增强的多尺度局部特征进行非线性特征映射变换,输出门控权重矩阵;

27、利用门控权重矩阵对目标注意力特征进行逐元素调制后,将调制结果与位置增强的多尺度局部特征残差连接,得到待预测核苷酸序列的上下文特征表示。

28、优选地,将上下文特征表示输入rna剪接位点预测模型中的分类头,输出待预测核苷酸序列的中心位置的剪接位点预测结果,包括:

29、对上下文特征表示依次进行全局平均池化、展平操作后,输入带有非线性激活函数的两层串联的全连接层;

30、将最后一层全连接层的输出经过softmax激活函数,输出待预测核苷酸序列的中心位置属于剪接供体位点、剪接受体位点和非剪接位点的概率,从而得到剪接位点预测结果。

31、优选地,rna剪接位点预测模型的训练步骤包括:

32、对剪接位点训练集中的核苷酸序列样本进行独热编码,得到编码矩阵样本;

33、将编码矩阵样本输入多尺度堆叠残差-空洞卷积模块,输出多尺度核苷酸序列局部特征样本;

34、基于多尺度核苷酸序列局部特征样本的维度以及核苷酸序列样本中各个碱基的位置,计算核苷酸序列样本中各个碱基的正余弦位置编码向量样本,从而得到核苷酸序列样本的正余弦位置编码样本;

35、将多尺度核苷酸序列局部特征样本与正余弦位置编码样本相加,得到位置增强的多尺度局部特征样本;

36、将位置增强的多尺度局部特征样本输入软门控自注意力模块,输出核苷酸序列样本的上下文特征表示样本;

37、将上下文特征表示样本输入分类头,基于分类头输出的核苷酸序列样本的中心位置的剪接位点预测结果构建剪接位点预测损失函数,从而对多尺度堆叠残差-空洞卷积模块、软门控自注意力模块和分类头的参数进行迭代优化,直至满足预设训练终止条件,得到训练好的rna剪接位点预测模型。

38、优选地,剪接位点训练集的构建过程包括:

39、将核苷酸序列数据集中各个核苷酸序列上已标注的剪接供体位点、剪接受体位点以及非剪接位点作为候选位点;

40、对于每个候选位点所在的核苷酸序列,以该候选位点为中心截取预设长度的核苷酸序列作为核苷酸序列样本;

41、基于各个核苷酸序列样本以及各个核苷酸序列样本上候选位点的标注信息,构建得到剪接位点训练集。

42、优选地,剪接位点预测损失函数的构建过程包括:

43、基于训练批次中各个核苷酸序列样本的中心位置的剪接位点预测结果与真实标签之间的交叉熵损失,构建得到剪接位点预测损失函数。

44、本发明还提供了一种基于多尺度上下文感知的剪接位点预测系统,包括:

45、序列编码模块,用于对待预测核苷酸序列进行独热编码,得到待预测核苷酸序列对应的编码矩阵;

46、局部特征提取模块,用于将编码矩阵输入rna剪接位点预测模型中的多尺度堆叠残差-空洞卷积模块,输出多尺度核苷酸序列局部特征;

47、位置编码模块,用于基于多尺度核苷酸序列局部特征的维度以及待预测核苷酸序列中各个碱基的位置,计算待预测核苷酸序列中各个碱基的正余弦位置编码向量,从而得到待预测核苷酸序列的正余弦位置编码;

48、局部特征优化模块,用于将多尺度核苷酸序列局部特征与正余弦位置编码相加,得到位置增强的多尺度局部特征;

49、上下文特征提取模块,用于将位置增强的多尺度局部特征输入rna剪接位点预测模型中的软门控自注意力模块,输出待预测核苷酸序列的上下文特征表示;

50、剪接位点预测模块,用于将上下文特征表示输入rna剪接位点预测模型中的全连接层,输出待预测核苷酸序列的中心位置的剪接位点预测结果。

51、本技术提供的基于多尺度上下文感知的剪接位点预测方法具有以下有益效果:

52、对待预测核苷酸序列进行独热编码得到编码矩阵后,输入多尺度堆叠残差-空洞卷积模块提取多尺度核苷酸序列局部特征,利用空洞卷积在不增大卷积核尺寸、不显著增加参数量与算力开销的前提下扩大感受野,并结合残差堆叠结构避免网络层数加深带来的梯度退化问题,以较低计算开销捕获核苷酸序列不同尺度的局部特征;之后基于多尺度核苷酸序列局部特征的维度以及待预测核苷酸序列中各个碱基的位置计算正余弦位置编码,并将其与多尺度核苷酸序列局部特征直接相加得到位置增强的多尺度局部特征,不需要额外学习位置参数,因此不会增加模型参数量与算力负担,同时弥补卷积操作缺少位置感知能力的缺陷,使得模型能够识别碱基的序列排布位置关系;再将融合位置信息的位置增强的多尺度局部特征输入软门控自注意力模块得到待预测核苷酸序列的上下文特征表示,通过门控权重自适应筛选注意力特征,抑制无关噪声特征、强化剪接位点相关的碱基依赖关系,相较于传统全量多头自注意力可以减少无效特征计算,在捕获序列长距离依赖、提升预测精度的同时控制计算复杂度;最后将上下文特征表示送入分类头输出待预测核苷酸序列中心位置的剪接位点预测结果,不需要构建参数量庞大的深度网络,同时充分挖掘了rna序列局部碱基模式与长距离碱基关联,在保障剪接位点预测精度的同时,有效控制了模型整体参数量、计算复杂度与算力成本。