基于动态稀疏注意力计算的数据处理与调度方法及装置

摘要: 本技术涉及深度学习,特别是涉及一种基于动态稀疏注意力计算的数据处理与调度方法及装置。背景技术:1、随着大语言模型应用场景不断拓展,长上下文的文本推理需求持续增长...
基于动态稀疏注意力计算的数据处理与调度方法及装置

本技术涉及深度学习,特别是涉及一种基于动态稀疏注意力计算的数据处理与调度方法及装置。

背景技术:

1、随着大语言模型应用场景不断拓展,长上下文的文本推理需求持续增长,注意力计算作为大规模语言模型(例如transformer模型)的核心运算环节,其性运算效率与内存开销决定长文本处理的整体性能。

2、传统技术中,自注意力机制需要计算待处理文本中每两个词元之间的注意力得分并生成完整的全局注意力矩阵以完成权重归一化与加权求和运算。而随着待处理文本长度提升,注意力矩阵规模呈平方级迅速增长,不仅带来高昂的计算成本,还会产生大量中间数据,引发显著的数据搬运与存储压力,进而严重制约了长文本推理的响应速度。

3、因此,这种注意力计算方案存在算力开销较大、内存占用较高的技术问题,从而导致长文本场景下数据处理效率较低,难以满足高实时性的长上下文处理需求。

技术实现思路

1、基于此,有必要针对上述技术问题,提供一种基于动态稀疏注意力计算的数据处理与调度方法及装置,能够降低注意力计算的算力开销和内存占用,以提高长文本场景下的数据处理效率,满足高实时性的长上下文处理需求。

2、第一方面,本技术提供了一种基于动态稀疏注意力计算的数据处理与调度方法,包括:

3、对目标提示文本进行拆分,得到多个子文本;其中,每个子文本包括目标提示文本中的多个词元;

4、针对每一子文本,按照不同子文本的遍历顺序,依次根据子文本中每一第一词元的查询特征与当前所遍历子文本中各第二词元的键特征,确定第一词元对应的预设数量个目标词元,并确定第一词元的全局最大注意力权重;其中,第一词元在所对应的每一目标词元下的注意力权重与目标词元所属子文本对应的注意力权重之和的比值满足预设条件;注意力权重之和是第一词元在目标词元所属子文本中每一第二词元下的注意力权重的和值;根据各第一词元的全局最大注意力权重,以及各目标词元的键特征和注意力权重,确定目标提示文本的响应信息。

5、在其中一个实施例中,针对每一子文本,按照不同子文本的遍历顺序,依次根据子文本中每一第一词元的查询特征与当前所遍历子文本中各第二词元的键特征,确定第一词元对应的预设数量个目标词元,包括:针对每一子文本,以不同子文本中的首个子文本为首次遍历的子文本,从未遍历的各子文本中,首尾交替选取当前待遍历子文本;以及,在选取到当前待遍历子文本的情况下,依次根据子文本中每一第一词元的查询特征与当前所遍历子文本中各第二词元的键特征,确定第一词元在当前所遍历子文本中对应的目标词元;所确定的目标词元的数量小于预设数量的情况下,返回执行以不同子文本中的首个子文本为首次遍历的子文本,从未遍历的各子文本中,首尾交替选取当前待遍历子文本的操作,直至所确定的目标词元的数量达到预设数量。

6、在其中一个实施例中,依次根据子文本中每一第一词元的查询特征与当前所遍历子文本中各第二词元的键特征,确定第一词元在当前所遍历子文本中对应的目标词元,包括:根据第一词元的查询特征与当前所遍历子文本中每一第二词元的键特征,确定第一词元在第二词元下的注意力权重;根据第一词元在当前所遍历子文本中每一第二词元下的注意力权重在当前所遍历子文本对应的注意力权重之和的比值,从当前所遍历子文本中选取所确定比值满足预设条件的第二词元,作为第一词元对应的目标词元。

7、在其中一个实施例中,确定第一词元的全局最大注意力权重,包括:针对子文本中每一第一词元,从第一词元在当前所遍历子文本中的各第二词元下的注意力权重中,选取最大值,作为局部待定最大值;对比局部待定最大值与当前所遍历的第一词元对应的局部历史最大值;在局部待定最大值大于局部历史最大值的情况下,将局部待定最大值确定为新的局部历史最大值,并遍历当前所遍历子文本对应的下一子文本;在局部待定最大值不大于局部历史最大值的情况下,保留局部历史最大值,并遍历当前所遍历子文本对应的下一子文本;在遍历完毕全部子文本中各第二词元的情况下,将当前的局部历史最大值,确定为第一词元的全局最大注意力权重。

8、在其中一个实施例中,根据各第一词元的全局最大注意力权重,以及各目标词元的键特征和注意力权重,确定目标提示文本的响应信息,包括:针对每一子文本,根据子文本对应的每一参考词元的键特征,获取参考词元的值特征;以及,根据子文本中每一第一词元的全局最大注意力权重、各参考词元的值特征,以及每一参考词元对应的注意力权重,确定子文本的响应信息;其中,子文本对应的各参考词元是子文本中各第一词元对应的各目标词元;每一参考词元对应的注意力权重是子文本中对应于参考词元的第一词元在参考词元下的注意力权重;根据各子文本的响应信息的累加结果,确定目标提示文本的响应信息。

9、在其中一个实施例中,根据子文本中每一第一词元的全局最大注意力权重、各参考词元的值特征,以及每一参考词元对应的注意力权重,确定子文本的响应信息,包括:针对每一参考词元,根据参考词元对应的第一词元的全局最大注意力权重,对参考词元对应的注意力权重进行归一化处理,得到参考词元对应的归一化注意力权重;根据参考词元对应的归一化注意力权重与参考词元的值特征之间的乘积,确定参考词元的加权注意力权重;根据各参考词元的加权注意力权重,确定子文本的响应信息。

10、第二方面,本技术还提供了一种基于动态稀疏注意力计算的数据处理与调度装置,包括:

11、拆分模块,用于对目标提示文本进行拆分,得到多个子文本;其中,每个子文本包括目标提示文本中的多个词元;

12、第一确定模块,用于针对每一子文本,按照不同子文本的遍历顺序,依次根据各第一词元的查询特征与当前所遍历子文本中各第二词元的键特征,确定第一词元对应的预设数量个目标词元,并确定第一词元的全局最大注意力权重;其中,第一词元在所对应的每一目标词元下的注意力权重与目标词元所属子文本对应的注意力权重之和的比值满足预设条件;注意力权重之和是第一词元在目标词元所属子文本中每一第二词元下的注意力权重的和值;

13、第二确定模块,用于根据各第一词元的全局最大注意力权重,以及各目标词元的键特征和注意力权重,确定目标提示文本的响应信息。

14、第三方面,本技术还提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述第一方面的各方法实施例中的步骤。

15、第四方面,本技术还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面的各方法实施例中的步骤。

16、第五方面,本技术还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述第一方面的各方法实施例中的步骤。

17、上述基于动态稀疏注意力计算的数据处理与调度方法及装置,对目标提示文本进行拆分,得到多个子文本;其中,每个子文本包括目标提示文本中的多个词元;针对每一子文本,按照不同子文本的遍历顺序,依次根据子文本中每一第一词元的查询特征与当前所遍历子文本中各第二词元的键特征,确定第一词元对应的预设数量个目标词元,并确定第一词元的全局最大注意力权重;其中,第一词元在所对应的每一目标词元下的注意力权重与目标词元所属子文本对应的注意力权重之和的比值满足预设条件;注意力权重之和是第一词元在目标词元所属子文本中每一第二词元下的注意力权重的和值;根据各第一词元的全局最大注意力权重,以及各目标词元的键特征和注意力权重,确定目标提示文本的响应信息。这样,由于目标词元的选取仅依据第一词元对应的第二词元的注意力权重与第二词元对应的子文本中全部第二词元对应的注意力权重之和的比值,无需依赖目标提示文本中全部词元的键特征和值特征,因此能够筛除比值不满足预设条件的第二词元,实现各子文本内的局部剪枝,缩减后续参与计算的词元规模,减少无效计算开销;同时,通过在遍历过程确定子文本中各第一词元的全局最大注意力权重,以确定目标提示文本的响应信息,无需预先生成并存储完整的全局注意力矩阵,显著降低了长文本场景下中间数据的存储占用与片外数据搬运压力,从而在保障注意力计算准确性的前提下,有效提升了长文本处理场景下的计算效率与资源利用率,进而有利于满足高实时性的长上下文处理需求。