键值缓存处理系统及方法与流程

摘要: 本申请涉及数据处理,尤其涉及一种键值缓存处理系统及方法。背景技术:1、随着大语言模型上下文长度的不断增长,推理过程中产生的键值缓存容量急剧膨胀,难以全部保留在高...
键值缓存处理系统及方法与流程

本申请涉及数据处理,尤其涉及一种键值缓存处理系统及方法。

背景技术:

1、随着大语言模型上下文长度的不断增长,推理过程中产生的键值缓存容量急剧膨胀,难以全部保留在高速计算单元的显存中,需将不活跃部分迁出至存储器。当对话重新激活时,需将高精度键值缓存从存储器加载回高速计算单元,但该加载过程延迟较长,且等待期间高速计算单元处于空闲状态。若直接采用低精度推理以快速响应,则输出质量下降;若等待高精度数据全部加载或由原始词元重新计算,则响应延迟高,无法满足实时交互需求。

2、因此,如何在将键值缓存从存储器恢复的场景下兼顾低延迟响应与高精度输出,是目前亟待解决的技术问题。

技术实现思路

1、本申请提供了键值缓存处理系统及方法,以至少解决相关技术中如何在键值缓存从存储器恢复的场景下兼顾低延迟响应与高精度输出的问题。

2、本申请提供了一种键值缓存处理系统,包括:第一处理器、第二处理器、第三处理器和存储器;

3、第三处理器,用于对来自第一处理器的目标对话的历史键值缓存进行轻量化处理得到轻量化键值缓存,以及将历史键值缓存中处于预设时间点之前的远期历史键值缓存写入存储器;

4、第三处理器,还用于响应于目标对话的重新激活,基于轻量化键值缓存进行解码推理,生成第一响应结果以及历史键值缓存的注意力分数,并从存储器中将注意力分数大于预设分数阈值的远期历史键值缓存加载至第二处理器;

5、第二处理器,用于对目标对话的近期上下文进行预填充计算,得到近期历史键值缓存,近期上下文包括目标对话中处于预设时间点之后的对话信息以及第一响应结果;

6、第二处理器,还用于基于加载的远期历史键值缓存和近期历史键值缓存进行解码推理,生成第二响应结果。

7、本申请还提供了一种键值缓存处理方法,包括:

8、第三处理器对来自第一处理器的目标对话的历史键值缓存进行轻量化处理得到轻量化键值缓存,以及将历史键值缓存中处于预设时间点之前的远期历史键值缓存写入存储器;

9、第三处理器响应于目标对话的重新激活,基于轻量化键值缓存进行解码推理,生成第一响应结果以及历史键值缓存的注意力分数,并从存储器中将注意力分数大于预设分数阈值的远期历史键值缓存加载至第二处理器;

10、第二处理器对目标对话的近期上下文进行预填充计算,得到近期历史键值缓存,近期上下文包括目标对话中处于预设时间点之后的对话信息以及第一响应结果;

11、第二处理器基于加载的远期历史键值缓存和近期历史键值缓存进行解码推理,生成第二响应结果。

12、本申请还提供了一种电子设备,包括:存储器,用于存储计算机程序;处理器,用于执行计算机程序时实现上述任一种键值缓存处理方法的步骤。

13、本申请还提供了一种计算机可读存储介质,计算机可读存储介质中存储有计算机程序,其中,计算机程序被处理器执行时实现上述任一种键值缓存处理方法的步骤。

14、本申请还提供了一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时实现上述任一种键值缓存处理方法的步骤。

15、本申请的键值缓存处理系统及方法,通过第三处理器对历史键值缓存进行轻量化处理并缓存,使得目标对话重新激活时无需等待存储器中的高精度数据加载即可先行完成解码推理并生成第一响应结果,从而消除了数据加载延迟对首次响应时间的制约;同时,第三处理器在轻量化推理过程中产生的注意力分数为数据价值判断提供了依据,仅将高关注度的远期历史键值缓存选择性加载至第二处理器,而非全量加载,降低了数据传输开销,且由于完整历史缓存仍保存于存储器中,避免了因关键上下文缺失导致的错误;第二处理器对包含第一响应结果的近期上下文进行预填充并重建近期历史键值缓存,使其在后续解码时拥有完整的高精度上下文,从而在实现低延迟响应的同时保障了输出质量,解决了响应速度与输出精度难以兼顾的技术问题。

1.一种键值缓存处理系统,其特征在于,包括:第一处理器、第二处理器、第三处理器和存储器;

2.根据权利要求1所述的键值缓存处理系统,其特征在于,所述第三处理器包括复制分发器和量化器;

3.根据权利要求2所述的键值缓存处理系统,其特征在于,所述复制分发器,具体用于:

4.根据权利要求1所述的键值缓存处理系统,其特征在于,所述第三处理器还包括解码器;

5.根据权利要求4所述的键值缓存处理系统,其特征在于,所述解码器还用于:

6.根据权利要求1所述的键值缓存处理系统,其特征在于,所述第三处理器包括选择输出器;

7.根据权利要求6所述的键值缓存处理系统,其特征在于,所述选择输出器通过高速接口将所述注意力分数大于所述预设分数阈值的远期历史键值缓存加载至所述第二处理器包括:

8.根据权利要求7所述的键值缓存处理系统,其特征在于,所述第一恢复路径和所述第二恢复路径并行执行,以将所述注意力分数大于所述预设分数阈值的远期历史键值缓存加载至所述第二处理器。

9.根据权利要求4所述的键值缓存处理系统,其特征在于,所述第一处理器还用于:

10.根据权利要求9所述的键值缓存处理系统,其特征在于,所述第二处理器对所述目标对话的近期上下文进行预填充计算,得到近期历史键值缓存包括:

11.根据权利要求2所述的键值缓存处理系统,其特征在于,所述第三处理器还用于:

12.根据权利要求1所述的键值缓存处理系统,其特征在于,所述第二处理器,还用于响应于本地显存的可用容量低于第二预设容量阈值,将第一键值缓存迁出至所述第一处理器,其中,所述第一键值缓存为所述目标对话对应的所有键值缓存中,处于预设时间窗口之前的键值缓存;

13.根据权利要求1所述的键值缓存处理系统,其特征在于,所述第一处理器还用于:

14.根据权利要求1所述的键值缓存处理系统,其特征在于,所述第三处理器为近数据处理加速器,包括复制分发器、量化器、解码器、选择输出器和高速缓冲内存;

15.一种键值缓存处理方法,其特征在于,所述方法应用于如权利要求1-14中任一项所述的键值缓存处理系统,包括: