一种应用于模型推理的预填充方法、装置及电子设备与流程

本发明涉及大语言模型推理，尤其涉及一种应用于模型推理的预填充方法、装置及电子设备。

背景技术：

1、当前，在多轮对话的思维链推理场景中，模型在输出最终答案之前，首先生成包含中间推理过程的文本序列，并将该中间推理过程置于预定的起始标签（例如“”）与结束标签（例如“”）之间，随后在结束标签闭合后输出最终答案。系统为节省上下文窗口空间，通常舍弃上述起始标签与结束标签之间的中间推理过程，仅保留最终答案作为历史上下文。

2、然而，该处理方式使下一轮提示词序列相对于缓存生成时的完整序列发生改变，既有键值缓存无法复用，系统须在下一轮对话的预填充阶段对前一轮提示词及最终答案的全部词元重新执行键值计算，导致下一轮对话首个词元生成延迟显著升高。工具调用标签对之间和函数调用标签对之间的调用参数文本在后续轮次中同样面临被舍弃的处理方式，由此引发的键值缓存失效问题与此类似。

3、因此，如何在多轮对话场景下，针对因舍弃中间推理内容或调用参数文本而导致的键值缓存失效问题，降低下一轮对话的首个词元生成延迟，成为本领域技术人员亟需解决的技术问题。

技术实现思路

1、鉴于上述问题，本发明提供一种克服上述问题或者至少部分地解决上述问题的一种应用于模型推理的预填充方法、装置及电子设备，技术方案如下：

2、一种应用于模型推理的预填充方法，包括：

3、获取当前轮次推理请求的推理上下文序列，其中，所述推理上下文序列包含提示词、隐藏推理内容和生成输出内容；

4、将所述隐藏推理内容的长度与第一预设阈值进行比较，根据比较结果确定所述隐藏推理内容在历史会话中的保留策略；

5、依据所述保留策略，从历史会话的键值缓存中确定待保留的目标键值缓存；

6、按照所述目标键值缓存对应的保留范围，将所述目标键值缓存写入存储系统；

7、在满足预设触发条件时，对所述存储系统中缺失的键值缓存所对应的文本序列执行异步预填充，将预填充得到的补全键值缓存写入所述存储系统。

8、一种应用于模型推理的预填充装置，包括：推理上下文序列获取单元、保留策略确定单元、目标键值缓存确定单元、目标键值缓存写入单元和预填充单元；

9、所述推理上下文序列获取单元，用于获取当前轮次推理请求的推理上下文序列，其中，所述推理上下文序列包含提示词、隐藏推理内容和生成输出内容；

10、所述保留策略确定单元，用于将所述隐藏推理内容的长度与第一预设阈值进行比较，根据比较结果确定所述隐藏推理内容在历史会话中的保留策略；

11、所述目标键值缓存确定单元，用于依据所述保留策略，从历史会话的键值缓存中确定待保留的目标键值缓存；

12、所述目标键值缓存写入单元，用于按照所述目标键值缓存对应的保留范围，将所述目标键值缓存写入存储系统；

13、所述预填充单元，用于在满足预设触发条件时，对所述存储系统中缺失的键值缓存所对应的文本序列执行异步预填充，将预填充得到的补全键值缓存写入所述存储系统。

14、一种电子设备，所述电子设备包括至少一个处理器、以及与处理器连接的至少一个存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行所述的应用于模型推理的预填充方法。

15、借由上述技术方案，本发明提供的一种应用于模型推理的预填充方法、装置及电子设备，通过将隐藏推理内容的长度与第一预设阈值进行比较，依据比较结果确定保留策略，并根据保留策略将对应的目标键值缓存写入存储系统，使得仅当隐藏推理内容达到触发条件时才对其进行舍弃，克服了现有技术中无条件舍弃中间推理内容所导致的键值缓存频繁失效问题，进而能够在不损失有效上下文信息的前提下最大化键值缓存的保留范围，为后续轮次的首个词元生成延迟降低提供数据基础。同时，在满足预设触发条件时对存储系统中缺失的键值缓存所对应的文本序列执行异步预填充，并将补全键值缓存写入存储系统，使得下一轮对话所需的历史键值缓存在当前轮次空闲时段提前完成计算，克服了下一轮对话因键值缓存缺失而被迫同步重新执行预填充所导致的延迟问题，进而达到降低下一轮对话首个词元生成延迟、提升推理系统响应速度的技术效果。

16、上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

1.一种应用于模型推理的预填充方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述预设触发条件包括：当前轮次的所述生成输出内容的长度大于或等于第二预设阈值，且推理服务中预填充阶段的负载低于预设负载阈值。

3.根据权利要求1所述的方法，其特征在于，所述将所述隐藏推理内容的长度与第一预设阈值进行比较，根据比较结果确定所述隐藏推理内容在历史会话中的保留策略，包括：

4.根据权利要求3所述的方法，其特征在于，所述依据所述保留策略，从历史会话的键值缓存中确定待保留的目标键值缓存，包括：

5.根据权利要求4所述的方法，其特征在于，所述按照所述目标键值缓存对应的保留范围，将所述目标键值缓存写入存储系统，包括：

6.根据权利要求1所述的方法，其特征在于，所述对所述存储系统中缺失的键值缓存所对应的文本序列执行异步预填充，将预填充得到的补全键值缓存写入所述存储系统，包括：

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

8.根据权利要求1至7中任一项所述的方法，其特征在于，所述隐藏推理内容包括以下至少一种类型的文本序列：思维链标签对之间的推理文本、工具调用标签对之间的调用参数文本、函数调用标签对之间的调用参数文本。

9.一种应用于模型推理的预填充装置，其特征在于，包括：推理上下文序列获取单元、保留策略确定单元、目标键值缓存确定单元、目标键值缓存写入单元和预填充单元；

10.一种电子设备，其特征在于，所述电子设备包括至少一个处理器、以及与处理器连接的至少一个存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行如权利要求1至8中任一项所述的应用于模型推理的预填充方法。