模型推理方法、存储介质和电子设备与流程

本公开涉及人工智能，具体涉及一种模型推理方法、存储介质和电子设备。

背景技术：

1、在大语言模型中，键值缓存（kv cache）用于保存注意力层生成的键（key）和值（value）张量，对已计算键值缓存的复用可减少自回归推理过程中的重复预填充计算。相关技术中，服务系统中的缓存复用通常发生在相同前缀或连续公共前缀场景下。

2、然而，在多轮对话、文档检索、长期任务执行和端侧智能体场景中，后续输入需要引用的历史内容往往并非当前提示词的连续前缀，而是分散在历史对话、文档段落或任务过程中的非连续片段。这些非前缀历史片段所对应的键值缓存无法直接复用，即使历史内容先前已被模型处理过，系统仍需要重新预填充长文本或重新处理被检索文档，从而增加首词元延迟，消耗计算资源，并给有限的端侧显存和内存造成压力。

技术实现思路

1、为了解决上述技术问题，提供了一种模型推理方法、一种计算机可读存储介质以及一种电子设备。

2、本公开实施例的第一方面，提供了一种模型推理方法，包括：获取当前输入信息，并生成当前输入信息对应的语义查询表示；基于语义查询表示，从多个历史分片中获取至少一个目标分片，其中，历史分片基于对历史交互内容对应的键值缓存数据进行切分得到；确定目标分片在当前上下文中的目标跨度，并基于目标跨度对目标分片进行位置校正；将位置校正后的目标分片与当前上下文进行桥接，形成目标上下文，以便目标模型基于目标上下文进行推理。

3、在一些实施例中，基于语义查询表示，从多个历史分片中获取至少一个目标分片，包括：基于语义查询表示，在预先构建的历史分片库中确定与语义查询表示匹配的多个候选分片；根据各个候选分片的复用适配度和复用成本，从多个候选分片中确定至少一个目标分片。

4、在一些实施例中，根据各个候选分片的复用适配度和复用成本，从多个候选分片中确定至少一个目标分片，包括：根据候选分片的有效性状态和位置兼容性，对多个候选分片进行过滤；根据复用适配度和复用成本，确定候选分片对应的分片评分，复用适配度包括语义匹配度、注意力贡献度、新近度中的至少一项，复用成本包括读取成本；根据各个候选分片的分片评分，确定目标分片。

5、在一些实施例中，根据各个候选分片的分片评分，确定目标分片，包括：根据多个候选分片的物理地址相邻关系和批量读取收益，将各个候选分片中的至少两个候选分片合并为分片组；按照各候选分片或分片组对应的分片评分由高至低的顺序，依次选取候选分片和/或分片组，分片组对应的分片评分根据分片组内的各个候选分片的分片评分确定；若已选取的候选分片和/或分片组的累计存储占用达到上下文预算，或累计读取成本达到读取预算，则停止选取；根据已选取的候选分片和分片组，确定目标分片。

6、在一些实施例中，该方法还包括：获取当前推理任务的延迟预算，以及候选分片对应的读取成本和复用统计信息，候选分片是从多个历史分片中筛选得到的；根据延迟预算、读取成本和复用统计信息，确定当前推理任务的召回阈值、读取预算和排序权重中的至少一个；根据候选分片的有效性状态和位置兼容性，对多个候选分片进行过滤，包括：根据候选分片的有效性状态和位置兼容性，以及召回阈值，对多个候选分片进行过滤；和/或 根据复用适配度和复用成本，确定候选分片对应的分片评分，包括：根据排序权重、复用适配度和复用成本，确定候选分片对应的分片评分；和/或 根据各个候选分片的分片评分，确定目标分片，包括：根据各个候选分片的分片评分，从各个候选分片中选取目标分片，当已选取的目标分片的累计读取成本达到读取预算时，停止选取。

7、在一些实施例中，历史分片库还包括历史分片的语义索引；基于语义查询表示，在预先构建的历史分片库中确定与语义查询表示匹配的多个候选分片，包括：分别计算语义查询表示与多个历史分片的语义索引之间的语义相似度；根据多个历史分片各自对应的语义相似度，从多个历史分片中选取候选分片。

8、在一些实施例中，将位置校正后的目标分片与当前上下文进行桥接，形成目标上下文，包括：基于当前上下文中靠近目标分片的一端的第一边界词元数据，以及目标分片中靠近当前上下文的一端的第二边界词元数据，生成桥接键值缓存数据；将当前上下文、桥接键值缓存数据以及目标分片进行拼接，形成目标上下文。

9、在一些实施例中，该方法还包括：在历史交互内容中生成多个候选边界；根据各个候选边界两侧的语义相似度、跨边界注意力强度、时间戳信息、以及候选边界的位置区间约束中的至少一种，确定各候选边界的分值；根据各个候选边界的分值，从多个候选边界中确定历史交互内容的分片边界；根据分片边界，从历史交互内容对应的键值缓存数据中提取历史分片。

10、在一些实施例中，根据分片边界，从历史交互内容对应的键值缓存数据中提取历史分片，包括：根据分片边界，从历史交互内容对应的键值缓存数据中确定分片边界所界定的键值缓存数据区间；提取各个键值缓存数据区间内的键值缓存数据作为分片载荷，并生成分片载荷对应的分片元数据；基于分片载荷和分片元数据，确定历史分片。

11、在一些实施例中，在基于目标跨度对目标分片进行位置校正之前，该方法还包括：对目标分片进行有效性校验，有效性校验包括模型版本检查、层范围检查、位置摘要检查、编码状态检查、校验值检查、新鲜度检查和边界检查中的至少一种；若目标分片未通过有效性校验，则拒绝复用目标分片，或对目标分片对应的历史交互内容执行选择性重算操作，或回退至基于文本的完整预填充操作。

12、在一些实施例中，若目标分片未通过有效性校验，则拒绝复用目标分片，或对目标分片对应的历史交互内容执行选择性重算操作，或回退至基于文本的完整预填充操作，包括：若基于有效性校验确定目标分片的模型版本不匹配、数据损坏或状态过期，则拒绝复用目标分片；若基于有效性校验确定目标分片的边界位置与当前上下文衔接不兼容，则执行选择性重算操作，以重算目标分片的边界位置对应的键值缓存数据，保留目标分片的主体键值缓存数据；若连续多个目标分片校验失败，或校正成本高于重新计算成本，则对目标分片对应的历史交互内容执行完整预填充操作。

13、在一些实施例中，该方法应用于端侧推理设备，端侧推理设备包括持久化存储层、缓存层和解码层，多个历史分片存储于持久化存储层中，该方法还包括：获取多个候选分片各自的优先级、复用置信度以及解码状态标记，优先级是基于候选分片对应的分片评分、有效性状态和读取成本确定的，解码状态标记表征候选分片是否即将参与当前解码；根据各个候选分片对应的优先级、复用置信度以及解码状态标记，将各个候选分片确定为第一类分片、第二类分片和第三类分片中的一个；其中，第三类分片被保留在持久化存储层中，第二类分片被读取至缓存层，第一类分片被读取至解码层。

14、本公开实施例的第二方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述第一方面任一实现方式提供的模型推理方法。

15、本公开实施例的第三方面，提供了一种电子设备，包括：处理器；以及存储器，用于存储处理器的可执行指令；其中，处理器配置为经由执行可执行指令来执行上述第一方面任一实现方式提供的模型推理方法。

16、本公开实施例提供的模型推理方法，通过语义查询表示从历史分片中召回与当前输入语义相关的目标分片，实现非前缀历史键值缓存数据的灵活复用。通过对目标分片进行位置校正和桥接，使其平滑接入当前上下文，形成包括历史记忆和当前输入的目标上下文。如此，目标模型无需对历史交互内容重新执行长文本预填充计算，减少了推理过程中的计算量，改善了首元生成延迟。