一种基于提示词前缀亲和性的语言模型推理请求调度方法

摘要: 本发明涉及语言模型,具体涉及一种基于提示词前缀亲和性的语言模型推理请求调度方法。背景技术:1、在大模型训练、微调和评测过程中,通常需要将原始种子语料转化为多样化...
一种基于提示词前缀亲和性的语言模型推理请求调度方法

本发明涉及语言模型,具体涉及一种基于提示词前缀亲和性的语言模型推理请求调度方法。

背景技术:

1、在大模型训练、微调和评测过程中,通常需要将原始种子语料转化为多样化的任务数据,包括指令序列、对话问答、安全合规评估样本及偏好对齐数据。该过程依赖于数据重构算子,通过引入约束条件、提升推理深度或细化应用场景等方式,将基础种子语料演进为高质量的训练样本。为提升生成效率并降低算力成本,工程实践中多采用异步并发架构请求本地或远程语言模型推理服务,将种子数据批量发送至推理服务进行处理。

2、在现有的请求调度方式中,无论采用按输入顺序派发、随机派发、普通异步并发派发还是多端点轮询派发,其核心关注点均在于并发连接数控制或端点负载均衡,均未能感知数据生成任务的内在属性。虽然vllm、sglang等现代推理系统已支持提示词前缀缓存,即多个请求若具有相同或相似的提示词前缀则可通过前缀缓存复用计算,但当不同任务类别的提示词模板被混杂在同一并发队列中时,同一批次内的请求前缀相似度较低,前缀缓存的实际命中率显著受限。具体而言,一方面,若推理请求的派发顺序与提示词前缀之间缺乏关联,则已建立的前缀缓存难以被后续请求连续复用,导致缓存命中仅依赖偶然情况;另一方面,在多端点部署场景中,通过轮询方式将请求分散至各端点时,同一提示词前缀对应的请求可能被分配至不同的推理端点,每个端点均需独立构建相同的前缀缓存,造成显存资源浪费和缓存碎片化。上述缺陷直接导致语言模型推理服务的首字延迟增加、缓存利用率降低及系统整体吞吐量受限,尤其在指令生成、质量评估、格式修复等任务类别混杂的数据合成流水线中表现尤为突出。

技术实现思路

1、本发明的目的在于提供一种基于提示词前缀亲和性的语言模型推理请求调度方法,解决以下技术问题:

2、现有请求调度方式未能感知任务类别与提示词前缀之间的关联,导致推理请求的派发顺序与提示词前缀缺乏关联、多端点轮询将相同前缀请求分散至不同端点,造成前缀缓存复用率低、缓存碎片化及首字延迟增加。

3、本发明的目的可以通过以下技术方案实现:

4、一种基于提示词前缀亲和性的语言模型推理请求调度方法,包括以下步骤:

5、s1、接收待调度的推理请求集合,所述推理请求集合中的每个推理请求包含任务类别标识和提示词消息;

6、s2、截取每个推理请求的提示词消息前部的字符串,作为提示词前缀键;

7、s3、以每个推理请求的任务类别标识作为第一排序键,以每个推理请求的提示词前缀键作为第二排序键,对推理请求集合中的全部推理请求执行排序操作,得到排序后推理请求序列;

8、s4、遍历排序后推理请求序列,将排序后推理请求序列中具有相同任务类别标识且具有相同提示词前缀键的相邻推理请求划分至同一请求分组,得到若干请求分组;

9、s5、按照每个请求分组在排序后推理请求序列中的先后顺序,将每个请求分组内的全部推理请求逐条派发至语言模型推理服务;

10、s6、接收语言模型推理服务针对每条推理请求返回的生成结果,将每条生成结果与对应的推理请求进行关联后输出。

11、作为本发明进一步的方案:所述s1中,所述推理请求中的任务类别标识的生成方式为:

12、读取种子数据集合,获取当前生成策略中包含的预设任务类别列表,为每条种子数据分配一个任务类别标识,依据所述任务类别标识从预设的系统提示词模板库中匹配对应的系统提示词模板,所述系统提示词模板库中包含任务类别标识与系统提示词模板之间的映射关系,将匹配得到的系统提示词模板与种子数据组合生成提示词消息,将所述任务类别标识和所述提示词消息封装为推理请求。

13、作为本发明进一步的方案:所述s2中,截取每个推理请求的提示词消息前部的字符串作为提示词前缀键的具体方式为:

14、判断所述提示词消息的消息类型,当所述提示词消息为普通字符串时,截取所述普通字符串的前n个字符作为提示词前缀键,当所述提示词消息为聊天消息列表时,按照所述聊天消息列表中的消息顺序将每条消息的角色字段和消息内容字段拼接为拼接字符串,截取所述拼接字符串的前n个字符作为提示词前缀键,n为预设的正整数。

15、作为本发明进一步的方案:所述s3中,对推理请求集合中的全部推理请求执行排序操作的具体方式为:

16、将推理请求集合中任务类别标识相同的推理请求排列为相邻位置,在任务类别标识相同的推理请求内部,将提示词前缀键相同的推理请求排列为相邻位置,当第一排序键相同且第二排序键相同时,按照推理请求在推理请求集合中的原始接收顺序排列,当第一排序键相同且第二排序键不同时,按照提示词前缀键的字典序排列,当第一排序键不同时,按照任务类别标识的预设优先级顺序排列,所述预设优先级顺序由当前生成策略预先设定。

17、作为本发明进一步的方案:所述s4中,将排序后推理请求序列中具有相同任务类别标识且具有相同提示词前缀键的相邻推理请求划分至同一请求分组的具体方式为:

18、从排序后推理请求序列的第一个推理请求开始遍历,对于当前遍历到的推理请求,检查所述当前遍历到的推理请求的任务类别标识与前一推理请求的任务类别标识是否相同,检查所述当前遍历到的推理请求的提示词前缀键与前一推理请求的提示词前缀键是否相同,当任务类别标识相同且提示词前缀键相同时,将所述当前遍历到的推理请求划分至前一推理请求所在的请求分组,当任务类别标识不同或提示词前缀键不同时,为所述当前遍历到的推理请求新建一个请求分组,并将所述当前遍历到的推理请求划分至新建的请求分组,继续遍历排序后推理请求序列中的下一个推理请求,直至排序后推理请求序列中的所有推理请求遍历完成。

19、作为本发明进一步的方案:所述s5中,在将每个请求分组内的全部推理请求逐条派发至语言模型推理服务之前,还包括确定目标推理端点的步骤,具体为:

20、获取当前可用的推理端点列表,所述推理端点列表中包含至少一个推理端点,提取所述请求分组对应的提示词前缀键,对所述提示词前缀键执行哈希运算得到哈希值,将所述哈希值对推理端点列表中的推理端点总数进行取模运算得到余数,以所述余数对应的推理端点作为所述请求分组的目标推理端点。

21、作为本发明进一步的方案:所述以所述余数对应的推理端点作为所述请求分组的目标推理端点的具体过程为:

22、判断所述请求分组是否已被分配目标推理端点,当所述请求分组已被分配目标推理端点时,直接将所述请求分组内的全部推理请求派发至已被分配的目标推理端点,当所述请求分组未被分配目标推理端点时,获取预设的副本端点数量,在推理端点列表中选取以所述余数对应的推理端点为起始端点的连续r个推理端点作为候选推理端点集合,r为所述预设的副本端点数量,在候选推理端点集合中轮转选择推理端点作为所述请求分组的目标推理端点,并将所述请求分组内的全部推理请求派发至轮转选择出的目标推理端点,每完成一个请求分组的目标推理端点分配,将轮转选择的位置偏移量递增一个单位。

23、作为本发明进一步的方案:所述s5中,在确定目标推理端点的步骤之后,还包括预热语言模型推理服务的步骤,具体为:

24、获取全部请求分组分别对应的提示词前缀键,统计全部请求分组中每个提示词前缀键的出现频次,选取出现频次最高的提示词前缀键作为待预热前缀键,向待预热前缀键对应的请求分组的目标推理端点发送预热请求,所述预热请求中包含提示词消息,所述预热请求中包含的提示词消息与所述待预热前缀键对应的请求分组中的推理请求的提示词消息具有相同的系统提示词部分,所述预热请求中设置最大生成令牌数为预设的最小正整数,接收所述语言模型推理服务返回的预热响应后,执行将每个请求分组内的全部推理请求逐条派发至语言模型推理服务的步骤。

25、本发明的有益效果:

26、本发明通过提取推理请求的提示词前缀键,并以任务类别标识和提示词前缀键作为排序键对全部推理请求执行排序操作,使相同任务类别且相同提示词前缀的推理请求排列为相邻位置并划分至同一请求分组,从而在派发过程中形成连续的同前缀请求序列。在此基础上,本发明在多端点场景下进一步通过哈希运算确定目标推理端点,配合副本端点的轮转选择机制,使相同提示词前缀的请求被约束在同一推理端点或有限数量的副本端点范围内,由此在排序和分组的基础上进一步消除了因轮询派发导致同前缀请求分散至不同端点而造成的缓存重复构建问题。此外,本发明在派发之前根据各提示词前缀键的出现频次确定高频前缀,仅对出现频次最高的提示词前缀键对应的请求分组执行预热操作,以预先建立该高频前缀的缓存。

27、上述技术手段完整覆盖了从请求组织、端点分配到缓存预热的全流程,彼此之间在逻辑上环环相扣,协同解决了现有技术中请求派发顺序与提示词前缀缺乏关联所导致的缓存复用率低、多端点轮询导致同前缀请求分散而造成的缓存碎片化,以及缺乏预热所引发的冷启动延迟问题,有效降低了首字延迟,提高了推理服务的整体吞吐量。