推理服务请求处理方法、电子设备及计算机可读存储介质与流程
本申请涉及云计算、人工智能、大模型,具体而言,涉及一种推理服务请求处理方法、电子设备及计算机可读存储介质。
背景技术:
1、大规模语言模型(large language model,llm)推理服务,特别是基于大规模预训练语言模型的服务,已成为人工智能(artificial intelligence,ai)领域中不可或缺的一部分,广泛应用于文本生成、对话系统、自然语言理解和翻译等领域。
2、目前,主流llm推理服务可分为两个阶段,即预填充(prefill)阶段和解码(decode)阶段。当前的预填充-解码(prefill-decode,pd)分离架构中,预填充阶段和解码阶段的调度策略与推理引擎紧密耦合,即调度策略受限于特定的推理引擎实现,不支持与其他流量管理策略(如超时、重试)的编排融合,缺乏独立性和扩展性。
3、针对上述的问题,目前尚未提出有效的解决方案。
技术实现思路
1、本申请实施例提供了一种推理服务请求处理方法、电子设备及计算机可读存储介质,以至少解决相关技术中预填充阶段和解码阶段的调度策略与推理引擎紧密耦合,缺乏独立性和扩展性的技术问题。
2、根据本申请实施例的一个方面,提供了一种推理服务请求处理方法,包括:获取推理服务请求;按照预填充与解码分离方式对推理服务请求进行推理请求调度,确定目标预填充推理引擎与目标解码推理引擎;利用目标预填充推理引擎生成键值缓存内容,以及利用目标解码推理引擎基于键值缓存内容生成并预测推理服务请求对应的词元数据,以生成推理服务请求对应的推理服务响应。
3、根据本申请实施例的另一方面,还提供了一种推理服务请求处理方法,包括:通过第一应用程序编程接口获取推理服务请求;通过第二应用程序编程接口返回推理服务响应;其中,推理服务响应按照上述的推理服务请求处理方法生成。
4、根据本申请实施例的另一方面,还提供了一种推理服务请求处理方法,包括:获取当前输入的推理服务请求;响应于推理服务请求,返回推理服务响应;在图形用户界面内展示推理服务响应;其中,推理服务响应按照上述的推理服务请求处理方法生成。
5、根据本申请实施例的另一方面,还提供了一种推理服务请求处理方法,包括:响应作用于操作界面上的输入指令,在操作界面上显示推理服务请求;响应作用于操作界面上的处理指令,在操作界面上显示推理服务响应;其中,推理服务响应按照上述的推理服务请求处理方法生成。
6、根据本申请实施例的另一方面,还提供了一种推理服务请求处理系统,包括:客户端,用于发送推理服务请求;服务器,与客户端连接,用于按照预填充与解码分离方式对推理服务请求进行推理请求调度,确定目标预填充推理引擎与目标解码推理引擎,利用目标预填充推理引擎生成键值缓存内容,以及利用目标解码推理引擎基于键值缓存内容生成并预测推理服务请求对应的词元数据,以生成推理服务请求对应的推理服务响应;客户端还用于输出推理服务响应。
7、根据本申请实施例的另一方面,还提供了一种推理服务请求处理系统,包括:入口网络节点,用于获取推理服务请求;推理扩展处理节点,用于按照预填充与解码分离方式对推理服务请求进行推理请求调度,确定目标预填充推理引擎与目标解码推理引擎,利用目标预填充推理引擎生成键值缓存内容,以及利用目标解码推理引擎基于键值缓存内容生成并预测推理服务请求对应的词元数据,以生成推理服务请求对应的推理服务响应;入口网络节点,还用于返回推理服务响应。
8、根据本申请实施例的另一方面,还提供了一种电子设备,包括:存储器,存储有可执行程序;处理器,通过总线与存储器连接,用于运行程序,其中,程序运行时执行任意一项上述的推理服务请求处理方法。
9、根据本申请实施例的另一方面,还提供了一种计算机可读存储介质,计算机可读存储介质包括存储的可执行程序,其中,在可执行程序运行时控制计算机可读存储介质所在设备执行任意一项上述的推理服务请求处理方法。
10、根据本申请实施例的另一方面,还提供了一种计算机程序产品,包括计算机程序,计算机程序在被处理器执行时实现任意一项上述的推理服务请求处理方法。
11、在本申请实施例中,通过获取推理服务请求,然后按照预填充与解码分离方式对推理服务请求进行推理请求调度,确定目标预填充推理引擎与目标解码推理引擎,之后利用目标预填充推理引擎生成键值缓存内容,以及利用目标解码推理引擎基于键值缓存内容生成并预测推理服务请求对应的词元数据,以生成推理服务请求对应的推理服务响应,由此达到了调度策略与推理引擎解耦的目的,从而实现了有效利用计算资源、提高大模型推理服务性能和处理效率的技术、提高系统的独立性和适应性的技术效果,进而解决了相关技术中预填充阶段和解码阶段的调度策略与推理引擎紧密耦合,缺乏独立性和扩展性的技术问题。
12、容易注意到的是,上面的通用描述和后面的详细描述仅仅是为了对本申请进行举例和解释,并不构成对本申请的限定。
1.一种推理服务请求处理方法,其特征在于,包括:
2.根据权利要求1所述的推理服务请求处理方法,其特征在于,所述推理服务请求处理方法还包括:
3.根据权利要求2所述的推理服务请求处理方法,其特征在于,所述调度策略描述采用云原生声明式的应用程序接口方式来定义,所述调度策略描述包括:
4.根据权利要求1所述的推理服务请求处理方法,其特征在于,所述推理服务请求处理方法还包括:
5.根据权利要求4所述的推理服务请求处理方法,其特征在于,按照所述预填充与解码分离方式对所述推理服务请求进行推理请求调度,确定所述目标预填充推理引擎与所述目标解码推理引擎包括:
6.根据权利要求5所述的推理服务请求处理方法,其特征在于,利用所述目标预填充推理引擎生成所述键值缓存内容包括:
7.根据权利要求1所述的推理服务请求处理方法,其特征在于,所述推理服务请求处理方法还包括:
8.根据权利要求7所述的推理服务请求处理方法,其特征在于,所述推理服务请求处理方法还包括:
9.根据权利要求7所述的推理服务请求处理方法,其特征在于,利用所述目标解码推理引擎基于所述键值缓存内容生成并预测所述推理服务请求对应的词元数据,以生成所述推理服务请求对应的所述推理服务响应包括:
10.根据权利要求2所述的推理服务请求处理方法,其特征在于,所述推理服务请求处理方法还包括:
11.根据权利要求2所述的推理服务请求处理方法,其特征在于,所述推理服务请求处理方法还包括:
12.根据权利要求2所述的推理服务请求处理方法,其特征在于,所述多个预填充推理引擎与所述多个解码推理引擎均为所述容器编排集群中部署的容器,所述推理服务请求处理方法还包括:
13.根据权利要求1所述的推理服务请求处理方法,其特征在于,获取所述推理服务请求包括:
14.根据权利要求13所述的推理服务请求处理方法,其特征在于,所述请求策略描述采用云原生声明式的应用程序接口方式来定义,所述请求策略描述包括:
15.一种推理服务请求处理方法,其特征在于,包括:
16.一种推理服务请求处理方法,其特征在于,包括:
17.一种推理服务请求处理方法,其特征在于,包括:
18.一种推理服务请求处理系统,其特征在于,包括:
19.一种推理服务请求处理系统,其特征在于,包括:
20.根据权利要求19所述的推理服务请求处理系统,其特征在于,所述推理服务请求处理系统还包括:
21.根据权利要求19所述的推理服务请求处理系统,其特征在于,所述推理服务请求处理系统还包括:
22.一种电子设备,其特征在于,包括:
23.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的可执行程序,其中,在所述可执行程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至17中任意一项所述的推理服务请求处理方法。
24.一种计算机程序产品,其特征在于,包括计算机程序,所述计算机程序在被处理器执行时实现权利要求1至17中任意一项所述的推理服务请求处理方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com