一种请求处理的方法及装置与流程
本说明书涉及人工智能,特别涉及一种请求处理的方法。本说明书同时涉及一种请求处理的装置,一种计算设备,一种计算机可读存储介质以及计算机程序产品。
背景技术:
1、随着人工智能技术的飞速发展,各种模型应运而生且可以应用在不同场景中。目前,在对话场景中,为了提高对话请求处理效率和准确度,服务端往往可以设置多种对话处理模型。具体的,用户可以在客户端发起对话请求。然后,模型路由端可以基于对话请求对应的任务复杂度,从多种对话处理模型中确定适用于该对话请求的目标对话处理模型。示例性的,对于简单问答、文本翻译等任务,可以选取成本较低的轻量级模型,对于复杂推理、代码生成等任务,可以选取能力较强的旗舰级模型。于是,服务器端可以调用该目标对话处理模型处理该对话请求。
2、一般的,对话处理模型往往为自回归大语言模型且对话请求往往是连续的,故在基于自回归大语言模型处理对话信息时,为了提高对话信息处理效率,可以存储对话信息形成对话缓存信息,例如可以存储对话信息对应的键值张量,即可以获得键值缓存(key-value cache,kv cache)以进行复用,如可以为在在后对话请求的处理过程中复用在前对话请求对应的kv cache。
3、但是,由于不同对话处理模型的结构以及张量维度等存在不同,故在当前对话处理请求对应的目标对话处理模型与上一轮对话处理请求对应的目标对话处理模型不同的情况下,前述基于任务复杂度直接进行对话处理模型切换的方式,会导致对话缓存信息如键值缓存即kv cache无法复用,这样的情况下,需要重新计算相关对话缓存信息如键值张量,从而导致对话请求响应速度变慢,降低用户体验,同时浪费计算资源。
技术实现思路
1、有鉴于此,本说明书实施例提供了一种请求处理的方法。本说明书同时涉及一种请求处理的装置,一种计算设备,一种计算机可读存储介质以及计算机程序产品,以解决现有技术中存在的上述问题。
2、根据本说明书实施例的第一方面,提供了一种请求处理的方法,包括:
3、获取当前对话请求,从多个预设对话处理模型中确定所述当前对话请求对应的第一对话处理模型;
4、在所述第一对话处理模型与第二对话处理模型不同的情况下,根据所述当前对话请求携带的当前对话信息判断上一对话请求的对话缓存信息是否满足预设复用条件;其中,所述第二对话处理模型是用于处理所述上一对话请求的对话处理模型;
5、响应于所述上一对话请求的对话缓存信息满足所述预设复用条件,将所述第二对话处理模型作为用于处理所述当前对话请求的目标对话处理模型。
6、根据本说明书实施例的第二方面,提供了一种请求处理的装置,包括:
7、获取模块,被配置为获取当前对话请求,并从多个预设对话处理模型中确定所述当前对话请求对应的第一对话处理模型;
8、判断模块,被配置为在所述第一对话处理模型与第二对话处理模型不同的情况下,根据所述当前对话请求携带的当前对话信息确定上一对话请求的对话缓存信息是否满足预设复用条件;其中,所述第二对话处理模型是用于处理所述上一对话请求的对话处理模型;
9、确定模块,被配置为响应于所述上一对话请求的对话缓存信息满足所述预设复用条件,将所述第二对话处理模型作为用于处理所述当前对话请求的目标对话处理模型。
10、根据本说明书实施例的第三方面,提供了一种计算设备,包括:
11、存储器和处理器;
12、所述存储器用于存储计算机程序/指令,所述处理器用于执行所述计算机程序/指令,该计算机程序/指令被处理器执行时实现上述请求处理的方法的步骤。
13、根据本说明书实施例的第四方面,提供了一种计算机可读存储介质,其存储有计算机程序/指令,该计算机程序/指令被处理器执行时实现上述请求处理的方法的步骤。
14、根据本说明书实施例的第五方面,提供了一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现上述请求处理的方法的步骤。
15、本说明书提供的请求处理的方法,可以获取当前对话请求,从多个预设对话处理模型中确定所述当前对话请求对应的第一对话处理模型;在所述第一对话处理模型与第二对话处理模型不同的情况下,根据所述当前对话请求携带的当前对话信息判断上一对话请求的对话缓存信息是否满足预设复用条件;其中,所述第二对话处理模型是用于处理所述上一对话请求的对话处理模型;响应于所述上一对话请求的对话缓存信息满足所述预设复用条件,将所述第二对话处理模型作为用于处理所述当前对话请求的目标对话处理模型。
16、上述请求处理的方法,通过判断对话缓存信息是否满足预设复用条件,考虑对话缓存信息对模型切换的影响,具体为在对话缓存信息满足预设复用条件的情况下保持模型不切换,从而可以复用已有对话缓存信息以处理当前对话请求,从而避免因对话处理模型的切换导致的对话缓存信息失效和重新计算,可以降低当前对话请求对应的回复的生成延迟以提高用户体验,以及可以节约计算资源。
1.一种请求处理的方法,其特征在于,包括:
2.如权利要求1所述的方法,其特征在于,从多个预设对话处理模型中确定所述当前对话请求对应的第一对话处理模型,包括:
3.如权利要求2所述的方法,其特征在于,所述多个预设对话处理模型中的每个预设对话处理模型预先关联有至少一个模型特征;
4.如权利要求1所述的方法,其特征在于,根据所述当前对话请求携带的当前对话信息判断上一对话请求的对话缓存信息是否满足预设复用条件,包括:
5.如权利要求4所述的方法,其特征在于,根据所述当前对话请求携带的当前对话信息,确定所述上一对话请求的对话缓存信息对应的复用权重,包括:
6.如权利要求5所述的方法,其特征在于,根据所述当前对话请求携带的当前对话信息,确定所述上一对话请求的对话缓存信息对应的复用权重,包括:
7.如权利要求4所述的方法,其特征在于,根据所述复用权重判断所述上一对话请求的对话缓存信息是否满足预设复用条件,包括:
8.如权利要求1至7任意一项所述的方法,其特征在于,所述多个预设对话处理模型中的每个预设对话处理模型预先设置有多种推理能力等级,针对每个预设对话处理模型,该预设对话处理模型的不同推理能力等级,通过设置该预设对话处理模型对应的不同推理深度参数配置信息得到;
9.如权利要求1至7任意一项所述的方法,其特征在于,所述多个预设对话处理模型中的每个预设对话处理模型预先设置有多种推理能力等级,针对每个预设对话处理模型,该预设对话处理模型的不同推理能力等级,通过设置该预设对话处理模型对应的不同推理深度参数配置信息得到;
10.如权利要求1至7任意一项所述的方法,其特征在于,所述多个预设对话处理模型中的每个预设对话处理模型预先设置有多种推理能力等级,针对每个预设对话处理模型,该预设对话处理模型的不同推理能力等级,通过设置该预设对话处理模型对应的不同推理深度参数配置信息得到;
11.如权利要求1所述的方法,其特征在于,在将所述第二对话处理模型作为用于处理所述当前对话请求的目标对话处理模型之后,所述方法还包括:
12.一种请求处理的装置,其特征在于,包括:
13.一种计算设备,其特征在于,包括:
14.一种计算机可读存储介质,其存储有计算机程序/指令,其特征在于,该计算机程序/指令被处理器执行时实现权利要求1至11任意一项所述方法的步骤。
15.一种计算机程序产品,包括计算机程序/指令,其特征在于,该计算机程序/指令被处理器执行时实现权利要求1至11任意一项所述方法的步骤。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com