一种智能路由调度方法、装置、设备及可读存储介质与流程

摘要: 本申请涉及路由优化,具体涉及一种智能路由调度方法、装置、设备及可读存储介质。背景技术:1、随着人工智能技术的快速发展,大语言模型已广泛应用于各类智能服务场景中,...
一种智能路由调度方法、装置、设备及可读存储介质与流程

本申请涉及路由优化,具体涉及一种智能路由调度方法、装置、设备及可读存储介质。

背景技术:

1、随着人工智能技术的快速发展,大语言模型已广泛应用于各类智能服务场景中,api网关作为连接客户端与后端模型服务的核心枢纽,其调度性能直接关系到服务的稳定性、成本效益与用户体验。在实际应用中,不同用户请求的任务复杂度差异巨大,且后端模型通道存在计费成本与处理能力的异构性,因此,如何实现对大模型调用请求的高效路由调度,以及在通道异常时保障会话的连续性,已成为该领域亟待解决的关键需求。

2、现有技术中,api网关通常采用轮询或基于网络层负载的加权算法将请求分发至后端通道,并通过定期发送心跳包或检测http状态码来判断通道健康状态。当检测到通道故障时,网关通常会将请求重试转发至其他可用通道,或直接向客户端返回错误信息以便客户端重新发起请求,以此实现基本的负载均衡与故障容灾。

3、然而,上述现有技术存在以下技术问题:首先,路由决策仅依赖网络层负载,未考虑请求本身的任务复杂度与通道的服务成本及处理能力的匹配关系,导致资源分配不合理且成本可控性差;其次,健康监测基于心跳或状态码,无法实时感知流式响应过程中的性能波动,故障发现滞后;最后,通道切换时缺乏对会话历史上下文的处理机制,导致备用通道无法重建会话状态,造成对话中断,严重影响用户体验。

技术实现思路

1、本申请提供一种智能路由调度方法、装置、设备及可读存储介质,可以解决现有技术中存在的路由匹配度低、故障感知滞后以及通道切换导致会话中断的技术问题。

2、第一方面,本申请实施例提供一种智能路由调度方法,包括:

3、接收客户端发送的大模型调用请求,并提取大模型调用请求对应的任务复杂度特征;

4、获取多个后端通道的服务成本指标和处理能力指标,基于任务复杂度特征、服务成本指标和处理能力指标,从多个后端通道中确定目标通道;

5、将大模型调用请求转发至目标通道,并监测目标通道的流式响应状态,当流式响应状态满足预设的切换条件时,触发通道切换操作,并从多个后端通道中确定备用通道;

6、获取当前会话的历史上下文数据,对历史上下文数据进行格式适配处理以生成补偿数据,将补偿数据发送至备用通道,以使备用通道基于补偿数据重建会话状态,续接客户端的当前对话。

7、结合第一方面,在一种实施方式中,提取大模型调用请求对应的任务复杂度特征,包括:

8、提取大模型调用请求的文本长度和长文本关联密度;

9、根据文本长度和长文本关联密度预测整体计算载荷,根据整体计算载荷确定任务复杂度特征。

10、结合第一方面,在一种实施方式中,基于任务复杂度特征、服务成本指标和处理能力指标,从多个后端通道中确定目标通道,包括:

11、构建路由评估模型,路由评估模型至少包括成本评估因子、性能评估因子及能力匹配评估因子;

12、根据任务复杂度特征动态调整成本评估因子、性能评估因子及能力匹配评估因子的权重系数;

13、对路由评估模型进行优化算法求解,将使路由评估模型输出的路由评估得分最优的后端通道确定为目标通道;

14、其中,成本评估因子根据服务成本指标确定,性能评估因子根据处理能力指标确定,能力匹配评估因子根据任务复杂度特征和处理能力指标的匹配度确定。

15、结合第一方面,在一种实施方式中,根据任务复杂度特征动态调整成本评估因子、性能评估因子及能力匹配评估因子的权重系数,包括:

16、提取大模型调用请求的文本长度;

17、当文本长度超过预设长文本阈值时,提高性能评估因子的权重系数。

18、结合第一方面,在一种实施方式中,监测目标通道的流式响应状态,包括:

19、获取相邻流式数据块之间的输出时延,根据输出时延构建时延差异序列;

20、根据时延差异序列确定差分响应时延波动率;

21、当差分响应时延波动率连续满足预设基线阈值的次数达到状态切换阈值,判定流式响应状态从默认的健康状态切换为衰减状态;

22、在衰减状态下,若差分响应时延波动率达到预设熔断阈值,或触发系统报错,判定流式响应状态从衰减状态切换为熔断状态。

23、结合第一方面,在一种实施方式中,当流式响应状态满足预设的切换条件时,触发通道切换操作,包括:

24、当流式响应状态为衰减状态时,基于预设比例降低目标通道的流量配额;

25、当流式响应状态为熔断状态时,将目标通道的流量配额调整为零。

26、结合第一方面,在一种实施方式中,对历史上下文数据进行格式适配处理以生成补偿数据,包括:

27、基于预设滑动窗口从历史上下文数据提取最近预设数量轮次的对话信息,并剔除其中冗余数据;

28、识别备用通道对应的目标数据格式,将筛选后的对话信息转化为备用通道兼容的目标数据格式,得到补偿数据。

29、第二方面,本申请实施例提供了一种智能路由调度装置,包括:

30、请求接收模块,用于接收客户端发送的大模型调用请求,并提取大模型调用请求对应的任务复杂度特征;

31、路由决策模块,用于获取多个后端通道的服务成本指标和处理能力指标,基于任务复杂度特征、服务成本指标和处理能力指标,从多个后端通道中确定目标通道;

32、状态监测模块,用于将大模型调用请求转发至目标通道,并监测目标通道的流式响应状态,当流式响应状态满足预设的切换条件时,触发通道切换操作,并从多个后端通道中确定备用通道;

33、上下文补偿模块,用于获取当前会话的历史上下文数据,对历史上下文数据进行格式适配处理以生成补偿数据,将补偿数据发送至备用通道,以使备用通道基于补偿数据重建会话状态,续接客户端的当前对话。

34、第三方面,本申请实施例提供了一种智能路由调度设备,智能路由调度设备包括处理器、存储器、以及存储在存储器上并可被处理器执行的智能路由调度程序,其中智能路由调度程序被处理器执行时,实现如上述任一项的智能路由调度方法的步骤。

35、第四方面,本申请实施例提供了一种计算机可读存储介质,计算机可读存储介质上存储有智能路由调度程序,其中智能路由调度程序被处理器执行时,实现上述任一项的智能路由调度方法的步骤。

36、本申请实施例提供的技术方案带来的有益效果包括:

37、本申请通过提取任务复杂度特征并结合服务成本与处理能力进行路由决策,实现了请求与通道资源的精准匹配,降低了服务成本;通过监测流式响应状态触发切换,能够及时发现通道异常,提升了系统的稳定性;并通过获取历史上下文数据进行格式适配生成补偿数据,使备用通道能够重建会话状态续接对话,保障了业务连续性,有效解决了现有技术中路由匹配度低、故障感知滞后以及通道切换导致会话中断的技术问题,有效提高了用户体验。

1.一种智能路由调度方法,其特征在于,包括:

2.根据权利要求1所述的智能路由调度方法,其特征在于,所述提取所述大模型调用请求对应的任务复杂度特征,包括:

3.根据权利要求1所述的智能路由调度方法,其特征在于,所述基于所述任务复杂度特征、所述服务成本指标和所述处理能力指标,从多个后端通道中确定目标通道,包括:

4.根据权利要求3所述的智能路由调度方法,其特征在于,所述根据所述任务复杂度特征动态调整所述成本评估因子、性能评估因子及能力匹配评估因子的权重系数,包括:

5.根据权利要求1所述的智能路由调度方法,其特征在于,所述监测所述目标通道的流式响应状态,包括:

6.根据权利要求5所述的智能路由调度方法,其特征在于,所述当所述流式响应状态满足预设的切换条件时,触发通道切换操作,包括:

7.根据权利要求1所述的智能路由调度方法,其特征在于,所述对所述历史上下文数据进行格式适配处理以生成补偿数据,包括:

8.一种智能路由调度装置,其特征在于,包括:

9.一种智能路由调度设备,其特征在于,所述智能路由调度设备包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的智能路由调度程序,其中所述智能路由调度程序被所述处理器执行时,实现如权利要求1至7中任一项所述的智能路由调度方法的步骤。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有智能路由调度程序,其中所述智能路由调度程序被处理器执行时,实现如权利要求1至7中任一项所述的智能路由调度方法的步骤。