用户计算资源额度的调整方法、系统、设备及程序产品与流程

本公开涉及人工智能，尤其涉及一种用户计算资源额度的调整方法、系统、设备及程序产品。

背景技术：

1、在大模型服务的运营过程中，为了避免模型服务交付后才发现用户的计算资源额度不足的现象发生，通常大模型网关会根据用户的调用请求直接冻结用户的部分计算资源额度，然后在模型服务交付后再对冻结额度进行调整。

2、然而在这一流程中，计算资源额度的计算规则会可能受到多种因素的干扰，这样会导致对冻结额度的调整缺乏合理性，这样会导致模型服务方和用户双方的体验感均不佳。因此，用户计算资源额度的调整方法仍需改善。

技术实现思路

1、本公开要解决的技术问题是为了克服现有技术中在模型服务交付后再对冻结额度进行调整，会导致会导致对冻结额度的调整缺乏合理性的缺陷，提供一种用户计算资源额度的调整方法、系统、设备及程序产品。

2、本公开是通过下述技术方案来解决上述技术问题：

3、第一方面，本公开提供了一种用户计算资源额度的调整方法，所述用户计算资源额度的调整方法应用在大模型网关上，所述调整方法包括：

4、响应于接收到目标用户的调用请求，获取所述目标用户的初始计算资源额度，并预估目标大模型执行所述调用请求所需处理的预估词元量；以及获取当前时刻的词元与计算资源额度之间的第一映射关系；

5、基于所述预估词元量和所述第一映射关系，计算所述目标用户所需消耗的预估计算资源额度，并在所述初始计算资源额度中冻结所述预估计算资源额度；

6、响应于所述目标大模型执行完所述调用请求，获取所述目标大模型执行所述调用请求实际处理的实际词元量；

7、基于所述实际词元量和所述第一映射关系，计算所述目标用户实际消耗的实际计算资源额度；

8、基于所述预估计算资源额度和所述实际计算资源额度，对冻结处理后的所述初始计算资源额度进行调整。

9、可选地，所述响应于所述目标大模型执行完所述调用请求，获取所述目标大模型执行所述调用请求实际处理的实际词元量的步骤包括：

10、获取所述目标大模型返回的字段信息；

11、基于所述字段信息，获取与所述字段信息匹配的词元计算规则；

12、基于所述词元计算规则，计算得到所述实际词元量。

13、可选地，所述初始计算资源额度存储在不同的存储位置上；所述在所述初始计算资源额度中冻结所述预估计算资源额度的步骤包括：

14、获取所述存储位置的冻结优先级；

15、基于所述冻结优先级，依次冻结所述存储位置上的所述初始计算资源额度，直至冻结所述预估计算资源额度；

16、或，

17、获取所述存储位置对应的冻结比例；

18、基于所述冻结比例对所述预估计算资源额度进行划分后，分别冻结所述存储位置上对应的所述预估计算资源额度。

19、可选地，所述基于所述预估计算资源额度和所述实际计算资源额度，对冻结处理后的所述初始计算资源额度进行调整的步骤包括：

20、计算所述预估计算资源额度与所述实际计算资源额度之间的差值额度；

21、响应于所述差值额度为正数，则从冻结的所述预估计算资源额度中解冻所述差值额度；

22、响应于所述差值额度为负数，则在未冻结的所述初始计算资源额度中冻结所述差值额度。

23、可选地，所述响应于所述差值额度为正数，则从冻结的所述预估计算资源额度中解冻所述差值额度的步骤包括：

24、获取所述存储位置的解冻优先级；

25、基于所述解冻优先级，依次解冻所述存储位置上的所述初始计算资源额度，直至解冻所述差值额度；

26、或，

27、获取所述存储位置对应的解冻比例；

28、基于所述解冻比例对所述差值额度进行划分后，分别解冻所述存储位置上对应的所述差值额度。

29、可选地，所述调用请求中包括输入数据、输出数据以及处理所述输入数据所需的工具数据；

30、所述响应于接收到目标用户的调用请求，获取所述目标用户的初始计算资源额度，并预估目标大模型执行所述调用请求所需处理的预估词元量；以及获取当前时刻的词元与计算资源额度之间的第一映射关系的步骤包括：

31、基于所述输入数据、所述输出数据以及所述工具数据，预估所述目标大模型执行所述调用请求所需处理的预估词元量。

32、可选地，所述调用请求中包括所述目标用户指定的预设大模型；所述预估目标大模型执行所述调用请求所需处理的预估词元量的步骤之前包括：

33、响应所述预设大模型的工作状态与预设工作状态不符，则遍历所有大模型，并将符合预设工作状态的大模型作为所述目标大模型。

34、第二方面，本公开提供了一种用户计算资源额度的调整系统，所述用户计算资源额度的调整方法应用在大模型网关上，所述调整系统包括：

35、响应模块，响应于接收到目标用户的调用请求，获取所述目标用户的初始计算资源额度，并预估目标大模型执行所述调用请求所需处理的预估词元量；以及获取当前时刻的词元与计算资源额度之间的第一映射关系；

36、计算模块，用于基于所述预估词元量和所述第一映射关系，计算所述目标用户所需消耗的预估计算资源额度，并在所述初始计算资源额度中冻结所述预估计算资源额度；

37、所述响应模块还响应于所述目标大模型执行完所述调用请求，获取所述目标大模型执行所述调用请求实际处理的实际词元量；

38、所述计算模块还用于基于所述实际词元量和所述第一映射关系，计算所述目标用户实际消耗的实际计算资源额度；

39、调整模块，用于基于所述预估计算资源额度和所述实际计算资源额度，对冻结处理后的所述初始计算资源额度进行调整。

40、可选地，所述调整系统包括：

41、获取模块，用于获取所述目标大模型返回的字段信息；

42、所述获取模块还用于基于所述字段信息，获取与所述字段信息匹配的词元计算规则；

43、计算模块还用于基于所述词元计算规则，计算得到所述实际词元量。

44、可选地，所述初始计算资源额度存储在不同的存储位置上；所述计算模块包括：

45、第一获取单元，用于获取所述存储位置的冻结优先级；

46、第一冻结单元，用于基于所述冻结优先级，依次冻结所述存储位置上的所述初始计算资源额度，直至冻结所述预估计算资源额度；

47、或，

48、第二获取单元，用于获取所述存储位置对应的冻结比例；

49、第二冻结单元，用于基于所述冻结比例对所述预估计算资源额度进行划分后，分别冻结所述存储位置上对应的所述预估计算资源额度。

50、可选地，所述调整模块包括：

51、计算单元，用于计算所述预估计算资源额度与所述实际计算资源额度之间的差值额度；

52、响应单元，响应于所述差值额度为正数，则从冻结的所述预估计算资源额度中解冻所述差值额度；

53、响应单元还响应于所述差值额度为负数，则在未冻结的所述初始计算资源额度中冻结所述差值额度。

54、可选地，所述响应单元包括：

55、第一获取子单元，用于获取所述存储位置的解冻优先级；

56、第一解冻子单元，用于基于所述解冻优先级，依次解冻所述存储位置上的所述初始计算资源额度，直至解冻所述差值额度；

57、或，

58、第二获取子单元，用于获取所述存储位置对应的解冻比例；

59、第二解冻子单元，用于基于所述解冻比例对所述差值额度进行划分后，分别解冻所述存储位置上对应的所述差值额度。

60、可选地，所述调用请求中包括输入数据、输出数据以及处理所述输入数据所需的工具数据；

61、所述响应模块包括：

62、预估单元，用于基于所述输入数据、所述输出数据以及所述工具数据，预估所述目标大模型执行所述调用请求所需处理的预估词元量。

63、可选地，所述调用请求中包括所述目标用户指定的预设大模型；所述响应模块还响应所述预设大模型的工作状态与预设工作状态不符，则遍历所有大模型，并将符合预设工作状态的大模型作为所述目标大模型。

64、第三方面，本公开提供了一种电子设备，包括存储器、处理器及存储在存储器上并用于在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述所述的用户计算资源额度的调整方法。

65、第四方面，本公开提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述所述的用户计算资源额度的调整方法。

66、第五方面，本公开提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现上述所述的用户计算资源额度的调整方法。

67、在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本公开各较佳实例。

68、本公开的积极进步效果在于：基于接收到目标用户的调用请求时刻的第一映射关系，来分别计算目标用户所需消耗的预估计算资源额度，以及用户实际消耗的实际计算资源额度，这样可以确保预估计算资源额度和实际计算资源额是基于同一个映射关系计算出的，从而避免了预估计算资源额度和实际计算资源额的计算基准不同，导致对用户的额度调整缺乏合理性的现象发生，以同时提高模型服务方和用户双方的体验感。