确定大模型服务的资源消耗的方法、装置及设备与流程

摘要: 本公开涉及人工智能,具体地,涉及一种确定大模型服务的资源消耗的方法、装置及设备。背景技术:1、随着大语言模型(largelanguagemodel,llm)的广...
确定大模型服务的资源消耗的方法、装置及设备与流程

本公开涉及人工智能,具体地,涉及一种确定大模型服务的资源消耗的方法、装置及设备。

背景技术:

1、随着大语言模型(large language model, llm)的广泛应用,模型推理服务的商业化计费已成为行业核心问题。当前,大模型推理服务的计费方式多基于输入输出token数量、推理时长或计算资源占用等单一维度,难以全面反映服务全链条的资源消耗,导致计费不够精准。

技术实现思路

1、本公开的目的是提供一种确定大模型服务的资源消耗的方法、装置及设备。

2、为了实现上述目的,第一方面,本公开提供一种确定大模型服务的资源消耗的方法,所述方法包括:

3、获取终端的服务请求信息;

4、获取数据端基于所述服务请求信息反馈的数据检索信息;

5、基于所述数据检索信息,确定大模型端中大模型服务的推理信息,所述服务请求信息、所述数据检索信息以及推理信息的均以语义单元token度量;

6、根据所述服务请求信息、所述数据检索信息以及所述推理信息,确定本次大模型服务的资源消耗参数。

7、可选地,所述基于所述数据检索信息,确定大模型端中大模型服务的推理信息,包括:

8、根据所述数据检索信息,确定所述大模型端中大模型服务的输入数据;

9、基于所述输入数据,获取所述大模型服务的输出数据以及算力消耗数据,并将所述输出数据以及算力消耗数据确定为所述推理信息。

10、可选地,所述大模型服务包括推理服务以及检索服务,所述根据所述服务请求信息、所述数据检索信息以及所述推理信息,确定本次大模型服务的资源消耗参数,包括:

11、根据所述推理信息,确定本次推理服务的第一资源消耗参数;

12、根据所述数据检索信息,确定本次检索服务的第二资源消耗参数。

13、可选地,所述数据检索信息包括检索命中的token总量和实际输入大模型的token量;所述方法还包括:

14、根据所述实际输入大模型的token量与所述检索命中的token总量的比值,确定所述数据检索信息对应的资源利用因子;

15、所述方法还包括:根据所述资源利用因子,调节所述第二资源消耗参数。

16、可选地,在所述根据所述推理信息,确定本次大模型服务的资源消耗参数之前,所述方法还包括:

17、根据所述服务请求信息,确定所述本次推理服务的执行环境;

18、基于所述执行环境,确定所述本次推理服务的安全系数,其中,不同的执行环境对应不同的安全系数,所述安全系数表征所述执行环境相对于基准明文计算环境的性能开销比率;

19、所述根据所述服务请求信息、所述数据检索信息以及所述推理信息,确定本次大模型服务的资源消耗参数,包括:

20、根据所述服务请求信息、所述数据检索信息、所述推理信息以及所述安全系数,确定本次大模型服务的资源消耗参数。

21、可选地,所述根据所述服务请求信息、所述数据检索信息、所述推理信息以及所述安全系数,确定本次大模型服务的资源消耗参数包括:

22、获取所述基准明文计算环境下单位token对应的基准资源消耗量;

23、根据所述服务请求信息、所述数据检索信息以及所述推理信息的token数量,以及所述基准资源消耗量的乘积,确定明文资源总消耗量;

24、根据所述明文资源总消耗量与所述安全强度系数的乘积,确定所述资源消耗参数。

25、可选地,所述基于所述执行环境,确定所述本次推理服务的安全系数,包括:

26、根据预设的安全强度映射关系,确定所述执行环境对应的所述安全系数;或者,

27、根据所述执行环境的安全计算环境类型、所述大模型推理任务的计算任务类型以及所述执行环境的硬件配置类型,从预设的安全强度映射关系中查询对应的所述安全系数。

28、可选地,所述资源消耗参数指示本次确定大模型服务的资源消耗的;

29、所述方法还包括:

30、获取所述数据端以及所述大模型端的费用比例;

31、将计费得到的费用按照所述费用比例进行分配。

32、第二方面,本公开提供一种确定大模型服务的资源消耗的装置,所述装置包括:

33、第一信息获取模块,被配置为获取终端的服务请求信息;

34、第二信息获取模块,被配置为获取数据端基于所述服务请求信息反馈的数据检索信息;

35、推理信息获取模块,被配置为基于所述数据检索信息,确定大模型端中大模型服务的推理信息,所述服务请求信息、所述数据检索信息以及推理信息的均以语义单元token度量;

36、消耗参数确定模块,被配置为根据所述服务请求信息、所述数据检索信息以及所述推理信息,确定本次大模型服务的资源消耗参数。

37、第三方面,本公开提供一种电子设备,包括:

38、存储器,其上存储有计算机程序;

39、处理器,用于执行所述存储器中的所述计算机程序,以实现第一方面中任一项所述方法的步骤。

40、通过上述技术方案,通过统一以token度量服务请求、数据检索及模型推理信息,实现了全链路资源消耗的精准量化与细粒度管控,不仅可以反应服务全链条的资源消耗,而且还能提高资源消耗计算的精准度。

41、本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。

1.一种确定大模型服务的资源消耗的方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述基于所述数据检索信息,确定大模型端中大模型服务的推理信息,包括:

3.根据权利要求1所述的方法,其特征在于,所述大模型服务包括推理服务以及检索服务,所述根据所述服务请求信息、所述数据检索信息以及所述推理信息,确定本次大模型服务的资源消耗参数,包括:

4.根据权利要求3所述的方法,其特征在于,所述数据检索信息包括检索命中的token总量和实际输入大模型的token量;所述方法还包括:

5.根据权利要求1所述的方法,其特征在于,在所述根据所述推理信息,确定本次大模型服务的资源消耗参数之前,所述方法还包括:

6.根据权利要求5所述的方法,其特征在于,所述根据所述服务请求信息、所述数据检索信息、所述推理信息以及所述安全系数,确定本次大模型服务的资源消耗参数包括:

7.根据权利要求5所述的方法,其特征在于,所述基于所述执行环境,确定所述本次推理服务的安全系数,包括:

8.根据权利要求1-7中任一项所述方法,其特征在于,所述资源消耗参数指示本次大模型服务的计费;

9.一种确定大模型服务的资源消耗的装置,其特征在于,所述装置包括:

10.一种电子设备,其特征在于,包括: