任务协同推理方法、装置、网络设备、存储介质及程序产品与流程

摘要: 本技术涉及无线,尤其是指一种任务协同推理方法、装置、网络设备、存储介质及程序产品。背景技术:1、在人工智能ai驱动的应用程序中,尤其是在图像识别和自然语言处理中...
任务协同推理方法、装置、网络设备、存储介质及程序产品与流程

本技术涉及无线,尤其是指一种任务协同推理方法、装置、网络设备、存储介质及程序产品。

背景技术:

1、在人工智能ai驱动的应用程序中,尤其是在图像识别和自然语言处理中,深度神经网络(deep neuralnetwork,dnn)推理任务的复杂性日益增加,突显了单设备计算能力的局限性。目前,采用协作推理方式在终端和边缘计算之间分配计算负载,以平衡计算负载并提高任务的推理性能,成为解决这些挑战的关键方法。基于该方法的一个关键技术是人工智能模型切分,将推理任务分为多个部分,以在不同设备进行计算。

2、现有技术的协作推理方式包括终端到边缘服务器的协作推理、终端到终端的协作推理,但采用终端到边缘服务器的推理方式,会受通信频谱资源和信道状态条件等的影响,因此受到传输速率的限制;而采用终端到终端的推理方式,会受单个终端设备的计算能力有限的影响,均无法保证ai任务的高效编排和计算卸载,因此有必要对ai任务的协同推理方法进行改进,以能够计算有效的计算卸载策略,合理分配计算任务以避免单个设备过载的问题,同时提高整体系统的计算能力和响应速度。

技术实现思路

1、本技术技术方案的目的是提供一种任务协同推理方法、装置、网络设备、存储介质及程序产品,用于在通信资源约束和计算资源约束下,实现ai任务的合理分配,以避免单个设备过载的问题。

2、本技术其中一实施例提供一种任务协同推理方法,其中,由第一设备执行,所述方法包括:

3、向第一应用发送第一信息;其中,所述第一信息用于所述第一应用确定第一任务的第二策略,所述第一信息包括以下的一项或多项:

4、至少一个用户设备的人工智能ai能力信息;

5、至少一个网络设备的ai能力信息;

6、第一任务的第一策略。

7、可选地,所述的任务协同推理方法,其中,所述方法还包括:

8、根据所述至少一个用户设备的ai能力信息、所述至少一个网络设备的ai能力信息和所述第一任务的需求中的一项或多项,确定所述第一策略。

9、可选地,所述的任务协同推理方法,其中,所述第一策略包括以下的一项或多项:

10、协作推理模式;

11、资源分配信息;

12、任务切分点;

13、切分点个数;

14、切分点位置;

15、子任务卸载位置;

16、子任务执行顺序。

17、可选地,所述的任务协同推理方法,其中,所述用户设备的ai能力信息包括以下的一项或多项:

18、静态能力信息;

19、动态能力信息。

20、可选地,所述的任务协同推理方法,其中,所述静态能力信息包括以下的一项或多项:

21、直通链路sidelink通信能力信息;

22、蜂窝通信能力信息;

23、静态计算能力信息。

24、可选地,所述的任务协同推理方法,其中,所述动态能力信息包括以下的一项或多项:

25、动态计算能力信息;

26、连接状态信息;

27、能耗与电量报告信息;

28、协同计算能力信息。

29、可选地,所述的任务协同推理方法,其中,所述sidelink通信能力信息包括以下的一项或多项:

30、第二信息,用于指示所述用户设备是否支持直通链路sidelink通信;

31、直通链路sidelink的分组数据汇聚协议pdcp层参数;

32、直通链路sidelink的rlc层参数;

33、直通链路sidelink支持的频带;

34、sidelink支持的频带组合。

35、可选地,所述的任务协同推理方法,其中,所述蜂窝通信能力信息包括以下信息中的一项或多项:

36、第三信息,用于指示所述用户设备是否支持蜂窝通信;

37、蜂窝链路频谱;

38、发射功率。

39、可选地,所述的任务协同推理方法,其中,所述静态计算能力信息包括以下信息中的一项或多项:

40、第三信息,用于指示所述用户设备是否支持ai任务计算;

41、处理器时钟频率;

42、推理加速能力;

43、支持的ai框架。

44、可选地,所述的任务协同推理方法,其中,所述动态计算能力信息包括计算负载状态和/或任务状态。

45、可选地,所述的任务协同推理方法,其中,所述连接状态信息包括信号强度、时延信息、链路丢包率和链路抖动情况中的一项或多项。

46、本技术其中一实施例还提供一种任务协同推理方法,其中,由第一应用执行,所述方法包括:

47、获取第一任务的需求,以及,获取无线接入网侧的第一设备发送的第一信息;其中,所述第一信息包括以下信息的一项或多项:

48、至少一个用户设备的人工智能ai能力信息;

49、至少一个网络设备的ai能力信息;

50、所述第一任务的第一策略;

51、根据所述第一任务的需求和/或所述第一信息,确定所述第一任务的第二策略。

52、可选地,所述的任务协同推理方法,其中,所述第一策略和/或所述第二策略分别包括以下内容的一项或多项:

53、协作推理模式;

54、资源分配信息;

55、任务切分点;

56、切分点个数;

57、切分点位置;

58、子任务卸载位置;

59、子任务执行顺序。

60、可选地,所述的任务协同推理方法,其中,所述第一任务的需求包括以下信息的一项或多项:

61、链路连接质量要求;

62、链路延迟要求;

63、丢包容忍度;

64、协作设备算力门限;

65、支持ai任务的工具库;

66、计算能力要求;

67、最低gpu性能;

68、服务时间要求;

69、任务优先级。

70、可选地,所述的任务协同推理方法,其中,所述用户设备的ai能力信息包括以下信息的一项或多项:

71、静态能力信息;

72、动态能力信息。

73、可选地,所述的任务协同推理方法,其中,所述静态能力信息包括以下的一项或多项:

74、sidelink通信能力信息;

75、蜂窝通信能力信息;

76、静态计算能力信息。

77、可选地,所述的任务协同推理方法,其中,所述动态能力信息包括以下的一项或多项:

78、动态计算能力信息;

79、连接状态信息;

80、能耗与电量报告信息;

81、协同计算能力信息。

82、可选地,所述的任务协同推理方法,其中,所述sidelink通信能力信息包括以下的一项或多项:

83、第二信息,用于指示所述用户设备是否支持直通链路sidelink通信;

84、直通链路sidelink的pdcp层参数;

85、直通链路sidelink的rlc层参数;

86、直通链路sidelink支持的频带;

87、sidelink支持的频带组合。

88、可选地,所述的任务协同推理方法,其中,所述蜂窝通信能力信息包括以下信息中的一项或多项:

89、第三信息,用于指示所述用户设备是否支持蜂窝通信;

90、蜂窝链路频谱;

91、发射功率。

92、可选地,所述的任务协同推理方法,其中,所述静态计算能力信息包括以下信息中的一项或多项:

93、第三信息,用于指示所述用户设备是否支持ai任务计算;

94、处理器时钟频率;

95、推理加速能力;

96、支持的ai框架。

97、可选地,所述的任务协同推理方法,其中,所述动态计算能力信息包括计算负载状态和/或任务状态。

98、可选地,所述的任务协同推理方法,其中,所述连接状态信息包括信号强度、时延信息、链路丢包率和链路抖动情况中的一项或多项。

99、本技术其中一实施例还提供一种任务协同推理装置,其中,应用于第一设备,所述装置包括:

100、发送模块,用于向第一应用发送第一信息;其中,所述第一信息用于所述第一应用确定第一任务的第二策略,所述第一信息包括以下的一项或多项:

101、至少一个用户设备的人工智能ai能力信息;

102、至少一个网络设备的ai能力信息;

103、第一任务的第一策略。

104、本技术其中一实施例还提供一种任务协同推理装置,其中,应用于第一应用,所述装置包括:

105、获取模块,用于获取第一任务的需求,以及,获取无线接入网侧的第一设备发送的第一信息;其中,所述第一信息包括以下信息的一项或多项:

106、至少一个用户设备的人工智能ai能力信息;

107、至少一个网络设备的ai能力信息;

108、所述第一任务的第一策略;

109、确定模块,用于根据所述第一任务的需求和/或所述第一信息,确定所述第一任务的第二策略。

110、本技术其中一实施例还提供一种网络设备,其中,包括:处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序,所述程序在被所述处理器执行时实现如上任一项所述的任务协同推理方法。

111、本技术其中一实施例还提供一种可读存储介质,其中,包括:所述可读存储介质上存储有程序,所述程序被处理器执行时实现如上任一项所述的任务协同推理方法的步骤。

112、本技术其中一实施例还提供一种计算机程序产品,其中,包括计算机指令,所述计算机指令被处理器执行时实现如上任一项所述的任务协同推理方法的步骤。

113、本技术上述技术方案中的至少一个具有以下有益效果:

114、本技术实施例所述任务协同推理方法,通过向第一应用开放包括用户设备的ai能力信息、网络设备的ai能力信息和第一任务的第一策略中的一项或多项的第一信息,使得第一应用能够根据所获得的第一信息,确定第一任务进行模型切分和计算卸载的第二策略,以能够根据通信资源和计算资源情况,确定有效的计算卸载策略,实现ai任务的合理分配,以避免单个设备过载的问题,并提高整体系统的计算能力和响应速度。