一种能量受限下的车载边缘推理吞吐量优化方法及系统与流程

摘要: 本发明涉及车联网和边缘智能领域,具体涉及一种能量受限下的车载边缘推理吞吐量优化方法及系统。背景技术:1、随着人工智能技术的快速演进,面向智能交通的推理服务应运而...
一种能量受限下的车载边缘推理吞吐量优化方法及系统与流程

本发明涉及车联网和边缘智能领域,具体涉及一种能量受限下的车载边缘推理吞吐量优化方法及系统。

背景技术:

1、随着人工智能技术的快速演进,面向智能交通的推理服务应运而生,例如行人检测、碰撞预警和路标识别等。这些不同类型的推理服务能够为驾驶决策提供实时支持,从而显著提升行车安全与通行效率。在此背景下,车载终端对智能交通推理服务的需求日益迫切。

2、受限于自身资源储备,车载终端通常难以在本地部署推理模型并实时运行推理服务。车载边缘推理作为一种新兴计算范式,通过将云端计算资源下沉至路侧单元,实现推理模型的就近部署与高效运行,从而为车载终端提供低时延推理服务。然而,路侧单元同样面临资源储备有限的问题。当大量车载终端同时发起推理请求时,路侧单元的计算与通信资源可能不足以实时完成所有推理请求,这将导致部分推理请求无法被成功处理,进而影响车载终端的行车安全体验。

3、为应对上述问题,现有技术提出了一系列请求卸载与资源配置方案。这些方案通过合理选择推理请求的执行单元,即将推理请求卸载至哪个路侧单元上执行,并合理配置车载终端与路侧单元的计算及通信资源,以提升单个服务时隙中被成功完成的推理请求数目,即单个服务时隙中的吞吐量。然而,现有技术普遍仅着眼于单一服务时隙中的吞吐量优化,未对包含多个连续服务时隙的服务周期内的总吞吐量进行优化。同时,现有技术普遍假设各服务时隙中车载终端的可用能量彼此独立,而忽略了车载终端在一个服务周期内的总可用能量是有限的,且各服务时隙间的能耗存在相互制约关系。受限于上述局限性,现有技术难以在保障车载终端总可用能量约束的前提下有效提升服务周期内的总吞吐量。

4、因此,如何提供一种能够在满足车载终端总可用能量约束的条件下,通过联合优化服务周期内各个服务时隙中的请求卸载方案与资源配置方案,以实现服务周期内总吞吐量最大化的方法,是本领域技术人员亟待解决的技术问题。

技术实现思路

1、为了克服现有技术的不足,本发明的目的之一在于提供一种能量受限下的车载边缘推理吞吐量优化方法,其能够在满足车载终端总可用能量约束的条件下,通过联合优化服务周期内各个服务时隙中的请求卸载方案与资源配置方案,实现服务周期内总吞吐量的最大化。

2、为实现本发明的目的之一,采用如下方案:

3、一种能量受限下的车载边缘推理吞吐量优化方法,包括以下步骤:

4、步骤s1:在服务周期内的每个服务时隙开始时,获取相应信息,所述相应信息包括各个车载终端的推理请求信息、计算资源信息、通信资源信息与能量资源信息,以及各个路侧单元的计算资源信息与推理模型部署信息;

5、步骤s2:根据所述相应信息,构建当前服务时隙中车载终端将推理请求卸载至路侧单元执行时的推理服务参数模型与车载终端能耗模型,以及当前服务时隙中所述车载终端的能量赤字队列;

6、步骤s3:根据所述推理服务参数模型与所述车载终端能耗模型,以优化当前服务时隙内的吞吐量为导向,在所述能量赤字队列的稳定性约束下,求解当前服务时隙中所述推理请求的卸载方案以及资源配置方案,所述资源配置方案包括车载终端的计算资源与通信资源的配置方案,以及路侧单元的计算资源的配置方案;

7、步骤s4:根据当前服务时隙中求解得到的所述卸载方案与所述资源配置方案,计算对应的各个车载终端的能耗,并相应更新各个车载终端在下一服务时隙的所述能量赤字队列;

8、步骤s5:将当前服务时隙中求解得到的所述卸载方案与所述资源配置方案发送至各个车载终端与各个路侧单元,以指示其卸载或完成相应的推理请求;

9、步骤s6:在完成对各服务时隙的卸载方案求解后,根据各服务时隙的卸载方案计算所述服务周期内的总吞吐量。

10、进一步地,步骤s1中,所述服务周期划分为多个时长相等的服务时隙;

11、路侧单元的数量为多个,车载终端的数量为多个,推理模型类型为多种;

12、设定其中一个路侧单元作为中心路侧单元,每个车载终端在各服务时隙中仅有一个接入路侧单元;

13、每个路侧单元均部署了所有类型的推理模型;

14、每个车载终端在各服务时隙中仅生成一个推理请求且仅请求一种推理服务,每个推理请求最多由一个路侧单元完成,每个路侧单元能够完成多个推理请求。

15、进一步地,步骤s2中,所述推理服务参数模型包括当前服务时隙中车载终端将推理请求卸载至路侧单元执行时的输入数据大小、推理精度、推理负载与完成时延;

16、所述车载终端能耗模型包括当前服务时隙中车载终端将推理请求卸载至路侧单元执行时的终端能耗;

17、所述能量赤字队列的队列长度按以下方式更新:取上一服务时隙的队列长度减去当前服务时隙的平均分配能量后的值与零之间的较大者,再加上当前服务时隙中因卸载推理请求所产生的终端能耗。

18、进一步地,所述步骤s3具体为:

19、步骤s3.1:为每个车载终端定义一个关联参数,并将各关联参数的初始值设为随机正值;

20、步骤s3.2:基于当前的关联参数,求解当前服务时隙中所述推理请求的卸载方案以及所述资源配置方案;

21、步骤s3.3:根据当前求解得到的所述卸载方案与所述资源配置方案,计算当前权衡优化值;

22、步骤s3.4:根据当前求解得到的所述卸载方案与所述资源配置方案,更新每个车载终端的所述关联参数;

23、步骤s3.5:若为首次迭代,则更新迭代次数并跳转至步骤s3.2;

24、步骤s3.6:计算连续两次迭代的权衡优化值的相对变化率,若所述相对变化率不大于预设的收敛阈值或迭代次数达到预设的上限,则将当前求解得到的方案设定为当前服务时隙的最终方案,并结束迭代过程;否则,更新迭代次数并跳转至步骤s3.2。

25、进一步地,所述步骤s3.2具体为:

26、步骤s3.2.1:初始化内部迭代次数,并初始化所述推理请求的卸载方案以及所述资源配置方案;

27、步骤s3.2.2:基于当前的资源配置方案,并行地求解各个推理请求的卸载方案;

28、步骤s3.2.3:根据当前求解得到的卸载方案,并行地求解所述资源配置方案中各个车载终端的计算资源的配置方案;

29、步骤s3.2.4:根据当前求解得到的卸载方案,并行地求解所述资源配置方案中各个车载终端的通信资源的配置方案;

30、步骤s3.2.5:根据当前求解得到的卸载方案,并行地求解所述资源配置方案中各个路侧单元的计算资源的配置方案;

31、步骤s3.2.6:将当前求解得到的卸载方案和资源配置方案设定为最新方案,并根据所述最新方案计算当前优化值;

32、步骤s3.2.7:若为内部首次迭代,则更新内部迭代次数并跳转至步骤s3.2.2;

33、步骤s3.2.8:计算连续两次内部迭代的优化值的相对变化率,若所述相对变化率不大于预设的内部收敛阈值或内部迭代次数达到预设的内部上限,则将所述最新方案设定为最终方案并结束内部迭代过程;否则,更新内部迭代次数并跳转至步骤s3.2.2。

34、进一步地,步骤s3.2.1中,初始化所述推理请求的卸载方案以及所述资源配置方案,具体为:

35、将每个推理请求初始化为不卸载至任何路侧单元;

36、将每个车载终端用于数据压缩的计算频率初始化为其峰值计算频率,将每个车载终端用于数据传输的传输功率初始化为其峰值传输功率;

37、将每个路侧单元分配给每个车载终端的计算资源初始化为该路侧单元的计算资源容量。

38、进一步地,步骤s3.2.2中,求解各个推理请求的卸载方案,具体为:

39、对于当前车载终端,分别计算其与各个路侧单元关联的判别值,以及其可容忍最低推理精度与将推理请求卸载至对应路侧单元完成时的推理精度之间的差值;

40、当某个路侧单元对应的所述判别值小于零且所述差值不大于零时,将该路侧单元判定为候选路侧单元;

41、若不存在候选路侧单元,则结束该车载终端的卸载方案求解;

42、若存在候选路侧单元,则从中选取与最小判别值关联的路侧单元作为该车载终端卸载推理请求的目标路侧单元。

43、进一步地,步骤s3.2.4中,求解所述资源配置方案中各个车载终端的通信资源的配置方案,具体为:

44、将车载终端用于数据传输的传输功率初始化为其峰值传输功率;

45、根据当前传输功率计算判别值;

46、若所述判别值不大于零,则将当前传输功率设定为最终传输功率;

47、若所述判别值大于零,则通过二分法迭代更新所述传输功率,直至满足预设的收敛条件,将迭代最终值设定为最终传输功率。

48、进一步地,步骤s6中,所述服务周期内的总吞吐量为各服务时隙中被成功完成推理请求数量之和。

49、下面对本发明的能量受限下的车载边缘推理吞吐量优化方法作进一步详细说明。

50、本发明的能量受限下的车载边缘推理吞吐量优化方法,具体内容如下:

51、在服务周期内的每个服务时隙开始时,各个车载终端将其推理请求信息、计算资源信息、通信资源信息与能量资源信息发送至各自的接入路侧单元,并经由各所述接入路侧单元转发至中心路侧单元;同时,各个路侧单元将其计算资源信息与推理模型部署信息发送至中心路侧单元;中心路侧单元构建当前服务时隙中车载终端将推理请求卸载至路侧单元执行时的推理服务参数模型与车载终端能耗模型,以及当前服务时隙中车载终端的能量赤字队列模型;中心路侧单元以优化当前服务时隙内的吞吐量为导向,在能量赤字队列的稳定性约束下,求解当前服务时隙中推理请求的卸载方案、车载终端的计算资源和通信资源的配置方案,以及路侧单元的计算资源的配置方案;中心路侧单元基于当前服务时隙中求得的卸载方案与资源配置方案,计算对应的各个车载终端的能耗,并相应更新各个车载终端在下一服务时隙的能量赤字队列;中心路侧单元将当前服务时隙中求得的卸载方案与资源配置方案发送至各个车载终端与各个路侧单元,以指示其卸载或完成相应的推理请求;中心路侧单元在完成所有服务时隙的方案求解后,根据各服务时隙的推理请求卸载方案,计算服务周期内的总吞吐量。

52、进一步地,所述步骤s1具体为:

53、将服务周期划分为个时长相等的服务时隙,定义服务时隙的集合为,其中,为第个服务时隙;

54、定义路侧单元的集合为,其中,为第个路侧单元,为路侧单元的总数;定义车载终端的集合为,其中,为第个车载终端,为车载终端的总数;

55、定义推理模型类型的集合为,其中,为第种模型类型,为模型类型的总数;其中,一种模型类型对应提供一种类型的推理服务;

56、设定集合中的一个路侧单元作为中心路侧单元;设定每个车载终端在各服务时隙中仅有一个接入路侧单元,所述接入路侧单元为该车载终端通信范围内的一个路侧单元;

57、定义为路侧单元的计算资源容量;定义和分别为车载终端的峰值计算频率和峰值传输功率;定义为车载终端在服务周期内的总可用能量;

58、设定每个路侧单元均部署了集合中所有类型的推理模型;定义为部署于路侧单元上的类型为的推理模型;定义、和分别为推理模型的推理精度、单个输入数据的大小和处理单数输入数据所需的推理负载;

59、定义表示服务时隙中车载终端是否请求类型为的推理服务;其中,在每个服务时隙中,每个车载终端仅生成一个推理请求且仅请求一种推理服务;定义、和分别为服务时隙中车载终端的推理请求的数据大小、可容忍最大完成时延与可容忍最低推理精度;

60、定义表示服务时隙中车载终端的推理请求是否在路侧单元上完成;其中,在每个服务时隙中,每个推理请求最多由一个路侧单元完成,而每个路侧单元能够完成多个推理请求。

61、进一步地,步骤s2所述推理服务参数模型、车载终端能耗模型及能量赤字队列模型的构建方式,具体为:

62、步骤s2.1:假设当前服务时隙为;在服务时隙中,车载终端将推理请求卸载至路侧单元执行时的推理服务参数包括输入数据大小、推理精度、推理负载与完成时延;

63、所述输入数据大小的计算公式为:

64、

65、所述推理精度的计算公式为:

66、

67、所述推理负载的计算公式为:

68、

69、所述完成时延的计算公式为:

70、

71、其中,为将数据大小压缩至数据大小时压缩单位比特数据所需的计算负载,为服务时隙中车载终端用于数据压缩的计算频率,为无线信道的带宽资源,为服务时隙中车载终端用于数据传输的传输功率,为服务时隙中车载终端与其接入路侧单元之间的信道增益,为噪声的功率谱密度,为服务时隙中车载终端的接入路侧单元与卸载路侧单元之间的跳数,为路侧单元间有线链路的传输速率,为服务时隙中路侧单元分配给车载终端的推理请求的计算资源;

72、步骤s2.2:定义为服务时隙中车载终端将推理请求卸载至路侧单元执行时的终端能耗,计算公式为:

73、

74、其中,为车载终端的有效电容系数;

75、步骤s2.3:定义为服务时隙中车载终端的能量赤字队列长度,按以下方式更新:

76、

77、且车载终端的能量赤字队列的初始长度设定为。

78、进一步地,所述步骤s3具体为:

79、步骤s3.1:假设当前服务时隙为;初始化迭代次数;为每个车载终端定义一个关联参数,其初始值为随机正值;其中,定义为车载终端的关联参数,构建参数集合;

80、步骤s3.2:基于当前参数集合,求解服务时隙中推理请求的卸载方案、车载终端的计算资源和通信资源的配置方案及路侧单元的计算资源的配置方案;

81、步骤s3.3:基于当前求得的服务时隙中的卸载方案与资源配置方案,计算当前权衡优化值,计算公式为:

82、

83、其中,为权衡优化参数,且;

84、步骤s3.4:基于当前求得的服务时隙中的卸载方案与资源配置方案,更新每个车载终端的关联参数,按以下方式更新:

85、

86、其中,为与车载终端关联当前更新步长;

87、步骤s3.5:若,则令,并跳转至步骤s3.2;

88、步骤s3.6:计算连续两次迭代的权衡优化值的相对变化率,计算公式为:

89、

90、若相对变化率不大于预设的收敛阈值,即,或迭代次数达到预设的上限,即,则将当前求得的服务时隙中的卸载方案设定为该时隙的最终卸载方案,将当前求得的服务时隙中的资源配置方案设定为该时隙的最终资源配置方案,并结束迭代过程;否则,令,并跳转至步骤s3.2。

91、进一步地,所述步骤s3.2具体为:

92、步骤s3.2.1:初始化迭代次数;初始化推理请求的卸载方案、车载终端的计算资源和通信资源的配置方案,以及路侧单元的计算资源的配置方案;将初始卸载方案设定为最新卸载方案,将初始资源配置方案设定为最新资源配置方案;

93、步骤s3.2.2:基于最新资源配置方案,并行地求解各个推理请求的卸载方案;

94、步骤s3.2.3:基于当前求得的卸载方案,并行地求解各个车载终端的计算资源的配置方案;其中,若车载终端的推理请求卸载至路侧单元上完成,则计算其用于数据压缩的计算频率,计算公式为:

95、

96、步骤s3.2.4:基于当前求得的卸载方案,并行地求解各个车载终端的通信资源的配置方案;

97、步骤s3.2.5:基于当前求得的卸载方案,并行地求解各个路侧单元的计算资源的配置方案;其中,若车载终端的推理请求卸载至路侧单元上完成,则计算路侧单元分配给车载终端的推理请求的计算资源,计算公式为:

98、

99、其中,为当前将推理请求卸载至路侧单元上完成的车载终端的集合;

100、步骤s3.2.6:将当前求得的卸载方案设定为最新卸载方案,将当前求得的资源配置方案设定为最新资源配置方案;基于最新的卸载方案与资源配置方案,计算当前优化值,计算公式为:

101、

102、步骤s3.2.7:若,则令,并跳转至步骤s3.2.2;

103、步骤s3.2.8:计算连续两次迭代的优化值的相对变化率,计算公式为:

104、

105、若相对变化率不大于预设的收敛阈值,即,或迭代次数达到预设的上限,即,则将最新卸载方案设定为最终卸载方案,将最新资源配置方案设定为最终资源配置方案,并结束迭代过程;否则,令,并跳转至步骤s3.2.2。

106、进一步地,步骤s3.2.1所述卸载方案与资源配置方案的初始化,具体为:

107、步骤s3.2.1.1:初始化每个推理请求的卸载方案;其中,对于车载终端的推理请求,暂不将其卸载至任何路侧单元,即;

108、步骤s3.2.1.2:初始化每个车载终端的计算资源和通信资源的配置方案;其中,对于车载终端,初始化其用于数据压缩的计算频率为,初始化其用于数据传输的传输功率为;

109、步骤s3.2.1.3:初始化每个路侧单元的计算资源的配置方案;其中,对于路侧单元,初始化其分配给每个车载终端的推理请求的计算资源为。

110、进一步地,步骤s3.2.2所述推理请求的卸载方案的求解方式,具体为:

111、步骤s3.2.2.1:假设当前推理请求所属车载终端为;定义为车载终端的候选路侧单元的集合,并将其初始化为空集,即;定义为车载终端与路侧单元关联的判别值,计算公式为:

112、

113、定义为车载终端的可容忍最低推理精度与其将推理请求卸载至路侧单元上完成时的推理精度之间的差值,计算公式为:

114、

115、步骤s3.2.2.2:对于每个路侧单元,判断其是否为车载终端的候选路侧单元;其中,当且时,将路侧单元判定为候选路侧单元,即;否则,判定路侧单元不是候选路侧单元,即;

116、步骤s3.2.2.3:若,则将车载终端的当前卸载方案设定为其最终卸载方案,并结束该车载终端的推理请求卸载方案的求解过程;

117、步骤s3.2.2.4:从集合中选取与最小判别值关联的路侧单元作为车载终端的卸载路侧单元,并令;对于集合中的路侧单元,令;

118、步骤s3.2.2.5:将车载终端的当前卸载方案设定为其最终卸载方案。

119、进一步地,步骤s3.2.4所述车载终端的通信资源配置方案的求解方式,具体为:

120、步骤s3.2.4.1:假设当前车载终端为;初始化车载终端用于数据传输的传输功率为;

121、步骤s3.2.4.2:基于当前传输功率,计算判别值,计算公式为:

122、

123、其中,,,;

124、步骤s3.2.4.3:若,则将车载终端的当前传输功率设定为其最终传输功率,并结束该车载终端的通信资源配置方案的求解过程;

125、步骤s3.2.4.4:定义和分别为左边界值与右边界值;令,;

126、步骤s3.2.4.5:令;基于当前传输功率,计算判别值;

127、步骤s3.2.4.6:若,则令;否则,令;

128、步骤s3.2.4.7:若右边界值与左边界值之间的差值不大于预设的收敛阈值,即,则令,将车载终端的当前传输功率设定为其最终传输功率,并结束该车载终端的通信资源配置方案的求解过程;否则,跳转至步骤s3.2.4.5。

129、进一步地,步骤s6所述服务周期内的总吞吐量计算,具体为:

130、定义为服务周期内的总吞吐量,计算公式为:

131、。

132、本发明的目的之二在于提供一种能量受限下的车载边缘推理吞吐量优化系统,其能够在满足车载终端总可用能量约束的条件下,通过联合优化服务周期内各个服务时隙中的请求卸载方案与资源配置方案,实现服务周期内总吞吐量的最大化。

133、为实现本发明的目的之二,采用如下方案:

134、一种能量受限下的车载边缘推理吞吐量优化系统,包括:

135、信息获取模块,用于在服务周期内的每个服务时隙开始时,获取相应信息,所述相应信息包括各个车载终端的推理请求信息、计算资源信息、通信资源信息与能量资源信息,以及各个路侧单元的计算资源信息与推理模型部署信息;

136、模型构建模块,用于根据所述相应信息,构建当前服务时隙中车载终端将推理请求卸载至路侧单元执行时的推理服务参数模型与车载终端能耗模型,以及当前服务时隙中所述车载终端的能量赤字队列;

137、方案求解模块,用于根据所述推理服务参数模型与所述车载终端能耗模型,以优化当前服务时隙内的吞吐量为导向,在所述能量赤字队列的稳定性约束下,求解当前服务时隙中所述推理请求的卸载方案以及资源配置方案,所述资源配置方案包括车载终端的计算资源与通信资源的配置方案,以及路侧单元的计算资源的配置方案;

138、队列更新模块,用于根据当前服务时隙中求解得到的所述卸载方案与所述资源配置方案,计算对应的各个车载终端的能耗,并相应更新各个车载终端在下一服务时隙的所述能量赤字队列;

139、方案分发模块,用于将当前服务时隙中求解得到的所述卸载方案与所述资源配置方案发送至各个车载终端与各个路侧单元,以指示其卸载或完成相应的推理请求;

140、吞吐量计算模块,用于在完成对各服务时隙的卸载方案求解后,根据各服务时隙的卸载方案计算所述服务周期内的总吞吐量。

141、相比现有技术,本发明的有益效果在于:

142、1.本发明实现了服务周期内总吞吐量的有效提升。本发明通过在服务周期的每一个服务时隙中均进行信息获取、模型构建、方案求解与队列更新,并在完成所有服务时隙的处理后计算整个服务周期的总吞吐量,实现了对包含多个连续服务时隙的服务周期内总吞吐量的全局优化,克服了现有技术仅着眼于单个服务时隙内吞吐量优化的局限性。

143、2.本发明在总可用能量约束下实现了跨时隙能量的有效管理。本发明通过构建能量赤字队列以及对该队列的逐时隙更新机制,将车载终端在整个服务周期内的总可用能量约束显式地引入到每个服务时隙的决策过程中;该能量赤字队列通过记录各车载终端截至当前服务时隙的累计能耗与平均分配能量之间的差额,使得当前服务时隙的卸载与资源配置决策能够感知历史能耗情况,并将该信息传递至后续服务时隙,从而在各服务时隙间形成能耗的相互制约与均衡分配,克服了现有技术假设各时隙可用能量彼此独立而忽略跨时隙能量耦合的问题,确保服务周期内各车载终端的累计能耗不超过其总可用能量。

144、3.本发明实现了卸载方案与资源配置方案的联合优化。本发明将推理请求的卸载方案与资源配置方案进行联合求解,所述资源配置方案同时涵盖车载终端的计算资源与通信资源的配置以及路侧单元的计算资源的配置,通过在同一优化框架下协同决策请求卸载目的地的选择、终端侧计算频率与传输功率的分配以及路侧侧计算资源的分配,避免了现有技术中卸载决策与资源配置分离优化导致的次优解问题,充分挖掘了系统资源的协同增益,进一步提升了服务周期内的总吞吐量。

145、4.本发明实现了逐时隙在线决策与全局离线优化的统一。本发明在每个服务时隙开始时根据当前时隙的实时信息进行在线决策并下发执行,在完成所有服务时隙后汇总计算总吞吐量,使得各服务时隙的决策既能根据实时变化的推理请求、信道条件和可用能量进行快速响应,又能通过能量赤字队列的前向传递机制保持对服务周期全局目标的持续优化,兼顾了实时性与全局最优性。