一种分布式算力节点负载均衡调度方法、系统及介质与流程

摘要: 本发明涉及边缘计算,尤其涉及一种分布式算力节点负载均衡调度方法、系统及介质。背景技术:1、边缘计算环境中,计算任务由靠近数据源的分布式算力节点承担,节点之间在计...
一种分布式算力节点负载均衡调度方法、系统及介质与流程

本发明涉及边缘计算,尤其涉及一种分布式算力节点负载均衡调度方法、系统及介质。

背景技术:

1、边缘计算环境中,计算任务由靠近数据源的分布式算力节点承担,节点之间在计算能力、队列积压、网络链路状态和任务到达时序方面存在差异。随着实时数据处理、边云协同和多节点协作场景增加,调度系统需要在任务资源需求、节点剩余算力、节点负载水平、节点队列长度和链路时延之间进行综合判断,使待调度任务被分配至符合资源和时延约束的算力节点。

2、现有分布式算力节点调度流程多采用资源空闲率、负载率和队列长度作为节点评分依据,并根据评分结果选择任务分配节点;部分方案引入链路状态作为辅助约束,在节点资源满足任务需求时优先选择链路时延较低的节点。上述方案适合节点状态变化幅度较小的场景,但在任务并发到达、节点负载快速变化和链路状态波动并存的边缘计算环境中,仅依据当前状态评分难以反映任务分配后的资源消耗、队列变化和后续负载演进。

3、尤其在多任务连续调度过程中,某一节点在当前时刻具有较高剩余算力,并不代表任务分配后仍能保持合理负载;某一链路当前时延满足任务要求,也可能在后续调度过程中受拥塞状态影响而改变。现有流程缺少对任务分配后节点状态变化的前向评估,容易使调度决策停留在静态评分层面,导致节点间负载压力传递关系和后续调度代价难以被纳入决策过程。

4、因此,如何提供一种分布式算力节点负载均衡调度方法、系统及介质是本领域技术人员亟需解决的问题。

技术实现思路

1、本发明的一个目的在于提出一种分布式算力节点负载均衡调度方法、系统及介质,本发明使任务分配后的节点负载变化参与调度决策。

2、根据本发明实施例的一种分布式算力节点负载均衡调度方法,包括:

3、采集待调度任务请求、算力节点运行状态、节点队列状态、网络链路状态和上一周期调度记录,并进行关联,得到调度基础数据;

4、根据调度基础数据构建任务节点链路三元状态记录,并进行量纲归一化和压力方向一致化处理,得到节点状态特征集合;

5、对节点状态特征集合执行负载压力量化处理,得到负载量化状态集合;

6、根据待调度任务请求、节点状态特征集合和负载量化状态集合筛选候选算力节点,得到候选分配动作序列;

7、将候选分配动作序列输入改进rollout算法,对每一候选分配动作执行任务分配推演,得到动作推演轨迹集合;

8、计算动作推演轨迹集合中每一候选分配动作对应的累计调度代价值,并选取累计调度代价值最低的候选分配动作作为目标分配动作;

9、按照目标分配动作分配待调度任务请求,并更新节点状态特征集合、节点负载压力标量集合和负载量化状态集合,得到分布式算力节点负载均衡调度结果。

10、可选的,所述得到调度基础数据,具体为:

11、以采集时刻为第一索引,以任务标识、节点标识和链路标识分别作为第二索引,分别采集待调度任务请求、算力节点运行状态、节点队列状态、网络链路状态和上一周期调度记录;

12、按照预设时间窗,对带有第一索引的待调度任务请求、算力节点运行状态、节点队列状态、网络链路状态和上一周期调度记录进行时刻对齐,得到时刻对齐记录集合;

13、按照任务标识对时刻对齐记录集合中的待调度任务请求和上一周期调度记录进行匹配,生成跨周期任务关联记录和当前待分配任务记录;

14、按照节点标识关联时刻对齐记录集合中的算力节点运行状态、节点队列状态和上一周期调度记录,得到节点周期状态记录;

15、按照链路标识将网络链路状态关联至节点周期状态记录,得到节点链路状态记录,并与跨周期任务关联记录和当前待分配任务记录进行组合,得到节点链路关联记录;

16、对节点链路关联记录进行缺失字段补齐,得到调度基础数据。

17、可选的,所述根据调度基础数据构建任务节点链路三元状态记录,并进行量纲归一化和压力方向一致化处理,具体为:

18、根据调度基础数据中的第二索引,提取待调度任务请求、算力节点运行状态、节点队列状态、网络链路状态和上一周期调度记录,建立任务节点链路三元状态记录;

19、从任务节点链路三元状态记录中保留任务资源需求、任务时延阈值、节点剩余算力和链路时延的原始量纲字段,得到硬筛选字段集合;

20、对任务节点链路三元状态记录中的节点负载率、节点队列长度、链路时延、上一周期全局网络拥塞率和上一周期全局算力碎片率进行量纲归一化处理,得到正向压力字段集合;

21、对任务节点链路三元状态记录中的节点剩余算力进行量纲归一化处理后执行压力方向一致化处理,得到剩余算力压力字段;

22、根据上一周期全局算力碎片率对剩余算力压力字段进行分段修正,得到碎片修正压力字段;

23、将硬筛选字段集合、正向压力字段集合和碎片修正压力字段写入同一任务节点链路三元状态记录,得到节点状态特征集合。

24、可选的,所述对节点状态特征集合执行负载压力量化处理,具体为:

25、从节点状态特征集合中提取正向压力字段集合和碎片修正压力字段,并从正向压力字段集合中提取上一周期全局网络拥塞率和上一周期全局算力碎片率,得到权重调整依据;

26、根据权重调整依据计算节点负载率权重、节点队列长度权重、碎片修正压力字段权重和链路时延权重;

27、根据上一周期全局网络拥塞率调整链路时延权重和节点负载率权重,得到网络拥塞调整权重;

28、根据上一周期全局算力碎片率调整碎片修正压力字段权重和节点队列长度权重,得到碎片状态调整权重;

29、对网络拥塞调整权重和碎片状态调整权重进行归一化,得到动态融合权重;

30、按照动态融合权重对节点负载率、节点队列长度、碎片修正压力字段和链路时延进行加权融合,得到节点负载压力标量集合;

31、按照节点负载压力标量集合中各节点负载压力标量的大小顺序进行排序,得到负载压力排序序列,并将负载压力排序序列输入lloyd-max量化算法执行量化区间迭代划分,得到负载量化边界;

32、按照负载量化边界标记节点状态特征集合中的算力节点,得到各算力节点对应的负载量化等级,并写入节点状态特征集合,得到负载量化状态集合。

33、可选的,所述根据待调度任务请求、节点状态特征集合和负载量化状态集合筛选候选算力节点,具体为:

34、将节点状态特征集合中的任务资源需求与负载量化状态集合中的节点剩余算力进行比较,得到算力可用节点集合;

35、将算力可用节点集合中的链路时延与节点状态特征集合中的任务时延阈值进行比较,得到时延可用节点集合;

36、当时延可用节点集合为空时,根据上一周期全局网络拥塞率对任务时延阈值执行有界松弛处理,得到修正任务时延阈值;

37、将算力可用节点集合中的链路时延与修正任务时延阈值进行比较,得到修正时延可用节点集合;

38、当修正时延可用节点集合生成时,以修正时延可用节点集合替换时延可用节点集合;

39、将时延可用节点集合中的负载量化等级与满载等级进行比较,得到候选算力节点集合;

40、按照负载量化等级、节点负载压力标量和节点队列长度对候选算力节点集合进行排序,并与待调度任务请求建立分配对应关系,得到候选分配动作序列。

41、可选的,所述改进rollout算法,具体为:

42、将候选分配动作序列中的每一候选分配动作依次作为首层分配动作,并提取首层分配动作对应算力节点的负载量化等级;

43、根据负载量化等级确定首层分配动作的推演深度,得到动作推演深度记录;

44、按照首层分配动作更新节点剩余算力、节点负载率、节点队列长度、链路时延、节点负载压力标量集合和负载量化状态集合,得到首层推演状态记录;

45、在首层推演状态记录下生成剩余推演动作集合,并进行排序,得到剩余动作排序结果;

46、从剩余动作排序结果中选择排序首位的分配动作作为当前层分配动作,并与筛选条件进行比较;

47、按照满足筛选条件的当前层分配动作更新节点状态特征集合、节点负载压力标量集合和负载量化状态集合,得到当前层推演状态记录;

48、基于当前层推演状态记录继续生成剩余推演动作集合,并重复执行排序、选择、比较和更新,直至达到动作推演深度记录对应的推演深度,得到动作推演轨迹集合。

49、可选的,所述计算动作推演轨迹集合中每一候选分配动作对应的累计调度代价值,并选取累计调度代价值最低的候选分配动作作为目标分配动作,具体为:

50、按照候选分配动作标识遍历动作推演轨迹集合,并提取每一条动作推演轨迹中的相邻两层推演状态记录,得到轨迹状态对集合;

51、根据轨迹状态对集合计算当前层节点负载压力标量与上一层节点负载压力标量之间的差值,得到节点负载压力标量增量;

52、将节点负载压力标量增量中小于0的增量记为0,得到非负标量增量;

53、按照动作推演轨迹的层级顺序对非负标量增量进行逐层累计,得到累计调度代价值;

54、按照累计调度代价值升序排列候选分配动作,得到动作代价排序结果;

55、选取动作代价排序结果中排序首位的候选分配动作作为目标分配动作。

56、可选的,所述得到分布式算力节点负载均衡调度结果,具体为:

57、从目标分配动作中提取任务标识、算力节点标识和链路标识,并将待调度任务请求与目标分配动作对应的算力节点建立绑定关系,得到目标分配记录;

58、按照待调度任务请求中的任务资源需求更新节点剩余算力、节点负载率和节点队列长度,得到分配后特征集合;

59、按照动态融合权重对分配后特征集合中的节点负载率、节点队列长度、碎片修正压力字段和链路时延进行加权融合,得到分配后压力标量集合;

60、按照负载量化边界标记分配后压力标量集合对应的算力节点,得到分配后负载量化集合;

61、将目标分配记录、分配后特征集合、分配后压力标量集合和分配后负载量化集合汇总为当前周期调度记录,并将当前周期调度记录作为下一次调度的上一周期调度记录;

62、根据目标分配记录、分配后特征集合、分配后压力标量集合、分配后负载量化集合和当前周期调度记录,生成分布式算力节点负载均衡调度结果。

63、一种分布式算力节点负载均衡调度系统,包括:

64、数据关联采集模块,采集待调度任务请求、算力节点运行状态、节点队列状态、网络链路状态和上一周期调度记录生成调度基础数据;

65、三元状态构建模块,根据调度基础数据建立任务节点链路三元状态记录,并生成节点状态特征集合;

66、负载压力量化模块,根据节点状态特征集合生成动态融合权重、节点负载压力标量集合、负载量化边界和负载量化状态集合;

67、候选动作筛选模块,根据待调度任务请求、节点状态特征集合和负载量化状态集合筛选候选算力节点,并生成候选分配动作序列;

68、推演轨迹生成模块,根据候选分配动作序列执行改进rollout算法,生成动作推演轨迹集合;

69、目标动作选择模块,根据动作推演轨迹集合计算累计调度代价值,并选取目标分配动作;

70、调度结果生成模块,根据目标分配动作分配待调度任务请求,并更新节点状态特征集合、节点负载压力标量集合和负载量化状态集合,生成分布式算力节点负载均衡调度结果。

71、一种计算机存储介质,所述计算机存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现一种分布式算力节点负载均衡调度方法。

72、本发明的有益效果是:

73、(1)本发明通过采集待调度任务请求、算力节点运行状态、节点队列状态、网络链路状态和上一周期调度记录,并构建任务节点链路三元状态记录,实现了任务侧、节点侧和链路侧数据的关联建模,同时通过保留硬筛选字段集合并构建正向压力字段集合和碎片修正压力字段,使候选节点筛选采用原始量纲字段、负载压力量化采用统一压力方向字段,从而避免不同量纲字段混用导致的筛选偏差。

74、(2)本发明通过根据上一周期全局网络拥塞率和上一周期全局算力碎片率调整动态融合权重,并结合节点负载率、节点队列长度、碎片修正压力字段和链路时延生成节点负载压力标量集合,再利用lloyd-max量化算法生成负载量化状态集合,实现了节点负载状态的标量化融合和离散化标记,从而使宏观网络拥塞状态和算力碎片状态参与节点调度评价。

75、(3)本发明中改进的rollout算法,在任务分配推演过程中按照负载量化等级负相关确定推演深度,并采用单动作串行状态更新和非负标量增量累计计算累计调度代价值,实现了对候选分配动作后续负载变化的前向评估,从而使目标分配动作的选择能够反映任务分配后的节点负载演进。