一种基于任务优先级与负载的边缘算力调度方法与流程

摘要: 本发明属于边缘计算,具体涉及一种基于任务优先级与负载的边缘算力调度方法。背景技术:1、随着工业互联网与万物互联技术的推进,海量计算任务下沉至网络边缘侧处理,边缘...
一种基于任务优先级与负载的边缘算力调度方法与流程

本发明属于边缘计算,具体涉及一种基于任务优先级与负载的边缘算力调度方法。

背景技术:

1、随着工业互联网与万物互联技术的推进,海量计算任务下沉至网络边缘侧处理,边缘计算凭借低时延、高带宽的特性成为支撑实时业务的关键架构。然而,现有边缘集群的算力调度机制在面对异构硬件环境、波动的网络负载以及差异化的任务服务质量(qos)需求时,仍存在显著缺陷。

2、目前主流的调度策略多沿用云计算领域的静态轮询或基于单一cpu利用率的负载均衡算法。这类方法首先忽略了边缘节点硬件的异构性,无法区分计算密集型任务与数据密集型任务对cpu、gpu、内存及io等不同维度的资源诉求,导致调度决策仅依据局部负载信息,极易引发资源争抢与瓶颈效应。其次,现有的优先级调度往往缺乏细粒度的抢占与恢复机制,高优先级任务到来时通常需等待当前任务完全执行完毕,或在抢占时直接丢弃低优先级任务进度,造成算力浪费与数据丢失;此外,由于边缘环境的动态不确定性,静态配置的调度权重难以适应突发的负载变化,且缺乏对任务执行反馈的闭环学习能力,导致调度偏差随时间累积,集群整体资源利用率与任务按时完成率难以兼顾。

技术实现思路

1、针对现有技术的上述不足,本发明提供一种基于任务优先级与负载的边缘算力调度方法,包括:

2、s1、获取被提交到边缘集群调度入口的新任务携带的任务描述符和任务到达时间戳,构成任务特征向量;

3、s2、各边缘节点周期性采集多维度硬件负载性能数据,经归一化与加权处理后生成节点负载状态向量,通过组播通道同步至集群内所有节点,各节点维护包含自身及集群内其他节点负载状态的全局节点负载表;

4、s3、基于联合评估函数的实时调度决策,当边缘集群中的任意节点接收到新提交的任务特征向量时,该边缘节点作为决策节点,将本地维护的全局节点负载表与任务特征向量输入联合评估函数,计算每一个候选边缘节点对当前任务的综合适应度分数,选择综合适应度分数最高的候选节点作为目标任务节点,并将调度决策报文发送给目标任务节点;

5、s4、目标任务节点接收调度决策报文后,根据新任务的优先级与本地执行就绪队列中的任务进行优先级排序,当新任务优先级高于正在执行的任务时,触发带检查点的抢占流程,释放低优先级任务占用的算力资源并执行新任务;新任务执行完毕后从就绪队列的堆顶取出任务继续执行,就绪队列内部的任务排序根据剩余松弛时间进行动态调整;

6、s5、每个边缘节点在执行完成一个任务后生成任务执行反馈记录并发送回决策节点,决策节点计算调度偏差度,根据调度偏差度对节点负载状态快照的时效性进行回溯,调整负载快照信任度权重,并利用任务执行反馈记录在线调整联合评估函数中的各项权重因子,并通过增量训练更新任务执行时间预测模型。

7、本技术方案的进一步改进还有,步骤s1包括:

8、s11、当新任务被提交到边缘集群的调度入口时,调度入口读取新任务携带的任务描述符,任务描述符包含任务类型标识、任务优先级、期望完成截止时间、预估计算量、预估输入数据量、是否允许拆分的布尔标记以及数据本地性偏好;

9、s12、调度入口利用接入交换机上的硬件时间戳功能获取当前的时刻作为任务到达时间,将任务到达时间与步骤s11中读取的任务描述符合并,构成任务特征向量;

10、s13、在任务执行过程中,通过边缘节点的运行时代理在推理框架或数据处理引擎中自动埋点采集真实的浮点运算次数消耗和内存读写总量,将采集结果异步回传至调度入口,用于更新该任务类型标识对应的历史执行画像,以优化后续同类任务的预估计算量与预估输入数据量。

11、本技术方案的进一步改进还有,步骤s2包括:

12、s21、边缘集群中的每个边缘节点在本地运行一个负载采集守护进程,该负载采集守护进程以预设周期读取本节点的硬件负载性能数据;硬件负载性能数据包括cpu、gpu、内存带宽及io队列深度;

13、s22、负载采集守护进程将步骤s21中采集的硬件负载性能数据合成为节点负载状态向量,并进行归一化处理;

14、s23、对归一化后硬件负载性能数据进行加权合成处理,生成的节点负载状态向量;

15、s24、步骤s23中生成的节点负载状态向量通过组播通道在同一子网内周期性广播,每个节点在本地内存中维护一张全局节点负载表,记录最近一次收到的集群内所有其他节点的节点负载状态向量以及本机自己的节点负载状态向量。

16、本技术方案的进一步改进还有,步骤s3包括:

17、s31、当边缘集群中的任意节点接收到新提交的任务特征向量时,该节点作为本次调度的决策节点,将本地维护的全局节点负载表与任务特征向量输入联合评估函数,联合评估函数计算每一个候选边缘节点对当前任务的综合适应度分数,综合适应度分数包括任务匹配度、资源充裕度和优先级时间增益;

18、s32、决策节点选择综合适应度分数最高的候选边缘节点作为目标任务节点,将调度决策报文发送给该目标任务节点,同时将对应的调度决策记录写入分布式的最近调度日志中。

19、本技术方案的进一步改进还有,资源充裕度采用多资源瓶颈度量公式进行计算,取节点负载状态向量中与任务相关的关键维度的数值,计算密集型任务关注中央处理器和图形处理器的利用率,数据密集型任务关注内存带宽和磁盘队列深度,资源充裕度的计算公式为

20、;

21、其中,为候选边缘节点n对任务t的资源充裕度分数;为任务t所关注的相关资源维度集合;为候选边缘节点n在资源维度r上的归一化负载值,该归一化负载值由步骤s2中生成的节点负载状态向量提供;为候选边缘节点n在资源维度r上的可用比例;取所有相关资源维度可用比例中的最小值作为该候选边缘节点的资源充裕度分数。

22、本技术方案的进一步改进还有,综合适应度分数的计算公式为

23、;

24、其中,为候选边缘节点n对任务t的综合适应度分数;m(n,t)为任务匹配度;r(n,t)为资源充裕度;p(n,t)为优先级时间增益;为任务匹配度的权重因子;为资源充裕度的权重因子;为优先级时间增益的权重因子。

25、本技术方案的进一步改进还有,步骤s4包括:

26、s41、目标任务节点接收步骤s3中发送的调度决策报文后,根据新任务的优先级与本地执行就绪队列中正在运行和等待的所有任务进行优先级排序,目标任务节点维护一个基于优先级堆的执行就绪队列,堆顶为当前最高优先级任务,当新任务的优先级高于正在执行的任务时,目标任务节点触发抢占流程;

27、s42、目标任务节点将步骤s41中被抢占的低优先级任务的执行上下文元数据移至执行就绪队列中的适当位置,将新任务加载至释放图形处理器或中央处理器的算力资源开始执行,新任务执行完毕后,目标任务节点从执行就绪队列的堆顶取出任务执行,若取出的任务正是步骤s41中被抢占的未完成低优先级任务,则从其存储单元中将执行上下文元数据恢复至新任务执行完毕后释放的算力资源,从断点处继续执行;

28、s43、执行就绪队列内部的任务排序在每执行完一个任务或发生抢占时重新计算执行就绪队列中每一个等待任务的剩余松弛时间;

29、s44、当两个任务的优先级相同时,剩余松弛时间更小的任务获得更靠前的执行排位。

30、本技术方案的进一步改进还有,步骤s41包括:

31、s411、目标任务节点接收步骤s3中发送的调度决策报文后,解析调度决策报文获取新任务的任务优先级,将新任务的任务优先级与本地执行就绪队列中正在执行的任务的任务优先级进行比较,当新任务的任务优先级高于正在执行任务的任务优先级时,目标任务节点向正在执行的低优先级任务发送保存检查点信号;

32、s412、正在执行的低优先级任务的计算框架在接收到步骤s411中发送的保存检查点信号后,在下一个可打断的微批次计算边界处暂停当前计算进程,将当前包括中间结果、模型权重指针和迭代步数的执行上下文元数据序列化为二进制数据流,并将二进制数据流写入本节点的存储单元中,写入完成后计算框架向目标任务节点返回检查点确认消息,目标任务节点在接收到检查点确认消息后释放该低优先级任务占用的图形处理器或中央处理器的算力资源;

33、s413、目标任务节点将步骤s412中被抢占的低优先级任务的执行上下文元数据从算力资源移至执行就绪队列中的适当位置,该适当位置由被抢占的低优先级任务的任务优先级和剩余松弛时间共同确定,并将新任务加载至已释放的图形处理器或中央处理器的计算核心开始执行,新任务执行完毕后,目标任务节点从执行就绪队列的堆顶取出下一个任务执行,若取出的任务为步骤s412中被抢占的未完成低优先级任务,则目标任务节点从本节点的存储单元中读取该任务的二进制数据流形式的执行上下文元数据,将执行上下文元数据反序列化后恢复至计算核心,从断点处继续执行。

34、本技术方案的进一步改进还有,剩余松弛时间的计算公式为

35、;

36、其中,为任务i的剩余松弛时间;为任务i的期望完成截止时间;为当前时刻;k为排在任务i之前的任务数量;为排在任务i之前的第j个任务的预估执行时间,该预估执行时间由步骤s3中联合评估函数计算预估执行时间时所使用的计算量参考值与候选边缘节点当前可用计算能力之比确定;求和项表示排在任务i之前的所有任务的预估执行时间之和。

37、本技术方案的进一步改进还有,步骤s5包括:

38、s51、每个边缘节点在执行完成一个任务后生成一条任务执行反馈记录,任务执行反馈记录包含任务实际执行耗时、实际消耗的浮点运算次数、等待队列中的实际排队时间、是否在期望完成截止时间内完成、执行过程中的平均中央处理器和图形处理器利用率以及是否触发了温度降频保护,该任务执行反馈记录被发送回步骤s3中做出调度决策的决策节点,决策节点将任务实际执行耗时与调度时预估耗时进行对比,计算调度偏差度;

39、s52、当步骤s51中计算得到的调度偏差度超过预设门限时,决策节点对该次调度所依赖的节点负载状态快照的时效性进行回溯,若发现该负载快照的生成时间与任务实际执行时刻之间的间隔内目标任务节点收到了其他突发任务或者硬件发生了降频,则判定此次偏差是由负载状态同步延迟造成,触发决策节点将今后对该目标任务节点的负载快照信任度权重进行下调,并根据最近的任务执行反馈记录进行执行时间预估;

40、s53、决策节点每收集满一批次的任务执行反馈记录,以边缘集群所有任务的截止时间满足率与平均等待时间的加权和为目标函数,以联合评估函数中任务匹配度、资源充裕度、优先级时间增益的权重因子为优化变量,运行随机梯度下降优化;

41、s54、步骤s53中优化后的权重因子被封装在一个配置更新报文中,沿组播通道下发至边缘集群内所有边缘节点,各边缘节点热加载新权重因子,无需重启调度服务,同时决策节点利用步骤s51中的任务执行反馈记录构建一个基于梯度提升树的任务执行时间预测模型,以任务特征向量和节点负载状态向量作为输入,以任务实际执行耗时作为预测目标,任务执行时间预测模型在后台持续增量训练。

42、本发明的有益效果在于:

43、区别于现有技术仅依赖cpu利用率的单一维度判断,本发明通过步骤s2采集包括cpu、gpu、内存带宽及io队列深度在内的多维度硬件负载性能数据,并利用归一化与加权处理生成节点负载状态向量,实现了对边缘节点异构硬件资源的全景式感知。在此基础上,在步骤s3的联合评估函数中引入资源充裕度计算逻辑,该逻辑针对不同类型的任务,从节点负载状态向量中提取与任务类型相匹配的关键资源维度的归一化负载值,通过计算各相关资源维度可用比例的最小值得到资源充裕度分数。这种处理方式使得调度决策能够综合考虑任务对多种硬件资源的实际诉求,而非仅依据cpu的局部空闲状态作出判断。由此,本发明有效避免了将计算密集型任务误调度至内存带宽饱和或io拥堵的伪空闲节点,从根本上解决了因单一维度视角缺失导致的资源争抢问题,提升了边缘集群的整体算力利用效率。

44、针对现有优先级调度缺乏细粒度抢占机制的缺陷,本发明在步骤s4中设计了带检查点的抢占流程,高优先级任务能够在低优先级任务不丢失已执行进度的前提下抢占算力资源,避免了因直接丢弃进度导致的重复计算,减少了算力浪费。

45、本发明在步骤s43和s44中引入了剩余松弛时间的概念,作为同优先级任务排序的依据。系统每执行完一个任务或发生抢占时,重新计算执行就绪队列中每一个等待任务的剩余松弛时间;当两个任务的优先级相同时,剩余松弛时间更小的任务获得更靠前的执行排位;系统在保障高优先级任务优先执行的前提下,能够使即将到达期望完成截止时间的低优先级任务获得执行机会,避免了低优先级任务在高优先级任务持续涌入时陷入无限期等待。

46、现有技术多采用静态权重,无法适应边缘环境的动态变化。本发明通过步骤s5建立了反馈校正机制,能够针对负载快照失效的情况自动调整信任度,减少因负载状态信息滞后导致的调度偏差。