任务调度方法、装置、设备及存储介质与流程

摘要: 本技术涉及边缘计算,尤其涉及一种任务调度方法、装置、设备及存储介质。背景技术:1、多接入边缘计算通过将计算、存储和网络资源部署到靠近用户的位置,为时延敏感型和计...
任务调度方法、装置、设备及存储介质与流程

本技术涉及边缘计算,尤其涉及一种任务调度方法、装置、设备及存储介质。

背景技术:

1、多接入边缘计算通过将计算、存储和网络资源部署到靠近用户的位置,为时延敏感型和计算密集型应用提供低时延服务。许多边缘应用由多个存在前驱后继关系的子任务构成,可以表示为有向无环图。对于这类工作流应用,后继任务只有在其前驱任务执行完成且相关中间数据传输完成之后才能开始执行。因此,任务调度不仅需要决定任务的执行顺序和执行节点,还需要处理任务执行过程中计算资源和通信资源的动态占用关系。

2、现有的任务调度方法通常将任务执行时间建模为任务计算量与所选服务器处理能力或cpu频率之间的关系,并将任务间数据传输建模为选定执行节点之间的通信时间、传输能耗或传输代价。这类模型能够描述基本的任务依赖和节点选择问题,但在算网协同建模方面仍存在不足。首先,许多模型将节点之间的数据传输抽象为两两节点之间可直接通信,等价于默认网络拓扑为全连接或任意两个执行节点之间可直接到达。然而,在真实边缘网络中,边缘节点通常受到物理部署位置、接入网络结构、链路容量和路由约束的限制,任意两个节点之间不一定存在直接通信链路,跨节点依赖数据传输往往需要经过多跳路径。其次,许多模型将任务执行视为独占所选计算节点或处理器,任务执行时间由任务计算量和节点整体计算能力决定,较少刻画同一节点内多个任务并发执行时的cpu划分、缓存占用和资源释放过程。因此,针对动态工作流执行场景,需要一种能够同时刻画节点内任务执行资源占用和节点间依赖数据传输资源占用的算网协同调度方法。

技术实现思路

1、本技术的主要目的在于提供了一种任务调度方法、装置、设备及存储介质,旨在解决在动态工作流执行场景中,如何提供一种能够同时刻画节点内任务执行资源占用和节点间依赖数据传输资源占用的算网协同调度方法的技术问题。

2、为实现上述目的,本技术提供了一种任务调度方法,所述方法应用于边缘计算系统,所述边缘计算系统包括多个边缘节点及连接所述边缘节点的物理链路,所述方法包括以下步骤:

3、在检测到所述边缘计算系统的工作流存在待调度任务的情况下,获取各所述边缘节点的剩余容量和各所述物理链路的剩余带宽;

4、根据所述剩余容量从各所述边缘节点中选定所述待调度任务对应的目标执行节点;

5、当所述目标执行节点与所述待调度任务的前驱任务所在的节点不同时,根据所述剩余带宽从各所述物理链路中选定所述待调度任务的依赖数据对应的目标传输路径;

6、基于所述目标执行节点和所述目标传输路径对所述待调度任务进行调度,所述目标执行节点和所述目标传输路径共同作用以使所述边缘计算系统的能耗满足预设优化目标。

7、在一实施例中,所述剩余容量包括剩余cpu容量和剩余缓存容量;

8、所述根据所述剩余容量从各所述边缘节点中选定所述待调度任务对应的目标执行节点的步骤,包括:

9、从各所述边缘节点中筛选所述剩余cpu容量大于等于所述待调度任务的最小cpu需求,且所述剩余缓存容量大于等于所述待调度任务的缓存需求的候选节点;

10、根据各所述候选节点的所述剩余cpu容量、所述剩余缓存容量、所述待调度任务在各所述候选节点上的预计执行时间,以及所述待调度任务的前驱任务所在节点到各所述候选节点的依赖数据传输时间估计值,从各所述候选节点中选定所述待调度任务对应的目标执行节点。

11、在一实施例中,所述根据所述剩余带宽从各所述物理链路中选定所述待调度任务的依赖数据对应的目标传输路径的步骤,包括:

12、获取所述待调度任务的依赖数据的数据量,并根据所述依赖数据的数据量确定带宽需求;

13、从各所述物理链路中筛选所述剩余带宽大于等于所述带宽需求的可用链路,并根据所述可用链路构建链路子图;

14、在所述链路子图中选择从所述前驱任务所在的节点到所述目标执行节点的跳数最少的可用路径,作为所述依赖数据对应的目标传输路径。

15、在一实施例中,所述基于所述目标执行节点和所述目标传输路径对所述待调度任务进行调度的步骤,包括:

16、根据所述待调度任务的cpu需求类型确定所述待调度任务的cpu分配量,并将所述cpu分配量作为所述待调度任务在所述目标执行节点上的执行资源分配;

17、在存在跨节点依赖数据传输的情况下,将所述目标传输路径上所述物理链路的带宽占用状态更新为已占用状态,并记录占用持续时间为所述依赖数据的传输时间;

18、在所述依赖数据传输完成后,释放所述目标传输路径上所述物理链路的带宽资源;

19、在所述待调度任务被所述目标执行节点接纳时,将所述待调度任务的缓存占用状态更新为已占用状态,在所述依赖数据传输完成且所述目标执行节点能够为所述待调度任务分配所述cpu分配量后,在所述目标执行节点上执行所述待调度任务;

20、在所述待调度任务执行完毕后,释放所述待调度任务在所述目标执行节点上占用的cpu资源和缓存资源。

21、在一实施例中,所述根据所述待调度任务的cpu需求类型确定所述待调度任务的cpu分配量的步骤,包括:

22、当所述cpu需求类型为频率不敏感型时,将所述待调度任务的cpu分配量确定为所述待调度任务的最小cpu需求;

23、当所述cpu需求类型为无上限频率敏感型时,将所述待调度任务的cpu分配量确定为大于等于所述最小cpu需求且小于等于所述目标执行节点的cpu容量的值;

24、当所述cpu需求类型为阈值频率敏感型时,将所述待调度任务的cpu分配量确定为大于等于所述最小cpu需求且小于等于所述待调度任务的最大有效cpu需求的值。

25、在一实施例中,所述任务调度方法还包括:

26、构建任务选择规则对应的第一种群和节点选择规则对应的第二种群;

27、从所述第一种群中选取第一代表个体,从所述第二种群中选取第二代表个体,将所述第一代表个体和所述第二代表个体组合为完整调度器;

28、在事件驱动仿真器中运行所述完整调度器对动态到达的所述工作流执行调度仿真,并确定所述完整调度器的适应度;

29、根据所述适应度对所述第一种群和所述第二种群进行进化操作,直至达到预设终止条件或最大进化代数时,输出最优任务选择规则和最优节点选择规则;

30、根据所述最优任务选择规则从各就绪任务中确定待调度任务,并根据所述最优节点选择规则从各所述边缘节点中选定目标执行节点。

31、在一实施例中,所述基于所述目标执行节点和所述目标传输路径对所述待调度任务进行调度的步骤之后,还包括:

32、当所述目标执行节点不能接纳所述待调度任务时,将所述待调度任务存入全局缓存队列;其中,所述不能接纳包括:所述目标执行节点的剩余缓存容量小于所述待调度任务的缓存需求,或者所述目标执行节点的剩余cpu容量小于所述待调度任务的最小cpu需求且所述待调度任务无法进入本地缓存队列等待;

33、确定所述全局缓存队列中各缓存任务的调度优先级,并按照所述调度优先级从高到低的顺序依次为各所述缓存任务重新选定执行节点;

34、当所述待调度任务执行失败或无法被所述目标执行节点接纳时,触发所述工作流的全局缓存重分配过程。

35、此外,为实现上述目的,本技术还提出一种任务调度装置,所述任务调度装置包括:

36、数据获取模块,用于在检测到边缘计算系统的工作流存在待调度任务的情况下,获取各边缘节点的剩余容量和各物理链路的剩余带宽;

37、第一选定模块,用于根据所述剩余容量从各所述边缘节点中选定所述待调度任务对应的目标执行节点,以使所述边缘计算系统的计算能耗满足预设优化目标;

38、第二选定模块,用于当所述目标执行节点与所述待调度任务的前驱任务所在的节点不同时,根据所述剩余带宽从各所述物理链路中选定所述待调度任务的依赖数据对应的目标传输路径,以使所述边缘计算系统的传输能耗满足所述预设优化目标;

39、调度执行模块,用于基于所述目标执行节点和所述目标传输路径对所述待调度任务进行调度。

40、此外,为实现上述目的,本技术还提出一种任务调度设备,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的任务调度程序,所述任务调度程序配置为实现如上文所述的任务调度方法的步骤。

41、此外,为实现上述目的,本技术还提出一种存储介质,所述存储介质为计算机可读存储介质,所述存储介质上存储有任务调度程序,所述任务调度程序被处理器执行时实现如上文所述的任务调度方法的步骤。

42、此外,为实现上述目的,本发明还提供一种计算机程序产品,所述计算机程序产品包括任务调度程序,所述任务调度程序被处理器执行时实现如上文所述的任务调度方法的步骤。

43、本技术提出的一个或多个技术方案,至少具有以下技术效果:本技术的任务调度方法,所述方法包括:在检测到所述边缘计算系统的工作流存在待调度任务的情况下,获取各所述边缘节点的剩余容量和各所述物理链路的剩余带宽;根据所述剩余容量从各所述边缘节点中选定所述待调度任务对应的目标执行节点;当所述目标执行节点与所述待调度任务的前驱任务所在的节点不同时,根据所述剩余带宽从各所述物理链路中选定所述待调度任务的依赖数据对应的目标传输路径;基于所述目标执行节点和所述目标传输路径对所述待调度任务进行调度,所述目标执行节点和所述目标传输路径共同作用以使所述边缘计算系统的能耗满足预设优化目标。

44、本技术根据各边缘节点的剩余容量选定待调度任务对应的目标执行节点,使节点选择依赖于边缘节点当前可用的资源状态,而非预设的独占式节点分配,从而允许同一边缘节点在剩余容量允许的条件下接纳多个任务,反映节点内任务执行时计算和存储资源的动态占用关系;同时,根据各物理链路的剩余带宽选定依赖数据对应的目标传输路径,使路径选择依赖于链路当前可用的带宽状态,而非默认任意两个节点之间存在直接通信链路,从而能够在物理链路约束下为跨节点数据传输选择实际可行的传输路由。然后将所确定的目标执行节点与目标传输路径共同用于调度待调度任务,使任务执行过程中的资源消耗与数据传输过程中的资源消耗在预设能耗优化目标的约束下联合决策,避免计算资源调度与通信资源调度相互独立而导致的资源冲突或低效分配,从而提供一种能够同时刻画节点内任务执行资源占用和节点间依赖数据传输资源占用的算网协同调度方法,解决了现有方法因默认节点间可直接通信以及任务独占节点cpu执行而无法适应真实边缘网络中资源动态共享及非全连接拓扑的技术问题。