基于多维度资源的任务调度方法及装置与流程

本发明涉及云计算，尤其涉及一种基于多维度资源的任务调度方法及装置。

背景技术：

1、随着云计算和大数据技术的飞速发展，数据中心的规模日益庞大，计算任务的种类和复杂性也呈指数级增长。在现有的分布式计算系统中，资源调度包括待处理的任务合理分配到物理或虚拟计算节点上。

2、目前，主流的资源调度技术如 kubernetes默认调度器等通常采用基于规则的静态分配策略，例如根据任务声明的资源请求量与节点剩余资源量进行匹配，或者采用轮询、最短作业优先等算法。然而，这种现有的调度方案存在显著缺陷，缺乏对多维度资源的感知能力，且静态策略无法适应动态变化的工作负载，往往在节点过载或服务质量受损后才被动响应，导致服务延迟增加。

3、因此，亟需一种能够实时感知多维度资源状态且能平衡性能与能耗的调度方案。

技术实现思路

1、本发明提供一种基于多维度资源的任务调度方法及装置，用以解决现有技术中无法全面感知资源数据以实现高性能且节能的调度的缺陷，实现感知多维度资源状态且能平衡性能与能耗的调度。

2、本发明提供一种基于多维度资源的任务调度方法，所述方法应用于分布式计算系统，所述方法包括：

3、实时采集计算集群中各物理节点的资源状态数据，所述资源状态数据至少包括计算资源指标、存储资源指标、网络资源指标及能源指标；

4、获取待调度任务的历史运行数据及任务特征描述，利用预先训练的混合预测模型对所述待调度任务在未来时间段内的资源需求量进行预测，得到资源需求预测值；

5、基于所述资源状态数据和所述资源需求预测值，构建包含系统性能、能源效率及资源成本的多目标优化函数；根据当前系统的负载状态动态调整所述多目标优化函数中各目标的权重系数，并生成最优调度策略；

6、根据所述最优调度策略，控制所述待调度任务分发至目标物理节点执行，或将正在运行的任务从当前节点迁移至目标物理节点。

7、根据本发明提供的一种基于多维度资源的任务调度方法，所述实时采集计算集群中各物理节点的资源状态数据，包括：将所述资源状态数据编码为统一的资源状态向量；所述计算资源指标包括cpu利用率、gpu负载及内存带宽；所述存储资源指标包括每秒输入输出操作次数iops及吞吐量；所述网络资源指标包括带宽利用率及延迟；所述能源指标包括节点实时功耗及温度。

8、根据本发明提供的一种基于多维度资源的任务调度方法，所述混合预测模型包括并行设置的第一预测子模型和第二预测子模型；所述利用预先训练的混合预测模型对所述待调度任务在未来时间段内的资源需求量进行预测，得到资源需求预测值，包括：

9、利用所述第一预测子模型处理所述历史运行数据，通过差分整合移动平均自回归算法计算得到短期资源需求预测值；

10、利用所述第二预测子模型处理所述任务特征描述，通过长短期记忆网络算法计算得到长期资源需求趋势值；

11、基于预设的融合权重，对所述短期资源需求预测值和所述长期资源需求趋势值进行加权求和，得到最终的所述资源需求预测值。

12、根据本发明提供的一种基于多维度资源的任务调度方法，所述根据当前系统的负载状态动态调整所述多目标优化函数中各目标的权重系数，包括：

13、获取所述分布式计算系统的当前总负载值；

14、若所述当前总负载值高于预设的第一负载阈值，则提高系统性能对应的权重系数，降低能源效率对应的权重系数；若所述当前总负载值低于预设的第二负载阈值，则降低系统性能对应的权重系数，提高能源效率对应的权重系数；若所述当前总负载值处于所述第一负载阈值与所述第二负载阈值之间，则将系统性能与能源效率对应的的权重系数均设置为平衡值；所述第一负载阈值大于所述第二负载阈值。

15、根据本发明提供的一种基于多维度资源的任务调度方法，所述生成最优调度策略包括：

16、基于非支配排序遗传算法，初始化包含多个调度方案的种群；

17、根据所述资源需求预测值和所述权重系数调整后的多目标优化函数，计算种群中每个个体的适应度；

18、通过选择、交叉和变异算子对种群进行迭代进化，直至满足预设的终止条件，生成最优解集；

19、从所述最优解集中选择适应度最高的解作为所述最优调度策略。

20、根据本发明提供的一种基于多维度资源的任务调度方法，在所述构建包含系统性能、能源效率及资源成本的多目标优化函数之前，所述方法还包括：对所述资源状态向量中的各维度数据进行归一化处理。

21、根据本发明提供的一种基于多维度资源的任务调度方法，所述方法还包括：

22、周期性计算当前运行任务的实际资源利用率与所述资源需求预测值之间的利用率偏差；

23、确定当前运行任务违反服务等级目标的风险概率；

24、当所述利用率偏差超过预设偏差阈值，或者所述风险概率超过预设风险阈值时，根据当前系统的负载状态动态调整所述多目标优化函数中各目标的权重系数以重新生成调度策略。

25、根据本发明提供的一种基于多维度资源的任务调度方法，所述确定当前运行任务违反服务等级目标的风险概率，包括：

26、监测当前运行任务的响应时间及吞吐量；

27、根据任务的历史性能波动特征，计算当前资源配置下响应时间超出服务等级目标限制的条件概率。

28、本发明还提供一种基于多维度资源的任务调度装置，包括：

29、采集模块，用于实时采集计算集群中各物理节点的资源状态数据，所述资源状态数据至少包括计算资源指标、存储资源指标、网络资源指标及能源指标；

30、获取模块，用于获取待调度任务的历史运行数据及任务特征描述，利用预先训练的混合预测模型对所述待调度任务在未来时间段内的资源需求量进行预测，得到资源需求预测值；

31、第一处理模块，用于基于所述资源状态数据和所述资源需求预测值，构建包含系统性能、能源效率及资源成本的多目标优化函数；根据当前系统的负载状态动态调整所述多目标优化函数中各目标的权重系数，并生成最优调度策略；

32、第二处理模块，用于根据所述最优调度策略，控制所述待调度任务分发至目标物理节点执行，或将正在运行的任务从当前节点迁移至目标物理节点。

33、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于多维度资源的任务调度方法。

34、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于多维度资源的任务调度方法。

35、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于多维度资源的任务调度方法。

36、本发明提供的基于多维度资源的任务调度方法及装置，通过采集包括能源指标在内的多维度资源状态数据和资源需求预测值，构建多目标优化函数，并根据当前系统的负载状态动态调整所述多目标优化函数中各目标的权重系数，并生成最优调度策略，实现了对多维度资源数据的感知和对能效的优化，能够保证性能并平衡能耗，使得能够在保证业务服务等级的前提下，显著降低电力消耗，实现了性能与能耗的双重优化。