一种集群资源调度方法、装置、电子设备及存储介质与流程

本申请涉及大数据，尤其涉及一种集群资源调度方法、装置、电子设备及存储介质。

背景技术：

1、在大数据与人工智能技术快速发展的背景下，海量数据处理、ai模型训练等场景对计算算力需求爆发式增长，hadoop作为开源分布式计算平台，已成为大数据处理领域的核心工具，yarn是hadoop集群的资源管理集群，它负责为各种分布式计算任务分配和管理资源。

2、现有yarn集群资源调度相关技术，要么依赖人工配置或固定规则导致调度滞后，要么因算法特性无法兼顾全局优化与个性化需求，难以应对多租户、复杂任务依赖及弹性伸缩场景下的调度挑战。现有yarn集群资源调度未能充分适配不同用户任务负载差异及同一用户负载的时段不均衡性，导致集群常出现“资源闲置与任务阻塞并存”的矛盾，例如：部分时段大量资源空闲浪费，部分时段任务因无法及时获取资源违反服务等级协议（servicelevel agreement，sla），同时资源使用成本随算力需求增长持续攀升。

3、因此，如何在保障服务质量的前提下，通过优化调度策略平衡资源使用成本与sla违反率是亟需解决的问题。

技术实现思路

1、本申请实施例提供了一种集群资源调度方法、装置、电子设备及存储介质，用以平衡资源使用成本与sla违反率，在保障sla的前提下，最大化降低集群资源使用成本，从而实现了集群资源与任务需求的全局最优。

2、第一方面，本申请实施例提供了一种集群资源调度方法，所述方法包括：

3、当满足资源调度触发条件时，获取集群当前的资源状态信息和待执行任务状态信息，其中，资源调度触发条件包括：集群的当前可用资源不满足至少一个待执行任务的配置需求，一个待执行任务的配置需求是基于一个待执行任务的负载等级确定的；

4、将资源状态信息和待执行任务状态信息输入至资源调度模型中，得到资源调度模型输出的目标资源调度策略，其中，资源调度模型是：通过将资源调度策略选择过程建模为马尔可夫决策过程进行强化学习得到的，马尔可夫决策过程的状态空间包括：不同资源状态信息和不同待执行任务状态信息的组合，马尔可夫决策过程的动作空间包括：各资源调度策略，马尔可夫决策过程的奖励函数是由sla达标率和资源成本构成的；

5、执行目标资源调度策略。

6、第二方面，本申请实施例还提供了一种集群资源调度装置，所述装置包括：

7、获取模块，用于当满足资源调度触发条件时，获取集群当前的资源状态信息和待执行任务状态信息，其中，资源调度触发条件包括：集群的当前可用资源不满足至少一个待执行任务的配置需求，一个待执行任务的配置需求是基于一个待执行任务的负载等级确定的；

8、调度策略确定模块，用于将资源状态信息和待执行任务状态信息输入至资源调度模型中，得到资源调度模型输出的目标资源调度策略，其中，资源调度模型是：通过将资源调度策略选择过程建模为马尔可夫决策过程进行强化学习得到的，马尔可夫决策过程的状态空间包括：不同资源状态信息和不同待执行任务状态信息的组合，马尔可夫决策过程的动作空间包括：各资源调度策略，马尔可夫决策过程的奖励函数是由sla达标率和资源成本构成的；

9、调度执行模块，用于执行目标资源调度策略。

10、第三方面，本申请实施例还提供了一种电子设备，包括：

11、处理器；以及

12、存储程序的存储器，

13、其中，程序包括指令，指令在由处理器执行时使处理器执行如第一方面所述的集群资源调度方法。

14、第四方面，本申请实施例还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行如第一方面所述的集群资源调度方法。

15、第五方面，本申请提供了一种计算机程序产品，所述计算机程序产品在被计算机调用时，使得所述计算机执行如第一方面所述的集群资源调度方法步骤。

16、本申请有益效果如下：

17、在本申请实施例所提供的集群资源调度方法中，首先当满足资源调度触发条件时，获取集群当前的资源状态信息和待执行任务状态信息，其中，资源调度触发条件包括：集群的当前可用资源不满足至少一个待执行任务的配置需求，一个待执行任务的配置需求是基于一个待执行任务的负载等级确定的；然后将资源状态信息和待执行任务状态信息输入至资源调度模型中，得到资源调度模型输出的目标资源调度策略，其中，资源调度模型是：通过将资源调度策略选择过程建模为马尔可夫决策过程进行强化学习得到的，马尔可夫决策过程的状态空间包括：不同资源状态信息和不同待执行任务状态信息的组合，马尔可夫决策过程的动作空间包括：各资源调度策略，马尔可夫决策过程的奖励函数是由sla达标率和资源成本构成的；最后执行目标资源调度策略。这样，通过将“当前可用资源不满足各待执行任务的配置需求”作为触发条件，并利用负载等级动态确定配置需求，实现了对资源供需矛盾的实时感知和自动响应，避免了传统方案依赖人工配置或固定规则导致的调度滞后，并且资源调度模型基于马尔可夫决策过程构建，其奖励函数由sla达标率和资源成本共同构成，使得模型在训练中学会同时平衡服务质量与经济成本，克服了现有技术难以兼顾双目标优化的缺陷，在保障sla的前提下，最大化降低集群资源使用成本，从而实现了集群资源与任务需求的全局最优，同时状态空间涵盖不同资源状态和任务状态组合，动作空间包含多种资源调度策略，使模型能够适应集群资源的动态变化（如节点故障、负载波动）和多样化的任务特征，提升了在复杂场景下的决策稳定性和泛化能力。

18、此外，本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者，通过实施本申请而了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

1.一种集群资源调度方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，所述资源调度触发条件还包括：

3.如权利要求1所述的方法，其特征在于，所述将所述资源状态信息和所述待执行任务状态信息输入至资源调度模型中，得到所述资源调度模型输出的目标资源调度策略，包括：

4.如权利要求1所述的方法，其特征在于，所述资源调度模型是采用以下方式训练获得的：

5.如权利要求1所述的方法，其特征在于，所述方法还包括：

6.如权利要求5所述的方法，其特征在于，所述多维度风险包括：sla违约风险、资源过载风险和成本消耗风险，则所述基于所述特征数据集进行多维度风险评估，得到所述待评估任务的多维度风险，包括：

7.如权利要求1所述的方法，其特征在于，所述执行所述目标资源调度策略之后，还包括：

8.一种集群资源调度装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括：

10.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使计算机执行根据权利要求1-7中任一项所述的方法。