云原生平台的资源分配方法、装置、设备及存储介质与流程

本公开涉及计算机，尤其涉及一种云原生平台的资源分配方法、装置、设备及存储介质。

背景技术：

1、在相关技术中，volcano是一种云原生场景下的批量计算调度器，被广泛应用于ai大模型训练、大数据计算处理和高性能计算等场景。volcano的核心竞争力之一是能够实现多租户场景下的公平调度能力。

2、volcano通过drf插件，能够实现多资源维度的作业级主导资源公平排序，即主导份额越低的作业，越优先获得资源分配。

3、但是，drf插件只能实现队列中不同作业之间的公平排序。当一个用户提交的作业数量极大，另一个用户仅提交的作数量极少时，即使两个用户的总资源请求相近或相同，也会导致提交作业数量更多的用户通过大量作业抢占资源，使另一个用户的作业长时间无法调度，导致用户间资源分配不公平的问题。

技术实现思路

1、为了解决上述技术问题，本公开提供了一种云原生平台的资源分配方法、装置、设备及存储介质，以提高云原生平台大规模多租户场景下的用户间资源分配的公平性。

2、第一方面，本公开实施例提供一种云原生平台的资源分配方法，云原生平台包括至少两个作业队列，方法包括：

3、在接收到目标作业请求的情况下，基于每个作业队列的可分配资源，在至少一个作业队列中确定目标队列，将目标作业请求指示的计算作业添加至目标队列；其中，目标队列与至少两个用户相关联，目标队列中的每个计算作业均与至少两个用户中的一个用户相关联，至少两个用户中包括发出目标作业请求的用户；

4、根据目标队列的可分配资源、至少两个用户的资源需求和已占用资源，分别确定每个用户的用户主导份额；

5、根据用户主导份额对至少两个用户进行排序，得到用户调度优先级；

6、基于用户调度优先级，在目标队列的可分配资源中为每个用户分配用户资源；用户资源用于执行用户关联的计算作业。

7、第二方面，本公开实施例提供一种云原生平台的资源分配装置，云原生平台包括至少两个作业队列，资源分配装置包括：

8、确定模块，用于在接收到目标作业请求的情况下，基于每个作业队列的可分配资源，在至少一个作业队列中确定目标队列，将目标作业请求指示的计算作业添加至目标队列；其中，目标队列与至少两个用户相关联，目标队列中的每个计算作业均与至少两个用户中的一个用户相关联，至少两个用户中包括发出目标作业请求的用户；

9、以及，根据目标队列的可分配资源、至少两个用户的资源需求和已占用资源，分别确定每个用户的用户主导份额；

10、排序模块，用于根据用户主导份额对至少两个用户进行排序，得到用户调度优先级；

11、分配模块，用于基于用户调度优先级，在目标队列的可分配资源中为每个用户分配用户资源；用户资源用于执行用户关联的计算作业。

12、第三方面，本公开实施例提供一种电子设备，包括：

13、存储器；

14、处理器；以及

15、计算机程序；

16、其中，计算机程序存储在存储器中，并被配置为由处理器执行以实现如第一方面的方法。

17、第四方面，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行以实现第一方面的方法。

18、第五方面，本公开实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序或指令，该计算机程序或指令被处理器执行时实现如上的云原生平台的资源分配方法。

19、本公开实施例提供的云原生平台的资源分配方法、装置、设备及存储介质，通过在volcano原生的公平调度体系中，增加队列中针对用户的公平调度方案，即在相同队列中，根据每个用户的用户主导份额，对队列中的用户进行优先级排序，基于排序后的调度优先级，来为每个用户分配该用户专用的用户资源，因此能够保证无论用户提交的作业数量多少，每个用户均有公平的作业资源用于处理计算作业。因此能够避免单用户通过大量作业抢占队列资源，导致其他用户提交的作业长时间无法被分配资源导致饥饿的问题，进而提高了云原生平台大规模多租户场景下的用户间资源分配的公平性。

1.一种云原生平台的资源分配方法，其特征在于，所述云原生平台包括至少两个作业队列，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

4.根据权利要求1所述的方法，其特征在于，所述根据所述目标队列的可分配资源、至少两个所述用户的资源需求和已占用资源，分别确定每个所述用户的主导份额，包括：

5.根据权利要求4所述的方法，其特征在于，所述目标作业请求用于请求执行目标计算作业，所述目标计算作业为gang作业；

6.根据权利要求4所述的方法，其特征在于，所述方法还包括：

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

8.根据权利要求1至7中任一项所述的方法，其特征在于，所述方法还包括：

9.根据权利要求1至7中任一项所述的方法，其特征在于，所述方法还包括：

10.根据权利要求9所述的方法，其特征在于，分配给所述用户的用户资源的最大值小于或等于第二资源占用量阈值；所述第二资源占用量阈值大于所述第一资源占用量阈值。

11.根据权利要求1至7中任一项所述的方法，其特征在于，所述方法还包括：

12.一种云原生平台的资源分配装置，其特征在于，所述云原生平台包括至少两个作业队列，所述资源分配装置包括：

13.一种电子设备，其特征在于，包括：

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-11中任一项所述的方法。