训练任务的调度方法、装置及电子设备与流程

本申请涉及人工智能模型训练，尤其涉及一种训练任务的调度方法、装置及电子设备。

背景技术：

1、当前人工智能（artificial intelligence，ai）训练平台通常仅支持单一云环境或单一集群内的图形处理器（graphics processing unit，gpu）资源管理，采用静态配额分配的方式为训练任务分配gpu资源。用户在提交任务时，需手动指定gpu数量和型号，调度平台在单一资源池中按先来先服务（first come first served，fcfs）或优先级队列的方式进行资源分配。

2、然而，在多云业务场景下，算力资源分散于多家云服务商，采用上述调度方式会造成不同云服务商的gpu资源相互割裂，导致gpu的利用率较低，从而导致训练任务的训练效率较低。

技术实现思路

1、本申请实施例提供一种训练任务的调度方法、装置及电子设备，以解决在多云环境下的gpu的利用率较低，导致训练任务的训练效率较低的问题。

2、为解决上述技术问题，本申请是这样实现的：

3、第一方面，本申请实施例提供了一种训练任务的调度方法，所述方法包括：

4、在获取到训练任务的情况下，根据所述训练任务对应的模型信息确定模型的层数据信息；

5、获取图形处理器gpu资源信息，所述gpu资源信息包括位于不同云平台的异构gpu资源的属性信息和用于表征gpu资源之间的拓扑连接关系的信息；

6、根据所述gpu资源信息和所述模型的层数据信息，确定所述训练任务的并行分配策略，所述并行分配策略包括如下至少一项：数据并行度、流水线并行度、张量并行度；

7、基于所述并行分配策略将所述训练任务切分为多个训练分片，每个所述训练分片包括分配的gpu资源和与其他训练分片的通信依赖关系；

8、在每个所述训练分片对应的gpu资源上，根据所述通信依赖关系执行每个所述训练分片对应的训练任务。

9、第二方面，本申请实施例提供一种训练任务的调度装置，所述装置包括：

10、第一确定模块，用于在获取到训练任务的情况下，根据所述训练任务对应的模型信息确定模型的层数据信息；

11、获取模块，用于获取图形处理器gpu资源信息，所述gpu资源信息包括位于不同云平台的异构gpu资源的属性信息和用于表征gpu资源之间的拓扑连接关系的信息；

12、第二确定模块，用于根据所述gpu资源信息和所述模型的层数据信息，确定所述训练任务的并行分配策略，所述并行分配策略包括如下至少一项：数据并行度、流水线并行度、张量并行度；

13、切分模块，用于基于所述并行分配策略将所述训练任务切分为多个训练分片，每个所述训练分片包括分配的gpu资源和与其他训练分片的通信依赖关系；

14、执行模块，用于在每个所述训练分片对应的gpu资源上，根据所述通信依赖关系执行每个所述训练分片对应的训练任务。

15、第三方面，本申请实施例提供一种电子设备，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现第一方面所述的训练任务的调度方法的步骤。

16、第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的训练任务的调度方法的步骤。

17、第五方面，提供一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时实现如第一方面所述的训练任务的调度方法的步骤。

18、在本申请实施例中，在获取到训练任务的情况下，根据所述训练任务对应的模型信息确定模型的层数据信息；获取图形处理器gpu资源信息，所述gpu资源信息包括位于不同云平台的异构gpu资源的属性信息和用于表征gpu资源之间的拓扑连接关系的信息；根据所述gpu资源信息和所述模型的层数据信息，确定所述训练任务的并行分配策略，所述并行分配策略包括如下至少一项：数据并行度、流水线并行度、张量并行度；基于所述并行分配策略将所述训练任务切分为多个训练分片，每个所述训练分片包括分配的gpu资源和与其他训练分片的通信依赖关系；在每个所述训练分片对应的gpu资源上，根据所述通信依赖关系执行每个所述训练分片对应的训练任务。这样，基于不同云平台的异构gpu资源的信息和模型的层数据信息生成训练任务的并行分配策略，并根据分配策略进行任务分片，能够实现对多云环境下异构gpu资源的统一调度，能够提高多云环境下gpu的利用率和大规模ai模型的训练效率。

1.一种训练任务的调度方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述获取图形处理器gpu资源信息之后，所述方法还包括：

3.根据权利要求1所述的方法，其特征在于，所述根据所述训练任务对应的模型信息确定模型的层数据信息之后，所述方法还包括：

4.根据权利要求1至3中任一项所述的方法，其特征在于，所述根据所述gpu资源信息和所述模型的层数据信息，确定所述训练任务的并行分配策略，包括：

5.根据权利要求4所述的方法，其特征在于，所述基于所述训练评估指标，在所述候选分配策略集中确定目标分配策略，包括：

6.根据权利要求1至3中任一项所述的方法，其特征在于，所述在每个所述训练分片对应的gpu资源上，根据所述通信依赖关系执行每个所述训练分片对应的训练任务，包括：

7.一种训练任务的调度装置，其特征在于，包括：

8.一种电子设备，其特征在于，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现如权利要求1至6中任一项所述的训练任务的调度方法的步骤。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的训练任务的调度方法的步骤。

10.一种计算机程序产品，其特征在于，包括计算机指令，该计算机指令被处理器执行时实现如权利要求1至6中任一项所述的训练任务的调度方法的步骤。