QoS控制方法、装置、分布式训练系统及程序产品与流程

摘要: 本技术涉及人工智能(artificialintelligence,ai)领域,尤其涉及一种服务质量(qualityofservice,qos)控制方法、装置、分...
QoS控制方法、装置、分布式训练系统及程序产品与流程

本技术涉及人工智能(artificial intelligence,ai)领域,尤其涉及一种服务质量(quality of service,qos)控制方法、装置、分布式训练系统及程序产品。

背景技术:

1、随着ai模型的规模不断扩大,单个计算设备的算力和显存容量已经不足以支撑ai模型的训练,为此,分布式训练方式成为了主要的模型训练方式。分布式训练是指基于并行策略,将模型训练任务拆分到多个计算设备并行执行。

2、目前,分布式训练中常用的并行策略有数据并行(data parallel,dp)、张量并行(tensor parallel,tp)、流水线并行(pipeline parallel,pp)、专家并行(expertparallel,ep)、序列并行(sequence parallel,sp)以及包括上述多种并行策略的混合并行等。在采用混合并行策略的分布式训练过程中,多个计算设备之间可以通过通信网络传输多种不同的并行策略的数据流量,其中,并行策略的数据流量包括采用相应并行策略的各个计算设备在训练过程中所产生或使用的参数数据。不同的并行策略的数据流量可能会在通信网络中竞争网络资源,造成数据传输效率下降,从而影响模型训练效率。

技术实现思路

1、本技术提供一种qos控制方法、装置、分布式训练系统及程序产品,可以通过感知计算设备上的训练任务来对计算设备和交换设备进行qos配置,以实现对不同并行策略的数据流量的qos控制,提升数据传输效率。

2、为达到上述目的,本技术采用如下技术方案:

3、第一方面,提供一种qos控制方法,应用于qos控制设备,所述方法包括:接收多个计算设备分别执行的目标训练任务中的子任务的任务信息,所述任务信息包括至少一种并行策略和每种并行策略对应的通信信息,所述目标训练任务为采用多种并行策略的训练任务;基于所述任务信息,获取所述目标训练任务对应的qos配置信息,所述qos配置信息用于控制所述目标训练任务中的所述多种并行策略的数据流量的传输;基于所述qos配置信息对所述多个计算设备和交换设备进行qos配置,所述交换设备用于在所述多个计算设备之间转发所述目标训练任务中的所述多种并行策略的数据流量。

4、在本技术中,qos控制设备可以根据多个计算设备分别上报的自身所执行的目标训练任务的子任务所对应的并行策略以及并行策略对应的通信信息,来获取qos配置信息,并利用该qos配置信息实现对多个计算设备和至少一个交换设备的qos配置,从而实现对不同并行策略的数据流量的qos控制,以此来提升数据传输效率,进而提升模型训练效率。

5、可选地,所述qos配置信息包括第一qos映射信息和/或第二qos映射信息;所述第一qos映射信息包括所述多种并行策略与多种qos标记之间的映射关系以及第一映射策略,所述qos标记用于标识对应的并行策略的数据流量的服务类型,所述第一映射策略用于指示在所述计算设备中与所述多种qos标记对应的多个缓存队列;所述第二qos映射信息包括第二映射策略,所述第二映射策略用于指示在所述交换设备中所述多种qos标记对应的多个缓存队列;当所述qos配置信息不包括所述第一qos映射信息时,所述第二qos映射信息还包括所述多种并行策略与所述多种qos标记之间的映射关系;其中,所述缓存队列用于缓存对应的qos标记所标识的并行策略的数据流量。

6、在本技术中,通过第一qos映射信息可以将不同服务类型的并行策略的数据流量映射到计算设备中的不同缓存队列,以此来实现计算设备侧不同服务类型的并行策略的数据流量的隔离,从而缓解不同服务类型的并行策略的数据流量在发送过程中的相互影响。

7、通过第二qos映射信息,可以将不同服务类型的并行策略的数据流量映射至交换设备中的不同缓存队列内,以此来实现交换设备侧不同服务类型的并行策略的数据流量的隔离,从而缓解不同服务类型的并行策略的数据流量在发送过程中的相互影响。

8、可选地,基于所述qos配置信息实现对所述多个计算设备的qos配置的实现过程可以包括:向所述多个计算设备发送所述第一qos映射信息,所述第一qos映射信息用于指示所述计算设备基于所述映射关系,在待发送的、所述目标训练任务中的至少一种并行策略的数据流量中添加对应的qos标记,并基于所述第一映射策略,将所述至少一种并行策略的数据流量添加至对应的qos标记所对应的缓存队列中。

9、可选地,基于所述qos配置信息实现对至少一个交换设备的qos配置的实现过程可以包括;向所述至少一个交换设备发送所述第二qos映射信息,所述第二qos映射信息用于指示所述交换设备基于所述第二映射策略,将接收到的至少一种并行策略的数据流量添加至对应的qos标记所对应的缓存队列中,其中,当所述第二qos映射信息还包括所述多种并行策略与所述多种qos标记之间的映射关系时,所述第二qos映射信息还用于指示所述交换设备基于所述多种并行策略与所述多种qos标记之间的映射关系,在接收到的至少一种并行策略的数据流量中添加对应的qos标记。

10、可选地,所述并行策略对应的通信信息包括所述并行策略对应的至少一个通信域内的设备信息和每个通信域的通信量;所述基于所述任务信息,获取所述目标训练任务对应的qos配置信息的实现过程可以包括:获取所述缓存队列的数量m,m为大于1的整数;基于所述m、每种并行策略对应的至少一个通信域内的设备信息和每个通信域的通信量,确定m个缓存队列与所述多种并行策略之间的目标映射方式,其中,在多种映射方式中,当按照所述目标映射方式在每个缓存队列中缓存对应的并行策略的数据流量时,所述m个缓存队列的通信冲突程度最小;基于所述目标映射方式,确定qos映射信息,其中,当所述m为计算设备中的所述缓存队列的数量时,所述qos映射信息为第一qos映射信息,当所述m为交换设备中的所述缓存队列的数量时,所述qos映射信息为第二qos映射信息。

11、在本技术中,qos映射信息可以是基于缓存队列与并行策略之间的多种映射方式中通信冲突程度最小的目标映射方式确定得到的,这样,按照该qos映射方式来将多种并行策略的数据流量映射至多个缓存队列之后,可以使得每个缓存队列中缓存的数据流量的通信冲突程度较小,从而缓解由于同一缓存队列中的数据流量的通信冲突程度较大所导致的网络拥塞问题。

12、可选地,在所述qos配置信息包括所述第二qos映射信息的情况下,所述qos配置信息还包括qos调度策略,所述qos调度策略用于指示所述交换设备中所述多种qos标记对应的所述多个缓存队列的调度方式。

13、在本技术中,qos控制设备还可以根据计算设备上报的任务信息确定交换设备上的多个缓存队列的qos调度策略,通过该qos调度策略来调度发送交换设备上的缓存队列中的数据流量,以此来缓解多个缓存队列中不同并行策略的数据流量之间由于争抢带宽资源所导致的网络拥塞问题。

14、可选地,所述基于所述qos配置信息实现对至少一个交换设备的qos配置的实现过程还可以包括:向所述至少一个交换设备发送qos调度策略,以指示所述交换设备基于所述qos调度策略对与所述多种qos标记对应的所述多个缓存队列进行调度。

15、可选地,所述并行策略对应的通信信息包括所述并行策略对应的至少一个通信域的通信量,所述基于所述任务信息,获取所述目标训练任务对应的qos配置信息的实现过程可以包括:基于所述第二qos映射信息和每种并行策略对应的至少一个通信域的通信量,确定所述交换设备上的n个缓存队列中的每个缓存队列的总通信量,所述总通信量是指与缓存队列对应的qos标记所标识的并行策略的数据流量的总数据量,n为大于1的整数;基于每个缓存队列的总通信量和所述交换设备的链路总带宽,确定所述qos调度策略。

16、在本技术中,根据第二qos映射信息所指示的交换设备上的各个缓存队列对应的并行策略,计算各个缓存队列的总通信量,进而基于各个缓存队列的总通信量来确定qos调度策略,以使得交换设备上的各个缓存队列可以被合理的调度,从而提升业务性能。

17、可选地,所述基于所述qos配置信息实现对所述多个计算设备和/或至少一个交换设备的qos配置的实现过程也可以为:基于所述qos配置信息直接对所述多个计算设备和/或所述至少一个交换设备进行qos配置。

18、第二方面,提供一种qos控制方法,应用于计算设备中,所述方法包括:向qos控制设备发送自身执行的目标训练任务中的子任务的任务信息,所述任务信息包括至少一种并行策略的标识和每种并行策略对应的通信信息,所述目标训练任务为采用多种并行策略的训练任务;接收所述qos控制设备发送的所述目标训练任务对应的qos配置信息,所述qos配置信息是基于多个所述计算设备发送的所述任务信息确定得到;基于所述qos配置信息,发送所述目标训练任务中的所述至少一种并行策略的数据流量。

19、可选地,所述qos配置信息包括第一qos映射信息,所述第一qos映射信息包括所述多种并行策略与多种qos标记之间的映射关系以及第一映射策略,所述qos标记用于标识对应的并行策略的数据流量的服务类型,所述第一映射策略用于指示在所述计算设备中所述多种qos标记对应的多个缓存队列,所述缓存队列用于缓存对应的qos标记所标识的并行策略的数据流量。

20、可选地,所述基于所述qos配置信息,发送所述目标训练任务中的所述至少一种并行策略的数据流量的实现过程可以包括:在待发送的所述目标训练任务中的每种并行策略的数据流量中添加相应并行策略对应的qos标记;基于所述至少一种并行策略的数据流量中的qos标记和所述第一映射策略,将所述至少一种并行策略的数据流量添加至至少一个缓存队列中;发送所述至少一个缓存队列中的数据流量。

21、第三方面,提供一种qos控制方法,应用于交换设备中,所述方法包括:接收qos控制设备发送的目标训练任务对应的qos配置信息,所述qos配置信息是基于多个计算设备分别执行的所述目标训练任务中的子任务的任务信息确定得到,所述任务信息包括至少一种并行策略和每种并行策略对应的通信信息,所述目标训练任务为采用多种并行策略的训练任务;基于所述qos配置信息,发送来自所述多个计算设备的所述目标训练任务中的所述多种并行策略的数据流量。

22、可选地,所述qos配置信息包括第二qos映射信息,所述第二qos映射信息包括第二映射策略,所述第二映射策略用于指示与所述多个并行策略对应的多种qos标记所对应的多个缓存队列,所述qos标记用于标识对应的并行策略的数据流量的服务类型,所述缓存队列用于缓存对应的qos标记所标识的并行策略的数据流量。

23、可选地,所述基于所述qos配置信息,发送来自所述多个计算设备的所述目标训练任务中的所述多种并行策略的数据流量的实现过程可以包括:接收所述多种并行策略的数据流量;基于所述多种并行策略的数据流量中的qos标记和所述第二映射策略,将所述多种并行策略的数据流量添加至多个缓存队列中;发送所述多个缓存队列中的数据流量。

24、可选地,所述第二qos映射信息还包括所述多种并行策略与所述多种qos标记之间的映射关系,所述基于所述多种并行策略的数据流量中的qos标记和所述第二映射策略之前,还包括:基于所述映射关系,在所述多种并行策略的数据流量中添加对应的qos标记。

25、可选地,所述qos配置信息还包括qos调度策略;所述发送所述多个缓存队列中的数据流量的实现过程可以包括:基于所述qos调度策略,对所述多个缓存队列进行调度,以发送所述多个缓存队列中的数据流量。

26、第四方面,提供一种qos控制方法,应用于分布式训练系统中,所述分布式训练系统包括多个计算设备、qos控制设备和至少一个交换设备,所述方法包括:所述多个计算设备分别向所述qos控制设备发送自身执行的目标训练任务中的子任务的任务信息,所述任务信息包括至少一种并行策略和每种并行策略对应的通信信息,所述目标训练任务为采用多种并行策略的训练任务;所述qos控制设备基于所述任务信息,获取所述目标训练任务对应的qos配置信息,并向所述多个计算设备和交换设备发送所述qos配置信息;所述多个计算设备分别基于所述qos配置信息,发送所述目标训练任务中的所述至少一种并行策略的数据流量;所述至少一个交换设备分别基于所述qos配置信息,发送来自所述多个计算设备的所述目标训练任务中的所述多种并行策略的数据流量。

27、第五方面,提供一种qos控制装置,所述qos控制装置包括至少一个模块,所述至少一个模块用于执行上述第一方面或第二方面或第三方面或第四方面所述的qos控制方法。

28、第六方面,提供一种分布式训练系统,所述分布式训练系统包括qos控制设备、多个计算设备和至少一个交换设备,所述qos控制设备用于执行上述第一方面所述的qos控制方法,所述多个计算设备中的每个计算设备用于执行上述第二方面所述的qos控制方法,所述至少一个交换设备中的每个交换设备用于执行上述第三方面所述的qos控制方法。

29、第七方面,提供一种计算机设备,所述计算机设备包括处理器,所述处理器用于执行存储器中存储的至少一条程序指令或代码,以实现上述第一方面、第二方面、第三方面或第四方面所述的qos控制方法。

30、第八方面,提供一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述指令在计算机设备上运行时,使得所述计算机设备执行上述第一方面或第二方面或第三方面或第四方面所述的qos控制方法。

31、第九方面,提供了一种包含指令的计算机程序产品,当该计算机程序产品在计算机设备上运行时,使得计算机设备执行上述第一方面或第二方面或第三方面或第四方面所述的qos控制方法。

32、上述第二方面至第九方面所获得的技术效果与第一方面中对应的技术手段获得的技术效果近似,在这里不再赘述。