一种加速分布式AI训练云平台的部署方法及相关平台与流程

一种加速分布式ai训练云平台的部署方法及相关平台
技术领域
1.本发明涉及ai(即人工智能)训练及云计算技术领域，具体地，涉及一种加速分布式ai训练云平台的部署方法及相关平台。


背景技术：

2.ai技术，即人工智能，是计算机科学的一个重要分支，而且越来越成为一支被人们广泛关注的研究方向。广义上来说，人工智能(ai)，可以被理解为是使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的技术领域；其中主要则包括计算机实现智能的原理、制造类似于人脑智能的计算机或开发接近于人脑智能的程序等，使计算机能实现更高层次的应用。随着计算机软、硬件技术的发展，人工智能(ai)技术在近几十年也得到了迅速发展，在诸多技术领域也获得了广泛应用。
3.尤其是近年来深度学习在人工智能(ai)领域表现尤为突出，以深度学习为代表的新一代ai技术，不仅在普罗大众间掀起了又一轮的“人工智能热”，而且可以更直观地看到ai技术在逐步地进入从传统的金融保险、工业制造等到私域化的个人日常生活等广泛的领域。一般来说，广义的深度学习，通常包括深度学习算法以及训练等相关内容；而目前在深度学习领域热度最高的算法即是深度神经网络(deep neural network，dnn)。深度神经网络，是指包括若干隐藏层的神经网络；而其在训练过程中一般是是其中的大量的神经元输入通过不断的迭代更新参数完成模型定型，进而方能应用于生产实践。
4.为了获得更为精确的模型用于预测，像深度神经网络算法这类的深度学习模型训练都需要大规模的样板数据集。概而言之，即深度学习涉及的计算强度非常高，单一的计算机设备已经无法支撑如此庞大的运算。因此，深度学习模型训练已经基本选择采用了分布式计算。而在分布式机器学习的过程中，自然不可避免的产生大量的数据通信。而传统的tcp/ip网络通信存在的i/o bottleneck瓶颈问题(即在高速网络条件下与网络i/o相关的处理的高开销(例如数据移动操作、复制操作)限制了计算机设备间的带宽；这是由于传统的tcp/ip网络通信是通过内核发送消息的，而messaging passing through kernel(即消息传输需要内核介入)导致了低性能，这种通信方式存在的很高的数据移动和数据复制的开销。而rdma(remotedirect memory access)，即远程直接内存访问技术，作为一种无需通信双方操作系统介入、高吞吐、低延迟的网络通信，则很好地避免了上述问题。
5.但是，随着云计算技术的发展，为了降低分布式训练集群的部署难度和提高集群部署弹性，人们开始逐渐关注分布式训练平台的“云化”。要实现云化，首先就要对原来以物理集群形式应用于训练的硬件资源进行有效管理，且不可避免地涉及对涉及的各类硬件资源进行虚拟化。这其中就涉及支持高效通信的硬件资源的虚拟化；之前的技术方案中，物理集群采用普通网卡(其支持tcp/ip通信)，其通信资源的虚拟化将通过内核实现，因此能够很容易实现“云化”以及快速部署。但是，rdma通信技术不需通信双方操作系统介入，不经过内核协议栈，那么适用于普通网卡的虚拟化技术则不能直接应用于rdma网卡的虚拟化，进而就不能“云化”及快速部署。


技术实现要素：

6.有鉴于此，本发明提供一种加速分布式ai训练云平台的部署方法及相关平台。
7.一方面，本发明实施例提供一种加速分布式ai训练云平台的部署方法。
8.上述的加速分布式ai训练云平台的部署方法，包括：
9.当在对应的裸机集群上部署前面述及的加速分布式ai训练平台时，
10.获取加速分布式ai训练平台的物理集群规格配置；其中，上述的物理集群规格配置包括物理节点资源配置；而上述的物理节点资源配置，包括默认rdma网卡配置；
11.然后根据上述的物理集群规格配置在裸机集群上部署加速分布式ai训练平台；其中包括：根据上述的物理节点资源配置分别在裸机集群的各个机器设备上部署相应的分布式ai训练云平台应用、及rdma网卡虚拟化服务；
12.在部署过程中，使上述的物理节点资源配置分别与各机器设备上的硬件逐一对应；其中包括：使上述的默认rdma网卡配置分别与各机器设备上配置的支持硬件虚拟化的rdma网卡对应；
13.其中，上述的分布式ai训练云平台应用在部署完成后将被用于提供分布式ai训练云平台服务；而上述的分布式ai训练云平台服务，其中包括：创建分布式训练集群、为分布式训练集群分配相应的物理资源和管理分布式训练集群等，以使之能够对外提供稳定、可靠的分布式训练服务；而上述的rdma网卡虚拟化服务则将用于与上述的机器设备上支持硬件虚拟化的rdma网卡一起，实现rdma网卡的虚拟化，为在分布式ai训练云平台上创建的分布式训练集群中对应的逻辑计算机提供虚拟rdma网卡以实现rdma通信服务。
14.另一方面，本发明实施例提供一种更为高效的加速分布式ai训练云平台的部署方法。
15.上述的高效加速分布式ai训练云平台的部署方法，包括：
16.当在对应的裸机集群上部署前面述及的高效加速分布式ai训练平台时，
17.获取高效加速分布式ai训练平台的物理集群规格配置；其中，上述的物理集群规格配置包括物理节点资源配置；而上述的物理节点资源配置，包括若干(不少于2个)rdma网卡配置；
18.然后根据上述的物理集群规格配置在裸机集群上部署高效加速分布式ai训练平台；其中包括：根据上述的物理节点资源配置分别在裸机集群的各个机器设备上部署相应的分布式ai训练云平台应用、及多rdma网卡虚拟化服务；
19.在部署过程中，使上述的物理节点资源配置分别与各机器设备上的硬件逐一对应；其中包括：使上述的各个rdma网卡配置分别与上述各机器设备上配置的各个支持硬件虚拟化的rdma网卡对应；
20.其中，上述的分布式ai训练云平台应用在部署完成后将被用于提供分布式ai训练云平台服务；而上述的分布式ai训练云平台服务，其中包括：创建分布式训练集群、为分布式训练集群分配相应的物理资源和管理分布式训练集群等，以使之能够对外提供稳定、可靠的分布式训练服务；上述的各个机器设备则被配置了不少于rdma网卡配置数的支持硬件虚拟化的rdma网卡；上述的多rdma网卡虚拟化服务则包括多rdma网卡虚拟化管理服务和rdma网卡虚拟化服务；而其中的rdma网卡虚拟化服务将用于分别与机器设备上各个支持硬件虚拟化的rdma网卡一起，实现它们各自的虚拟化；其中的多rdma网卡虚拟化管理服务则
将用于管理上述各rdma网卡的虚拟化；当组成上述分布式训练集群的逻辑计算机被创建时，多rdma网卡虚拟化管理服务即从其对应设备的各rdma网卡确定一可用的rdma网卡，利用该rdma网卡资源，为上述的逻辑计算机提供虚拟rdma网卡以及rdma通信服务。
21.再一方面，本发明实施例提供一种加速分布式ai训练云平台系统。
22.结合第一、第二方面，上述的加速分布式ai训练云平台系统，包括：
23.分布式任务管理单元和平台物理资源管理单元；
24.其中，上述的分布式任务管理单元，被用于请求创建分布式训练集群以及管理分布式训练过程；而上述的平台物理资源管理单元，则被用于为上述的分布式训练集群提供其所需硬件资源及服务；具体而言，分布式任务管理单元，根据对应分布式训练任务请求的分布式训练集群规格配置，请求创建相应规格的分布式训练集群；以及在上述分布式训练集群执行训练时，管理分布式训练过程；其中，上述的分布式训练集群规格，是指用于描述分布式训练集群架构等具体内容的信息；例如，分布式训练集群逻辑拓扑等；上述的加速分布式ai训练云平台，一般则部署在由若干台(一般为多台)配置有若干支持硬件虚拟化的rdma网卡的机器设备组成的裸机集群上；而平台物理资源管理单元，则根据上述的分布式训练集群规格配置等，为被创建的分布式训练集群中的各个逻辑计算机，提供其对应机器设备上的硬件资源及服务；其中，上述的平台物理资源管理单元，包括：
25.提供第一方面述及的加速分布式ai训练云平台的部署方法中的rdma网卡虚拟化服务或第二方面述及的高效加速分布式ai训练云平台的部署方法中的多rdma网卡虚拟化服务，以通过其在分布式训练集群对应的机器设备上，利用所述机器设备上的rdma网卡资源，分别为分布式训练集群中对应的逻辑计算机提供虚拟rdma网卡以及rdma通信服务。
26.又一方面，本发明实施例提供一种计算机可读存储介质。
27.结合第一、第二方面，上述的计算机可读存储介质，存储有用于分布式ai训练云平台部署的代码，其中包括用于执行第一方面述及的加速分布式ai训练云平台的部署方法或第二方面述及的高效加速分布式ai训练云平台的部署方法操作的指令。
28.上述实施例提供的一系列加速分布式ai训练云平台的部署方法以及相关平台系统、计算机可读存储介质，通过快速部署，特别是在部署过程中通过有效的rdma网卡配置或多rdma网卡配置，实现了加速分布式ai训练云平台系统的快速部署，以及在部署后使之为加速分布式ai训练云平台系统创建分布式训练集群时通过虚拟化机器设备上rdma网卡/多rdma网卡提供高效的、甚至更为高效的rdma通信服务，以实现基于加速通信技术的高效分布式训练。
29.下面通过附图、具体实施例对本发明的技术方案做进一步的描述。
附图说明
30.为更加清楚地说明本发明实施例或现有技术中的技术方案，下面将对本发明中一部分实施例或现有技术描述中涉及的附图做简单介绍。
31.图1为展示本发明一些优选实施例提供的一种高效加速分布式ai训练云平台部署过程的流程示意图。
具体实施方式
32.下面结合本发明实施例的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
33.为了获得更为精确的模型应用于预测等场景，深度神经网络这类算法涉及的相关模型一般需要提供大量的样本数据进行训练方能获得有实际使用意义的模型结果。然而，若使用单台计算机设备用于上述训练，那显然将耗时很长，显然不符合人们对ai训练效率的要求。于是，在对深度学习模型的训练等，现一般选择分布式训练。然而，在分布式ai训练过程中，自然不可避免的产生大量的数据传输(例如梯度等参数等的更新)。而传统的tcp/ip网络通信存在的通信瓶颈问题，rdma技术则不存在上述问题。因此，人们在分布式训练集群搭建、部署时，在通信设备上倾向于选择更为高效的rdma网卡。这一硬件基础设施的改进，对于用于训练的物理集群的搭建部署来说，仅是需要安装相应的硬件设备和在提交任务时手动配置通信网卡配置即可，并不存在难以克服的技术问题。
34.然而，随着云计算技术的发展，为了降低分布式训练集群的部署难度和提高集群部署弹性，人们开始逐渐关注分布式训练平台的“云化”。对于搭载普通网卡(支持tcp/ip通信)的平台基础设施，即其物理集群设备上采用普通网卡；而其通信资源的虚拟化，则通过部署过程中提供通过网络虚拟化技术实现的虚拟网卡通信服务来实现，而其中的网络虚拟化技术则又是基于内核实现的，可以简单易用的实现快速部署。但是，rdma通信技术不需通信双方操作系统介入，不经过内核协议栈，因此，显然上述的方案显然不适用于在搭载rdma网卡的平台基础设施上快速部署加速分布式ai训练云平台系统。
35.于是，本发明提供一种加速分布式ai训练云平台的部署方法及相关平台。以下为本发明的一些优选实施例。其中，
36.本发明的一些优选实施例提供一种加速分布式ai训练云平台的部署方法。该方法包括：
37.当在对应的裸机集群上部署前面述及的加速分布式ai训练平台时，获取加速分布式ai训练平台的物理集群规格配置；其中，加速分布式ai训练平台的物理集群规格配置，包括用来描述加速分布式ai训练云平台(部署后对应)的物理集群架构的具体内容；例如，物理集群逻辑拓扑等；而这些具体内容中就包括物理集群节点的资源配置情况(简称物理节点资源配置)；例如，存储、网卡配置等；其中尤其包括：默认rdma网卡配置；
38.然后根据上述的物理集群规格配置在裸机集群上部署加速分布式ai训练平台，其中：
39.根据上述的物理节点资源配置分别在裸机集群的各个机器设备上部署相应的分布式ai训练云平台应用，例如在相应的物理节点上(例如，管理节点、工作节点上)部署相应的分布式ai训练云平台应用(例如，对应管理节点功能的分布式ai训练云平台应用、对应工作节点功能的分布式ai训练云平台应用)；并部署rdma网卡虚拟化服务；
40.以及包括：在部署过程中，使上述的物理节点资源配置分别与各机器设备上的硬件逐一对应；例如，尤其是使上述的默认rdma网卡配置分别与各机器设备上配置的支持硬件虚拟化的rdma网卡对应；
41.其中，上述的分布式ai训练云平台应用在部署完成后将被用于提供分布式ai训练云平台服务；而上述的分布式ai训练云平台服务，其中包括：创建分布式训练集群、为分布式训练集群分配相应的物理资源和管理分布式训练集群等，以使之能够对外提供稳定、可靠的分布式训练服务；而上述的rdma网卡虚拟化服务则将用于与上述的机器设备上支持硬件虚拟化的rdma网卡一起，实现rdma网卡的虚拟化，为在分布式ai训练云平台上创建的分布式训练集群中对应的逻辑计算机提供虚拟rdma网卡以基于此实现rdma通信服务。
42.进一步地，在上述的优选实施例中的一些提供的一种加速分布式ai训练云平台的部署方法中，其中的部署rdma网卡虚拟化服务，包括：
43.在所述机器设备上部署网络虚拟化软件；而上述网络虚拟化软件在部署后运行时，其中包括rdma网卡虚拟化管理单元；上述的rdma网卡虚拟化管理单元，分别与机器设备上的rdma网卡以及被创建的逻辑计算机耦接；其能够获取所述rdma网卡的rdma网卡物理功能模块配置信息，并选择可用的rdma网卡物理功能模块关联的rdma网卡虚拟功能模块给逻辑计算机，以为其提供虚拟rdma网卡以基于此实现rdma通信服务；而上述的rdma网卡物理功能模块和与之关联的rdma网卡虚拟功能模块，则即是由上述支持硬件虚拟化的rdma网卡实现并提供给所述rdma网卡虚拟化服务的。
44.在上述的优选实施例提供的加速分布式ai训练云平台的部署方法中，其中的物理节点资源配置对应的物理节点，通常主要包括两种类型的物理节点：管理节点和工作节点。由于它们在平台物理集群中的作用不同，出于成本等的考虑，在兼顾效率的同时，在一些优选实施例中，将会选择采用不同配置的机器设备，在不减损效率的前提下，以更加经济的机器设备对应不同类型的物理节点。因此，进一步地，在上述的优选实施例中的一些提供的一种加速分布式ai训练云平台的部署方法中，其中的物理节点资源配置包括：更加经济适用的管理节点资源配置和工作节点资源配置；
45.以及部署时，为上述的不同类型的物理节点选择经济适用的机器设备(一般来说，用作管理节点的机器设备，其对硬件配置要求并没有工作节点那么高，因此可以适当地选择低配置或缺省不必要硬件的服务器作为管理节点设备)；在根据相应的物理节点资源配置，在相应的机器设备上进行部署：
46.即根据管理节点资源配置，(获取机器设备信息，并)在管理节点对应的机器设备上部署管理节点对应的分布式ai训练云平台应用及所述服务等；
47.根据工作节点资源配置，(获取机器设备信息，并)在工作节点对应的机器设备上部署工作节点对应的分布式ai训练云平台应用及所述服务等。
48.此外，在上述的优选实施例提供的加速分布式ai训练云平台的部署方法中，其中的加速分布式ai训练云平台，在部署后通常还需要提供对外的访问登陆服务、物理集群节点间的通信服务(例如，dhcp服务器分配网卡ip等)等附加或辅助功能；因此，进一步地，在上述的优选实施例中的一些提供的一种加速分布式ai训练云平台的部署方法中，其中的物理节点资源配置还包括：对应附加或辅助功能的物理节点的资源配置，即附加/辅助节点资源配置；类似于前面优选实施例中的，对应不同作用的物理节点，同样适用于经济适用原则，采用满足相应功能前提下更加经济适用的机器设备；在部署时，根据所述附加/辅助节点资源配置，在相应的机器设备上进行部署。
49.本发明的另一些优选实施例提供一种高效加速分布式ai训练云平台的部署方法。
该方法包括：
50.当在对应的裸机集群上部署前面述及的高效加速分布式ai训练平台时，获取高效加速分布式ai训练平台的物理集群规格配置；其中，高效加速分布式ai训练平台的物理集群规格配置，包括用来描述高效加速分布式ai训练平台加速分布式ai训练云平台(部署后对应)的物理集群架构的具体内容；例如，物理集群逻辑拓扑等；而这些具体内容中就包括物理集群节点的资源配置情况(简称物理节点资源配置)；例如，存储、网卡配置等；其中尤其包括：不少于2个的rdma网卡配置；
51.然后根据上述的物理集群规格配置在裸机集群上部署高效加速分布式ai训练平台，其中：
52.根据上述的物理节点资源配置分别在裸机集群的各个机器设备上部署相应的分布式ai训练云平台应用，例如在相应的物理节点上(例如，管理节点、工作节点上)部署相应的分布式ai训练云平台应用(例如，对应管理节点功能的分布式ai训练云平台应用、对应工作节点功能的分布式ai训练云平台应用)；并部署多rdma网卡虚拟化服务；
53.以及包括：在部署过程中，使上述的物理节点资源配置分别与各机器设备上的硬件逐一对应；例如，尤其是使上述的各个rdma网卡配置分别与上述各机器设备上配置的各个支持硬件虚拟化的rdma网卡对应；
54.其中，上述的分布式ai训练云平台应用在部署完成后将被用于提供分布式ai训练云平台服务；而上述的分布式ai训练云平台服务，其中包括：创建分布式训练集群、为分布式训练集群分配相应的物理资源和管理分布式训练集群等，以使之能够对外提供稳定、可靠的分布式训练服务；上述的各个机器设备则被配置了不少于rdma网卡配置数的支持硬件虚拟化的rdma网卡；上述的多rdma网卡虚拟化服务则包括多rdma网卡虚拟化管理服务和rdma网卡虚拟化服务；而其中的rdma网卡虚拟化服务将用于分别与机器设备上各个支持硬件虚拟化的rdma网卡一起，实现它们各自的虚拟化；其中的多rdma网卡虚拟化管理服务则将用于管理上述各rdma网卡的虚拟化；当组成上述分布式训练集群的逻辑计算机被创建时，多rdma网卡虚拟化管理服务即从对应机器设备的各rdma网卡确定一可用的rdma网卡，利用该rdma网卡资源，为上述的逻辑计算机提供虚拟rdma网卡以及rdma通信服务。
55.进一步地，在上述的优选实施例中的一些提供的一种高效加速分布式ai训练云平台的部署方法。该方法中，其中的部署多rdma网卡虚拟化服务，包括：
56.在所述机器设备上部署网络虚拟化软件；而上述网络虚拟化软件在部署后运行时，其中包括多rdma网卡虚拟化管理单元；分别与机器设备上的rdma网卡以及被创建的逻辑计算机耦接；其能够获取机器设备上各个rdma网卡的rdma网卡物理功能模块配置信息，并从中选择rdma网卡物理功能模块以及可用的与所述rdma网卡物理功能模块关联的rdma网卡虚拟功能模块给逻辑计算机，以为其提供虚拟rdma网卡以基于此实现rdma通信服务；而上述的各rdma网卡物理功能模块和与之关联的rdma网卡虚拟功能模块，则即是由对应的支持硬件虚拟化的rdma网卡实现并提供给所述rdma网卡虚拟化服务的。
57.在上述的优选实施例提供的高效加速分布式ai训练云平台的部署方法中，其中的物理节点资源配置对应的物理节点，通常主要包括两种类型的物理节点：管理节点和工作节点。由于它们在平台物理集群中的作用不同，出于成本等的考虑，在兼顾效率的同时，在一些优选实施例中，将会选择采用不同配置的机器设备，在不减损效率的前提下，以更加经
济的机器设备对应不同类型的物理节点。因此，进一步地，在上述的优选实施例中的一些提供的一种高效加速分布式ai训练云平台的部署方法中，其中的物理节点资源配置包括：更加经济适用的管理节点资源配置和工作节点资源配置；
58.以及部署时，为上述的不同类型的物理节点选择经济适用的机器设备(一般来说，用作管理节点的机器设备，其对硬件配置要求并没有工作节点那么高，因此可以适当地选择低配置或缺省不必要硬件的服务器作为管理节点设备)；在根据相应的物理节点资源配置，在相应的机器设备上进行部署：
59.即根据管理节点资源配置，(获取机器设备信息，并)在管理节点对应的机器设备上部署管理节点对应的分布式ai训练云平台应用及所述服务等；
60.根据工作节点资源配置，(获取机器设备信息，并)在工作节点对应的机器设备上部署工作节点对应的分布式ai训练云平台应用及所述服务等。
61.此外，在上述的优选实施例提供的高效加速分布式ai训练云平台的部署方法中，其中的高效加速分布式ai训练云平台，在部署后通常还需要提供对外的访问登陆服务、物理集群节点间的通信服务(例如，dhcp服务器分配网卡ip等)等附加或辅助功能；因此，进一步地，在上述的优选实施例中的一些提供的一种高效加速分布式ai训练云平台的部署方法中，其中的物理节点资源配置还包括：对应附加或辅助功能的物理节点的资源配置，即附加/辅助节点资源配置；类似于前面优选实施例中的，对应不同作用的物理节点，同样适用于经济适用原则，采用满足相应功能前提下更加经济适用的机器设备；在部署时，根据所述附加/辅助节点资源配置，在相应的机器设备上进行部署。
62.以下结合具体实施例及附图来详细说明上述平台部署的过程。
63.如图1所示，其示意了上述分布式ai训练平台部署的主要步骤。以下以在具有多台配置有两张支持sr-iov功能的rdma网卡的服务器设备组成的裸机集群上部署基于kubernetes且支持rdma高效通信的分布式ai训练平台的过程为例，进行详细说明。
64.其中包括：
65.获取上述分布式ai训练平台的物理集群规格配置；其中，所述物理集群规格配置包括物理节点资源配置，例如工作节点资源配置、管理节点配置等；而其中尤其包括两个对应服务器设备配置的rdma网卡的rdma网卡配置；
66.根据所述物理集群规格配置在裸机集群上部署高效加速分布式ai训练平台：即根据所述物理节点资源配置分别在各个服务器上部署相应功能的kubernetes应用、mult_sriov_cni(一种为容器/pod提供虚拟网卡接口的插件)以及相关rdma驱动等；
67.在部署过程中，使所述物理节点资源配置分别与各机器设备上的硬件逐一对应；
68.其中就包括：使上述的两个rdma网卡配置分别与上述各机器设备上配置的两个支持硬件虚拟化的rdma网卡对应起来。
69.在上述优选实施例提供的部署方法基础上，本发明的再一些优选实施例提供一种加速分布式ai训练云平台系统。经上述方法部署完成后，所述的加速分布式ai训练云平台系统包括：分布式任务管理单元和平台物理资源管理单元；
70.其中，分布式任务管理单元，被用于请求创建分布式训练集群以及管理分布式训练过程；例如，其中可以包括：
71.根据算法工程师提交的预先设定的、或平台生成的对应分布式训练任务请求的分
布式训练集群规格配置(用于描述分布式训练集群规模、架构等具体内容的信息；例如，分布式训练集群逻辑拓扑等)，请求平台创建相应规格的分布式训练集群；以及在分布式训练集群创建后和执行训练时，管理分布式训练过程；如查询训练进度、查询训练集群资源利用情况、管理训练集群资源等；
72.而上述的加速分布式ai训练云平台，一般则部署在由若干台(一般为多台)配置有若干支持硬件虚拟化的rdma网卡的机器设备组成的裸机集群上；那么，自然地，上述的平台物理资源管理单元，即被用于为上述的分布式训练集群提供其所需硬件资源及服务；具体地，例如，根据上述的分布式训练集群规格配置等，平台物理资源管理单元在分布式训练集群创建时为被创建的分布式训练集群中的各个逻辑计算机，提供其对应机器设备上的硬件资源及服务；以及尤其包括：
73.提供上述任一优选实施例中述及的加速分布式ai训练云平台的部署方法或高效加速分布式ai训练云平台的部署方法中的rdma网卡虚拟化服务或多rdma网卡虚拟化服务，以通过其在分布式训练集群对应的机器设备上，利用所述机器设备上的rdma网卡资源，分别为分布式训练集群中对应的逻辑计算机提供虚拟rdma网卡以及rdma通信服务。
74.在上述优选实施例提供的部署方法基础上，本发明的又一些优选实施例提供一种计算机可读存储介质。该计算机可读存储介质，存储有用于分布式ai训练云平台部署的代码，其中包括用于执行上述任一优选实施例中的加速分布式ai训练云平台的部署方法或高效加速分布式ai训练云平台的部署方法操作的指令。
75.以上所述仅为本发明的具体实施方式，但本发明的保护范围并不局限于此。