基于多加速器互连拓扑的显存复制方法、设备及存储介质与流程

本发明涉及芯片设计，特别是涉及基于多加速器互连拓扑的显存复制方法、设备及存储介质。

背景技术：

1、在多gpu的深度学习训练中，经常需要将数据在不同gpu卡之间进行传输和复制。例如，在模型并行训练中，不同的gpu负责处理模型的不同部分，需要将中间结果从一个gpu卡复制到另一个gpu卡，以便进行后续的计算。同样，在科学计算、图形渲染等高性能计算领域，多个gpu卡协同工作时，也需要进行d2d跨卡显存复制；例如，在大规模的流体模拟、光线追踪等计算中，不同gpu卡可能负责不同区域或阶段的计算，需要将数据在卡之间进行传递和共享。gpu在面对显存复制时，可以直接进行数据传输，无需通过主机内存中转，例如如在多gpu系统中，一张gpu卡上的显存数据可借助rdma直接复制到另一张gpu卡的显存中，大大提高了数据传输效率，减少了cpu参与和数据传输的延迟。

2、当前的跨卡显存复制系统中，两个直接相连的gpu之间能够进行数据复制，数据复制的效率取决于gpu的高速互连接口的带宽。在面对高效需求时，gpu高速互连接口的带宽限制了数据复制的效率，亟需一种能够提高跨gpu复制效率的显存复制方法。

技术实现思路

1、针对上述技术问题，本发明采用的技术方案为：基于多加速器互连拓扑的显存复制方法，所述方法包括以下步骤：

2、s100，获取多加速器互连拓扑中每个加速器的传输路径的最大并行数量m。

3、s300，获取源加速器中存储显存复制操作请求的数据的显存，按照m条传输路径的带宽比例将所述源加速器的显存拆分为m个缓冲区，每个缓冲区绑定相应的传输路径，m条所述传输路径并行传输。

4、s500，所述源加速器通过所述m条传输路径完成显存复制，包括：

5、s510，当所述源加速器的第i个缓冲区绑定的传输路径ri为中转路径时，将所述源加速器的第i个缓冲区拆分为k个缓存块；其中，i的取值范围为1到m-1；所述ri包括从所述源加速器到中转加速器的第一路径，以及从中转的加速器到目的加速器的第二路径。

6、s530，在同一个时钟周期内，当第i个缓冲区的第k个缓存块对应的数据在ri的第一路径传输时，第i个缓冲区的第k-1个缓存块对应的数据在ri的第二路径并行传输；其中，k的取值范围为1到k。

7、本发明至少具有以下有益效果：

8、本发明提供的显存复制方法，其通过将源加速器的显存划分为多个缓冲区，每个缓冲区绑定一条传输路径，所有传输路径并行传输，提高了传输效率。并将中转路径的缓冲区进一步的划分为多个缓存块，同一个缓冲区中的多个缓存块在中转路径中能够独立传输，中转路径的第一路径和第二路径并行传输，减少了等待时间，进一步的提高了传输效率。

1.基于多加速器互连拓扑的显存复制方法，其特征在于，所述方法包括以下步骤：

2.根据权利要求1所述的系统，其特征在于，s300中，所述m条传输路径中包括一条直接从源加速器连接目的加速器的直达路径和m-1条中转路径。

3.根据权利要求1所述的系统，其特征在于，所述方法还包括：s400，当所述源加速器的第e个缓冲区配置的传输路径re为所述直达路径时，不拆分所述源加速器的第e个缓冲区；其中e的取值范围为1到m，且e≠i。

4.根据权利要求1所述的系统，其特征在于，s500中还包括：

5.根据权利要求1所述的系统，其特征在于，s520还包括：通过中转路径进行中转时，由源加速器发起第一次显存复制操作请求，请求将第i个缓冲区的第k个缓存块的数据传输到中转节点的中转缓存块；由中转加速器发起第二次显存复制操作请求，请求将数据从中转节点的中转缓存块传输到目的加速器。

6.根据权利要求5所述的系统，其特征在于，所述源加速器第i个缓冲区的第k-2个缓存块的第二次显存复制操作请求完成后，第i个缓冲区的第k个缓存块的第一次显存复制操作请求开始，并复用第i个缓冲区的第k-2个缓存块释放的中转缓存块。

7.根据权利要求1所述的系统，其特征在于，所述通信系统中还包括交换机，所述交换机与所述通信系统中的每个加速器均互连。

8.根据权利要求7所述的系统，其特征在于，所述交换机作为中转节点进行中转数据的路径为交换机提供的中转路径，所述交换机提供的中转路径与其他中转路径一起按照带宽比例拆分显存，所述交换机的中转路径绑定一个缓冲区，且绑定的所述缓冲区拆分为k个缓存块。

9.一种非瞬时性计算机可读存储介质，所述存储介质中存储有至少一条指令或至少一段程序，其特征在于，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1-5中任意一项的所述方法。

10.一种电子设备，其特征在于，包括处理器和权利要求9中所述的非瞬时性计算机可读存储介质。