一种多个环形通信路径的通信系统的制作方法

摘要: 本发明涉及芯片设计,特别是涉及一种多个环形通信路径的通信系统。背景技术:1、在多gpu的深度学习训练中,经常需要将数据在不同gpu卡之间进行传输和复制。例如,在...
一种多个环形通信路径的通信系统的制作方法

本发明涉及芯片设计,特别是涉及一种多个环形通信路径的通信系统。

背景技术:

1、在多gpu的深度学习训练中,经常需要将数据在不同gpu卡之间进行传输和复制。例如,在模型并行训练中,不同的gpu负责处理模型的不同部分,需要将中间结果从一个gpu卡复制到另一个gpu卡,以便进行后续的计算。同样,在科学计算、图形渲染等高性能计算领域,多个gpu卡协同工作时,也需要进行d2d跨卡显存复制;例如,在大规模的流体模拟、光线追踪等计算中,不同gpu卡可能负责不同区域或阶段的计算,需要将数据在卡之间进行传递和共享。gpu在面对显存复制时,可以直接进行数据传输,无需通过主机内存中转,例如如在多gpu系统中,一张gpu卡上的显存数据可借助rdma直接复制到另一张gpu卡的显存中,大大提高了数据传输效率,减少了cpu参与和数据传输的延迟。

2、对于n个加速器互连拓扑来说,当互连拓扑中的n个加速器为点对点直接互连时,则每个加速器具有一条直达路径和最多n-1条通过一个中转加速器进行中转的中转路径。特别在多个环形通信路径的通信系统中,其中转路径的方案更加复杂。若每个加速器都使用n-1条中转路径进行中转,则必然会导致资源资源竞争,多条路径共用同一条高速互连链路,不仅导致每条中转路径的带宽降低,同时还会导致吞吐量下降,以及延迟增加等问题。

技术实现思路

1、针对上述技术问题,本发明采用的技术方案为:一种多个环形通信路径的通信系统,所述系统包括:f组加速器g以及f个环形通信路径ring。其中,第f个环形通信路径中包括第f组中的所有加速器,1≤f≤f,且f≥2;其中第f组中第x个加速器pfx与第y个加速器pfy连接,其中,当0≤x<n-1时,y=x+1;当x=n-1时,y=0,n为每组中的加速器数量。其中,当pfx作为源加速器与pfy作为目的加速器进行通信时,pfx通过私有的一组网络拓扑路径grfx进行通信;其中,grfx包括一条直达路径和e条跨组中转路径,每条所述跨组中转路径的中转加速器为第f+1组中的一个加速器,所述grfx中所有跨组中转路径的中转加速器不同。

2、本发明至少具有以下有益效果:

3、本发明实施例三提供了一种多环形通信路径的通信系统,该通信系统中包括多个环形通信路径,每个环形通信路径中的一个加速器在将数据传输给下一个加速器时通过其他组的一个加速器作为中转,提升了带宽,增加了系统的吞吐量。

1.一种多个环形通信路径的通信系统,其特征在于,所述系统包括:f组加速器g以及f个环形通信路径ring;

2.根据权利要求1所述的系统,其特征在于,pfx与第f+1组中的每个加速器通过高速互连链路直接互连。

3.根据权利要求1所述的系统,其特征在于,pfx与第f组中的其他n-2个加速器通过高速互连链路直接互连。

4.根据权利要求1所述的系统,其特征在于,所述通信系统中的所有加速器搭载在oam板卡上,并且采用oam标准。

5.根据权利要求1所述的系统,其特征在于,所述n=4,f=2。

6.根据权利要求5所述的系统,其特征在于,所述通信系统中的第一组的环形通信路径为加速器{p10,p11,p12,p13}首尾相连构成的环形路径;第二组的环形通信路径为加速器{p24,p25,p26,p27}首尾相连构成的环形路径;

7.根据权利要求5所述的系统,其特征在于,所述通信系统中还包括交换机,所述交换机与所述通信系统中的每个加速器均互连,所述通信系统还包括每个加速器以所述交换机为中转节点的中转路径。

8.根据权利要求1所述的系统,其特征在于,为pfx的每条跨组中转路径分配一个独立的缓冲区,所述缓冲区拆分为多个缓存块,所述缓存块为每条跨组中转路径传输的基本单位。