一种面向环面拓扑的高效全对全通信方法

摘要: 本发明属于集合通信领域,尤其涉及一种面向环面(torus)拓扑的高效全对全通信方法。背景技术:1、在当前机器学习特别是深度学习领域,为了提升模型训练或者推理的效...
一种面向环面拓扑的高效全对全通信方法

本发明属于集合通信领域,尤其涉及一种面向环面(torus)拓扑的高效全对全通信方法。

背景技术:

1、在当前机器学习特别是深度学习领域,为了提升模型训练或者推理的效率,通常需要利用多个计算节点共同完成同一训练或者推理任务。这一过程中,不同节点分别承担部分计算任务,在完成局部计算之后,还需要通过网络进行参数、特征或者中间结果的交换与同步。因此集合通信需求广泛存在于分布式训练以及推理系统中。在多种集合通信原语中,全对全通信(all-to-all)在近年来的重要性不断提升。尤其是在混合专家模型(mixture of experts, moe)、深度推荐模型(deep learning recommendation model,dlrm)等模型的训练和推理任务中,节点之间往往需要交换token、稀疏特征、嵌入向量或其他中间结果,使得每个节点都需要将本地数据分别发送到其余所有节点,并接收来自所有其他节点的数据。与广播、归约、全归约等通信模式相比,全对全通信的数据流向更加离散,通信关系更加复杂,且通常难以与计算完全重叠,因此更容易成为整个训练或者推理过程中的性能瓶颈。

2、现有全对全通信算法有多种实现方式。基于环(ring)的全对全方法通过将所有参与节点组织为一个逻辑环,让数据沿环中相邻节点之间逐跳传输完成通信任务,除了可以直接应用于环形(即一维环面)拓扑,还能够扩展支持多维的环面拓扑。该类方法结构简单、易于部署,也能够较好地适应实际计算系统中广泛采用的环面互连结构,因此在工程实现中具有较高实用价值。双向环算法bidring和半环算法halfring是两个典型的基于环的全对全算法。bidring利用环的双向带宽进行传输提升通信效率,halfring进一步采用最短路传输避免绕路以提升效率。但是,他们均存在两方面不足:一是将数据块以较细粒度逐个组织通信,导致通信轮次较多,累计启动开销较大;二是需要在每个节点上预留一定的缓存空间暂存需要转发的数据块,导致资源的浪费。

3、因此,在环面拓扑下,如何在尽量保持通信关系稳定和实现简单的前提下,降低通信启动开销并避免为中间转发额外分配缓冲区,已经成为全对全通信优化中的关键问题。

技术实现思路

1、针对上述问题,本发明提供一种面向环面拓扑的高效全对全通信方法。

2、本发明的一种面向环面拓扑的高效全对全通信方法,具体为:

3、适用场景:本发明面向环面拓扑的高效全对全通信方法(shiftring),适用于多个计算节点构成环面拓扑的通信环境,每个参与节点是cpu服务器、gpu服务器或其他具备计算与通信能力的设备;如果是一维的环面拓扑,那么所有节点按照编号顺序连接成一个逻辑环,每个节点仅与两个相邻节点存在直接通信关系,其中一个为顺时针相邻节点,另一个为逆时针相邻节点;网络环境既可是物理上的环形互连结构,也可是在实际集群网络中抽象出的逻辑环结构;如果是二维的环面拓扑,就需要在两个维度同时进行基于一维环面的通信。如果是m维环面拓扑时,通信的数据总体上被分成m份,m维的环面拓扑也被分成m个不同维度的一维环面拓扑;在同一时间,第i份数据在第i维的一维环面拓扑上进行通信,其中i=1,2,…,m;结束之后,在第i维进行过通信的数据,依次在其余m-1个维度上各再通信一次;经过m轮通信后,所有数据在所有维度上完成并行传输,实现全对全通信。

4、初始化:shiftring初始化包括逻辑环拓扑的建立、邻接关系的确定以及本地缓冲区的数据布局。

5、假设有n个活跃节点,编号为0、1、2、……、n-1;对于任意节点p,其顺时针相邻节点定义为,逆时针相邻节点定义为;每个节点持有一份本地原始数据,并将该原始数据按目标节点划分为n个逻辑子数据块,其中第q个子数据块表示最终需要发送到节点q的数据部分;目标节点与源节点相同的那一部分数据直接保留在本地,其余数据块参与后续通信。

6、节点执行shiftring通信时,按照如下步骤进行:

7、输入:环形拓扑中的节点总数n,当前节点编号p,当前节点持有的本地数据块集合。

8、输出:当前节点获得的、来自所有源节点且以本节点为目标的结果数据集合。

9、步骤1:读取节点总数n,并计算主通信阶段数k;对于包含n个节点的环形拓扑,主通信阶段数取为。

10、步骤2:在当前节点p上,按照目标节点编号将本地原始数据划分为n个逻辑子数据块,并将这些数据块写入本地缓冲区对应槽位。

11、步骤3:从第0个阶段开始,依次执行到第k-1个阶段。

12、对于任一阶段k,当前节点分别计算顺时针方向和逆时针方向在该阶段的逻辑起始偏移位置,分别是:,,用以确定本轮首先参与传输的数据块范围。

13、步骤4:根据阶段编号k,当前节点p分别构造顺时针传输索引列表和逆时针传输索引列表;

14、阶段k越大,所纳入的索引范围越大,对应本轮参与传输的数据块数量也越多;

15、列表和列表均包含k+1个索引;中第i个索引值为,中第i个索引值为,其中;

16、由此,通信会按照“先远后近”的顺序逐步覆盖全部目标数据块;

17、步骤5:当前节点将顺时针索引列表对应的数据块通过顺时针链路发送给右邻节点,并从左邻节点接收顺时针方向继续前进而来的数据;同时,将逆时针索引列表对应的数据块通过逆时针链路发送给左邻节点,并从右邻节点接收逆时针方向继续前进而来的数据。

18、两个方向的单跳收发在同一阶段内并行完成。

19、步骤6:对于本阶段接收到的新数据,不将其写回原始固定位置,而是依据阶段编号和传输方向,写入本地缓冲区中已经完成发送任务的槽位;这样,新数据既可作为结果保留下来,也可在后续阶段继续作为中间数据被转发。

20、步骤7:若节点总数n为奇数,则在主通信阶段结束后,全部数据块均已完成最短路径上的传输,当前节点直接进入结果恢复阶段。

21、若节点总数n为偶数,则还存在一类目标节点位于对侧的数据块,其顺时针和逆时针路径长度均为n/2;对于这类数据,在主通信阶段结束后再增加一轮附加通信,将该数据拆分后沿两个方向完成传输。

22、步骤8:全部通信结束后,将本地缓冲区视为循环数组,从预定逻辑偏移位置。

23、开始顺序读取连续的数据项,即可恢复出顺序正确的全对全通信结果。

24、进一步的,如果应用场景是二维的环面拓扑时,通信的数据总体上被分成两份,二维的环面拓扑也被分成两个不同维度的一维环面拓扑,在同一时间,一部分数据在水平方向上进行通信,另一部分数据放在垂直方向进行通信;结束之后,在水平方向进行通信的数据在垂直方向再通信一次,而先在垂直方向通信的数据再在水平方向通信一次,以此来在两个维度上并行传输。

25、进一步的,在初始化时,每个节点还建立本地接收缓冲区;shiftring中的接收缓冲区不仅用于保存最终接收结果,同时也是后续中间转发的承载区域;因此,在初始化阶段需要为每个逻辑子数据块预留对应槽位,并建立统一的偏移规则,为后续原地转发提供基础。

26、进一步的,shiftring 将缓冲区视为循环数组,并为每个节点定义固定的逻辑起始偏移位置;通信完成后,只需从该偏移位置开始按顺序读取连续的数据项,即可恢复出顺序正确的全对全通信结果,而不需要再执行额外的数据重排序操作。

27、本发明和现有技术相比的有益技术效果为:

28、一方面,通过最短路径双向传输降低了通信开销;另一方面,通过阶段化聚合调度降低了启动延迟;再一方面,通过原地转发减少了额外内存消耗。与经典的基于环的全对全方法bidring和halfring相比,本发明shiftring更适合部署在全对全通信占比较高的大规模分布式训练任务中。