一种面向模型并行策略的GPU网络纵向扩展系统的制作方法

摘要: 本发明涉及集成电路设计,特别是涉及一种面向模型并行策略的gpu网络纵向扩展系统。背景技术:1、近年来,随着新型数据集和模型参数量的飞速增长,如何在以gpu加速器...
一种面向模型并行策略的GPU网络纵向扩展系统的制作方法

本发明涉及集成电路设计,特别是涉及一种面向模型并行策略的gpu网络纵向扩展系统。

背景技术:

1、近年来,随着新型数据集和模型参数量的飞速增长,如何在以gpu加速器为核心的智算集群中通过高性能网络和高效率通信实现算力的线性拓展,是业界亟待解决的关键问题。为了充分利用硬件资源、提升大模型训练效率,gpu集群通常将模型并行(包括张量并行、流水线并行和专家并行)和数据并行结合起来,形成混合并行策略。在张量并行、流水线并行和专家并行维度,gpu网络通过纵向扩展(scale-up)构建高带宽计算域,并形成一个计算和通信紧密耦合的超节点,从而突破单gpu芯片内存难以容纳全部模型参数的限制。

2、scale-up互连主要承载的是模型并行流量,其不仅需要支持全局规约(allreduce)传输,还需要支持全局交换、一对多广播、多对一聚合等流量模式。在大模型训练的每一次迭代过程中,scale-up域内的allreduce流量显著大于模型并行流量,而模型并行传输的连通度则高于allreduce传输的连通度。一方面,伴随着模型参数量增速超过gpu内存容量增速,scale-up域的gpu加速器互连规模正由百级向千级迈进,从而为基于模型并行策略的强扩展(即在一个固定的批次大小下,通过增加gpu数量的方式降低每次训练迭代的总体时间)提供更佳支持。在此情形下,具备数量多、负载小特征的模型并行流量需跨越多层scale-up电交换机进行跳转,不利于平均通信时延的降低和训练性能的提升。另一方面,占据scale-up域内传输数据量大部分的allreduce流量具有数量少、负载大的低熵通信特征,其流量模式在并行策略保持不变时呈现出可变性,会加剧传统多路径方案在多层电交换网络中的哈希冲突并进而降低链路利用率。

3、因此,如何缩短模型并行传输的跳转次数和平均通信时延,并提高模型并行所引发的全局规约传输的效率和灵活性,已成为了亟待解决的问题。

技术实现思路

1、针对上述技术问题,本发明采用的技术方案为:

2、一种面向模型并行策略的gpu网络纵向扩展系统,所述系统包括:第一光交换模块、m个gpu计算模块化单元和第二光交换模块,其中,所述第一光交换模块包括k个第一光交换单元,所述第二光交换模块包括4个第二光交换单元,单个gpu计算模块化单元包括k个gpu芯片和n个电交换机;

3、每个电交换机均与k个第一光交换单元连接;

4、每个gpu芯片均与4个第二光交换机单元连接;

5、对于单个gpu计算模块化单元,该gpu计算模块化单元中包含的每个电交换机均与该gpu计算模块化单元中包含的k个gpu芯片连接。

6、本发明与现有技术相比具有明显的有益效果,借由上述技术方案,本发明提供的一种面向模型并行策略的gpu网络纵向扩展系统可达到相当的技术进步性及实用性,并具有产业上的广泛利用价值,其至少具有以下有益效果:

7、本发明中,在单层纵向扩展电交换机结构的基础上,针对静态网络结构中的模型并行传输,利用单层的第一光交换模块替代现有技术中第二层及以上的电交换机,将各个第一光交换单元与各个电交换机进行全互联,从而避免了复杂的路由机制和负载均衡设计,缩短模型并行传输的跳转次数和平均通信时延,同时使用第二光交换模块为纵向扩展域内任意一对gpu芯片提供光直连通路,满足全局规约传输的高带宽利用率需求,并且,能够利用第二光交换模块的可重构特性,对纵向扩展域内的全局规约传输排序进行变更,以适配全局规约流量模式的可变性,从而提高模型并行所引发的全局规约传输的效率和灵活性。

1.一种面向模型并行策略的gpu网络纵向扩展系统,其特征在于,所述系统包括:第一光交换模块、m个gpu计算模块化单元和第二光交换模块,其中,所述第一光交换模块包括k个第一光交换单元,所述第二光交换模块包括4个第二光交换单元,单个gpu计算模块化单元包括k个gpu芯片和n个电交换机;

2.根据权利要求1所述的面向模型并行策略的gpu网络纵向扩展系统,其特征在于,所述gpu芯片至少包括n+4个gpu端口,其中,n个gpu端口用于连接所属gpu计算模块化单元中的n个电交换机,4个gpu端口用于连接4个第二光交换单元。

3.根据权利要求1所述的面向模型并行策略的gpu网络纵向扩展系统,其特征在于,所述电交换机至少包括2k个电交换机端口,其中,k个电交换机端口用于连接所属gpu计算模块化单元中的k个gpu芯片,k个电交换机端口用于连接k个第一光交换单元。

4.根据权利要求1所述的面向模型并行策略的gpu网络纵向扩展系统,其特征在于,所述第一光交换单元至少包括mn×mn个第一光交换端口。

5.根据权利要求1所述的面向模型并行策略的gpu网络纵向扩展系统,其特征在于,所述第二光交换单元至少包括mk×mk个第二光交换端口。

6.根据权利要求1所述的面向模型并行策略的gpu网络纵向扩展系统,其特征在于,所述第一光交换模块用于支持mn个电交换机之间的静态连接,以承载模型并行的流量,相应地,所述第一光交换模块不支持链路重构。

7.根据权利要求1所述的面向模型并行策略的gpu网络纵向扩展系统,其特征在于,所述第二光交换模块用于支持mk个gpu芯片之间的直接连接,以承载全局规约集合通信的流量,相应地,所述第二光交换模块支持链路重构。

8.根据权利要求7所述的面向模型并行策略的gpu网络纵向扩展系统,其特征在于,所述全局规约集合通信包括环形全局规约集合通信和双二叉树全局规约集合通信。