晶圆级芯片计算架构及晶圆级芯片
本申请涉及晶圆级芯片,特别是涉及一种晶圆级芯片计算架构及晶圆级芯片。
背景技术:
1、随着大规模深度学习模型(如大语言模型)的参数规模从千亿级迈向万亿级,传统基于单芯片或有限数量芯片的算力架构已难以满足训练需求。晶圆级芯片作为一种新兴的超大规模集成电路实现方式,通过在单个晶圆上集成数十乃至上百个子芯片及其对应的高带宽片外存储器,实现了计算单元与存储单元的高密度集成,为大模型训练提供了一种高带宽、高能效的硬件解决方案。
2、目前,在晶圆级芯片架构中,整个晶圆上集成多个子芯片,子芯片之间通过二维网状(2d mesh)互连网络形成统一的高带宽通信域各子芯片间的互连带宽可达数tbps量级。
3、然而,在晶圆级芯片的二维网状拓扑结构中,由于子芯片间互连距离较短,所有跨子芯片的通信任务均须依赖有限的2d mesh链路资源完成,导致存在通信延迟问题。
技术实现思路
1、基于此,有必要针对上述技术问题,提供一种能够降低通信延迟的晶圆级芯片计算架构及晶圆级芯片。
2、第一方面,本申请提供了一种晶圆级芯片计算架构,该晶圆级芯片计算架构执行时实现如下过程:
3、获取训练任务信息;训练任务信息包括至少一个通信任务对应的芯片组和组内通信模式;
4、根据晶圆级芯片的互连拓扑结构和互连拓扑结构中各物理链路的负载信息,对各芯片组内多个子芯片之间的通信进行路径规划,得到各芯片组的目标路由路径;
5、控制各芯片组内的多个子芯片,按照对应的目标路由路径和组内通信模式执行通信任务。
6、在其中一些实施例中,该晶圆级芯片计算架构执行时实现如下过程:
7、根据互连拓扑结构和各芯片组内子芯片的位置,为各芯片组生成初始路由路径,并根据所有芯片组的初始路由路径构成基础路径集合;
8、根据互连拓扑结构和各物理链路的负载信息,对基础路径集合进行迭代优化,直至满足预设收敛条件,得到目标路径集合;目标路径集合包括各芯片组的目标路由路径。
9、在其中一些实施例中,该晶圆级芯片计算架构执行时实现如下过程:
10、对于每个迭代轮次,根据各物理链路的负载信息,从所有物理链路中确定最拥塞链路;最拥塞链路为迭代轮次中负载最大的物理链路;
11、根据互连拓扑结构、各物理链路的负载信息和最拥塞链路,对基础路径集合进行更新,得到更新后的基础路径集合;
12、在迭代结果和/或迭代轮次不满足预设收敛条件的情况下,进行下一迭代优化;
13、在迭代结果和/或迭代轮次满足预设收敛条件的情况下,结束迭代优化,并将结束时的更新后的基础路径集合确定为目标路径集合。
14、在其中一些实施例中,该晶圆级芯片计算架构执行时实现如下过程:
15、从基础路径集合中筛选出经过最拥塞链路的路径,得到至少一个候选路径;
16、根据互连拓扑结构、各物理链路的负载信息和最拥塞链路,对各候选路径进行更新,得到各候选路径对应的替换路径;
17、根据各替换路径更新基础路径集合,得到更新后的基础路径集合。
18、在其中一些实施例中,该晶圆级芯片计算架构执行时实现如下过程:
19、根据互连拓扑结构和最拥塞链路,为各候选路径规划至少一个绕行路径;绕行路径的起终点与候选路径的起终点相同,且绕行路径不经过最拥塞链路;
20、针对每个绕行路径,根据绕行路径所经过的各物理链路的负载信息,确定所经过的各物理链路的负载峰值;
21、将负载峰值最低的绕行路径确定为替换路径。
22、在其中一些实施例中,该晶圆级芯片计算架构执行时实现如下过程:
23、在基础路径集合中存在具有重叠物理链路的至少两条路段,且至少两条路段的传输数据相同的情况下,将至少两条路段合并为共享路段,得到合并路段后的基础路径集合;
24、从基础路径集合中筛选出经过最拥塞链路的路径,得到至少一个候选路径,包括:
25、从合并路段后的基础路径集合中筛选出经过最拥塞链路的路径,得到至少一个候选路径。
26、第二方面,本申请还提供了一种晶圆级芯片,该晶圆级芯片包括:至少一个芯片组、以及如第一方面中任一实施例的晶圆级芯片计算架构。
27、在其中一些实施例中,该芯片组中包括多个子芯片,多个子芯片之间采用组内通信模式进行通信;采用组内通信模式包括全收集通信模式、全规约通信模式、规约散播通信模式或全交换通信模式。
28、第三方面,本申请还提供了一种计算机设备,该计算机设备包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现上述第一方面中任一实施例的方法步骤。
29、第四方面,本申请还提供了一种计算机可读存储介质,该计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述第一方面中任一实施例的方法步骤。
30、第五方面,本申请还提供了一种计算机程序产品,该计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述第一方面中任一实施例的方法步骤。
31、上述晶圆级芯片计算架构及晶圆级芯片,该晶圆级芯片计算架构执行时实现如下过程:通过获取训练任务信息,然后根据晶圆级芯片的互连拓扑结构和互连拓扑结构中各物理链路的负载信息对各芯片组内多个子芯片之间的通信进行路径规划,得到各芯片组的目标路由路径,最后,控制各芯片组内的多个子芯片,按照对应的目标路由路径和组内通信模式执行通信任务。其中,训练任务信息包括至少一个通信任务对应的芯片组和组内通信模式。上述过程中,由于路径规划过程中引入了各物理链路的负载信息,能够识别出链路拥塞趋势,从而在路径生成阶段即可规避拥塞链路,避免同一并行策略下多个芯片组之间以及不同并行策略下不同芯片组之间的链路争用,减少流量冲突,降低通信延迟,进而提高通信效率。同时,通过结合互连拓扑结构进行全局路径规划,能够利用拓扑中的空闲链路为通信任务分配更均衡的传输路径,提升整体链路利用率。另外,链路争用的减少和链路利用率的提升,能够有效降低晶圆级芯片在大模型训练混合并行场景下的集群通信延时,缩短端到端的训练时间,从而提高晶圆级芯片的训练吞吐性能。
1.一种晶圆级芯片计算架构,其特征在于,所述晶圆级芯片计算架构执行时实现如下过程:
2.根据权利要求1所述的晶圆级芯片计算架构,其特征在于,所述晶圆级芯片计算架构执行时还实现如下过程:
3.根据权利要求2所述的晶圆级芯片计算架构,其特征在于,所述晶圆级芯片计算架构执行时还实现如下过程:
4.根据权利要求3所述的晶圆级芯片计算架构,其特征在于,所述晶圆级芯片计算架构执行时还实现如下过程:
5.根据权利要求4所述的晶圆级芯片计算架构,其特征在于,所述晶圆级芯片计算架构执行时还实现如下过程:
6.根据权利要求4所述的晶圆级芯片计算架构,其特征在于,所述晶圆级芯片计算架构执行时还实现如下过程:
7.一种晶圆级芯片,其特征在于,所述晶圆级芯片包括:至少一个芯片组、以及如权利要求1-6任一项所述的晶圆级芯片计算架构。
8.根据权利要求7所述的晶圆级芯片,其特征在于,所述芯片组中包括多个子芯片,所述多个子芯片之间采用组内通信模式进行通信;所述采用组内通信模式包括全收集通信模式、全规约通信模式、规约散播通信模式或全交换通信模式。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项。
10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至6中任一项。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com