一种多核芯片数据传输方法、系统和设备与流程
本发明涉及众核处理器,尤其是一种多核芯片数据传输方法、系统和设备。
背景技术:
1、在面向大规模并行处理的多核芯片系统中,往往存在大量共享数据块和共享命令需要在众多计算核心之间高效传播的问题。当系统规模扩展到大量核心时,这类共享信息的传播方式将直接影响整体吞吐、时延与能效。
2、以科学计算为例,在大规模矩阵乘法、稀疏线性方程组求解、有限元求解、谱方法计算或多体模拟中,某些矩阵块、边界条件块、迭代更新参数或中间结果块往往需要被多个计算核心重复使用。如果采用逐个目标重复发送的方式,则会造成显著的数据搬运冗余与链路拥塞。又如在ai(artificial intelligence,人工智能)加速器中,深度学习训练和推理通常涉及大批量共享权重块、归一化参数、位置编码参数、张量分块和同步控制命令,这些信息往往需要被大规模并行核心阵列中的多个计算核心同时消费。当模型规模、batch规模和并行度持续增加时,共享数据和命令的高效传播就成为系统架构中的关键问题。
3、然而,现有大规模并行芯片在处理上述大量共享数据和共享命令传播问题时,通常仍存在如下不足:
4、1、对于需要同时送达多个计算核心的共享数据块,常见做法仍是由控制端、dma或片上网络向多个目标重复投递,导致同一份数据在前向链路上被多次搬运,带宽利用率较低。
5、2、当核心规模持续扩大时,共享参数、矩阵分块或同步命令的重复发送会带来明显的链路拥塞、发送延迟累积和控制开销上升,尤其在大规模并行阵列中更为突出。
6、3、已知系统通常更偏向面向固定任务流或静态映射的数据分发方式,当应用负载变化、并行粒度变化或任务分组变化时,难以高效适配不同范围、不同粒度的共享数据传播需求。
7、4、对于需要同时送达多个目标的数据,若依赖逐目标确认、软件轮询或上层调度协调来保证可靠性,则容易拉长前向发送路径,降低整体吞吐率。
8、5、对于广播类或多目标分发类事务,现有机制往往更关注数据内容是否出错,但对整帧丢失、重复到达、漏帧、过期补发等顺序性问题缺乏快速、统一的硬件级处理手段。
9、6、当部分目标接收失败时,现有方案常需要重新组织数据、重新发起事务,甚至依赖软件重新调度,导致恢复路径长、恢复粒度粗,不利于大规模并行流水的连续执行。
10、因此,针对大规模并行芯片中大量共享数据和共享命令的传播场景,如何降低重复发送带来的带宽浪费与控制开销,如何适应负载动态变化,如何在大规模目标范围内实现高效传播,以及如何在出现局部错误后快速检测、快速反馈并快速恢复,已成为制约多核芯片并发瓶颈的关键问题。
技术实现思路
1、本发明的发明目的在于:针对上述存在的全部或部分问题,提供一种多核芯片数据传输方法、系统和设备,以解决以上至少一个问题,从而改善多核芯片并发性能。
2、本发明采用的技术方案如下:
3、在第一方面,本技术提供了一种多核芯片数据传输方法,该方法包括:
4、获取待传输的事务数据;
5、根据设定的帧尺寸,将所述事务数据划分到至少一个事务帧;
6、分别确定各事务帧的目标计算核心的逻辑地址;
7、将所述逻辑地址映射到所述目标计算核心的物理地址;所述逻辑地址和所述物理地址根据可配置信息关联映射;
8、根据所述物理地址,将所述事务帧发送给所述目标计算核心。
9、可选的,将所述逻辑地址映射到所述目标计算核心的物理地址,包括:
10、根据所述逻辑地址的计算簇标识,或者根据所述逻辑地址的计算簇标识和计算核心索引,映射目标计算核心的切片标识和端口标识;每个计算簇映射到至少一个核心切片,每个核心切片固定挂接至少两个计算核心,通过切片标识定位核心切片,每个核心切片内通过端口标识定位计算核心。
11、可选的,根据所述逻辑地址的计算簇标识,或者根据所述逻辑地址的计算簇标识和计算核心索引,映射目标计算核心的切片标识和端口标识,包括:
12、根据所述逻辑地址的计算簇标识,或者根据所述逻辑地址的计算簇标识和计算核心索引,计算目标计算核心的全局索引;
13、根据所述全局索引,由每个核心切片的尺寸,确定目标计算核心的切片标识和端口标识。
14、可选的,方法还包括:
15、通过一个序号标识分别指示各事务帧的事务序号,以指示目标计算核心仅在当前事务帧的事务序号的序号状态正常时,才允许正式接收当前事务帧。
16、可选的,方法还包括:
17、分别为各计算核心构建第二缓冲器,所述第二缓冲器包括第一分区和第二分区;所述第一分区存储待正式接收的事务帧,所述第二分区存储序号状态异常的事务帧。
18、可选的,根据所述物理地址,将所述事务帧发送给所述目标计算核心,包括:
19、根据所述切片标识和端口标识,计算对应核心切片的本地掩码,所述本地掩码指示被选通的计算核心;
20、根据所述本地掩码,将所述事务帧发送给被选通的计算核心。
21、可选的,所述事务帧被写入第一缓冲区;所述方法还包括:
22、在接收到目标计算核心的错误反馈时,先完成对当前事务帧的发送,再从所述第一缓冲区中读取发生错误的事务帧进行重发;
23、在接收到目标计算核心的漏帧反馈时,检查遗漏的事务帧是否已重传,若是,则忽略所述漏帧反馈,否则,从所述第一缓冲区中读取遗漏的事务帧进行重发;
24、所述错误反馈和/或漏帧反馈通过反向反馈网络进行反馈,所述反向反馈网络仅在发生错误或漏帧时进行反馈。
25、可选的,方法还包括:
26、通过一个校验标识分别指示各事务帧的完整性校验信息,以指示目标计算核心仅在基于所述完整性校验信息对当前事务帧的完整性校验通过时,才允许正式接收当前事务帧。
27、在第二方面,本技术还提供了一种多核芯片数据传输系统,其包括:
28、控制核心,被配置为:获取待传输的事务数据;根据设定的帧尺寸,将所述事务数据划分到至少一个事务帧;
29、全局分发器,被配置为:根据确定的各事务帧的目标计算核心的逻辑地址,将所述逻辑地址映射到所述目标计算核心的物理地址;所述逻辑地址和所述物理地址根据可配置信息关联映射;
30、局部分发器,被配置为:根据所述物理地址,将所述事务帧发送给所述目标计算核心。
31、在第三方面,本技术还提供了一种电子设备,其包括:
32、存储介质,存储有计算机程序;
33、处理器,连接所述存储介质,运行所述计算机程序,以执行上述的多核芯片数据传输方法。
34、综上所述,由于采用了上述技术方案,本发明的有益效果是:
35、本技术根据可配置信息将计算核心的逻辑地址与物理地址关联映射,将逻辑计算簇与物理分发地址解耦,提升多核数据并发灵活性;通过改变该可配置信息,以快速实现负载变化、并行粒度变化或任务分组变化,以动态适配不同粒度、范围的共享数据并行分发需求。事务数据仅需一次下发,即可覆盖所有目标计算核心,无需重复发送共享数据,前向带宽效率大幅提升,且随着目标计算核心的增多,提升效率越大。通过序号标识和/或校验标识的配置,实现时序错误和/或事务数据错误的快速检测,提升了数据传输的可靠性,同时实现幂等通信,减少数据传输冗余度。通过独立于前向广播链路的反向反馈网络进行异常反馈,前向传输无需握手,在确保能够及时完成异常纠正的同时,有效减少反向反馈链路开销,降低反馈链路带宽压力。此外,通过缓冲器的发送/接收机制,能够快速响应错误帧的重传,避免超前帧的重传。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com