芯片、分布式系统、数据处理方法、装置、设备、存储介质以及程序产品与流程

摘要: 本技术涉及人工智能,尤其涉及一种芯片、分布式系统、数据处理方法、数据处理装置、电子设备、计算机可读存储介质以及计算机程序产品。背景技术:1、相关技术在分布式计算...
芯片、分布式系统、数据处理方法、装置、设备、存储介质以及程序产品与流程

本技术涉及人工智能,尤其涉及一种芯片、分布式系统、数据处理方法、数据处理装置、电子设备、计算机可读存储介质以及计算机程序产品。

背景技术:

1、相关技术在分布式计算系统中进行全局数据聚合时,高度依赖外部交换机等集中式路由机构进行跨节点通信,不仅引入了高昂的硬件成本和多跳路由延迟,且多路通信极易争抢统一的网络端口从而引发拥塞;此外,相关架构未能有效区分并隔离外部数据获取与本地数据获取的数据通路,导致在读取节点自身原本已存在的数据时,仍不可避免地受到网络整体传输机制的牵连或产生不必要的通信开销,严重制约了数据聚合的整体效率。

技术实现思路

1、本技术实施例提供一种芯片、分布式系统、数据处理方法、数据处理装置、电子设备、计算机可读存储介质以及计算机程序产品,能够减少数据传输开销,消除网络拥塞,缩短数据传输时间。

2、本技术实施例的技术方案是这样实现的:

3、本技术实施例提供一种芯片,应用于包括n个芯片的分布式计算系统,所述芯片为所述n个芯片中的第i个芯片,所述n为大于1的整数,所述i为不大于n的正整数,所述芯片包括本地存储器、主控单元以及n个计算单元;

4、所述n个计算单元中的第j个计算单元,与所述分布式计算系统中第j个芯片的第i个计算单元通过点对点直连链路连接;

5、其中,所述j为不大于n且不等于i的正整数,所述第j个计算单元为其它计算单元中任意一个计算单元,所述其它计算单元为所述n个计算单元中所述第i个计算单元之外的计算单元;

6、所述第i个计算单元未与所述第i个芯片之外的其它芯片连接,且所述第i个计算单元基于所述芯片内部的数据通路与所述本地存储器连接;

7、所述第i个计算单元,用于基于所述数据通路,读取所述本地存储器中存储的第一数据片段;

8、所述其它计算单元,用于分别基于对应的所述点对点直连链路,从对应连接的所述芯片处获取第二数据片段;其中,不同所述芯片存储的数据片段不同;

9、所述主控单元,用于对所述第一数据片段以及各所述第二数据片段进行数据聚合,得到全局数据,所述全局数据包括所述n个芯片各自存储的数据片段。

10、本技术实施例提供一种分布式计算系统,所述分布式计算系统包括n个芯片,所述n为大于1的整数;每个所述芯片包括n个计算单元、主控单元以及本地存储器;

11、所述n个芯片中第i个芯片的第j个计算单元,与第j个芯片的第i个计算单元之间,通过点对点直连链路连接;

12、其中,所述i和所述j均为不大于n的正整数、且所述i不等于所述j;所述第j个计算单元为所述第i个芯片包括的其它计算单元中任意一个计算单元,所述其它计算单元为所述第i个芯片包括的所述n个计算单元中所述第i个计算单元之外的计算单元;

13、所述第i个芯片的第i个计算单元未与其它芯片连接,所述第i个芯片的第i个计算单元与所述第i个芯片的本地存储器之间通过数据通路连接;

14、所述第i个芯片的第i个计算单元,用于基于所述数据通路,读取所述本地存储器中存储的第一数据片段;

15、所述第i个芯片中的其它计算单元,用于分别基于对应的所述点对点直连链路,从对应连接的所述芯片处获取第二数据片段;其中,不同所述芯片存储的数据片段不同;

16、所述第i个芯片中的主控单元,用于对所述第一数据片段以及各所述第二数据片段进行数据聚合,得到全局数据,所述全局数据包括所述n个芯片各自存储的数据片段。

17、本技术实施例提供一种数据处理方法,应用于包括n个芯片的分布式计算系统中的第i个芯片,所述n为大于1的整数,所述i为不大于n的正整数,所述第i个芯片包括n个计算单元、主控单元以及本地存储器;

18、所述n个计算单元中的第j个计算单元,与所述分布式计算系统中第j个芯片的第i个计算单元通过点对点直连链路连接;

19、其中,所述j为不大于n且不等于i的正整数,所述第j个计算单元为其它计算单元中任意一个计算单元,所述其它计算单元为所述n个计算单元中所述第i个计算单元之外的计算单元;

20、所述第i个计算单元未与所述第i个芯片之外的其它芯片连接,且所述第i个计算单元基于所述第i个芯片内部的数据通路与所述本地存储器连接;所述方法包括:

21、通过所述第i个计算单元,基于所述数据通路,读取所述本地存储器中存储的第一数据片段;

22、通过所述其它计算单元,分别基于对应的所述点对点直连链路,从对应连接的所述芯片处获取第二数据片段;其中,不同所述芯片存储的数据片段不同;

23、通过所述主控单元,对所述第一数据片段以及各所述第二数据片段进行数据聚合,得到全局数据,所述全局数据包括所述n个芯片各自存储的数据片段。

24、本技术实施例提供一种数据处理装置,应用于包括n个芯片的分布式计算系统中的第i个芯片,所述n为大于1的整数,所述i为不大于n的正整数,所述第i个芯片包括n个计算单元、主控单元以及本地存储器;

25、所述n个计算单元中的第j个计算单元,与所述分布式计算系统中第j个芯片的第i个计算单元通过点对点直连链路连接;

26、其中,所述j为不大于n且不等于i的正整数,所述第j个计算单元为其它计算单元中任意一个计算单元,所述其它计算单元为所述n个计算单元中所述第i个计算单元之外的计算单元;

27、所述第i个计算单元未与所述第i个芯片之外的其它芯片连接,且所述第i个计算单元基于所述第i个芯片内部的数据通路与所述本地存储器连接;所述装置包括:

28、读取模块,用于通过所述第i个计算单元,基于所述数据通路,读取所述本地存储器中存储的第一数据片段;

29、获取模块,用于通过所述其它计算单元,分别基于对应的所述点对点直连链路,从对应连接的所述芯片处获取第二数据片段;其中,不同所述芯片存储的数据片段不同;

30、聚合模块,用于通过所述主控单元,对所述第一数据片段以及各所述第二数据片段进行数据聚合,得到全局数据,所述全局数据包括所述n个芯片各自存储的数据片段。

31、本技术实施例提供一种电子设备,包括:

32、存储器,用于存储计算机可执行指令或计算机程序;

33、处理器,用于执行所述存储器中存储的计算机可执行指令或计算机程序时,实现本技术实施例提供的数据处理方法。

34、本技术实施例提供一种计算机可读存储介质,存储有计算机可执行指令或计算机程序,用于引起处理器执行时,实现本技术实施例提供的数据处理方法。

35、本技术实施例还提供了一种计算机程序产品,包括计算机可执行指令或计算机程序,所述计算机可执行指令或计算机程序被处理器执行时,实现本技术实施例提供的数据处理方法。

36、本技术实施例具有以下有益效果:

37、首先,通过将n个计算单元中的第j个计算单元与第j个芯片的第i个计算单元通过点对点直连链路连接,使其它计算单元分别基于对应的点对点直连链路,从对应连接的芯片处获取第二数据片段,消除了对外部交换机的依赖,降低了硬件成本并消除了多跳路由延迟;同时,由于各计算单元分别基于对应的独立链路获取外部数据,有效避免了多路通信争抢统一网络端口引发的拥塞问题。其次,限定第i个计算单元未与第i个芯片之外的其它芯片连接,专门基于芯片内部的数据通路,读取本地存储器中存储的第一数据片段,这样,通过结构上的划分,严格区分并隔离了本地数据获取通路与外部数据获取通路,这使得节点在读取本地原有的第一数据片段时,免除了跨芯片网络传输机制的牵连,避免了不必要的通信开销。最终,在上述无拥塞的外部获取与零网络开销的本地读取并行工作的基础上,主控单元对第一数据片段以及各第二数据片段进行数据聚合,大幅提升了分布式计算系统中全局数据聚合的整体效率。