置换环形网络互联的计算架构的制作方法

置换环形网络互联的计算架构
相关申请的交叉引用
1.本技术要求于2019年3月14日提交的题为“permutated ring network interconnected computing architecture”的美国专利申请16/353,198的优先权，并通过引用并入本文。
技术领域
2.本发明涉及使用一个或多个置换环形网络连接各种计算引擎的计算机架构。更具体地，本发明涉及使用多个互连的置换环形网络的计算架构，所述环形网络提供可扩展、高带宽、低延迟的点对点多芯片通信解决方案。


背景技术：

3.图1是包括多个处理器芯片101
‑
102、芯片到芯片互连105和dram装置111
‑
112的常规cpu架构100的框图。处理器芯片101和102中的每一个分别包括多个处理器内核c
01
‑
c
0n
和c
11
‑
c
1n
。处理器内核中的每一个包括寄存器文件和算术逻辑单元(alu)、一级高速缓冲存储器l1和二级高速缓冲存储器l2。处理器芯片101和102中的每一个还分别包括多个三级(l3)高速缓冲存储器121和122，以及高速缓存一致性互连逻辑131和132。
4.一般来说，一级高速缓冲存储器l1允许快速数据访问(1
‑
2个周期)，但相对较小。二级高速缓冲存储器l2表现出较慢的数据访问(5
‑
6个周期)，但比一级高速缓冲存储器大。处理器内核c
01
‑
c
0n
和c
11
‑
c
1n
中的每一个具有自己专用的一级高速缓冲存储器l1和二级高速缓冲存储器l2。芯片101上的处理器内核c
01
‑
c
0n
中的每一个通过高速缓存一致性互连逻辑131访问多个三级(l3)高速缓冲存储器121。类似地，芯片102上的处理器内核c
11
‑
c
1n
中的每一个通过高速缓存一致性互连逻辑132访问多个三级(l3)高速缓冲存储器122。因此，每个芯片上的多个处理器内核共享相同芯片上的多个三级(l3)高速缓冲存储器。
5.芯片101上的处理器内核c
01
‑
c
0n
中的每一个通过高速缓存一致性互连逻辑131访问dram 111。类似地，芯片102上的处理器内核c
11
‑
c
1n
中的每一个通过高速缓存一致性互连逻辑132访问dram 112。
6.高速缓存一致性互连逻辑131确保所有处理器内核c
01
‑
c
0n
在三级(l3)高速缓存121的相同条目处看到相同数据。高速缓存一致性互连逻辑131解决了任何“多写入器”问题，其中处理器内核c
01
‑
c
0n
中的不止一个尝试更新由三级(l3)高速缓存121的相同条目存储的数据。想要改变三级(l3)高速缓存121中的数据的任何处理器内核c
01
‑
c
0n
必须首先从高速缓存一致性互连逻辑131获得许可。不合需要地获得该许可需要很长时间并且涉及复杂消息交换的实现。高速缓存一致性互连逻辑131还确保从dram 111读取/写入到dram 111的数据的一致性。
7.高速缓存一致性互连逻辑132类似地确保由l3高速缓存122存储的数据和从dram 112读取/写入到dram 112的数据的一致性。
8.芯片到芯片互连逻辑105实现处理器芯片101
‑
102之间的通信，其中该逻辑105处
理跨芯片边界的协议的必要改变。
9.如图1所示，常规cpu架构100实现具有高速缓存层次结构的多个缓存级别(l1、l2和l3)。较高级别高速缓冲存储器具有相对较小容量和相对较快的存取速度(如sram)，而较低级别高速缓冲存储器具有相对较大容量和相对较慢的存取速度(如dram)。需要高速缓存一致性协议来维持跨不同缓存级别的数据一致性。由于使用专用的主(l1和l2)高速缓存、由高速缓存一致性策略控制的多次访问以及跨不同的物理网络(例如，在处理器芯片101和102之间)的所需的数据遍历，高速缓存层次结构使得在多个不同处理器内核c
01
‑
c
0n
和c
11
‑
c
1n
之中共享数据变得困难。
10.高速缓存层次结构基于时间和空间局部性的原则，使得较高级别高速缓存会保留来自较低级别高速缓存的位移高速缓存行，以避免在将来访问数据的情况下的长延迟访问。然而，如果数据集中存在最小的空间和时间局部性(就像许多神经网络数据集的情况一样)，则延迟增加，有用存储位置的大小减少，并且不必要的存储访问的数量增加。
11.常规cpu架构(诸如架构100)的硬件针对共享内存编程模型进行了优化。在该模型中，多个计算引擎使用高速缓存一致性协议经由内存共享进行通信。然而，这些常规cpu架构不是支持生产者
‑
消费者执行模型的最有效方式，所述模型通常由神经网络的前向传播实现(所述神经网络表现出冗余内存读写操作以及长延迟)。在生产者
‑
消费者执行模型中，从生产者到消费者的直接消息的传递更有效率。相比之下，在共享内存编程模型中在处理器内核c
01
‑
c
0n
和c
11
‑
c
1n
之间没有直接通信的硬件支持。共享内存编程模型依赖于软件来构建消息传递编程模型。
12.针对共享内存编程模型优化的常规cpu架构100的每个级别的通信信道高度专业化并且针对所服务的子系统进行优化。例如，存在专门的互连系统：(1)在数据高速缓存和alu/寄存器文件之间，(2)在不同级别的高速缓存之间，(3)到dram信道，以及(4)在芯片到芯片互连105中。这些互连系统中的每一个以其自身的协议和速度运行。因此，跨这些信道进行通信需要大量开销。当试图加速需要访问大量数据(例如，使用多个计算引擎来执行任务的大型矩阵乘法)的任务时，这会导致显著的低效率。
13.纵横开关和简单的环形网络通常用于实现上述专用互连系统。然而，这些互连结构的速度、功率效率和可扩展性是有限的。
14.如上所述，常规的cpu架构在神经网络和机器学习应用程序的实现中有几个固有的局限性。因此，可期望具有改进的计算系统架构，其能够更有效地处理神经网络/机器学习应用程序中的数据。还期望具有能够跨越多个芯片的改进的网络拓扑结构，而不需要多个芯片之间的高速缓存一致性协议。如果这种多芯片通信系统易于扩展，能够提供许多不同芯片之间的通信，则将进一步是合乎需要的。


技术实现要素：

15.相应地，本发明提供了包括多个计算切片的计算机架构，每个计算切片包括多个计算引擎、多个存储器组、通信节点和一级互连结构。一级互连结构联接多个计算引擎、多个存储器组和通信节点中的每一者。一级互连使得每个计算引擎能够访问同一计算切片内的每个存储器组。在一个实施例中，一级互连结构是置换环形网络。然而，在其他实施例中，一级互连结构可以使用诸如交叉开关或简单环形网络的其他结构来实现。
16.计算机架构还包括二级互连结构，所述结构包括置换环形网络。如这里所定义的，置换环形网络包括多个双向源同步环形网络，每个双向源同步环形网络包括多个数据传输站。多个计算切片的每个通信节点联接到多个双向源同步环形网络中的每一个中的数据传输站中的一个。二级互连结构使得能够在联接到二级互连结构的计算切片中的每一个之间进行访问。
17.计算机架构还可以包括存储器接口通信节点，其联接到二级互连结构，其中存储器接口通信节点联接到二级互连结构的多个双向源同步环形网络中的每一个中的数据传输站中的一个。在本实施例中，外部存储装置(例如，dram装置)联接到存储器接口通信节点。
18.计算机架构还可以包括第一网络通信节点，其联接到二级互连结构，其中第一网络通信节点联接到二级互连结构的多个双向源同步环形网络中的每一个中的数据传输站中的一个。在本实施例中，第一网络通信节点联接到系统级互连结构。
19.系统级互连结构可以包括联接到三级互连结构的多个网络通信节点。这些多个网络通信节点中的第一个可以联接到第一网络通信节点。这些多个网络通信节点中的第二个可以联接到主系统处理器。这些多个网络通信节点中的第三个可以联接到系统存储器。这些多个网络通信节点中的第四个可以联接到另一个二级互连结构，所述另一个二级互连结构进而联接到另一个多个计算切片。三级互连结构可以通过置换环形网络或者通过诸如交叉开关或简单环形网络的其他结构实现。
20.有利地，如果一级互连结构、二级互连结构和三级互连结构都使用置换环形网络来实现，则可以使用单个消息协议在计算机架构上传输/接收消息和数据。地址映射确保装置(例如，计算引擎、存储器组、dram装置)中的每一个在计算机架构内具有唯一的地址。
21.在特定实施例中，二级互连结构和对应的多个计算切片被制造在同一半导体芯片上。
22.鉴于以下描述和附图，将更充分地理解本发明。
附图说明
23.图1是针对共享内存编程模型优化的常规计算机架构的框图。
24.图2是根据本发明的一个实施例的使用置换环形网络来连接多个计算引擎和存储装置的计算机架构的框图。
25.图3是根据本发明的一个实施例的图2的计算机架构的修改视图。
26.图4是根据本发明的一个实施例的图2至图3的计算机架构中使用的一级置换环形网络的框图。
27.图5是根据本发明的一个实施例的图4的一级置换环形网络的四个通信信道的互连矩阵。
28.图6是根据本实施例的一个实施例的定义图4的置换环形网络上的业务流的路由表。
29.图7是根据本发明的替代实施例的计算机架构的框图。
30.图8是根据本发明的另一个替代实施例的计算机架构的框图。
具体实施方式
31.本发明使用置换环形网络(prn)架构来为机器学习计算系统的互连系统提供更好的解决方案。prn架构包括扁平的存储层次结构，其允许不同芯片上(和同一芯片上)的计算引擎使用通用通信协议直接相互通信。互连系统是非高速缓存相干的。在一个实施例中，互连系统使用单个互连结构(即，多个置换环形网络)。
32.在替代实施例中，仅在互连结构内的特定位置处使用prn结构(例如，连接同一芯片上的多个计算切片)。
33.图2是根据本发明的一个实施例的计算机系统200的框图。计算机系统200包括多个处理器芯片201
‑
204、主处理器系统205、系统存储器206、系统级互连芯片210和dram装置211
‑
214。尽管图2中仅示出了四个处理器芯片201
‑
204，但是应当理解，在其他实施例中，计算机系统200可以容易地修改以包括其他数量的处理器芯片。此外，尽管图2中仅详细示出了处理器芯片201，但是应当理解，处理器芯片202
‑
204包括与所述实施例中的处理器芯片201相同的内部元件。在替代实施例中，根据以下提供的描述，处理器芯片201
‑
204可以包括不同数量的计算切片、计算引擎和/或存储器组。
34.在所示实施例中，处理器芯片201包括四个计算切片1、2、3和4，以及基于置换环形网络(prn)的互连结构21。尽管在图2中示出了四个切片，但是应当理解，在其他实施例中，处理器芯片201上可以包括其他数量的切片。每个切片包括多个计算引擎、多个存储器组、通信节点和基于一级prn的互连结构。更具体地，切片1、2、3和4分别包括计算引擎组ce1、ce2、ce3和ce4、存储器组组m1、m2、m3和m4、基于一级prn的互连结构11、12、13和14，以及通信节点cn1、cn2、cn3和cn4。计算引擎组ce1、ce2、ce3和ce4中的每一个包括多个计算引擎(例如，本地处理器)。在所示的示例中，计算引擎组ce1、ce2、ce3和ce4中的每一个都包括四个计算引擎。然而，应当理解，在其他实施例中，其他数量的计算引擎可以包括在每个计算引擎组中。类似地，存储器组组m1、m2、m3和m4中的每一个包括多个存储器组。在所示的示例中，存储器组组中的每一个包括四个存储器组。然而，应当理解，在其他实施例中，其他数量的存储器组可以包括在每个存储器组组中。在一个实施例中，存储器组组m1、m2、m3和m4中的每个存储器组是静态随机存取存储器(sram)，其能够实现相对较快的存储访问。
35.在计算切片1、2、3和4中的每一个内，对应的基于一级prn的互连结构11、12、13和14将对应的计算引擎组ce1、ce2、ce3和ce4与对应的存储器组组m1、m2、m3和m4联接。这允许每个计算引擎使用对应的基于一级prn的互连结构访问同一切片内的每个存储器组。例如，计算切片1的计算引擎组ce1中的四个计算引擎中的每一个能够通过切片1的对应的基于一级prn的互连结构11访问计算切片1的存储器组组m1的四个存储器组中的每一个。
36.基于一级prn的互连结构11、12、13和14也联接到对应的切片1、2、3和4内的对应通信节点cn1、cn2、cn3和cn4。通信节点cn1、cn2、cn3和cn4联接到基于二级prn的互连结构21。如下文更详细描述的那样，通信节点cn1、cn2、cn3和cn4在对应的基于一级prn的互连结构11、12、13和14与基于二级prn的互连结构21之间传递消息和数据。
37.该构型允许处理器芯片201上的每个计算引擎使用基于一级prn的互连结构11
‑
14和基于二级prn的互连结构21(如有必要)访问处理器芯片201上的每个存储器组。例如，计算切片1的计算引擎组ce1中的每个计算引擎能够通过路径访问切片4的存储器组组m4的每个存储器组，所述路径包括：计算切片1的对应的基于一级prn的互连结构11、通信节点cn1、
基于二级prn的互连结构21、通信节点cn4和计算切片4的基于一级prn的互连结构14。
38.该构型还允许处理器芯片201上的每个计算引擎使用基于一级prn的互连结构11
‑
14和基于二级prn的互连结构21(如有必要)与处理器芯片201上的其他计算引擎中的每一个通信。例如，计算切片2的计算引擎组ce2中的每个计算引擎能够通过路径与计算切片3的计算引擎组ce3中的每个计算引擎通信，所述路径包括：切片2的对应的基于一级prn的互连结构12、通信节点cn2、基于二级prn的互连结构21、通信节点cn3和切片3的基于一级prn的互连结构13。
39.基于二级prn的互连结构21还通过存储器接口通信节点cn5联接到外部dram 211。该构型允许处理器芯片201的每个计算引擎通过基于一级prn的互连结构11
‑
14和基于二级prn的互连结构21访问dram 211。例如，计算切片1的计算引擎组ce1中的每个计算引擎能够通过路径访问dram 211，所述路径包括：计算切片1的对应的基于一级prn的互连结构11、通信节点cn1、基于二级prn的互连结构21和通信节点cn5。
40.图2的计算机系统200还包括基于三级prn的互连结构31，其制造在系统级互连芯片210上。基于三级prn的互连结构31联接到芯片210上的多个通信节点cn
11
‑
cn
16
。如下文更详细描述的，基于三级prn的互连结构31使得能够在通信节点cn
11
‑
cn
16
之间传输消息和数据。通信节点cn
11
、cn
12
、cn
13
和cn
14
分别联接到处理器芯片201、202、203和204。通信节点cn
15
和cn
16
分别联接到主系统处理器205和系统存储器206。
41.系统级互连芯片210允许在主系统处理器205、系统存储器206和处理器芯片201
‑
204中的每一个之间传输数据和消息。更具体地，主处理器205可以与处理器芯片201
‑
204上的计算引擎中的任一个或处理器芯片201
‑
204上的存储器组中的任一个通信。例如，主处理器205能够通过路径访问计算切片1的计算引擎组ce1中的计算引擎(或计算切片1的存储器组组m1的存储器组)，所述路径包括：通信节点cn
15
、基于三级prn的互连结构31、网络通信节点cn
11
和cn6、基于二级prn的互连结构21、通信节点cn1和基于一级prn的互连结构11。
42.主处理器205还可以与dram 211
‑
214中的任一个进行通信。例如，主处理器205能够通过路径访问dram 211，所述路径包括：通信节点cn
15
、基于三级prn的互连结构31、网络通信节点cn
11
和cn6、基于二级prn的互连结构21和通信节点cn5。主处理器205可以分别通过处理器芯片202
‑
204中的类似路径访问dram 212
‑
214。
43.主处理器205还可以通过路径与系统存储器206通信，所述路径包括：通信节点cn
15
、基于三级prn的互连结构31和通信节点cn
16
。
44.另外，处理器芯片201
‑
204中的任一个上的每个计算引擎可以与其他处理器芯片201
‑
204中的任一个上的计算引擎或存储器组中的任一个以及联接到这些其他处理器芯片的dram 211
‑
214通信。
45.根据一个实施例，位于处理器芯片201
‑
204、dram 211
‑
214、主系统205、系统存储器206上的各种存储器组、计算引擎和通信节点和系统级互连芯片210上的通信节点cn
11
‑
cn
16
被分配唯一的系统地址，从而使得这些系统元件中的每一个能够容易地由其他系统元件中的任一个寻址(并因此与所述任一个通信)。
46.图3是基于prn的计算机系统200的框图，其详细示出了处理器芯片202。处理器芯片201和202中的相似元件用相似的附图标记标记。因此，处理器芯片202包括计算切片1'、2'、3'和4'，所述计算切片1'、2'、3'和4'分别包括存储器组组m1’
、m2’
、m3’
、m4’
、计算引擎组
ce1’
、ce2’
、ce3’
和ce4’
、基于一级prn的互连结构11'、12'、13'和14'，以及通信节点cn1’
、cn2’
、cn3’
和cn4’
。处理器芯片202还包括分别联接到dram 212和网络通信节点cn
12
的基于二级prn的互连结构21'、存储器接口通信节点cn5’
和网络通信节点cn6’
。
47.该构型允许(处理器芯片201的)计算引擎组ce1中的每个计算引擎通过路径访问(处理器芯片202的)计算引擎组ce3’
中的每个计算引擎，所述路径包括：基于一级prn的互连结构11、通信节点cn1、基于二级prn的互连结构21、网络通信节点cn6和cn
11
、基于三级prn的互连结构31、网络通信节点cn
12
和cn6’
、基于二级prn的互连结构21'、通信节点cn3’
和基于一级prn的互连结构13'。类似地，(处理器芯片201的)计算引擎组ce1中的每个计算引擎能够使用相同的路径访问(处理器芯片202的)存储器组组m3’
中的每个存储器组。
48.该构型还允许每个处理器芯片的每个计算引擎访问联接到其他处理器芯片的dram。例如，(处理器芯片201的)切片1的计算引擎组ce1中的每个计算引擎能够通过路径访问dram 212(联接到处理器芯片202)，所述路径包括：切片1的对应的基于一级prn的互连结构11、通信节点cn1、基于二级prn的互连结构21、通信节点cn6和cn
11
、基于三级prn的互连结构31、通信节点cn
12
和cn6’
、基于二级prn的互连结构21'和通信节点cn5’
。
49.如上所述，prna互连计算机系统200具有三级层次结构，包括切片级、芯片级和系统级，其中每一级由其物理构造边界定义。
50.由计算切片1
‑
4(和计算切片1'
‑
4')表示的切片级是计算机系统200的基本构建块。每个计算切片本身可以通过主系统处理器205和基于一级prn的互连结构之间的桥接器实现为小型机器学习处理器。
51.由处理器芯片201
‑
204表示的芯片级由包括在管芯上的子系统定义，包括多个计算切片和对应的基于二级prn的互连结构。每个处理器芯片可以通过主系统处理器205和基于二级prn的互连结构之间的桥接器实现为中等规模的机器学习系统。
52.包括主系统处理器205的系统级建立在多个处理器芯片和系统级互连芯片210上。处理器芯片201
‑
204通过系统级互连芯片210进行通信。由系统级互连芯片210实现的基于三级prn的互连结构31有利地以高带宽、低延迟和高功率效率操作。通过使用置换环形网络实现一级互连结构、二级互连结构和三级互连结构，可以跨整个系统保持相同的通信协议。这极大地简化了跨系统的共享内存和消息传递协议。如上所述，计算机系统200使得任何计算引擎能够通过基于prn的互连结构访问系统200中的所有存储器组组(例如，存储器组组m1
‑
m4和m1'
‑
m4')和所有dram(例如，dram 211
‑
214)。因此，计算机系统200是高度灵活的共享存储器计算系统。
53.此外，计算机系统200的所有计算引擎可以通过基于prn的互连结构在彼此之间直接通信。有利地，不需要软件支持来翻译在不同计算切片或芯片的计算引擎之间交换的消息，从而产生高效的消息传递计算系统。
54.用于实现图2和图3的1级、2级和3级prn互连结构的基于prn的互连结构更详细地描述在共同拥有的、共同未决的美国公开专利申请号2018/0145850中，其全部内容以引用方式并入。下面更详细地描述在根据各种实施例的计算机系统200中prn互连结构的使用。
55.图4是根据本发明的一个实施例的一级置换环形网络11的框图。计算机系统200的其他一级置换环形网络(例如，置换环形网络12
‑
14和11
’‑
14’)可以与一级置换环形网络11相同。在所示的实施例中，一级置换环形网络11包括四个双向源同步环形网络401、402、403
和404。环形网络401
‑
404中的每一个用作通信信道。尽管图示的置换环形网络11包括九个通信节点(即，通信节点cn1、计算引擎组ce1的计算引擎ce
1a
、ce
1b
、ce
1c
和ce
1d
以及存储器组组m1的存储器组m
1a
、m
1b
、m
1c
和m
1d
)和四个通信信道401
‑
404，但是应当理解，在其他实施例中可以使用其他数量的通信节点和通信信道。通常，一级置换环形网络11中的通信节点的数量用n值标识，并且一级置换环形网络11中的双向环形网络的数量用m值标识。选择通信信道的数量(m)以在通信网络的带宽要求和通信网络的区域功率限制之间提供适当的折衷。
56.通信信道401
‑
404中的每一个包括通过双向链路(互连)连接的多个数据传输站。更具体地，通信信道401包括九个数据传输站a0
‑
a8，通信信道402包括九个数据传输站b0
‑
b8，通信信道403包括九个数据传输站c0
‑
c8，并且通信信道404包括九个数据传输站d0
‑
d8。通信信道401的双向链路被示为以环形连接数据传输站a0
‑
a8的实线。通信信道402的双向链路被示为以环形连接数据传输站b0
‑
b8的长虚线。通信信道403的双向链路被示为以环形连接数据传输站c0
‑
c8的点划线。通信信道404的双向链路被示为以环形连接数据传输站d0
‑
d8的短虚线。双向链路允许在顺时针方向和逆时针方向两者上同时传输数据和时钟信号。
57.通常，数据传输站a0
‑
a8、b0
‑
b8、c0
‑
c8和d0
‑
d8中的每一个提供能够在九个通信节点和通信信道401
‑
404之间传输数据的接口。
58.通常，通信信道401
‑
404中的每一个被联接以接收主时钟信号。因此，在图4的示例中，通信信道401、402、403和404被联接以分别接收主时钟信号cka、ckb、ckc和ckd。在所示的实施例中，数据传输站a0、b0、c0和d0被联接以分别接收主时钟信号cka、ckb、ckc和ckd。然而，在其他实施例中，通信信道401、402、403和404中的其他数据传输站可以被联接以分别接收主时钟信号cka、ckb、ckc和ckd。尽管示出了四个单独的主时钟信号cka、ckb、ckc和ckd，但是应当理解，主时钟信号cka、ckb、ckc和ckd中的每一个可以从单个主时钟信号导出。在所描述的实施例中，主时钟信号cka、ckb、ckc和ckd中的每一个具有相同的频率。
59.可以使用常规时钟生成电路(例如，锁相环电路)来生成主时钟信号cka、ckb、ckc和ckd。在所描述的实施例中，主时钟信号可以具有大约5ghz或更高的频率。然而，应当理解，在其他实施例中，主时钟信号可以具有其他频率。主时钟信号的频率和电压可以基于环形网络架构的带宽需求和功率优化进行调整。在所示的实施例中，数据传输站a0、b0、c0和d0分别接收主时钟信号cka、ckb、ckc和ckd。其他数据传输站中的每一个从其相邻的邻居接收其时钟信号。即，主时钟信号cka、ckb、ckc和ckd分别被有效地串联传输到通信信道401、402、402和404的数据传输站中的每一个。
60.通信信道401、402、403和404中的每一个分别相对于其对应的主时钟信号cka、ckb、ckc和ckd以源同步的方式操作。
61.通常，每个数据传输站可以在两条路径上传输输出消息。在第一路径中，将从上游数据传输站接收到的消息转发到下游数据传输站(例如，数据传输站a0可以在顺时针路径上将从下游数据传输站a8接收到的消息转发到上游数据传输站a1，或者数据传输站a0可以在逆时针路径上将从下游数据传输站a1接收到的消息转发到上游数据传输站a8)。在第二路径中，由联接到数据传输站的通信节点提供的消息被路由到下游数据传输站(例如，数据传输站a0可以将从计算引擎ce
1a
接收的消息在顺时针路径上转发到下游数据传输站a1或在逆时针路径上转发到下游数据传输站a8)。同样在第二路径中，由数据传输站接收到的消息
被路由到寻址的通信节点(例如，数据传输站a0可以将从下游数据传输站a8接收到的消息在顺时针路径上转发到计算引擎ce
1a
，或者数据传输站a0可以将从下游数据传输站a0接收到的消息在逆时针路径上转发到计算引擎ce
1a
)。需注意，用于在数据传输站之间传输时钟信号和消息的线路和缓冲器高度均衡且平衡，以最小化建立和保持时间的损失。
62.时钟信号路径和消息总线作为波管道系统操作，其中在数据传输站之间传输的消息使用在时钟信号路径上传输的时钟信号以源同步的方式锁存到接收数据传输站中。以这种方式，消息以主时钟信号cka、ckb、ckc和ckd的频率在数据传输站之间传输，从而允许数据传输站之间的快速数据传输。
63.因为实现了点对点源同步通信，时钟信号线结构和消息总线结构的线路和缓冲器延迟不会降低通信信道401
‑
404的工作频率。
64.因为数据传输站具有相对简单的设计，所以可以以相对高的频率执行置换环形网络11上的消息的传输。通信节点cn1、计算引擎ce
1a
、ce
1b
、ce
1c
和ce
1d
以及存储器组m
1a
、m
1b
、m
1c
和m
1d
通常包括更复杂的设计，并且可能以比主时钟信号cka、ckb、ckc和ckd的频率更低的频率操作。
65.需注意，通信信道401
‑
404的循环构型需要由始发数据传输站a0、b0、c0和d0(例如，接收主时钟信号cka、ckb、ckc和ckd的数据传输站)接收的消息必须分别与主时钟信号cka、ckb、ckc和ckd重新同步。在一个实施例中，响应于从下游数据传输站接收的输入时钟信号，重新同步电路(未示出)通过将输入消息锁存到第一触发器中来执行该同步操作。然后响应于主时钟信号(例如，cka)，在该第一触发器的输出端处提供的消息被锁存到第二触发器中。第二触发器向始发数据传输站(例如，数据传输站a0)提供同步消息。响应于主时钟信号(cka)，该同步消息存储在始发数据传输站(a0)中。
66.现在回到一级置换环形网络11的拓扑，通信节点cn1、计算引擎ce
1a
、ce
1b
、ce
1c
和ce
1d
以及存储器组m
1a
、m
1b
、m
1c
和m
1d
中的每一个联接到四个通信信道401
‑
404中的每一个中的数据传输站a0
‑
a8、b0
‑
b8、c0
‑
c8和d0
‑
d8中的唯一一个。例如，计算引擎ce
1a
连接到通信信道401中的数据传输站a0、通信信道402中的数据传输站b8、通信信道403中的数据传输站c7和通信信道404中的数据传输站d6。下面的表1定义了根据一个实施例的通信节点cn1、计算引擎ce
1a
、ce
1b
、ce
1c
和ce
1d
和存储器组m
1a
、m
1b
、m
1c
和m
1d
，以及数据传输站a0
‑
a8、b0
‑
b8、c0
‑
c8和d0
‑
d8之间的连接。需注意，通信节点cn1、计算引擎ce
1a
、ce
1b
、ce
1c
和ce
1d
和存储器组m
1a
、m
1b
、m
1c
和m
1d
，以及数据传输站a0
‑
a8、b0
‑
b8和c0
‑
c8之间的物理连接为清楚起见在图4中未明确显示。
67.图5重新排序表1的数据以提供四个通信信道401
‑
404的互连矩阵500，其中互连矩阵500以通信信道401
‑
404中的每一个中的数据传输站排序。该互连矩阵500使得容易在通信信道401
‑
404中的每一个上确定通信节点cn1、计算引擎ce
1a
、ce
1b
、ce
1c
和ce
1d
以及存储器组m
1a
、m
1b
、m
1c
和m
1d
之间的跳跃的数量。需注意，通信节点cn1、计算引擎ce
1a
、ce
1b
、ce
1c
和ce
1d
以及存储器组m
1a
、m
1b
、m
1c
和m
1d
联接到在四个通信信道401
‑
404中具有不同相对位置的数据传输站。如下文更详细地描述，该构型允许在通信节点之间进行消息的通用且有效的路由。
68.图6是路由表600，其定义了通过根据本实施例的置换环形网络11的通信节点cn1、计算引擎ce
1a
、ce
1b
、ce
1c
和ce
1d
以及存储器组m
1a
、m
1b
、m
1c
和m
1d
之中的业务流。例如，通信节点cn1和计算引擎ce
1a
在通信信道404上使用数据传输站d5和d6之间的路径进行通信。沿该路径的跳跃的数量由在通信信道404上穿过的段数定义。因为数据传输站d5和d6在通信信道404上彼此相邻(即，在数据传输站d5和d6之间存在一个段)，所以通信节点cn1和计算引擎ce
1a
之间的通信路径由一个跳跃(1h)组成。
69.如路由表600所示，通信节点cn1、计算引擎ce
1a
、ce
1b
、ce
1c
和ce
1d
以及存储器组m
1a
、m
1b
、m
1c
和m
1d
之间的所有相关通信路径包括唯一跳跃通信路径。在其他实施例中，通信路径中的一个或多个可以包括不止一个跳跃。在其他实施例中，可以在一对或多对通信节点cn1、计算引擎ce
1a
、ce
1b
、ce
1c
和ce
1d
以及存储器组m
1a
、m
1b
、m
1c
和m
1d
之间提供多个通信路径。在其他实施例中，不同的通信节点对可以共享相同的通信路径。
70.数据传输站a0
‑
a8、b0
‑
b8、c0
‑
c8和d0
‑
d8之间的通信将以源同步网络允许的最高频率运行。该频率不会随着通信节点的数量和通信信道的数量按比例增加而减少。应当理解，通信信道401
‑
404中的每一个包括用于初始化、仲裁、流量控制和错误处理的规定。在一个实施例中，这些规定使用完善的技术提供。
71.计算引擎ce
1a
、ce
1b
、ce
1c
和ce
1d
以及存储器组m
1a
、m
1b
、m
1c
和m
1d
中的每一个根据路由表600在置换环形网络11上传输消息(其可以包括数据)。例如，计算引擎ce
1a
可以使用通信信道404向存储器组m
1c
发送数据请求消息。更具体地，计算引擎ce
1a
可以向数据传输站c7的
顺时针传输路径传输数据请求消息。该数据请求消息寻址数据传输站c8和存储器组m
1c
。在接收数据请求消息时，数据传输站c8确定数据请求消息寻址存储器组m
1c
，并将数据请求消息转发到存储器组m
1c
。在处理数据请求消息后，存储器组m
1c
可以向数据传输站c8的逆时针传输路径传输数据响应消息。该数据响应消息寻址数据传输站c7和计算引擎ce
1a
。在接收数据响应消息时，数据传输站c7确定数据响应消息寻址计算引擎ce
1a
，并将数据响应消息转发到计算引擎ce
1a
。
72.消息可以通过通信节点cn1传输到置换环形网络11中和从所述置换环形网络传输出。例如，切片1的计算引擎ce
1a
可以使用通信信道404将数据请求消息传输到计算切片2的存储器组m
2a
。更具体地，计算引擎ce
1a
可以向数据传输站d6的逆时针传输路径传输数据请求消息。该数据请求消息寻址数据传输站d5和通信节点cn1(以及计算切片2的通信节点cn2和计算切片2内的存储器组m
2a
)。在接收数据请求消息时，数据传输站d5确定数据请求消息寻址通信节点cn1，并将数据请求消息转发到通信节点cn1。作为响应，通信节点cn1确定数据请求消息寻址计算切片2内的通信节点cn2，并且在二级prn互连21上转发数据请求消息(使用由二级prn互连21实现的路由表)。需注意，二级prn互连21使用类似于一级prn互连11的prn结构来在通信节点cn1‑
cn6之间路由消息。需注意，由于由二级prn互连21服务的不同数量的通信节点，二级prn互连21的实现可能与一级prn互连11的实现不同(例如，不同数量的通信信道、不同的路由表)。根据一个实施例，基于二级prn的互连结构21包括三个通信信道(即，三个双向环形网络)，其中每个通信信道包括六个数据传输站。在本实施例中，通信节点cn1‑
cn6中的每一个联接到三个通信信道中的每一个中的数据传输站中的对应一个。
73.与通信节点cn2相关联的数据传输站接收在二级prn互连21上传输的数据请求消息，并且确定数据请求消息寻址通信节点cn2，并将数据请求消息转发到通信节点cn2。作为响应，通信节点cn2确定数据请求消息寻址计算切片2内的存储器组m
2a
，并且在一级prn互连12上转发数据请求消息(使用由一级prn互连12实现的路由表)。需注意，一级prn互连12使用类似于一级prn互连11的prn结构在通信节点cn2、(计算引擎组ce2的)计算引擎ce
2a
、ce
2b
、ce
2c
、ce
2d
和(存储器组组m2的)存储器组m
2a
、m
2b
、m
2c
和m
2d
之间路由消息。
74.与存储器组m
2a
相关联的数据传输站接收在一级prn互连12上传输的数据请求消息，并且确定数据请求消息寻址存储器组m
2a
，并将数据请求消息转发到存储器组m
2a
。存储器组m
2a
然后可以响应于数据请求消息。例如，存储器组m
2a
可以检索存储的数据值并使用数据响应消息将该数据值返回到计算引擎c
1a
。该数据响应消息使用原始数据请求消息的反向路径传输到计算引擎c
1a
。
75.根据一个实施例，基于三级prn的互连结构31包括三个通信信道(即，三个双向环形网络)，其中每个通信信道包括六个数据传输站。在本实施例中，通信节点cn
11
‑
cn
16
中的每一个联接到三个通信信道中的每一个中的数据传输站中的对应一个。
76.使用上述平坦的计算机架构和消息系统，消息可以通过一级prn互连结构、二级prn互连结构和三级prn互连结构在计算机系统200的各种元件中的任一个之间传输，而无需改变消息协议。根据一个实施例，计算机系统200的元件中的每一个被分配唯一的(系统)地址。以这种方式对系统200的各种元件进行地址映射允许跨一级prn互连结构、二级prn互连结构和三级prn互连结构一致地访问这些元件。需注意，计算机系统200是非相干系统，因为该计算机系统200没有明确确保计算切片、dram 211
‑
214或系统存储器206内的存储器组
存储的数据的一致性。相反，用户需要以所需的方式控制这些存储器存储的数据。因此，计算机系统200非常适合实现生产者
‑
消费者执行模型，诸如通过神经网络的前向传播实现的模型。即，计算机系统200能够有效地处理神经网络/机器学习应用中的数据。计算机系统200的改进的网络拓扑有利地能够跨越多个芯片，而不需要多个芯片之间的高速缓存一致性协议。因此，计算机系统200易于扩展，并且能够提供许多不同芯片之间的通信。
77.在上述实施例中，一级互连结构、二级互连结构和三级互连结构11、21和31都使用双向源同步置换环形网络实现。然而，在本发明的替代实施例中，可以使用基于非prn的结构来实现一级互连结构。
78.图7是根据本发明的替代实施例的计算机系统700的框图。因为计算机系统700与计算机系统200相似，所以图7和图2中的相似元件标有相似的参考数字。因此，计算机系统700包括多个处理器芯片701
‑
704、主处理器系统205、系统存储器206、系统级互连芯片210和dram装置211
‑
214。尽管图7中仅示出了四个处理器芯片701
‑
704，但是应当理解，在其他实施例中，计算机系统700可以容易地修改以包括其他数量的处理器芯片。此外，尽管图7中仅详细示出了处理器芯片701，但是应当理解，处理器芯片702
‑
704包括与所述实施例中的处理器芯片701相同(或相似)的内部元件。如下文更详细描述的，处理器芯片701用简单的网络互连结构711
‑
714代替处理器芯片201的基于一级prn的互连结构11
‑
14。简单的网络互连结构711
‑
714可以是例如基于纵横开关的互连结构或简单的环形网络。
79.在所示的实施例中，处理器芯片701包括联接到二级置换环形网络互连结构21的四个计算切片71、72、73和74。尽管在图7中示出了四个计算切片，但是应当理解，在其他实施例中，处理器芯片701上可以包括其他数量的计算切片。每个计算切片包括多个计算引擎、多个存储器组、通信节点和简单网络互连结构。更具体地，切片71、72、73和74分别包括计算引擎组ce1、ce2、ce3和ce4、存储器组组m1、m2、m3和m4、简单网络互连结构711、712、713和714，以及通信节点cn1、cn2、cn3和cn4。计算引擎组ce1、ce2、ce3和ce4以及存储器组组m1、m2、m3和m4在上面结合图2和图3更详细地描述。
80.在切片71、72、73和74中的每一个内，对应的简单网络互连结构711、712、713和714将对应的计算引擎组ce1、ce2、ce3和ce4与对应的存储器组组m1、m2、m3和m4联接。这允许每个计算引擎使用对应的简单网络访问同一切片内的每个存储器组。
81.简单网络互连结构711、712、713和714也联接到对应的计算切片71、72、73和74内的对应通信节点cn1、cn2、cn3和cn4。通信节点cn1、cn2、cn3和cn4以上述方式联接到基于二级prn的互连结构21。通信节点cn1、cn2、cn3和cn4在对应的简单网络互连结构711、712、713和714与基于二级prn的互连结构21之间传递消息和数据。需注意，在简单网络互连结构711、712、713和714与对应的通信节点cn1、cn2、cn3和cn4之间传输的消息必须转换为与接收系统一致的协议。此类转换可以通过简单网络互连结构711
‑
714内的接口或通信节点cn1、cn2、cn3和cn4内的接口来实现。虽然这种协议转换使计算机系统700的操作复杂化，但它允许在每个计算切片内使用简单网络互连结构，这可以减少计算切片71
‑
74的所需布局面积。
82.在本发明的另一个实施例中，基于三级prn的互连结构31被诸如基于纵横开关的互连结构或简单环形网络的简单网络互连结构代替(以与基于一级prn的结构11
‑
14被上面图7中的简单网络结构711
‑
714代替相同的方式)。图8是根据该替代实施例的计算机系统800的框图，其以上述方式用系统级互连芯片810上的简单网络互连结构81代替基于三级
prn的互连结构31。可以包括例如基于纵横开关的互连结构或简单环形网络的简单网络互连结构81提供通信节点cn
11
‑
cn
16
之间的连接。需注意，在处理器芯片701
‑
704、主处理器系统205和系统存储器206以及对应的通信节点cn
11
、cn
12
、cn
13
、cn
14
、cn
15
和cn
16
之间传输的消息必须转换为与接收系统一致的协议。此类转换可以通过简单网络互连结构81内的接口或通信节点cn
11
‑
cn
16
内的接口来实现。虽然这种协议转换使计算机系统800的操作复杂化，但它允许在系统级互连芯片810内使用简单网络互连结构。
83.尽管系统级互连芯片810的简单网络互连结构81结合具有简单网络互连结构711
‑
713的计算切片71
‑
74示出，但应当理解，系统级互连芯片810的简单网络互连结构81也可以结合具有基于一级prn的互连结构11
‑
14的计算切片1
‑
4使用，如图2所示。
84.可以使用几个因素来确定一级互连结构和三级互连结构是否应该用双向源同步置换环形网络(图2a至图2b)或简单网络互连结构(诸如纵横开关或单环形网络(图7至图8))实现。置换环形网络将提供比简单的单环形网络更好的性能(但需要更大的布局面积)。置换环形网络通常也将提供比纵横开关更好的性能(并且可能需要更大的布局面积)。通常，随着更多的通信节点通过互连结构连接，使用置换环形网络代替单环形网络或纵横开关变得更有效率(在布局面积和性能方面)。根据一个实施例，当要连接的通信节点的数量是四个或更多时，使用置换环形网络。
85.尽管已经结合几个实施例描述了本发明，但是应当理解，本发明不限于所公开的实施例，但是能够进行各种修改，这对于本领域技术人员来说是显而易见的。因此，本发明仅受限于以下权利要求。