一种加速单元以及电子设备的制作方法

1.本披露一般地涉及处理器技术领域。更具体的，本披露涉及一种加速单元、加速组件、加速装置、电路板以及电子设备。


背景技术：

2.目前，随着人工智能(ai，artificial intelligence)和机器学习(machine learning)的快速发展，未来对超高性能处理器的需求将越来越大，同时大数据时代对数据的处理提出更高的需求。高性能处理器及集群需要完成海量数据的实时处理，在规定的时间内完成复杂模型的训练和推理等。asic(application specific integrated circuit)是专用加速芯片，可以用于训练深度神经网络。asic可以在更短的时间内完成工作，比非并行处理超级计算机使用的数据中心基础架构少得多。
3.然而，面对海量的数据时，单个asic性能再强大也难免势单力薄，为了获得更强大的算力，常用的方案采用多个asic加速芯片。但是，对于多个asic互连构成的多卡网络而言，超高的数据吞吐量对于asic的数据传输带宽带来了重大的挑战。因此如何设计芯片之间的互联方案以提高整个系统的计算能力，达到高效处理海量数据，成为了构建高性能处理器集群的关键技术问题。


技术实现要素：

4.为了解决上述技术问题，本披露提供了一种能够提高计算能力的加速单元、加速组件、加速装置、电路板以及电子设备。
5.在一个方面，本披露提供一种加速单元，包括m个本单元加速卡，每个本单元加速卡包括内接端口，每个本单元加速卡通过内接端口与其他的本单元加速卡相连接，其中，m个本单元加速卡在逻辑上形成为l*n规模的加速卡矩阵，l和n为不小于2的整数。
6.在又一个方面，本披露提供一种电子设备，包括如上所述的加速单元。
7.本披露方案中，加速单元由多个加速卡组成，对于多个加速卡，每个加速卡通过该加速卡的内接端口与其他加速卡相连接，实现加速卡间的互连，这样的设置能够有效提高加速单元的计算能力，有利于提升处理海量数据的速度。并且，对于加速组件和加速装置，通过加速单元间的互联方式，可以使得整个系统的延时最小，能够最大限度的满足系统在处理海量数据的同时对实时性的要求，有利于提高整个系统的计算能力以及实现系统高速处理海量数据的目的。
附图说明
8.通过参考附图阅读下文的详细描述，本披露示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本披露的若干实施方式，并且相同或对应的标号表示相同或对应的部分，其中：
9.图1a为披露一个实施方式中加速单元结构示意图
10.图1b、图2、图3、图4以及图5a-图5c为本披露实施例的加速单元的多个结构示意图；
11.图6-图11为本披露实施例的加速组件的多个结构示意图；
12.图12a-图12c为加速组件表示成网络拓扑的示意图；
13.图13为本披露实施例的包括多个加速单元的加速装置示意图；
14.图14为一个实施例中加速装置对应的网络拓扑示意图；
15.图15为另一个实施例中加速装置对应的网络拓扑示意图；
16.图16-图20为本披露实施例的包括多个加速组件的加速装置的多个示意图；
17.图21为又一种加速装置的网络拓扑示意图；
18.图22为基于加速装置无线扩展的矩阵网络拓扑示意图；
19.图23为本披露又一个实施例中加速装置示意图；
20.图24为又一种加速装置的网络拓扑示意图；
21.图25为又一种加速装置的网络拓扑示意图；
22.图26为本披露一个实施例中组合装置结构示意图；
23.图27为本披露一个实施例中电路板的结构示意图。
具体实施方式
24.下面将结合本披露实施例中的附图，对本披露实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本披露一部分实施例，而不是全部的实施例。基于本披露中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本披露保护的范围。
25.下面将结合附图来详细描述本披露的多个实施例。
26.图1a为披露一个实施方式中加速单元结构示意图。根据本披露的一个实施方式，提供一种加速单元，包括m个本单元加速卡，每个本单元加速卡包括内接端口，每个本单元加速卡通过内接端口与其他的本单元加速卡相连接，其中，m个本单元加速卡在逻辑上形成为l*n规模的加速卡矩阵，l和n为不小于2的整数。
27.如图1a所示，可以通过多个加速卡来形成加速卡矩阵，加速卡之间互相连接，从而能够进行数据或指令的传递和通信。例如加速卡mc
00
至mc
0n
形成了加速卡矩阵的第0行，加速卡mc
10
至mc
1n
形成了加速卡矩阵的第1行，以此类推，加速卡mc
l0
至mc
ln
形成了加速卡矩阵的第l行。
28.需要理解的是，为了方便上下文的理解，将处于同一个加速单元中的加速卡称为“本单元加速卡”，而将其他加速单元中的加速卡称为“外单元加速卡”。这样的称呼仅仅在于方便描述，而对本披露的技术方案不形成限制。
29.每个加速卡可以有多个端口，这些端口可以与本单元加速卡进行连接，也可以与外单元加速卡进行连接。在本披露中，本单元加速卡之间的连接端口可以称为内接端口，而本单元加速卡与外单元加速卡之间的连接端口可以称为外接端口。需要理解的是，外接端口和内接端口仅仅是为了方便进行描述，二者可以采用相同的端口。这将在下文中进行描述。
30.需要理解的是，m可以是任何整数，可以将m个加速卡形成1*m或者m*1的矩阵，也可
以将m个矩阵形成为其他类型的矩阵。本披露的加速单元并不限定具体的矩阵大小和形式。
31.更进一步地，加速卡之间，例如本单元加速卡之间，本单元加速卡与外单元加速卡之间，可以通过单条或者多条通信路径来连接。这将在后文中进行详细描述。
32.还需要理解的是，在本披露的上下文中，尽管均以矩形网络来描述多个加速卡之间的位置，但实际上，所形成的矩阵在物理空间排列上并不必然是矩阵形态，而是可以处于任何位置，例如多个加速卡可以形成一条直线或者多个加速卡可以不规则排列。上述的矩阵仅仅是逻辑上而言的，只要加速卡之间的连接形成矩阵关系即可。
33.根据本公开的一个实施方式，m可以为4，由此，4个本单元加速卡可以在逻辑上形成为2*2的加速卡矩阵；m可以为9，由此9个本单元加速卡可以在逻辑上形成为3*3的加速卡矩阵；m可以为16，由此16个本单元加速卡可以在逻辑上形成为4*4的加速卡矩阵。m也可以为6，由此6个本单元加速卡可以在逻辑上形成为2*3或3*2的加速卡矩阵；m还可以为8，由此8个本单元加速卡可以在逻辑上形成为2*4或4*2的加速卡矩阵。
34.根据本公开的一个实施方式，每个本单元加速卡与其他至少一个本单元加速卡通过两条路径来连接。
35.在本披露所记载的拓扑结构中，两个本单元加速卡之间可以通过单条通信路径来连接，也可以通过多条(例如两条)路径来连接，只要端口的数量足够即可。通过多条通信路径来连接有利于保障加速卡之间通信的可靠性，这将在下文的示例中进行更加详细的解释和描述。
36.根据本公开的一个实施方式，所述加速卡矩阵中处于四个角的对角本单元加速卡之间通过两条路径来连接。对于一个矩阵而言，优选地可以将处于矩阵对角的两对加速卡连接起来，对于某些拓扑结构而言，处于对角线位置的加速卡进行连接有助于形成两条完整的通信回路。这将在下文的示例中进行更加详细的解释和描述。
37.更具体地，根据本公开的一个实施方式，所述本单元加速卡中的至少一个可以包括外接端口。例如，每个加速单元中可以包括四个本单元加速卡，每个本单元加速卡可以包括六个端口，并且其中每个本单元加速卡的四个端口为内接端口，用于与其他三个本单元加速卡连接；至少一个本单元加速卡的其余两个端口为外接端口，用于与外单元加速卡连接。
38.需要理解的是，每个本单元加速卡的六个端口中，可以用四个端口来连接本单元加速卡，而空余的两个端口可以用来连接其他加速单元中的加速卡。这些空余的端口也可以为空闲端口，不连接任何外部设备，也可以直接或间接地与其他设备或端口相连接。
39.出于示例和简化的目的，下文中的加速单元、加速组件加速装置以及电子设备均以每个加速单元包括四个加速卡为例来进行说明。需要理解的是，每个加速单元可以包括更多数量或更少数量的加速卡。
40.为方便描述，该加速单元可以包括四个加速卡，即第一加速卡、第二加速卡、第三加速卡和第四加速卡，每个加速卡中均设置有内接端口和外接端口，每个加速卡通过内接端口与其他三个加速卡相连接。
41.图1b为本披露一个实施例中加速单元结构示意图。加速单元100包括四个加速卡，这四个加速卡为加速卡mc0、加速卡mc1、加速卡mc2和加速卡mc3。对于四个加速卡，每个加速卡可以包括外接端口和内接端口，加速卡mc0的内接端口与加速卡mc1、mc2和mc3的内接
端口均相连接，加速卡mc1的内接端口与加速卡mc2、mc3的内接端口均相连接，加速卡mc2的内接端口与加速卡mc3的内接端口相连接，即每个加速卡的内接端口与其他三个加速卡的内接端口均相连接。通过四个加速卡的内接端口的互连可以实现四个加速卡之间的信息交互。本披露实施例利用加速单元中四个加速卡间的互连，可以提高加速单元的计算能力以及实现高速处理海量数据的目的，并且使得每个加速卡和其它加速卡之间的路径最短，通信延时最低。
42.如上文所述，本披露中的加速卡的数量可以不限于四个，而是可以为其他数量。例如，在一个实施例中，加速卡的数目n等于3，每个加速卡中均设置有内接端口和外接端口，每个加速卡通过内接端口与其他两个加速卡相连接，实现三个加速卡间的互连。在另一个实施例中，加速卡的数目n等于5，每个加速卡中均设置有内接端口和外接端口，每个加速卡通过内接端口与其他四个加速卡相连接，实现五个加速卡间的互连，从而提高加速单元的计算能力，并且实现高速的处理海量数据。在又一个实施例中，加速卡的数目n大于5，每个加速卡中均设置有内接端口和外接端口，每个加速卡通过内接端口与其他所有加速卡均相连接，实现n个加速卡间的互连，实现高速的处理海量数据。
43.基于图1b提供的加速单元100，进一步的，每个加速卡与其他至少一个加速卡可以通过两条路径来连接。具体的，可以存在例如三种连接方式：第一种连接方式是每个加速卡可以与另外三个加速卡中的一个加速卡通过两条路径进行连接；第二种方式是每个加速卡可以与另外三个加速卡中的两个加速卡均通过两条路径进行连接；第三种方式是每个加速卡可以与另外三个加速卡均通过两条路径进行连接，在这种情况下，不排除有每个加速卡有更多端口的情况。为了便于理解上述关于两条路径的连接方式，下面将以第一种连接方式为例并结合图2进行示例性的描述。
44.图2为本披露另一个实施例中加速单元结构示意图。如图2所示的加速单元200中，每个加速卡与其他至少一个加速卡可以通过两条路径来连接，例如图示中的加速卡mc0与加速卡mc2之间可以通过两条路径来连接，以及加速卡mc1与加速卡mc3之间可以通过两条路径来连接。根据这样的设置，两个加速卡之间进行信息交互的链路(或称路径)可以有两条，如此，当其中某一条链路发生故障时，两个加速卡之间还有另外一条链路来连接，从而能够有效提高加速单元的安全性。
45.以上结合图1和图2对根据本披露的加速单元及其多个加速卡之间的连接方式进行了示例性的描述，本领域技术人员应该理解的是，以上描述是示例性的而非限制性的，例如加速单元中的加速卡的排列方式可以不限于图1和图2中所示的形式，在一个实施例中，加速单元的四个加速卡可以在逻辑上布设为四边形排列，下面将结合图3进行描述。
46.图3为本披露又一个实施例中加速单元结构示意图。如图3所示的加速单元300中，四个加速卡mc0、mc1、mc2和mc3在逻辑上可以布设为四边形排列，四个加速卡可以占据四边形的四个顶点位置。加速卡mc0、mc1、mc2和mc3之间的线路呈现四边形，使得线路排列更加清晰，便于设置线路。需要说明的是，图3中示出的四个加速卡呈矩形或2*2矩阵排列，但这是逻辑互联图，为了描述方便才画成矩形的形式，具体四边形可以自由设置，例如平行四边形、梯形、正方形等。在实际的布局布线中，四个加速卡也可以是任意的排列，例如在实际的整机中，四个加速卡是并列排成一字形的，顺序可以是mc0、mc1、mc2、mc3。还需要理解的是，本实施例中所述的逻辑四边形是示例性的，实际上多个加速卡的排布形状可以千变万化，
serializer)的合成词，被称为串行解串器。serdes接口可以被用于构建高性能处理器集群。serdes的主要功能是在发送端将多路低速并行信号转换为串行信号，经过传输介质的传输，最后在接收端将高速串行信号重新转换成低速并行信号，因此其非常适合端到端的长距离高速传输需求。在另一个实施例中，加速卡中的外接端口可以连接到其他加速单元的qsfp-dd接口上，其中qsfp-dd接口是serdes技术中常用的一种光模块接口，其与线缆配合使用可用于和其它外部设备互连。
53.进一步地，根据本披露的又一个实施例，一个加速单元内部可以搭载4个加速卡，且4个加速卡互联可以采用印制电路板pcb走线完成。在低介电常数的高速板材上，通过合理的布局布线，可以最大程度的保证信号完整性，进而保证四个加速卡之间的通信带宽趋向于理论值。
54.本披露公开的加速单元，在加速单元内部，对于四个加速卡，每个加速卡通过该加速卡的内接端口与其他三个加速卡相连接，每一张加速卡都可以直接和另外三个加速卡进行通信，这样的通信架构为全连接方形网络拓扑(fully connected quad)，这种全连接网络架构的优势在于每个加速卡和其它加速卡之间的路径最短，总hop数最小，延时最低。本披露用hop来描述系统的时延，hop在通信中表示跳数，即通信次数。hop具体表示从一个节点出发，遍历完网络中所有的节点后回到初始节点的最短路径。4个加速卡进行互联，所构成的全连接方形网络拓扑延时最短，且其中对角两个加速卡互联构成的双环结构可以提高系统的健壮性，在单个加速卡出现故障时业务仍然能够正常运行。在进行各种算术逻辑运算时，双环结构中的每个环可以分别完成一部分运算，从而提高整体运算效率，并最大化利用拓扑带宽。
55.以上结合图1a-图5c对根据本披露的加速单元的多个实施例进行了描述，基于上述的加速单元，本披露还公开了一种可以包括多个上述加速单元的加速组件，下面将结合加速组件的多个实施例进行示例性的描述。
56.图6为本披露一个实施例中加速组件结构示意图。如图6中所示，加速组件600可以包括n个上述加速单元，即加速单元a1、加速单元a2、加速单元a3、...、加速单元an，其中加速单元a1和加速单元a2之间通过外接端口相连接，加速单元a2和加速单元a3之间通过外接端口相连接，即每个加速单元之间通过加速单元的外接端口相连接。在一个实施例中，加速单元a1中加速卡mc0的外接端口可以与加速单元a2中加速卡mc0的外接端口相连，加速单元a2中加速卡mc0的外接端口可以与加速单元a3中加速卡mc0的外接端口相连，即每个加速单元通过加速卡mc0的外接端口连接。
57.本领域技术人员可以理解的是，本披露中加速单元之间的连接可以不限于加速卡mc0的外接端口的连接，还可以包括例如加速卡mc1的外接端口的连接、加速卡mc2的外接端口的连接以及加速卡mc3的外接端口的连接中的一种或多种。即本披露中，加速单元a1与加速单元a2的连接方式可以包括：a1中mc0的外接端口与a2中mc0的外接端口相连、a1中mc1的外接端口与a2中mc1的外接端口相连、a1中mc2的外接端口与a2中mc2的外接端口相连、a1中mc3的外接端口与a2中mc3的外接端口相连中的一种或多种连接方式。类似地，加速单元a2与加速单元a3的连接方式可以包括：a2中mc0的外接端口与a3中mc0的外接端口相连、a2中mc1的外接端口与a3中mc1的外接端口相连、a2中mc2的外接端口与a3中mc2的外接端口相连、a2中mc3的外接端口与a3中mc3的外接端口相连中的一种或多种连接方式。以此类推可
以到加速单元an-1与加速单元an的连接。需要说明的是，以上描述是示例性的，例如不同加速单元之间的连接可以不限于是标号对应的加速卡的连接，可以根据需要设置为同标号的加速卡的连接。
58.需要说明的是，图6中展示了n个加速单元，n大于3，但是加速单元的个数可以不限于图示中的大于3，还可以设置为例如2个或者3个，两个加速单元之间的连接关系与上述加速单元a1和a2之间的连接关系相同或相似，三个加速单元之间的连接关系与上述加速单元a1、a2、a3之间的连接关系相同或相似，此处不再赘述。
59.另外，加速组件中的多个加速单元的结构可以相同，也可以不相同，图6中为了展示方便，展示的多个加速单元的结构是相同的，但是实际中，多个加速单元的结构可以是不同的。例如，有的加速单元中多个加速卡布局是多边形，有的加速单元中多个加速卡布局呈一条线，有的加速单元中多个加速卡之间通过一条线路进行连接，有的加速组件中多个加速卡之间通过两条链路进行连接等，有的加速单元包括四个加速卡，有的加速单元包括三个或五个加速卡等，即每个加速单元的结构可以单独设置，不同加速单元的结构可相同可不同。
60.本披露公开的加速组件，不仅加速组件中加速单元内部的加速卡可以进行互连，而且不同的加速单元的加速卡也可以进行互连，从而可以构建混合立体网络。根据这样的设置，每个加速卡进行处理数据的同时，还可以通过加速单元之间的互连来共享数据，由于数据的共享可以直接获取数据，减少了数据传播路径和时间，因此对于提升数据处理效率具有显著作用。
61.图7为本披露另一个实施例中加速组件结构示意图。如图7中所示，加速组件700可以包括n个前述加速单元，即加速单元a1、加速单元a2、加速单元a3、...、加速单元an，加速组件700中的多个加速单元在逻辑上可以呈多层结构(图示中以虚线示出)，每一层可以包括一个加速单元，每个加速单元的加速卡通过外接端口与另一个加速单元中的加速卡相连接。这样层层递进的配置组合使得每个加速卡在高速运算处理数据的同时，可以通过高速串行链路进行数据的共享，实现加速卡的无限互连，以满足可定制的算力需求，实现对处理器集群硬件算力的灵活配置。如图中进一步示出的，每层的加速单元可以包括四个加速卡，加速单元在逻辑上可以布设为四边形排列，四个加速卡分别布设在四边形的四个顶点位置。
62.本领域技术人员应该理解的是，以上结合图7所描述的加速组件是示例性的而非限制性的。例如，多个加速单元的结构可以相同或不同。加速组件的层数可以为2层，3层，4层或者4层以上，层数可以根据需要自由设定。对于每两个相连的加速单元，二者之间的连接路径数量可以为1条、2条、3条或者4条。为了便于理解，以下将结合图8-图12进行示例性的描述。
63.图8为本披露又一个实施例中加速组件结构示意图。如图8中所示，加速组件701中加速单元的个数可以为2个，两个加速单元之间通过一条路径进行连接，具体是可以通过例如加速单元a1中加速卡mc0的外接端口与加速单元a2中加速卡mc0的外接端口相连接，可以实现加速单元a1和加速单元a2之间的信息交互。
64.如图9中所示，加速组件702中加速单元的个数可以为2个，两个加速单元之间通过两条路径进行连接，加速单元a1中加速卡mc0的外接端口与加速单元a2中加速卡mc0的外接
端口相连接，加速单元a1中加速卡mc1的外接端口与加速单元a2中加速卡mc1的外接端口相连接。如此，当其中一条路径发生故障时，还有另外一条线路支持加速单元之间进行通信，进一步提高加速组件的安全性。
65.下面请参考图10，图10为本披露又一个实施例中加速组件结构示意图。如图10所示的加速组件703中，加速单元的个数可以为2个，两个加速单元之间通过三条路径进行连接，加速单元a1中加速卡mc0的外接端口与加速单元a2中加速卡mc0的外接端口相连接，加速单元a1中加速卡mc1的外接端口与加速单元a2中加速卡mc1的外接端口相连接，加速单元a1中加速卡mc2的外接端口与加速单元a2中加速卡mc2的外接端口相连接。如此，即使当其中两条路径发生故障时，还有另外一条路径支持加速单元之间进行通信，进一步提高加速组件的安全性。
66.下面请参考图11，图11为本披露又一个实施例中加速组件结构示意图。如图11所示的加速组件704中，加速单元的个数可以为2个，两个加速单元之间可以通过四条路径进行连接，例如加速单元a1中加速卡mc0的外接端口与加速单元a2中加速卡mc0的外接端口相连接，加速单元a1中加速卡mc1的外接端口与加速单元a2中加速卡mc1的外接端口相连接，加速单元a1中加速卡mc2的外接端口与加速单元a2中加速卡mc2的外接端口相连接，加速单元a1中加速卡mc3的外接端口与加速单元a2中加速卡mc3的外接端口相连接。如此，即使当其中三条路径发生故障时，还有另外一条路径支持加速单元之间进行通信，进一步提高加速组件的安全性。
67.图12a为加速组件表示成网络拓扑的示意图。如图12a中所示，加速组件705可以包括两个加速单元，每个加速单元可以包括四个加速卡，每个加速单元中的加速卡mc1和加速卡mc3之间可以具有两条链路，加速卡mc0和加速卡mc2之间可以具有两条链路。图12a的左图的加速装置705可以形成右图所示的立体表现形式。图12a的右图中圆圈均代表加速卡，线条均表示链路连接，圆圈中数字0代表加速卡mc0，数字1代表加速卡mc1，数字2代表加速卡mc2，数字3代表加速卡mc3。右图表示的仍是加速组件705，只是作为另外一种表现形式，即展示的是网络拓扑的形式。右图中竖线中嵌入的数字表示连接的端口数字，例如，两个加速单元中的mc0之间用端口0进行连接，mc1之间用端口0进行连接，mc2之间用端口3进行连接，mc3之间用端口3进行连接。
68.对于图12a中的右图，将一个加速单元视为一个节点，两个节点具有8个加速卡，即两个节点就构成了所谓的8卡互连。每个节点内部的一机四卡互连关系是一定的，当两个节点互联时，上层节点(即加速单元a1)中mc0和mc1分别通过端口0和下面的节点(即加速单元a2)的mc0和mc1相连；上层节点的mc2和mc3分别通过端口3和下层节点的mc2和mc3相连，这种节点拓扑结构称为混合立体网络拓扑(hybrid cube mesh)，即加速组件705为一个混合立体网络拓扑。
69.在图12a所示的具有8卡的拓扑结构中，也可以形成两个独立的环。如图12b和图12c所示，这样能够最大限度地利用拓扑带宽来进行规约运算
70.在图12b中，加速单元a1中的加速卡mc1和mc3通过各自的内接端口5连接，加速卡mc0和mc2通过各自的内接端口5连接，而加速卡mc2和mc3通过各自的内接端口1连接；而加速单元a1中的加速卡mc1以及加速单元a2中的加速卡mc1通过各自的外接单口0相连接，加速单元a1中的加速卡mc0和加速单元a2中的加速卡mc0通过各自的外接端口0相连接。由此，
在图12中的8个卡中形成一个独立的环。
71.在图12c中，加速单元a1中的加速卡mc1和mc3通过各自的内接端口2连接，加速卡mc0和mc2通过各自的内接端口2连接，而加速卡mc0和mc1通过各自的内接端口1连接；而加速单元a1中的加速卡mc2以及加速单元a2中的加速卡mc2通过各自的外接单口3相连接，加速单元a1中的加速卡mc3和加速单元a2中的加速卡mc3通过各自的外接端口3相连接。由此，在图12中的8个卡中形成另一个独立的环。
72.上面仅仅示出了两种示例性的连接方式，但实际上，两个加速单元之间的四条连接路径实际上等效的，因此，可以采用这四条路径中的任意一条至三条来连接两个加速单元，并与每个加速单元内的加速卡形成环形连接。这里将不再赘述。
73.图13为本披露又一个实施例中加速装置示意图。如图13中所示，加速装置800可以包括n个上述加速单元，即加速单元a1、加速单元a2、加速单元a3、...、加速单元an，加速装置800中的多个加速单元在逻辑上呈多层结构(图中以虚线示出)，这里的多层可以包括奇数层或者偶数层，每一层可以包括一个加速单元，每个加速单元的加速卡通过外接端口与另一个加速单元中的加速卡相连接，其中，加速单元a1和加速单元a2之间通过外接端口相连接，加速单元a2和加速单元a3之间通过外接端口相连接,以此类推加速单元an-1和加速单元an之间通过外接端口相连接。并且最后一个加速单元可以与第一个加速单元相连接，从而所述多个加速单元首尾相连形成环形结构，例如图示中的加速单元an的加速卡mc0的外接端口与加速单元a1的加速卡mc0的外接端口相连。这样层层递进的配置组合使得每个加速卡在高速运算处理数据的同时，可以通过高速串行链路进行数据的共享，实现加速卡的无限互连，以满足可定制的算力需求，实现对处理器集群硬件算力的灵活配置。
74.需要说明的是，本披露中的加速装置中加速单元的连接关系有多种情况，在前文中已经进行了详细描述，具体可参照例如上述图6中加速单元的连接关系的描述内容，在此不再赘述。另外，最后一个加速单元与第一个加速单元相连接的方式有多种，具体可以包括：加速单元a1中mc0的外接端口与an中mc0的外接端口相连、加速单元a1中mc1的外接端口与an中mc1的外接端口相连、加速单元a1中mc2的外接端口与an中mc2的外接端口相连、加速单元a1中mc3的外接端口与an中mc3的外接端口相连中的一种或多种连接方式。为了便于理解，以下将结合图14和图15进行示例性的描述。在下面的描述中，本领域技术人员可以理解的是，图14和图15所示的加速装置是图13所示的加速装置800的多种具体化表现形式，因此关于图13的加速装置800的相关描述也可以适用于图14和图15中的加速装置。
75.参考图14，图14为一个实施例中加速装置对应的网络拓扑示意图。如图14所示的加速装置801可以由四个加速单元组成，圆圈均代表加速卡，线条均表示链路连接，圆圈中数字0代表加速卡mc0，数字1代表加速卡mc1，数字2代表加速卡mc2，数字3代表加速卡mc3；图中竖线中嵌入的数字表示连接的端口数字。最后一个加速单元与第一个加速单元相连接，总hop数为5次。每一个加速单元为一个节点，通过节点间的互联可以实现4个节点16卡的互连，四个加速单元组成一个小集群，内部互联，称为一个超级计算集群super pod。这种拓扑是超大规模集群的主推形态，采用高速serdes端口，总hop数为5次，延时最低。集群的可管理性较好，鲁棒性也比较好。
76.参考图15，图15为另一个实施例中加速装置对应的网络拓扑示意图。图15与图14的区别在于，图15中所示加速装置802的加速单元数量更多。从图示中可以看出，加速装置
802的最后一个加速单元与第一个加速单元相连接。根据这样设置的加速装置，总hop数为节点数加一，即总hop数为加速单元的个数加一。
77.上面结合图13-图15对包括多个加速单元的加速装置进行了示例性的描述，根据本披露的技术方案，还提供了一种可以包括多个前述加速组件的加速装置，以下将结合多个实施例进行详细描述。
78.图16为本披露又一个实施例中加速装置示意图，加速装置900可以包括m个前述加速组件，每个加速组件中，除了加速组件内部需要进行加速单元间的连接的外接端口外，还有空闲的外接端口，加速组件之间通过空闲的外接端口相互连接，其中，加速组件b1中加速单元a1的加速卡mc1的外接端口可以与加速组件b2中加速单元a1的加速卡mc1的外接端口相连接，加速组件b2中加速单元a1的加速卡mc1的外接端口可以与加速组件b3中加速单元a1的加速卡mc1的外接端口相连接，依次类推，多个加速组件互相连接。可以理解的是，图16所示的加速装置是示例性的而非限制性的，例如，多个加速组件的结构可以相同或不同。还例如，不同加速组件之间通过空闲的外接端口连接的方式可以不限于图16中所示的方式，还可以包括其他方式。为了便于理解，以下将结合图17-图25进行示例性的描述。
79.基于图16提供的加速装置，进一步的，参考图17，图17为又一个实施例中加速装置对应的网络拓扑示意图，加速装置901可以包括两个加速组件，加速组件b1可以包括四个加速单元，加速组件b2可以包括四个加速单元，加速组件b1中第一个加速单元与加速组件b2中第一个加速单元相连接，加速组件b1中最后一个加速单元与加速组件b2中最后一个加速单元相连接。此种网络拓扑下的总hop数为9。本领域技术人员可以理解的是，图17中每个加速组件中由多个加速单元构成的网络结构是逻辑上的，在实际应用中多个加速单元的排布位置可以根据需要进行调整。每个加速组件中的加速单元的数量可以不限于图示中的四个，可以根据需要设置的更多或者更少，例如可以设置为六个、八个等。
80.基于图16提供的加速装置，进一步的，参考图18，图18为本披露又一个实施例中加速装置示意图，加速装置902可以包括四个加速组件即加速组件b1、b2、b3和b4。四个加速组件中，每个加速组件可以包括两个加速单元a1和a2，每个加速组件可以通过加速单元a1和a2中的一个与其他加速组件的a1和a2中的一个相互连接。例如，加速组件b1中的加速单元a1与加速组件b2中的加速单元a1相连接，加速组件b2中的加速单元a1与加速组件b3中的加速单元a1相连接，加速组件b3中的加速单元a1与加速组件b4中的加速单元a1相连接，这里的连接都是通过加速单元的外接端口进行连接。
81.需要说明的是，加速组件之间的连接方式除了图18中显示的连接方式外还可以有很多种。例如，加速组件之间的连接方式具体可以包括：加速组件b1中的加速单元a1或者a2与加速组件b2中的加速单元a1或者a2相连接，加速组件b2中的加速单元a1或a2与加速组件b3中的加速单元a1或a2相连接，以及加速组件b3中的加速单元a1或者a2与加速组件b4中的加速单元a1或a2相连接。
82.基于图18提供的加速装置，进一步的，请参考图19，图19为本披露又一个实施例中加速装置示意图。如图19所示的加速装置903中，每个加速组件可以通过第一加速单元和第二加速单元中的一个，利用两条路径与其他加速组件的第一加速单元和第二加速单元中的一个相互连接。例如图示中的加速组件b1中的第一加速单元(例如加速单元a1)与加速组件b2中的第一加速单元(例如加速单元a1)可以通过两条路径相连接，加速组件b2中的加速单
元a1与加速组件b3中的加速单元a1通过两条路径相连接，加速组件b3中的加速单元a1与加速组件b4中的加速单元a1通过两条路径相连接。
83.需要说明的是，图19中标记的是两条路径连接，实际上还可以包括两条以上的路径连接的情况。加速组件之间的连接方式除了图19中所示的连接方式，还可以包括其他方式，例如加速组件b1中的加速单元a1或者a2可以利用两条路径与加速组件b2中的加速单元a1或者a2相连接，加速组件b2中的加速单元a1或a2可以利用两条路径与加速组件b3中的加速单元a1或a2相连接，以及加速组件b3中的加速单元a1或者a2可以利用两条路径与加速组件b4中的加速单元a1或a2相连接。
84.基于图16提供的加速装置，进一步的，请参考图20，图20为本披露又一个实施例中加速装置示意图，加速装置904包括四个加速组件，分别是加速组件b1、加速组件b2、加速组件b3、加速组件b4，每个加速组件包括两个加速单元，每个加速单元包括两对加速卡。每个加速单元中，mc0和mc1是第一对加速卡，mc2和mc3是第二对加速卡。其中，加速组件b1的加速单元a1的第二对加速卡与加速组件b2的加速单元a2的第二对加速卡相连；加速组件b2的加速单元a2的第一对加速卡与加速组件b3的加速单元a1的第一对加速卡相连；加速组件b3的加速单元a2的第二对加速卡与加速组件b4的加速单元a1的第二对加速卡相连；加速组件b4的加速单元a1的第一对加速卡与加速组件b1的加速单元a2的第一对加速卡相连。
85.参考图21，图21是又一种加速装置的网络拓扑示意图。图21所示加速装置905是图20所示加速装置904的一个具体化形式，因此上述关于加速装置904的相关描述也可以适用于图21中的加速装置905。如图21中所示，加速装置905的每个加速组件可以形成一个混合立体网络单元，每个混合立体网络单元内部的互联关系可以如图中所示，实现加速装置905的8节点32卡的互连。四个加速组件可以通过例如qsfp-dd接口和电缆实现多卡多节点的互连，形成矩阵网络拓扑。
86.具体地，本实施例中的加速组件b1的上层节点的加速卡mc2、mc3的端口0可以分别和加速组件b2的下层节点的加速卡mc2、mc3相连，加速组件b2的下层节点的mc0和mc1的端口3可以分别与加速组件b3的上层节点的mc0和mc1相连，加速组件b3的下层节点的mc2和mc3的端口0可以分别与加速组件b4的上层节点的mc2和mc3相连，加速组件b4的上层节点的mc0和mc1的端口3可以分别与加速组件b1的下层节点的mc0和mc1相连。这样设置的混合立体网络之间的互联可以构成两个双向环结构(如上文中结合图5b、图5c，图12b和图12c所描述的那样)，具有较好的可靠性和安全性等优点，并且适用于深度学习训练，运算效率高。对于加速装置905中，由8个节点构成的矩阵网络拓扑，总hop数为11次。
87.进一步地，如图21中所示，同一个加速组件中不同加速单元中的第一对加速卡和第二对加速卡可以间接连接。例如，加速组件b1中的上层加速单元的加速卡mc0和mc1与下层加速单元的加速卡mc2和mc3间接连接。
88.在图21的网络拓扑基础上，以矩阵网络拓扑为基本单元可以进一步扩展成更大的网络拓扑，图22为基于加速装置无线扩展的矩阵网络拓扑示意图。如图22所示，加速装置906中可以包括多个加速组件，每个加速组件(图中以方框示出)可以包括多个加速单元(未示出立体图，可参考图21的加速组件结构)，每个加速单元可以包括例如图示中的四个加速卡互连，因此该矩阵网络拓扑理论上可以无限扩展。
89.基于图16提供的加速装置，进一步的，请参考图23，图23为本披露又一个实施例中
加速装置示意图，加速装置908可以包括m(m≥2)个加速组件，每个加速组件可以包括n(n≥2)个加速单元，并且m个加速组件可以呈环形连接。其中，加速组件b1的加速单元an可以与加速组件b2的加速单元a1相连接，加速组件b2的加速单元an可以与加速组件b3的加速单元a1相连接，以此类推到加速组件bm，加速组件bm的加速单元an可以与加速组件b1的加速单元a1相连接，从而这m个加速组件首尾相连，呈环形连接。
90.基于图23，请参考图24，图24是又一种加速装置的网络拓扑示意图，加速装置909可以包括6个加速组件，每个加速组件可以包括两个加速单元，每个加速组件的第二个加速单元可以与下一个加速组件的第一个加速单元相连，形成了12个节点48卡的互联，形成更大的矩阵网络拓扑，此种网络拓扑下的总hop为13次。
91.基于图24，请参考图25，图25是又一种加速装置的网络拓扑示意图，加速装置910包括8个加速组件，每个加速组件包括两个加速单元，每个加速组件的第二个加速单元可以与下一个加速组件的第一个加速单元相连，形成了16个节点64卡的互联，形成更大的矩阵网络拓扑，此种网络拓扑下的总hop为17次。
92.在图25的基础上可以一直纵向扩展，形成例如20个节点80卡、24个节点96卡等超大规模矩阵网络。理论上可以一直无限扩展下去，总hop数为节点数加一。通过优化节点间的互联方式，可以使得整个系统的延时最小，能够最大限度的满足系统在处理海量数据的同时对实时性的要求。
93.上面结合图16-图25对包括多个加速组件的加速装置进行了示例性的描述，本领域技术人员可以理解的是，上面的描述是示例性的而非限制性的，例如加速组件的数量、结构以及加速组件之间的连接关系等均可以根据需要进行调整。本领域技术人员还可以根据需要将上述多个实施例组合形成加速装置，也在本披露的保护范围内。
94.另外，需要说明的是，本披露中所述的加速卡矩阵、全连接方形网络(拓扑)、混合立体网络(拓扑)、矩阵网络(拓扑)等都是逻辑上的，具体的布设形式可以根据需要进行调整。
95.本披露所公开的拓扑结构还可以进行数据的规约运算。规约运算可以在每个加速卡，每个加速单元以及在加速装置中进行。具体的操作步骤可以如下。
96.以规约求和运算为例，在一个加速单元中进行的规约运算过程可以包括：将第一个加速卡中存储的数据传递到第二个加速卡中，并在第二个加速卡中对原先存储在第二个加速卡中的数据以及从第一个加速卡中接收的数据进行加法运算；接下来，再将在第二个加速卡中的加法运算结果传递到第三个加速卡中，再进行加法运算，以此类推，直到加速卡中存储的所有数据都进行了加法运算，并且每个加速卡均接收到了最终的运算结果。
97.以图4所示的加速单元为例，加速卡mc0中存储了数据(0,0)，加速卡mc1中存储了数据(1,2)，加速卡mc2中存储了数据(3,1)，以及加速卡mc3中存储了数据(2,4)。可以将加速卡mc0中的数据(0,0)传递到加速卡mc1中，进行了加法运算之后得到结果(1,2)；接下来，将结果(1,2)传递到加速卡mc2中，得到下一个结果(4,3)；然后，再将该下一个结果(4,3)传递到加速卡mc3中，得到最终的结果(6,7)。
98.此后，在本披露的规约运算中，继续将最终的结果(6,7)传递到每个加速卡mc0、mc1，mc2和mc3中，从而所有加速卡中均存储了数据(6,7)，从而在一个加速单元中完成了规约运算。
99.图4所述的加速单元，可以形成两个独立的环，每个环可以完成一半数据的规约运算，从而加快运算速度，提高运算效率。
100.另外，上述加速单元在进行规约运算时，也可以实现多个加速卡并发计算，从而加快运算速度。比如，加速卡mc0中存储了数据(0,0)，加速卡mc1中存储了数据(1,2)，加速卡mc2中存储了数据(3,1)，以及加速卡mc3中存储了数据(2,4)。可以将加速卡mc0中的部分数据(0)传递到加速卡mc1中，进行了加法运算之后得到结果(1)，同步将加速卡mc1中的一部分数据(2)传递到加速卡mc2，进行了加法运算之后得到结果(3)，从而实现了加速卡mc1和mc2的并发运算；以此类推，完成整个规约运算。
101.上述的并发计算还可以包括成组加速单元先进行加法运算，再把本组加速单元的运算结果与另一组加速单元的运算结果进行规约运算。例如，加速卡mc0中存储了数据(0,0)，加速卡mc1中存储了数据(1,2)，加速卡mc2中存储了数据(3,1)，以及加速卡mc3中存储了数据(2,4)，可以将加速卡mc0中的数据传递到加速卡mc1中进行运算以得到第一组结果(1,2)；同步或异步地，可以将加速卡mc2中的数据传递到加速卡mc3中进行运算以得到第二组结果(5,5)。接下来，再将第一组结果与第二组结果进行运算得到最终的规约结果(6,7)。
102.类似地，除了在一个加速单元中进行规约运算之外，也可以在加速组件或加速装置中进行规约运算。需要理解的是，加速装置也可以认为是首尾连接的加速组件。
103.当在加速组件或者加速装置中进行规约运算时，可以包括：将同一加速单元的加速卡中的数据进行第一规约运算以在每个加速单元中得到第一规约结果；将多个加速单元中的第一规约结果进行第二规约运算，以得到第二规约结果。
104.同样以规约求和运算为例，上述的第一个步骤已经在上文中进行了描述，对于包括多个加速单元的加速装置，可以首先在每个加速单元中进行局部的规约运算，当每个加速单元中的规约运算完成之后，同一个加速单元中的加速卡将获取到局部规约运算的结果，这里称为第一规约结果。
105.接下来，可以将所有加速单元中的第一规约结果在相邻的加速单元中进行传递并进行加法运算。由此，与在一个加速单元中进行规约运算类似，第一加速单元将第一规约结果传递到第二加速单元中，在第二加速单元的加速卡中分别进行了加法运算之后，再进行结果的传递和加法运算。在进行了最后一次加法运算之后，再将最终的结果传导到每一个加速单元中。
106.需要指出的时，由于上文中的加速组件并不一定首尾连接，因此在将最终结果传导到每一个加速单元的情况下，可以反向传导，而不是如加速单元首尾连接时那种循环传导。本披露的技术方案对于如何传导最终结果并不做具体限定。
107.更进一步地，根据本披露的一个实施方式，所述加速装置还可以配置为进行规约运算，包括：将同一加速单元的加速卡中的数据进行第一规约运算以得到第一规约结果；将同一加速组件的多个加速单元中的第一规约结果进行中间规约运算，以得到中间规约结果；将多个加速组件中的中间规约结果进行第二规约运算，以得到第二规约结果。
108.在该实施方式中，可以首先在同一个加速单元中进行规约运算，这已经在上文中进行了描述，这里将不再赘述。
109.接下来，可以在每个加速组件中进行规约运算，使得每个加速组件中每个加速卡获取到本加速组件中的局部规约结果；接下来，再以加速组件为单位，在多个加速组件中进
行规约运算，从而使得每个加速卡都获取到加速装置中的全局规约结果。
110.需要理解的是，上述的传递顺序仅仅是为了方便描述，而并不必然是这样的传递顺序。图26为本披露一个实施例中组合处理装置结构示意图，如图所示，该组合处理装置2600可以包括加速单元2601，具体可以为图1至图5示出的加速单元。另外，该组合处理装置还可以包括互联接口2602和其他处理装置2603。根据本披露的加速单元2601可以通过互联接口2602与其他处理装置2603进行交互，共同完成用户指定的操作。
111.根据本披露的方案，该其他处理装置可以包括例如微处理单元(mcu)、基板控制器(bmc)和中央处理器等中的一种或多种类型的处理器，其数目可以不做限制而是根据实际需要来确定。在一个或多个实施例中，该其他处理装置可以作为本披露的加速单元与外部数据和控制的接口，执行包括但不限于数据搬运，完成对本加速单元的开启、停止等的基本控制；其他处理装置也可以和加速单元协作共同完成运算任务。
112.可选的，该组合处理装置2600还可以包括存储装置2604，其可以分别与加速单元2601、互联接口2602和其他处理装置2603连接。在一个或多个实施例中，存储装置2604可以用于保存加速单元2601和他处理装置2603的数据，尤其那些在加速单元2601和他处理装置2603的内部或片上存储装置中无法全部保存的数据。
113.在一些应用场景中，本披露的组合处理装置2600可以用于例如大规模数据中心、超算中心、云计算中心等，能够构建高性能处理器集群，从而实现海量数据的实时处理。
114.在一些实施例里，本披露还公开了一种电路板，其可以包括上述加速单元。参阅图27，其提供了一种示例性电路板2700，上述电路板2700除了包括上述一个或多个加速单元2706(图示中以两个为例)以外，还可以包括其他的配套部件，该配套部件包括但不限于：存储器件2701、接口装置2707和控制器件2705。
115.所述存储器件2701可以与加速单元2706通过总线连接，用于存储数据。所述存储器件2701可以包括多组存储单元2702。每一组所述存储单元2702可以与加速单元2706通过总线连接。可以理解，每一组所述存储单元2702可以是ddr sdram(double data rate sdram，双倍速率同步动态随机存储器)、hbm(高宽带内存)等中的至少一种。
116.ddr不需要提高时钟频率就能加倍提高sdram的速度。ddr允许在时钟脉冲的上升沿和下降沿读出数据。ddr的速度是标准sdram的两倍。在一个实施例中，所述存储器件2701可以包括4组所述存储单元2702。每一组所述存储单元2702可以包括多个ddr4颗粒(芯片)。在一个实施例中，所述芯片内部可以包括4个72位ddr4控制器，上述72位ddr4控制器中64bit用于传输数据，8bit用于ecc校验。
117.在一个实施例中，每一组所述存储单元2702可以包括多个并联设置的双倍速率同步动态随机存储器。ddr在一个时钟周期内可以传输两次数据。在所述加速单元2706中设置控制ddr的控制器，用于对每个所述存储单元的数据传输与数据存储的控制。所述接口装置2707可以与加速单元2706连接。所述接口装置2707用于实现加速单元2706与外部设备2708(例如服务器或计算机)之间的数据传输。例如在一个实施例中，所述接口装置2707可以为标准pcie接口。比如，待处理的数据由服务器通过标准pcie接口传递至加速单元2706，实现数据转移。在另一个实施例中，所述接口装置2707还可以是其他的接口，本披露并不限制上述其他的接口的具体表现形式，所述接口装置能够实现转接功能即可。另外，加速单元2706的计算结果仍可以由所述接口装置2707传送回外部设备(例如服务器)。所述控制器件2705
可以与加速单元2706连接。所述控制器件2705可以用于对加速单元2706的状态进行监控。具体地，加速单元2706与所述控制器件2705可以通过spi接口电连接。所述控制器件2705可以包括单片机(micro controller unit，mcu)。
118.在一些实施例里，本披露还公开了一种电子设备或装置，其包括了上述加速单元。在一些实施例里，本披露还公开了又一种电子设备或装置，其包括了上述加速组件。在一些实施例里，本披露还公开了又一种电子设备或装置，其包括了上述加速装置。在一些实施例里，本披露还公开了又一种电子设备或装置，其包括了上述电路板。
119.根据不同的应用场景，电子设备或装置可以包括例如数据处理装置、数据中心、超算中心、云计算中心、服务器和云端服务器等。
120.在本披露的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。上述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
121.依据以下条款可更好地理解前述内容：
122.条款1.一种加速单元，包括m个本单元加速卡，每个本单元加速卡包括内接端口，每个本单元加速卡通过内接端口与其他的本单元加速卡相连接，其中，
123.m个本单元加速卡在逻辑上形成为l*n规模的加速卡矩阵，l和n为不小于2的整数。
124.条款2.根据条款1所述的加速单元，其中，所述m个本单元加速卡在逻辑上形成为2*2、3*3或4*4的加速卡矩阵。
125.条款3.根据条款1或2所述的加速单元，其中，每个本单元加速卡与其他至少一个本单元加速卡通过两条路径来连接。
126.条款4.根据条款1-3中任意一项所述的加速单元，其中，所述加速卡矩阵中处于四个角的对角本单元加速卡之间通过两条路径来连接。
127.条款5.根据条款1-4中任意一项所述的加速单元，其中，所述m个本单元加速卡中的至少一个包括外接端口。
128.条款6.根据条款1-5中任意一项所述的加速单元，其中，在加速单元中包括四个本单元加速卡时，每个本单元加速卡包括六个端口，并且其中每个本单元加速卡的四个端口为内接端口，用于与其他三个本单元加速卡连接；至少一个本单元加速卡的其余两个端口为外接端口，用于与外单元加速卡连接。
129.条款7.根据条款1-6中任意一项所述的加速单元，其中，所述内接端口和外接端口为serdes端口。
130.条款8.根据条款1-7中任意一项所述的加速单元，其中，所述加速单元配置为将所述加速单元的加速卡中的数据进行规约运算以得到规约结果。
131.条款9.根据条款4所述的加速单元，其中，所述加速卡矩阵包括两个独立的环，每个环分别完成一部分运算。
132.条款10.一种电子设备，包括如条款1-9中任意一项所述的加速单元。
133.应当理解，本披露的权利要求、说明书及附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。本披露的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，
但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
134.还应当理解，在此本披露说明书中所使用的术语仅仅是出于描述特定实施例的目的，而并不意在限定本披露。如在本披露说明书和权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本披露说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
135.以上对本披露实施例进行了详细介绍，本文中应用了具体个例对本披露的原理及实施方式进行了阐述，以上实施例的说明仅用于帮助理解本披露的方法及其核心思想。同时，本领域技术人员依据本披露的思想，基于本披露的具体实施方式及应用范围上做出的改变或变形之处，都属于本披露保护的范围。综上所述，本说明书内容不应理解为对本披露的限制。