处理单元互联方法、系统、板卡及电子设备与流程

本技术涉及可重构计算架构，具体涉及一种处理单元互联方法、系统、板卡及电子设备。

背景技术：

1、粗粒度可重构架构（coarse-grained reconfigurable architecture, cgra）是一种以处理单元（processing element, pe）阵列为计算核心的能效型ai加速方案，其通过将多个pe按一定拓扑结构互联，形成可重构的计算阵列。pe阵列的互联拓扑直接影响数据流效率、阵列利用率和芯片能效，是cgra设计的核心问题之一。

2、目前，cgra中主流的pe阵列互联方案主要包括以下几种：

3、（一）纯mesh（二维网格）拓扑。

4、在该拓扑中，每个pe仅与上下左右四个相邻pe直连，远距离通信需经多个中间pe逐跳转发。典型代表为东北大学的cool mega array以及部分商用cgra方案。当阵列规模为n×n时，任意两个pe之间的最远通信距离为2n跳，通信延迟随阵列规模线性增长。

5、（二）纯crossbar拓扑。

6、在该拓扑中，所有pe通过全局交叉开关直接互联，任意两个pe之间可实现零跳直接通信。代表方案为sambanova systems的sn系列可重构处理器。然而，crossbar的布线复杂度为o(n2)，当pe数量增加时，芯片面积和功耗急剧上升，在pe数量超过64时面积开销已不可持续。

7、（三）分层mesh拓扑。

8、该方案将pe分组，组内采用全互联、组间采用mesh互联。该方法在一定程度上缓解了纯mesh的远距离通信延迟问题，但组间通信仍需多跳转发，且缺乏对稀疏数据流计算模式的专门适配。

9、此外，现有技术中还存在基于分段行-列总线（segmented row-column, src）的互联方案，该方案将行总线和列总线分段，以降低总线竞争和功耗。然而，现有src方案仅用于规则通信模式下的数据传输，未涉及对数据流稀疏性的感知和利用，在稀疏场景下零值数据仍与有效数据同等占用通信资源。

10、随着人工智能技术的快速发展，以transformer架构为代表的现代ai大模型的计算模式呈现出显著的稀疏性特征：（1）attention矩阵在长序列计算中趋于稀疏；（2）激活值经relu、gelu等激活函数后大量元素接近零值；（3）混合专家（moe）模型中门控路由仅激活部分专家网络。在此类稀疏计算场景下，现有cgra互联方案存在以下问题和缺点：

11、第一，远距离pe间通信延迟高。在纯mesh拓扑中，n×n阵列的最远通信需2n跳，以16×16阵列为基准，最远通信延迟达32个周期，导致端到端计算延迟增大，pe利用率降低至40%~55%。

12、第二，稀疏数据流中零值数据无效占用通信资源。在稀疏度60%~80%的注意力矩阵中，有效数据仅占通信带宽的20%~40%，零值数据与传统有效数据同等占用通信带宽和路由资源，导致有效吞吐率大幅下降，芯片能效比（tops/w）降低。

13、第三，路由路径缺乏动态稀疏感知能力。现有互联方案采用静态路由路径，无法根据数据流的稀疏性动态调整通信策略，长距离通信中大量跳转周期被浪费在传输零值或低贡献数据上，且缺乏对数据流稀疏度的运行时感知和反馈机制。

14、第四，纯crossbar面积开销不可扩展。当pe数量达到64时，crossbar面积已占芯片总面积30%以上，严重限制了阵列规模，难以扩展至256 pe以上的大规模计算阵列。

15、综上所述，现有cgra互联技术在远距离通信延迟、稀疏数据流处理效率以及面积可扩展性方面均存在明显不足，亟需一种能够在面积可控条件下同时实现低延迟通信和稀疏感知优化的新型互联方案。

技术实现思路

1、为了解决现有技术中存在的上述问题的至少之一，本技术实施例提供一种处理单元互联方法、系统、板卡及电子设备。

2、根据本技术的第一方面，提供了一种处理单元互联系统，包括：多个处理单元簇，每个所述处理单元簇包括多个处理单元和一个局部全互联网络，所述局部全互联网络用于实现该簇内任意两个处理单元之间的直接通信；分段行-列路由网络，耦接于所述多个处理单元簇之间，用于实现不同处理单元簇之间的簇间通信；稀疏感知控制器，与所述分段行-列路由网络耦接，所述稀疏感知控制器被配置为：在配置阶段，根据当前计算层的数据依赖图生成稀疏度矩阵；根据所述稀疏度矩阵和预设的稀疏阈值为存在簇间通信的源处理单元簇与目标处理单元簇预选路由路径并生成路径预选表；以及，对于所述稀疏度矩阵中低于所述稀疏阈值的通信，在所述路径预选表中写入稀疏跳过标志；零值压缩引擎，用于基于所述路径预选表中的所述稀疏跳过标志，将从所述源处理单元簇发出的连续零值令牌合并为携带有零值令牌计数值的零值压缩包，并将所述零值压缩包经由所述分段行-列路由网络发送至所述目标处理单元簇。

3、在本技术的一些实施例中，上述分段行-列路由网络包括多条分段行总线和多条分段列总线，每条所述分段行总线连接位于同一行的多个处理单元簇，每条所述分段列总线连接位于同一列的多个处理单元簇。

4、在本技术的一些实施例中，上述分段行-列路由网络还用于在运行阶段根据所述路径预选表在各处理单元簇之间传输数据令牌及所述零值压缩包。

5、在本技术的一些实施例中，上述系统还包括与所述目标处理单元簇对应的路由器接口单元，所述路由器接口单元用于根据所述零值压缩包恢复零值令牌。

6、在本技术的一些实施例中，上述稀疏感知控制器生成所述稀疏度矩阵包括：对所述数据依赖图中的每条边，将预计传输的令牌数量与零值掩码进行对比，得到从每个源处理单元簇到每个目标处理单元簇的数据流稀疏度，所述数据流稀疏度为对应通信中有效令牌数与总令牌数的比值； 将各源处理单元簇到各目标处理单元簇的数据流稀疏度按源-目标簇索引填入矩阵，得到所述稀疏度矩阵。

7、在本技术的一些实施例中，上述稀疏感知控制器预选路由路径包括：当源处理单元簇与目标处理单元簇位于同一行时，选择行段总线作为路由路径；当源处理单元簇与目标处理单元簇位于同一列时，选择列段总线作为路由路径；当源处理单元簇与目标处理单元簇既不同行也不同列时，依次选择行段总线和列段总线作为路由路径。

8、在本技术的一些实施例中，上述稀疏感知控制器包括路径预选器，所述路径预选器用于为共享同一段总线的多个处理单元簇之间的通信分配时隙，所述路径预选表记录每个通信对应的时隙索引，各处理单元簇按照所述时隙索引在对应的时隙发起通信。

9、在本技术的一些实施例中，上述零值压缩引擎将连续零值令牌合并为零值压缩包，包括：在所述连续零值令牌的数量达到预设跳跃步长时，将所述预设跳跃步长个零值令牌合并为一个所述零值压缩包。

10、在本技术的一些实施例中，上述零值令牌为有效标志位为无效或数据负载全零的数据令牌。

11、在本技术的一些实施例中，上述零值压缩包还包括类型标识字段，所述类型标识字段用于区分数据令牌、零值压缩包和配置包。

12、根据本技术的第二方面，还提供了一种处理单元互联方法，包括：获取当前计算层的数据依赖图，根据所述数据依赖图生成稀疏度矩阵，所述稀疏度矩阵的每个元素表示从源处理单元簇到目标处理单元簇的数据流稀疏度；根据所述稀疏度矩阵和预设的稀疏阈值，为存在簇间通信的源处理单元簇与目标处理单元簇预选路由路径并生成路径预选表；对于所述稀疏度矩阵中低于所述稀疏阈值的通信，在所述路径预选表中写入稀疏跳过标志；基于所述路径预选表中的所述稀疏跳过标志，将从所述源处理单元簇发出的连续零值令牌合并为携带有零值令牌计数值的零值压缩包，并将所述零值压缩包经由分段行-列路由网络发送至所述目标处理单元簇。

13、根据本技术的第三方面，还提供了一种板卡，其包括如上所述的处理单元互联系统。

14、根据本技术的第四方面，还提供了一种电子设备，其包括如上所述的板卡。

15、本技术实施例提出的处理单元互联方法、系统、板卡及电子设备，通过设置多个处理单元簇及其内部的局部全互联网络，结合耦接于各处理单元簇之间的分段行-列路由网络，构成“簇内全互联+簇间分段路由”的两级通信架构。簇内通信通过局部全互联网络实现任意两个处理单元之间的直接通信，簇间通信通过分段行-列路由网络实现，将原有mesh拓扑中与阵列规模相关的多跳长距通信（o(n)跳）压缩为与阵列规模无关的固定段数（最长2段），从而显著降低了远距离pe间通信延迟，提升了pe利用率。同时，本技术通过稀疏感知控制器在配置阶段根据数据依赖图生成稀疏度矩阵，据此预选路由路径并写入稀疏跳过标志，将稀疏感知决策提前至配置阶段完成，消除了运行时逐包路由决策的开销，并通过零值压缩引擎在运行阶段基于稀疏跳过标志将连续零值令牌合并为仅携带计数值的轻量级压缩包发送至目标处理单元簇，使得稀疏数据流中原本占用等量通信带宽的零值数据不再逐段占用总线时隙，从而大幅提升了稀疏数据场景下的有效带宽利用率和芯片能效比，克服了现有技术中稀疏数据零值无效占用通信资源以及路由路径缺乏动态稀疏感知能力的技术缺陷。此外，相比于纯crossbar拓扑，本技术的分段行-列路由网络采用分段总线结构，布线复杂度远低于全局交叉开关，面积开销可控，可以支持更大规模的pe阵列扩展。