一种集成可重构长尾算子单元的张量处理芯片及其编译映射方法

摘要: 本发明属于神经网络硬件加速器,具体涉及一种张量处理芯片(tpu)及其编译映射方法,尤其涉及一种在张量处理芯片内集成可重构长尾算子单元、并使张量计算结果以片上直连...
一种集成可重构长尾算子单元的张量处理芯片及其编译映射方法

本发明属于神经网络硬件加速器,具体涉及一种张量处理芯片(tpu)及其编译映射方法,尤其涉及一种在张量处理芯片内集成可重构长尾算子单元、并使张量计算结果以片上直连方式流入该单元处理的芯片结构与配套编译调度方法。

背景技术:

1、神经网络加速器(张量处理芯片/tpu)通常以脉动阵列(systolicarray)作为核心,对稠密矩阵乘(gemm)与卷积(conv)具有极高吞吐。然而,真实网络(尤其是transformer/大语言模型)中除稠密张量算子外,还包含大量长尾算子:特殊函数(指数、三角函数、gelu、倒数/平方根等)、逐元素运算(取负、缩放、加偏置等)、以及含数据依赖的选择/掩码类运算。

2、现有张量处理芯片处理长尾算子存在如下不足:

3、固定功能单元表达力不足:现有tpu通常配置固定的特殊功能单元(sfu),其支持的函数种类与逐元素模式受限,遇到sfu未覆盖的算子只能回退到主机(host)或以多条基础指令低效拼凑,造成流水线停顿。开源编译框架(如tpu-mlir)虽提供从模型到张量后端的量化与代码生成,但其目标硬件的长尾算子能力受限于固定sfu;数据往返开销大:张量核完成 gemm/conv 后,其输出常需写回片外存储(dram),再由长尾算子读取处理,产生大量片外访存与延迟;对"gemm→激活/归一化"这类紧邻算子链,往返开销尤为显著;灵活性与效率难以兼得:粗粒度可重构阵列(cgra,如开源 cgra-flow 及其 mlir-cgra/neura 表示)灵活但独立于张量核存在,二者缺乏片上直连融合与统一调度,无法在一颗芯片内高效协同。

4、因此,需要一种在张量处理芯片内以片上直连、可重构、可时分复用方式高效处理长尾算子的芯片结构与配套编译方法。

技术实现思路

1、(一)解决的技术问题

2、针对现有技术中的不足,本发明提供一种集成可重构长尾算子单元的张量处理芯片及其编译映射方法,使张量核输出以片上直连方式流入可重构长尾算子单元处理,避免片外往返;以可重构、时分复用的方式覆盖多种长尾算子,消除固定sfu的表达力瓶颈;并通过配套编译调度实现算子在张量核与长尾单元间的自动分派与协同。

3、(二)技术方案

4、为实现上述目的,本发明提供如下技术方案:

5、本发明提供了一种集成可重构长尾算子单元的张量处理芯片,包括:

6、张量计算核心,包括由处理单元构成的脉动阵列,用于执行稠密张量算子;

7、可重构长尾算子单元,包括可重构处理单元网格与可配置片上互连,通过加载配置切换数据通路以执行特殊函数类、逐元素类或含数据依赖选择类的长尾算子,且同一物理单元经重配置在不同时间执行不同长尾算子;

8、片上直连数据通路,连接所述张量计算核心的输出与所述可重构长尾算子单元的输入,使张量计算核心的输出无需写回片外存储即以流式方式进入所述可重构长尾算子单元;

9、分派与调度控制器,用于依据算子类别将算子分派至所述张量计算核心或所述可重构长尾算子单元,并控制所述片上直连数据通路的流式传输与所述可重构长尾算子单元的重配置时序。

10、作为优选方案,所述张量处理芯片还包括量化转换单元,设于所述张量计算核心与所述可重构长尾算子单元的数据交界处,依据量化缩放因子与位宽在两者之间进行定点位宽对齐与数据格式转换。

11、作为优选方案,所述片上直连数据通路包含流式缓冲,所述张量计算核心逐块产生输出并经片上直连数据通路即时流入可重构长尾算子单元,使所述张量计算核心与所述可重构长尾算子单元对紧邻算子链以流水方式重叠执行。

12、作为优选方案,所述可重构长尾算子单元被配置为在片上完成归一化类算子的在线归约,所述归一化类算子包括softmax与层归一化中的至少之一。

13、作为优选方案,当待处理长尾算子所需处理单元资源超过所述可重构长尾算子单元的可用资源时,所述分派与调度控制器将部分长尾算子顺延至后续时间步执行,以实现处理单元资源的时分复用。

14、作为优选方案,所述可重构长尾算子单元中,算子占用的处理单元规模依据利润评分自适应确定,评分大于第一阈值时占用2×2处理单元,大于第二阈值且不大于第一阈值时占用2×1处理单元,否则占用1×1处理单元;所述利润评分由规模项、并行度项、访存效率项、访存规则度项与片上网络开销项相乘得到。

15、另一方面,本发明还提出了一种集成可重构长尾算子单元的张量处理芯片的编译映射方法,包括:

16、将量化后的神经网络转换为统一中间表示并标注算子类别;

17、为算子提取包括向量化率、算术强度、循环嵌套深度、缓冲需求、访存规则度、平均扇出中至少之一的静态特征;

18、将稠密张量类算子分派至所述张量计算核心,将长尾算子分派至所述可重构长尾算子单元,并将与张量算子构成紧邻算子链的长尾算子标注为经所述片上直连数据通路承接张量核输出;

19、在所述交界处配置量化转换,并生成所述张量计算核心的指令、所述可重构长尾算子单元的配置、所述片上直连数据通路的流式控制信号及两者的协同执行时序。

20、作为优选方案,对分派至所述可重构长尾算子单元的算子计算利润评分并据评分决定其占用处理单元规模;所述利润评分的访存效率项为算术强度与阈值之差经sigmoid函数变换得到,片上网络开销项随平均扇出增大而减小。

21、作为优选方案,当某时间步内所述可重构长尾算子单元的可用处理单元不足以容纳全部就绪算子时,按算子评分降序贪心装入当前时间步,未装入的算子顺延至后续时间步并在时间步完成后更新算子依赖,直至全部算子被分配;在每个时间步内以二维首次适应算法分配位置,并以带拥塞反馈的协商式布线消解互连冲突。

22、进一步地,还提出了一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现一种集成可重构长尾算子单元的张量处理芯片的编译映射方法。

23、(三)有益效果

24、与现有技术相比,本发明提供了一种集成可重构长尾算子单元的张量处理芯片及其编译映射方法,具备以下有益效果:

25、一、本发明能够消除固定特殊功能单元瓶颈,可重构单元经重配置覆盖多种长尾算子,避免主机回退或低效拼凑;本发明消除片外往返,片上直连数据通路使张量到长尾算子链在片上流水完成,显著降低访存与时延;本发明资源高效,时分复用使有限tile承载远超其规模的长尾算子集合;本发明协同精确,交界处量化转换保障异构协同下的数值一致;本发明软硬协同,配套编译方法自动完成分派、评分、调度与布线,无需人工切分。‌

1.一种集成可重构长尾算子单元的张量处理芯片,其特征在于,包括:

2.根据权利要求1所述的一种集成可重构长尾算子单元的张量处理芯片,其特征在于,所述张量处理芯片还包括量化转换单元,设于所述张量计算核心与所述可重构长尾算子单元的数据交界处,依据量化缩放因子与位宽在两者之间进行定点位宽对齐与数据格式转换。

3.根据权利要求1所述的一种集成可重构长尾算子单元的张量处理芯片,其特征在于,所述片上直连数据通路包含流式缓冲,所述张量计算核心逐块产生输出并经片上直连数据通路即时流入可重构长尾算子单元,使所述张量计算核心与所述可重构长尾算子单元对紧邻算子链以流水方式重叠执行。

4.根据权利要求1所述的一种集成可重构长尾算子单元的张量处理芯片,其特征在于,所述可重构长尾算子单元被配置为在片上完成归一化类算子的在线归约,所述归一化类算子包括softmax与层归一化中的至少之一。

5.根据权利要求1所述的一种集成可重构长尾算子单元的张量处理芯片,其特征在于,当待处理长尾算子所需处理单元资源超过所述可重构长尾算子单元的可用资源时,所述分派与调度控制器将部分长尾算子顺延至后续时间步执行,以实现处理单元资源的时分复用。

6.根据权利要求1所述的一种集成可重构长尾算子单元的张量处理芯片,其特征在于,所述可重构长尾算子单元中,算子占用的处理单元规模依据利润评分自适应确定,评分大于第一阈值时占用2×2处理单元,大于第二阈值且不大于第一阈值时占用2×1处理单元,否则占用1×1处理单元;所述利润评分由规模项、并行度项、访存效率项、访存规则度项与片上网络开销项相乘得到。

7.一种用于权利要求1至6中任一项所述张量处理芯片的编译映射方法,其特征在于,包括:

8.根据权利要求7所述的一种集成可重构长尾算子单元的张量处理芯片的编译映射方法,其特征在于,对分派至所述可重构长尾算子单元的算子计算利润评分并据评分决定其占用处理单元规模;所述利润评分的访存效率项为算术强度与阈值之差经sigmoid函数变换得到,片上网络开销项随平均扇出增大而减小。

9.根据权利要求7所述的一种集成可重构长尾算子单元的张量处理芯片的编译映射方法,其特征在于,当某时间步内所述可重构长尾算子单元的可用处理单元不足以容纳全部就绪算子时,按算子评分降序贪心装入当前时间步,未装入的算子顺延至后续时间步并在时间步完成后更新算子依赖,直至全部算子被分配;在每个时间步内以二维首次适应算法分配位置,并以带拥塞反馈的协商式布线消解互连冲突。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求7至9中任一项所述的编译映射方法。