嵌入式三维DRAM权重存储架构、神经网络处理单元的制作方法

摘要: 本发明属于人工智能加速器与高密度存储集成,具体涉及嵌入式三维dram权重存储架构,还涉及神经网络处理单元。背景技术:1、大模型推理对权重存储容量与带宽提出极高要...
嵌入式三维DRAM权重存储架构、神经网络处理单元的制作方法

本发明属于人工智能加速器与高密度存储集成,具体涉及嵌入式三维dram权重存储架构,还涉及神经网络处理单元。

背景技术:

1、大模型推理对权重存储容量与带宽提出极高要求。以1750亿参数的模型为例,仅计算权重数据本身,采用半精度浮点格式(fp16)约需350gb,采用8位整型格式(int8)约需175gb,采用4位整型格式(int4)约需87.5gb,尚未计入量化参数、对齐和缓存等额外开销。如此规模的权重存储无法完全集成于片上静态随机存取存储器(sram);而通过传统双倍数据速率同步动态随机存取存储器(ddr)/高带宽存储器(hbm)接口外置存储可能受到接口带宽和数据传输功耗的限制。

2、现有方案主要包括:

3、(1)hbm集成方案:通过硅中介层将hbm裸片与计算芯片相邻放置,容量和总带宽受存储堆叠数量、封装面积及接口配置等因素制约;(2)图形双倍数据速率存储器(gddr)/低功耗双倍数据速率存储器(lpddr)方案:通过印刷电路板(pcb)焊接片外dram,可用带宽受通道数量、接口速率及板级互连等因素制约;(3)sram大容量方案:纯片上sram,带宽极高但每比特成本过高。

4、上述方案在大模型推理场景下普遍存在容量、带宽与能效三者难以兼顾的问题。同时,面向通用访存的方案仍需加强专门针对神经网络权重特性(如分块读取、按层切换、稀疏访问)的物理存储与地址映射优化。随着三维集成技术的成熟,将多层dram裸片直接堆叠在npu芯片之上、并通过硅通孔(tsv)或混合键合形成专用接口,已成为兼顾大容量与高带宽的可行路径。本发明在此背景下针对神经网络权重存储的特性提出一种专用的三维dram集成方案与对应的地址映射、预取策略。

技术实现思路

1、本发明的第一目的在于提供嵌入式三维dram权重存储架构,解决了现有技术中大模型推理场景下容量、带宽与能效三者难以兼顾的技术问题。

2、本发明的第二目的在于提供神经网络处理单元,用于在单一封装内实现大容量、高带宽、低功耗的本地化权重存储与访问。

3、本发明所采用的第一种技术方案是,嵌入式三维dram权重存储架构,包括:

4、npu裸片;

5、若干层三维dram裸片,通过硅通孔或晶圆级混合键合方式堆叠于npu裸片之上,被配置为通过专用权重接口和权重地址映射单元,存储并按层级、通道分块方式提供神经网络权重数据;

6、专用权重接口,连接npu裸片与三维dram,该接口为采用512比特或1024比特位宽的专用同步并行接口;

7、三维dram裸片按堆叠层组织,每层包括17个dram存储体,在n层堆叠配置下形成n×17个dram存储体,n为4至16,每个dram存储体支持独立的读写命令;权重地址映射单元,配置为根据权重张量在神经网络层中的位置生成三维dram物理地址;

8、权重预取控制器,用于在npu执行当前层运算的同时,预取下一层的权重。

9、本发明第一种技术方案的特点还在于:

10、三维dram裸片为4至16层堆叠,单层容量为7gb。

11、权重地址映射单元将神经网络权重按照层、输出通道分块、输入通道分块、块内地址的四级层次映射到三维dram物理地址,使得同一权重分块内、同一输出通道对应的权重在物理上连续存储。

12、权重预取控制器配置为:当npu执行第k层运算时,自动从三维dram预取第k+1层的权重到片上l2buffer的预取分区,以使已完成预取的权重能够在第k层运算结束后供第k+1层使用。

13、权重预取控制器采用动态调度策略:当l2buffer可供预取使用的剩余空间能够容纳第k+1层全部权重时,按完整层预取第k+1层权重;否则,在可用空间内按子层分块预取第k+1层权重。

14、还包括k-cache/v-cache分离存储电路;k-cache区与v-cache区的物理地址互相独立。

15、k-cache/v-cache分离存储电路采用以下分块策略:k-cache区采用k方向128、c方向128的分块;v-cache区在bf16格式下采用k方向64、c方向128的分块;在int8/fp8格式下采用k方向128、c方向128的分块。

16、本发明所采用的第二种技术方案是,神经网络处理单元,包括嵌入式三维dram权重存储架构以及设置于npu裸片上的pe阵列,pe阵列用于获取三维dram中的权重数据并执行神经网络计算。

17、与现有技术相比,本发明的有益效果是:

18、本发明通过将多层三维dram裸片以硅通孔或晶圆级混合键合方式堆叠于npu裸片之上,在单一封装内集成数十gb乃至百gb量级的权重存储;在待驻留权重能够容纳于所配置存储容量的情况下,可减少对封装外部权重存储的依赖。专用同步并行接口及较短的垂直互连路径有利于提高权重传输带宽并降低数据搬运能耗。通过将神经网络权重按层、输出通道分块、输入通道分块、块内地址的四级层次映射到三维dram物理地址,以及层间权重预取控制器的流水线化预取策略,对神经网络按层访问、层内顺序、层间切换的访问模式进行优化,使权重读取与计算重叠,减少计算等待。通过k-cache与v-cache分离存储电路,使大语言模型自回归推理中的键值缓存(kv-cache)访问能够独立优化,降低两类访问之间的bank冲突。

1.嵌入式三维dram权重存储架构,其特征在于,包括:

2.根据权利要求1所述的嵌入式三维dram权重存储架构,其特征在于,所述三维dram裸片为4至16层堆叠,单层容量为7gb。

3.根据权利要求1所述的嵌入式三维dram权重存储架构,其特征在于,所述权重地址映射单元将神经网络权重按照层、输出通道分块、输入通道分块、块内地址的四级层次映射到三维dram物理地址,使得同一权重分块内、同一输出通道对应的权重在物理上连续存储。

4.根据权利要求1所述的嵌入式三维dram权重存储架构,其特征在于,所述权重预取控制器配置为:当npu执行第k层运算时,自动从三维dram预取第k+1层的权重到片上l2buffer的预取分区,以使已完成预取的权重能够在第k层运算结束后供第k+1层使用。

5.根据权利要求4所述的嵌入式三维dram权重存储架构,其特征在于,所述权重预取控制器采用动态调度策略:当所述l2buffer可供预取使用的剩余空间能够容纳第k+1层全部权重时,按完整层预取第k+1层权重;否则,在可用空间内按子层分块预取第k+1层权重。

6.根据权利要求1所述的嵌入式三维dram权重存储架构,其特征在于,还包括k-cache/v-cache分离存储电路;k-cache区与v-cache区的物理地址互相独立。

7.根据权利要求6所述的嵌入式三维dram权重存储架构,其特征在于,所述k-cache/v-cache分离存储电路采用以下分块策略:k-cache区采用k方向128、c方向128的分块;v-cache区在bf16格式下采用k方向64、c方向128的分块;在int8/fp8格式下采用k方向128、c方向128的分块。

8.神经网络处理单元,其特征在于,包括如权利要求1至7中任一项所述的嵌入式三维dram权重存储架构以及设置于所述npu裸片上的pe阵列,所述pe阵列用于获取所述三维dram中的权重数据并执行神经网络计算。