一种POSIT数据格式的存内乘累加装置、方法及电子设备

摘要: 本技术涉及存内计算,特别涉及一种posit数据格式的存内乘累加装置、方法及电子设备。背景技术:1、存内乘累加装置主要用于神经网络加速与高效能硬件计算领域,在人工...
一种POSIT数据格式的存内乘累加装置、方法及电子设备

本技术涉及存内计算,特别涉及一种posit数据格式的存内乘累加装置、方法及电子设备。

背景技术:

1、存内乘累加装置主要用于神经网络加速与高效能硬件计算领域,在人工智能底层芯片中,主要用作突破传统冯·诺依曼架构下的存储墙限制,通过将数据计算任务直接在存储单元中完成,实现神经网络模型中海量参数的高能效与低延迟运算处理。

2、在现有技术中,采用数字存内计算阵列来实现神经网络的矩阵向量乘加运算。随着复杂算法对数值精度和动态范围要求的提升,具有可调精度特征的posit数据格式被应用于硬件加速电路中。传统的posit存内计算硬件方案在执行乘累加操作时,通过前端解码电路逐位扫描输入的posit数据序列,解析出符号位、可变长度字段、指数位和尾数位,随后将提取出的宽位宽尾数数据送入数字乘法器进行相乘运算,相乘后的中间结果汇入加法树结构完成多路累加,最后通过编码逻辑对累加结果执行重新规格化处理,并将其转换为标准posit格式输出。

3、然而,上述现有技术存在以下不足之处:

4、首先,由于posit格式中可变长度字段的长度呈动态变化,导致常规解码电路在进行位段拆分时,须针对该字段进行顺序扫描和判断,引发显著的时序延迟与逻辑门面积开销。

5、其次,为保证高精度特性,posit数据的尾数位通常占据较长位宽,若利用常规数字乘法器执行长位宽的尾数相乘操作,会造成乘法器硬件面积与运算能耗的剧增。

6、再者,在单次乘法运算中,常规计算方式需要将可变长度字段解码后使用加法器计算再重新编码,仅该字段的单次运算就需要配置多个解码器、加法器和编码器,带来了大量的功率和面积消耗。

7、最后,在神经网络密集的连续乘累加计算流程中,传统方案要求对各级中间计算结果进行反复的格式解码与编码转换,这种频繁的数据重构过程不仅产生了严重的计算冗余,还造成后级加法树的吞吐能力与前级存内乘法阵列的吞吐率产生严重不匹配,大幅降低了整体系统的有效算力并显著增加了运算延迟。

8、本技术旨在解决posit格式中可变长度字段拆分困难及长尾数乘法硬件开销大的问题,同时还解决密集的乘累加过程中因反复编解码导致的计算延迟高与加法树吞吐不匹配的问题。

技术实现思路

1、本技术的主要目的是提供一种posit数据格式的存内乘累加装置、方法及电子设备,旨在解决posit格式中可变长度字段拆分困难及长尾数乘法硬件开销大的问题,同时还解决密集的乘累加过程中因反复编解码导致的计算延迟高与加法树吞吐不匹配的问题。

2、为了实现上述目的,本技术提出一种posit数据格式的存内乘累加装置,包括:

3、拆分模块,接收连续输入的多个posit数据和本地存储的权重数据,将所述输入的posit数据和所述权重数据分别拆分为符号位、可变长度字段、指数位和尾数位,并输出两者的所述可变长度字段的绝对值比较信号和符号比较信号;

4、存算阵列模块,与所述拆分模块连接,存储有所述权重数据的尾数位;其配置为接收所述输入的posit数据的尾数位进行乘法计算,以输出尾数乘积结果;

5、外围计算模块,与所述拆分模块连接,其根据所述绝对值比较信号和所述符号比较信号,对所述posit数据和所述权重数据的所述可变长度字段执行移位计算,并将两者的所述指数位进行加法计算,结合生成总指数;

6、加法树模块,分别与所述存算阵列模块和所述外围计算模块连接,基于所述总指数对多个所述尾数乘积结果进行同一指数域下的移位对阶与累加运算,输出累加中间结果;

7、编码器模块,与所述加法树模块连接,用以将所述累加中间结果重构为posit数据格式并输出。

8、优选地,所述拆分模块包括:

9、异或门阵列,配置为对所述输入的posit数据和所述权重数据的所述可变长度字段执行逻辑异或运算,以输出所述绝对值比较信号和所述符号比较信号;

10、前导位检测器,与所述异或门阵列的输出端连接,配置为基于所述绝对值比较信号,解析提取两个所述可变长度字段中的至少一者的位宽信息。

11、优选地,所述绝对值比较信号用于指示第一目标可变长度字段与第二目标可变长度字段;所述第一目标可变长度字段的前导连续比特数少于所述第二目标可变长度字段的前导连续比特数;

12、所述外围计算模块包括逻辑移位器,所述逻辑移位器与所述前导位检测器连接;

13、其中,所述逻辑移位器以所述第一目标可变长度字段对应的位宽信息为移位位数;并在所述符号比较信号为同号状态时,对所述第二目标可变长度字段执行向右移位并以最高位补位;在所述符号比较信号为异号状态时,对所述第二目标可变长度字段执行向左移位并在低位补零,以获取可变长度字段的移位结果。

14、优选地,所述存算阵列模块包括字线以及多个呈阵列排布的存算单元;

15、所述posit数据的尾数位作为位切片电压信号输入至所述字线;

16、所述权重数据的尾数位以预设电导状态固化于所述存算单元内;

17、所述位切片电压信号与对应所述预设电导状态耦合,生成对应的支路电流,并将各所述支路电流分别转换为独立的数字逻辑信号,以并行构成所述尾数乘积结果。

18、优选地,所述存算阵列模块还包括位线,每个所述存算单元包括阻变存储器、开关晶体管、采样晶体管以及输出缓冲器;

19、所述阻变存储器的顶电极与所述位线连接;

20、所述开关晶体管的控制端与所述字线连接,其第一端与所述阻变存储器的底电极连接,第二端与所述采样晶体管的第一端连接;

21、所述采样晶体管的第二端接地,控制端连接有一使能端口;

22、所述输出缓冲器的输入端接入所述开关晶体管和所述采样晶体管的公共连接点,其输出端与所述加法树模块连接;

23、其中,所述采样晶体管在计算模式下导通,以作为所述支路电流转换为电压信号的采样电阻;并在权重更新模式下关断,以切断所述阻变存储器与地电位的连接;

24、所述输出缓冲器用于将所述公共连接点的电压信号转化为数字逻辑信号,所述数字逻辑信号作为所述尾数乘积结果输出至所述加法树模块。

25、优选地,所述外围计算模块还包括加法器,所述加法器的输入端接收两者的所述指数位并输出指数加和;

26、所述外围计算模块配置为将可变长度字段的移位结果与所述指数加和进行合成以生成所述总指数,且所述加法树模块在累加阶段以所述总指数作为对阶基准。

27、优选地,所述加法树模块包括多个并行设置的数字移位加法通道以及连接于各所述数字移位加法通道输出端的流水线合并电路;

28、多个所述数字移位加法通道并行接收所述存算阵列模块输出的多个所述尾数乘积结果;

29、所述流水线合并电路在预设时序下,合并各所述数字移位加法通道的输出数据,以产生所述累加中间结果。

30、优选地,每个所述数字移位加法通道内均配置有移位对齐器和双符号位补码转换器;

31、所述移位对齐器的控制端接收所述总指数,并以所述总指数作为对阶指令,仅对补码化后的所述尾数乘积结果的低符号位执行移位操作;

32、所述双符号位补码转换器与所述移位对齐器连接,用于将向低位方向移出的尾数比特锁存为精度保护位。

33、本技术公开了一种posit数据格式的存内乘累加方法,包括以下步骤:

34、获取序列输入的posit数据和本地存储的权重数据,将各所述输入的posit数据和所述权重数据分别拆分为符号位、可变长度字段、指数位和尾数位,并进行比对运算以获取两者的所述可变长度字段的绝对值比较信号和符号比较信号;

35、将所述posit数据的尾数位作为位切片电压信号,输入至预先以电导状态固化有所述权重数据的尾数位的存算阵列模块中,基于所述位切片电压信号与所述预设电导状态的耦合生成支路电流,并将所述支路电流转换为数字逻辑信号,以获取多个尾数乘积结果;

36、根据所述绝对值比较信号和所述符号比较信号,对所述posit数据和所述权重数据的所述可变长度字段执行移位计算;同时将两者的所述指数位进行加法计算,并将所述移位计算的结果与所述加法计算的结果合成为总指数;

37、以所述总指数作为统一对阶基准,对存算阵列模块输出的多个尾数乘积结果执行移位对齐,并进行流水线补码累加运算,获取累加中间结果;

38、在所有乘累加运算完成后,对所述累加中间结果进行规格化与舍入编码,重构为标准的posit数据格式并输出。

39、本技术还公开了一种电子设备,包括:

40、存储器,用于存储计算机程序和神经网络模型数据;

41、存内计算加速器,与所述存储器通信连接,所述存内计算加速器包括上述的存内乘累加装置;

42、主控处理器,与所述存内计算加速器通信连接,用于将待处理的特征数据转换为所述posit数据格式后发送至所述存内计算加速器,并接收所述存内乘累加装置输出的运算结果以执行终端应用指令。

43、采用上述技术方案具有以下优点:

44、本技术通过在拆分模块提取连续输入的posit数据与权重数据的各级字段及可变长度字段比对信号,利用存算阵列模块执行尾数乘法,并在统一总指数域下利用加法树模块完成移位对阶与累加,使得密集的乘累加过程仅需在输出末端进行一次重构编码,且将位宽最大的尾数计算下放由硬件构成的存算阵列模块中,有效解决了传统硬件架构中可变长度字段拆分困难、长尾数乘法面积开销大以及反复编解码导致计算延迟高的问题,实现了posit格式浮点数据在存内计算架构下的高吞吐与低功耗处理。