基于边界感知的对数数据处理单元及处理方法与流程
本发明涉及对数数字系统数据处理,具体涉及一种基于边界感知的对数数据处理单元及处理方法。
背景技术:
1、对数数字系统(logarithmic number system,lns)是一种将数值编码至对数域的数字表示方式。在lns中,一个数值被表示为符号位与对数幅值编码的组合,从而将对数域中的乘法运算转化为符号位异或与对数幅值编码相加的简单运算,其硬件开销远小于浮点数所采用的尾数乘法器。基于这一特性,lns在低功耗、高能效的神经网络加速器中具有广阔的应用前景,尤其适合对能量效率要求严苛的边缘推理与大模型微调场景。
2、然而,lns在硬件部署中面临一个突出的结构性矛盾:虽然对数域乘法高效,但对数域的加法运算代价高昂。两个对数域数值相加,例如计算两个指数形式数值之和,需要借助大容量查找表、分段线性近似或者cordic迭代单元才能完成,这些结构的硬件面积与延迟开销显著。如果将通用的对数加法器直接放入脉动阵列的高频归约环路内,加法器的延迟和面积会抵消对数乘法带来的收益,进而拉低整个加速器的工作主频。传统lns加速器正是由于无法妥善处理这一问题,要么放弃lns的乘法优势,要么承受归约环路内对数加法带来的高频瓶颈。
3、另一方面,在神经网络微调等对数值精度敏感的场景中,传统定点量化方案存在明显不足。以8位定点整数(int8)为例,其动态范围有限,难以表达微调过程中出现的近零小梯度,容易导致梯度被置零、微调收敛恶化;而8位浮点(fp8)虽然动态范围较大,但其尾数乘法器和对齐移位器的硬件面积与功耗开销偏高。lns在对数域表达近零小数值方面具有天然优势,一个较小的对数幅值编码即可对应极小的数值,但其对数域加法的高硬件代价,又使得lns难以直接用于需要在归约环路内频繁执行累加的矩阵乘加运算。
4、由此可见,现有技术在对数数字系统中存在一个尚未被有效解决的技术矛盾:对数域的乘法优势与对数域加法的硬件代价之间的矛盾。如何在对数数字系统中同时兼顾近零小数值的表达精度与低硬件开销,避免在累加归约环路内引入高代价的对数加法,是本领域亟待解决的技术问题。
技术实现思路
1、本发明的目的在于提供一种基于边界感知的对数数据处理单元及处理方法,以解决上述在对数数字系统中对数域乘法优势与对数域加法硬件代价之间的矛盾,从而在保证近零小数值表达精度的同时,降低硬件面积与功耗开销,避免拉低加速器工作主频。
2、本发明第一方面的技术方案提供了一种对数数据处理单元,包括处理模块阵列和边界重量化单元。所述处理模块阵列包括多个处理模块,每个处理模块包括对数乘法单元、查表解码单元和定点累加器。所述对数乘法单元用于接收对数数字格式的操作数,对所述操作数的符号位执行异或运算,对所述操作数的对数幅值编码执行相加运算,得到对数域乘积。所述查表解码单元用于将所述对数域乘积解码为定点数。所述定点累加器用于对所述查表解码单元输出的定点数执行累加,得到定点累加结果。所述边界重量化单元与所述处理模块阵列耦合,用于在所述处理模块阵列中的一组处理模块完成沿累加维度的累加后,将所述一组的定点累加结果编码为对数数字格式并输出。
3、在上述技术方案中,本发明将对数域与定点域的使用边界进行了明确划分:对数域仅承担乘法运算,将乘法转化为符号位异或与对数幅值编码相加;累加运算切换至定点域执行,完全避开对数域加法;而对数数字格式与定点格式之间的转换,仅在处理模块阵列完成整组累加后的边界处由边界重量化单元执行。如此,昂贵的对数加法被整体移出高频归约环路,归约环路内不再出现对数域加法。
4、进一步地,所述对数数字格式为8位对数数字格式,包括符号位字段和对数幅值编码字段。
5、进一步地,所述查表解码单元包括只读存储器查找表,所述只读存储器查找表用于将所述对数域乘积解码为定点数。
6、进一步地,所述定点数包括12位整数位和12位小数位,所述整数位中还包括1位符号位。
7、进一步地,所述定点累加器为24位饱和定点累加器。
8、进一步地,所述边界重量化单元包括粒度自适应查找表,所述粒度自适应查找表支持多种查表粒度,用于根据运算边界或数值分布动态选择查表粒度,以执行定点数与对数数字格式之间的转换。
9、进一步地,所述边界重量化单元用于对一组定点累加结果执行绝对值最大值归约,得到分组缩放因子,并根据所述分组缩放因子将该组定点累加结果编码为对数数字格式,输出对数数字格式数值及与所述分组缩放因子对应的缩放元数据。
10、本发明第二方面的技术方案提供了一种对数数据处理方法,包括:接收对数数字格式的操作数;对所述操作数的符号位执行异或运算,对所述操作数的对数幅值编码执行相加运算,得到对数域乘积;通过查找表将所述对数域乘积解码为定点数;对解码得到的定点数执行累加,得到定点累加结果;在一组定点数完成沿累加维度的累加后,将所述一组的定点累加结果编码为对数数字格式并输出。
11、进一步地,所述操作数为8位对数数字格式的操作数,所述8位对数数字格式包括符号位字段和对数幅值编码字段。
12、进一步地,所述通过查找表将所述对数域乘积解码为定点数,包括:以所述对数域乘积的对数幅值编码为查表地址,从查找表中读取对应的定点数值;所述对解码得到的定点数执行累加,包括:对所述定点数执行饱和累加;所述将得到的一组定点累加结果编码为对数数字格式,包括:对该组定点累加结果执行绝对值最大值归约,得到分组缩放因子,根据所述分组缩放因子对该组定点累加结果进行缩放,并将缩放后的定点数编码为对数数字格式。
13、本发明具有如下有益效果:
14、本发明将乘法转化为符号位异或与对数幅值编码相加的简单操作,省去了浮点乘法器所需的尾数相乘与规格化移位,显著降低计算开销。对数数字格式与定点格式之间的转换仅在处理模块阵列完成整组累加后的边界处执行,转换次数被降到最低;相比在每个处理模块内部频繁执行对数域加法或对数定点互转的方案,本发明的转换开销更小,且在边界处集中转换便于采用分组缩放等手段提升转换精度。采用对数数字格式表达操作数,其动态范围远大于同位数定点格式;以8位对数数字格式为例,符号位之外的对数幅值编码能够表达跨越多个数量级的动态范围,从而有效表达微调过程中出现的近零小数值,避免近零梯度被置零,保证微调收敛效果。
1.基于边界感知的对数数据处理单元,其特征在于,包括由多个处理模块组成的处理模块阵列和边界重量化单元;
2.根据权利要求1所述的基于边界感知的对数数据处理单元,其特征在于,所述对数数字格式为8位对数数字格式,包括符号位字段和对数幅值编码字段。
3.根据权利要求1所述的基于边界感知的对数数据处理单元,其特征在于,所述查表解码单元包括只读存储器查找表,所述只读存储器查找表用于将所述对数域乘积解码为定点数。
4.根据权利要求1所述的基于边界感知的对数数据处理单元,其特征在于,所述定点数包括12位整数位和12位小数位,所述整数位中还包括1位符号位。
5.根据权利要求1所述的基于边界感知的对数数据处理单元,其特征在于,所述定点累加器为24位饱和定点累加器。
6.根据权利要求1所述的基于边界感知的对数数据处理单元,其特征在于,所述边界重量化单元包括粒度自适应查找表,所述粒度自适应查找表用于根据运算边界或数值分布动态选择查表粒度,以执行定点数与对数数字格式之间的转换。
7.根据权利要求1所述的基于边界感知的对数数据处理单元,其特征在于,所述边界重量化单元用于对一组定点累加结果执行绝对值最大值归约,得到分组缩放因子,并根据所述分组缩放因子将该组定点累加结果编码为对数数字格式,输出对数数字格式数值及与所述分组缩放因子对应的缩放元数据。
8.基于边界感知的对数数据处理方法,其特征在于,包括:
9.根据权利要求8所述的基于边界感知的对数数据处理方法,其特征在于,所述操作数为8位对数数字格式的操作数,所述8位对数数字格式包括符号位字段和对数幅值编码字段。
10.根据权利要求8所述的基于边界感知的对数数据处理方法,其特征在于,所述通过查找表将所述对数域乘积解码为定点数,包括:以所述对数域乘积的对数幅值编码为查表地址,从查找表中读取对应的定点数值;
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com