向量浮点融合精度转换方法、电路、设备、产品及介质与流程

摘要: 本技术涉及精度转换,具体涉及一种向量浮点融合精度转换方法、电路、设备、产品及介质。背景技术:1、随着人工智能、科学计算等领域的快速发展,浮点运算的精度需求呈现多...
向量浮点融合精度转换方法、电路、设备、产品及介质与流程

本技术涉及精度转换,具体涉及一种向量浮点融合精度转换方法、电路、设备、产品及介质。

背景技术:

1、随着人工智能、科学计算等领域的快速发展,浮点运算的精度需求呈现多样化,半精度(floating-point 16-bit,fp16)、单精度(floating-point 32-bit,fp32)、双精度(floating-point 64-bit,fp64)及脑半精度(brain floating-point 16-bit,bf16)浮点格式被广泛应用;其中bf16格式因兼顾精度与存储效率,在ai训练场景中应用愈发广泛,而不同精度浮点数据之间的转换是实现混合精度运算的核心环节。

2、然而,现有精度转换方法多仅支持2-3种浮点精度之间的单向或双向转换,无法完整实现fp16、fp32、fp64、bf16四种精度中相邻精度间的互相精准转换,适配性差,难以满足ai训练、科学计算等场景中多样化的混合精度运算需求。

技术实现思路

1、本技术实施例提供一种向量浮点融合精度转换方法、电路、设备、产品及介质,用以解决现有精度转换方法多仅支持2-3种浮点精度之间的单向或双向转换,无法完整实现fp16、fp32、fp64、bf16四种精度中相邻精度间的互相精准转换,适配性差,难以满足ai训练、科学计算等场景中多样化的混合精度运算需求的技术问题。

2、第一方面,本技术实施例提供一种向量浮点融合精度转换方法,包括:

3、对第一精度浮点数据进行规格化,得到规格数据;

4、将所述规格数据转换为第二精度浮点数据;

5、在转换过程中未出现浮点异常的情况下,确定所述第二精度浮点数据为最终转换结果;

6、所述第一精度浮点数据和所述第二精度浮点数据为不同精度的浮点数据。

7、在一个实施例中,在所述第一精度浮点数据的精度高于所述第二精度浮点数据的情况下,所述对第一精度浮点数据进行规格化,得到规格数据,包括:

8、基于所述第一精度浮点数据的指数、所述第一精度浮点数据的偏移量和所述第二精度浮点数据的偏移量,计算所述第二精度浮点数据的指数;

9、在所述第二精度浮点数据的指数小于或等于0的情况下,提取所述第一精度浮点数据的尾数中的前n+1位数据;其中,n为所述第二精度浮点数据的尾数位宽;

10、计算1与所述第二精度浮点数据的指数的差值,得到移位量;

11、在所述前n+1位数据前补充隐含位数据,得到n+2位数据;

12、按照所述移位量将所述n+2位数据右移,将去除移出数据后的剩余数据确定为规格数据。

13、在一个实施例中,所述将所述规格数据转换为第二精度浮点数据,包括:

14、提取所述规格数据中去除最高位数据和最低位数据的中间n位数据,得到截断后尾数;

15、对所述第一精度浮点数据的尾数中前n+1位数据之后的数据进行逐位或操作,得到第一数据;

16、对所述移出数据进行逐位或操作,得到第二数据;

17、对所述第一数据和所述第二数据进行逻辑或操作,得到粘滞位数据;

18、基于所述粘滞位数据以及所述规格数据中的最低位数据和次低位数据,计算不同舍入模式下的进位值;

19、计算所述截断后尾数与1的和值,得到进位后尾数;

20、基于所述进位值,确定所述截断后尾数或所述进位后尾数为最终尾数,并获取进位信号;

21、基于所述进位信号确定最终指数;

22、将所述最终尾数和所述最终指数进行拼接,得到第二精度浮点数据。

23、在一个实施例中,所述计算所述第二精度浮点数据的指数之后,包括:

24、在所述第二精度浮点数据的指数大于0的情况下,提取所述第一精度浮点数据的尾数中的前n位数据,得到截断后尾数;

25、对所述第一精度浮点数据的尾数中前n+1位数据之后的数据进行逐位或操作,得到粘滞位数据;

26、基于所述粘滞位数据以及所述第一精度浮点数据的尾数中的前n+1位数据的最低位数据和次低位数据,计算不同舍入模式下的进位值;

27、计算所述截断后尾数与1的和值,得到进位后尾数;

28、基于所述进位值,确定所述截断后尾数或所述进位后尾数为最终尾数,并获取进位信号;

29、基于所述进位信号确定最终指数;

30、将所述最终尾数和所述最终指数进行拼接,得到第二精度浮点数据。

31、在一个实施例中,在所述第一精度浮点数据的精度低于所述第二精度浮点数据的情况下,所述对第一精度浮点数据进行规格化,得到规格数据,包括:

32、在所述第一精度浮点数据的指数等于0的情况下,基于所述第一精度浮点数据的尾数中数值为1的最高位,确定移位量;

33、将所述第一精度浮点数据的尾数按照所述移位量左移,将去除移出数据后的剩余数据确定为规格数据。

34、在一个实施例中,所述将所述规格数据转换为第二精度浮点数据,包括:

35、基于所述第一精度浮点数据的偏移量、所述第二精度浮点数据的偏移量和所述移位量,计算所述第二精度浮点数据的指数;

36、将所述规格数据和所述第二精度浮点数据的指数进行拼接,得到第二精度浮点数据。

37、在一个实施例中,在所述第一精度浮点数据的精度高于所述第二精度浮点数据的情况下,所述浮点异常包括无效操作异常、上溢异常、下溢异常和非精确异常;

38、在所述第一精度浮点数据的精度低于所述第二精度浮点数据的情况下,所述浮点异常包括无效操作异常。

39、第二方面,本技术实施例提供一种向量浮点融合精度转换电路,用于实现第一方面所述的向量浮点融合精度转换方法,包括:

40、规格化模块,用于:对第一精度浮点数据进行规格化,得到规格数据;

41、精度转换模块,用于:将所述规格数据转换为第二精度浮点数据;

42、异常标志位判断模块,用于:在转换过程中未出现浮点异常的情况下,确定所述第二精度浮点数据为最终转换结果;

43、所述第一精度浮点数据和所述第二精度浮点数据为不同精度的浮点数据。

44、第三方面,本技术实施例提供一种电子设备,包括处理器和存储有计算机程序的存储器,所述处理器执行所述计算机程序时实现第一方面所述的向量浮点融合精度转换方法的步骤。

45、第四方面,本技术实施例提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现第一方面所述的向量浮点融合精度转换方法的步骤。

46、第五方面,本技术实施例提供一种非暂态计算机可读存储介质,包括计算机程序,所述计算机程序被处理器执行时实现第一方面所述的向量浮点融合精度转换方法的步骤。

47、本技术提供的向量浮点融合精度转换方法、电路、设备、产品及介质,对第一精度浮点数据进行规格化,得到规格数据,将规格数据转换为第二精度浮点数据,在转换过程中未出现浮点异常的情况下,确定第二精度浮点数据为最终转换结果,第一精度浮点数据和第二精度浮点数据为不同精度的浮点数据。本技术中,通过将第一精度浮点数据进行规格化,能够将第一精度浮点数据转换为ieee 754(institute of electrical andelectronics engineers 754,电气和电子工程师协会发布的第 754 号标准)规定的标准表示形式,从而可以方便快捷地将该标准表示形式的第一精度浮点数据进一步转换为第二精度浮点数据,且第一精度浮点数据与第二精度浮点数据的精度不同,可同时满足高精度浮点数据至低精度浮点数据的转换以及低精度浮点数据至高精度浮点数据的转换,进一步地,通过判断转换过程中是否出现浮点异常,能够充分验证第二精度浮点数据的有效性,提升最终转换结果的准确性。综上所述,本技术能够完整实现fp16、fp32、fp64、bf16四种精度中相邻精度间的互相精准转换,有效提升适配性,满足ai训练、科学计算等场景中多样化的混合精度运算需求。