用于大语言模型的数据处理方法、装置及设备

本公开涉及数据处理，更具体地涉及一种用于大语言模型的数据处理方法、装置及设备。

背景技术：

1、大语言模型的部署对内存容量和带宽提出了极高要求。高带宽内存因其优异的带宽和容量特性，已成为大语言模型部署的关键解决方案。

2、然而上述部署方案存在存储单元的电荷保持时间随机波动，导致存储的数据产生位翻转错误。

3、相关技术为避免上述位翻转错误，利用错误纠正码等错误检测技术识别位翻转错误，然而该方式不仅需要消耗过多的能耗，还难以直接避免位翻转错误的产生，使得数据存储的稳定性仍然较差。

技术实现思路

1、鉴于上述问题，本公开提供了一种用于大语言模型的数据处理方法、装置及设备。

2、根据本公开的第一个方面，提供了一种用于大语言模型的数据处理方法，应用于处理器，处理器与内存控制器通信连接，用于大语言模型的张量数据中的多个子张量，存储在内存控制器的多个数据查找表中，该方法包括：响应于存储指令，从多个数据查找表中读取与存储指令对应的的指令子张量，多个子张量基于浮点数规则存储在内存控制器，与指令子张量对应的指令指数和与存储指令对应的预设指数条件相匹配；对指令子张量的初始指数偏置数据进行更新，得到指数偏置数据；利用编码器分别对指令子张量和张量数据中的多个子张量进行融合，得到目标张量；向目标缓存单元发送目标张量和指数偏置数据。

3、根据本公开的实施例，利用编码器分别对指令子张量和张量数据中的多个子张量进行融合，得到目标张量，包括：获取与多个子张量各自对应的张量指数，其中，多个张量指数中包括与指令子张量对应的指令指数和与基础子张量对应的基础张量指数，张量指数是基于预设常数对子张量执行幂运算得到的；融合指令指数和基础张量指数，得到与基础子张量对应的目标指数；根据与基础子张量对应的目标指数，确定与基础子张量对应的目标子张量；根据多个目标子张量和指令子张量，确定目标张量。

4、根据本公开的实施例，融合指令指数和基础张量指数，得到与基础子张量对应的目标指数，包括：对预设值进行编码，得到预设指数；根据指令指数和预设指数之间的偏移量，确定调整系数；融合调整系数和基础张量指数，得到与基础子张量对应的目标指数。

5、根据本公开的实施例，对指令子张量的初始指数偏置数据进行更新，得到指数偏置数据，包括：融合调整系数和初始指数偏置数据，得到指数偏置数据。

6、根据本公开的实施例，多个子张量设有数据标识，多个子张量存储在与数据标识对应的数据查找表中；其中，响应于存储指令，从多个数据查找表中读取与存储指令对应的的指令子张量，包括：根据与存储指令对应的预设指数条件，确定存储标识；基于存储标识，对与多个数据查找表各自对应的数据标识进行标识索引，确定与存储标识对应的目标数据标识；从与目标数据标识对应的数据查找表中读取指令子张量；其中，与指令子张量对应的数据标识是利用内存控制器执行如下操作得到的：对与多个子张量各自对应的张量指数进行排序，得到排序结果；基于排序结果，确定与多个子张量各自对应的数据标识，子数据的数据标识表征与指令子张量对应的指令指数在排序结果中的排序位置。

7、根据本公开的实施例，方法还包括：响应于读取指令，从目标缓存单元读取目标张量和指数偏置数据；利用解码器对目标张量进行解码，得到与张量数据相匹配的解码张量；向内存控制器发送解码张量和指数偏置数据。

8、根据本公开的实施例，利用解码器对目标张量进行解码，得到解码张量，包括：对指令子张量和目标子张量进行融合，得到与基础子张量对应的解码子张量；根据多个解码子张量和指令子张量，确定解码张量。

9、根据本公开的实施例，对指令子张量和目标子张量进行融合，得到与基础子张量对应的解码子张量，包括：根据调整系数和目标指数之间的差异，确定与基础子张量对应的解码指数；根据与基础子张量对应的解码指数，确定与基础子张量对应的解码子张量。

10、本公开的第二方面提供了一种用于大语言模型的数据处理装置，包括：内存控制器，用于存储多个数据查找表，多个数据查找表用于存储大语言模型的张量数据中的多个子张量；处理器，用于执行用于大语言模型的数据处理方法。

11、目标缓存单元，用于接收处理器发送的目标张量和指数偏置数据。

12、本公开的第三方面提供了一种电子设备，包括用于大语言模型的数据处理装置。

13、本公开的第四方面还提供了一种计算机可读存储介质，其上存储有计算机程序或指令，上述计算机程序或指令被处理器执行时实现上述方法的步骤。

14、本公开的第五方面还提供了一种计算机程序产品，包括计算机程序或指令，上述计算机程序或指令被处理器执行时实现上述方法的步骤。

15、根据本公开的实施例，通过对对指令子张量的初始指数偏置数据进行更新，得到指数偏置数据，能够针对不同指令子张量动态调整指数偏置数据，以及对指令子张量和张量数据中的多个子张量进行融合，得到目标张量，能够调整张量数据的指数翻转方式，降低对错误纠正码的依赖，提高数据存储的稳定性，降低功耗。

1.一种用于大语言模型的数据处理方法，其特征在于，应用于处理器，所述处理器与内存控制器通信连接，用于大语言模型的张量数据中的多个子张量，存储在所述内存控制器的多个数据查找表中；所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述利用编码器分别对所述指令子张量和所述张量数据中的多个所述子张量进行融合，得到目标张量，包括：

3.根据权利要求2所述的方法，其特征在于，所述融合所述指令指数和所述基础张量指数，得到与所述基础子张量对应的目标指数，包括：

4.根据权利要求3所述的方法，其特征在于，所述对所述指令子张量的初始指数偏置数据进行更新，得到指数偏置数据，包括：

5.根据权利要求4所述的方法，其特征在于，多个所述子张量设有数据标识，多个所述子张量存储在与所述数据标识对应的数据查找表中；

6.根据权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：

7.根据权利要求6所述的方法，其特征在于，所述利用解码器对所述目标张量进行解码，得到解码张量，包括：

8.根据权利要求7所述的方法，其特征在于，所述对所述指令子张量和所述目标子张量进行融合，得到与所述基础子张量对应的解码子张量，包括：

9.一种用于大语言模型的数据处理装置，包括：

10.一种电子设备，包括权利要求9所述的用于大语言模型的数据处理装置。