数据加载方法、装置、设备及存储介质与流程

本发明涉及计算机，尤其涉及一种数据加载方法、装置、设备及存储介质。

背景技术：

1、随着人工智能技术的快速发展，大模型推理在多个领域已成为核心计算任务。大模型推理过程中，模型的权重数据通常以大规模矩阵形式存储，并在计算单元中进行密集的矩阵运算。

2、然而，在传统的方法中，权重数据的位置是随意加载的，如随意加载在gpgpu中的可访问区域。上述数据加载方式，未能考虑待使用权重数据的特点，存在存储资源利用不充分的问题，从而无法发挥近存内存的优势。

技术实现思路

1、本发明提供一种数据加载方法、装置、设备及存储介质，用于基于待使用权重数据的归属类型确定加载位置，从而合理利用存储资源，以充分发挥近存内存的优势。

2、第一方面，本发明提供一种数据加载方法，包括：

3、确定各个待使用权重数据的归属类型；归属类型用于表示待使用权重数据供单计算节点访问还是多计算节点访问；

4、根据待使用权重数据的归属类型，确定待使用权重数据的加载位置并进行数据加载；加载位置包括近存内存和非近存内存。

5、可选的，根据待使用权重数据的归属类型，确定待使用权重数据的加载位置，包括：

6、当待使用权重数据的归属类型为单计算节点访问类型时，确定待使用权重数据的访问频次，根据访问频次确定待使用权重数据的加载位置；

7、当待使用权重数据的归属类型为多计算节点访问类型时，则确定待使用权重数据的加载位置为非近存内存。

8、可选的，根据访问频次确定待使用权重数据的加载位置，包括：

9、当访问频次大于或等于预设频次时，则根据待使用权重数据的占用存储容量和相应的近存内存的存储容量确定加载位置；

10、当访问频次小于预设频次时，则确定待使用权重数据的加载位置为非近存内存。

11、可选的，方法还包括：

12、针对任一待使用权重数据，根据待使用权重数据的占用存储容量对相应的近存内存的区域进行划分；近存内存的区域划分为专属固定区和临时共享区；

13、相应的，根据待使用权重数据的占用存储容量和相应的近存内存的存储容量确定加载位置，包括：

14、当待使用权重数据的占用存储容量大于相应的近存内存的专属固定区域的存储容量时，则确定待使用权重数据的第一部分的加载位置为相应的近存内存的专属固定区域，以及，待使用权重数据的第二部分的加载位置为相邻近存内存的临时共享区。

15、可选的，根据待使用权重数据的占用存储容量对相应的近存内存的区域进行划分，包括：

16、当待使用权重数据的占用存储容量大于或等于相应的近存内存的存储容量时，则对应的近存内存仅配置专属固定区域；

17、当待使用权重数据的占用存储容量小于相应的近存内存的存储容量时，则对应的近存内存配置专属固定区域和临时共享区域。

18、可选的，方法还包括：

19、将待使用权重数据的加载位置发送给计算节点，计算节点用于根据加载位置获取待使用权重数据，并根据待使用权重数据执行计算任务。

20、第二方面，本发明提供一种数据加载装置，包括：

21、第一确定模块，用于确定各个待使用权重数据的归属类型；归属类型用于表示待使用权重数据供单计算节点访问还是多计算节点访问；

22、第二确定模块，用于根据待使用权重数据的归属类型，确定待使用权重数据的加载位置并进行数据加载。

23、第三方面，本发明提供一种电子设备，包括：至少一个处理器和存储器；

24、存储器存储计算机执行指令；

25、至少一个处理器执行存储器存储的计算机执行指令，使得至少一个处理器执行如第一方面的方法。

26、第四方面，本发明提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当处理器执行计算机执行指令时，实现如第一方面的方法。

27、第五方面，本发明提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现如第一方面的方法。

28、本发明提供的数据加载方法、装置、设备及存储介质，方法包括：确定各个待使用权重数据的归属类型，归属类型用于表示待使用权重数据供单计算节点访问还是多计算节点访问，根据待使用权重数据的归属类型，确定待使用权重数据的加载位置并进行数据加载，加载位置包括近存内存和非近存内存，根据待使用权重数据的特点，也就是归属类型，合理确定待使用权重数据的加载位置，以充分利用存储资源，以充分发挥近存内存的优势。

1.一种数据加载方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，根据所述待使用权重数据的归属类型，确定所述待使用权重数据的加载位置，包括：

3.根据权利要求2所述的方法，其特征在于，根据所述访问频次确定所述待使用权重数据的加载位置，包括：

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：

5.根据权利要求4所述的方法，其特征在于，根据所述待使用权重数据的占用存储容量对相应的所述近存内存的区域进行划分，包括：

6.根据权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：

7.一种数据存储装置，其特征在于，包括：

8.一种电子设备，其特征在于，包括：至少一个处理器和存储器；

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1-6任一项所述的方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-6任一项所述的方法。