一种加载模型权重参数的方法和设备与流程

摘要: 本申请涉及模型加载,特别涉及一种加载模型权重参数的方法和设备。背景技术:1、电子设备利用推理模型处理数据时,需要将推理模型的权重参数加载到设备的图形处理器中,以...
一种加载模型权重参数的方法和设备与流程

本申请涉及模型加载,特别涉及一种加载模型权重参数的方法和设备。

背景技术:

1、电子设备利用推理模型处理数据时,需要将推理模型的权重参数加载到设备的图形处理器中,以加载的权重参数进行相关运算。

2、推理模型一般包含大量权重参数,为此部分相关技术在加载权重参数时,将权重参数分为若干切片后,以并行加载的方式加载到多个图形处理器,提高加载效率。然而这样的加载方式仍然耗时较长。

技术实现思路

1、为此,本申请公开如下技术方案:

2、本申请第一方面提供一种加载模型权重参数的方法,包括:

3、确定目标硬件配置,所述目标硬件配置表示处理系统中用于推理的多个图形处理器;

4、读取基础切片索引和多种重组策略中所述目标硬件配置对应的目标重组策略,所述目标重组策略至少包括多个基础切片和用于并行加载的多个加载队列的对应关系,所述多个基础切片由推理模型的权重参数切分得到;

5、根据所述目标重组策略和所述基础切片索引,将所述多个加载队列对应的基础切片并行加载到所述多个图形处理器,以使所述多个图形处理器基于所述权重参数进行推理。

6、本申请第二方面提供一种电子设备,包括存储器,中央处理器和多个图形处理器;

7、所述存储器用于存储计算机程序;

8、所述图形处理器用于基于权重参数执行推理任务;

9、所述中央处理器用于执行所述计算机程序,以执行:

10、确定目标硬件配置,所述目标硬件配置表示处理系统中用于推理的多个图形处理器;

11、读取基础切片索引和多种重组策略中所述目标硬件配置对应的目标重组策略,所述目标重组策略至少包括多个基础切片和用于并行加载的多个加载队列的对应关系,所述多个基础切片由推理模型的权重参数切分得到;

12、根据所述目标重组策略和所述基础切片索引,将所述多个加载队列对应的基础切片并行加载到所述多个图形处理器,以使所述多个图形处理器基于所述权重参数进行推理。

1.一种加载模型权重参数的方法,包括:

2.根据权利要求1所述的方法,所述确定目标硬件配置,包括以下至少之一:

3.根据权利要求1所述的方法,所述多种重组策略根据所述处理系统的硬件资源生成且持久化存储在所述处理系统的存储器中;

4.根据权利要求1所述的方法,所述将所述多个加载队列对应的基础切片并行加载到所述多个图形处理器,包括:

5.根据权利要求1所述的方法,所述将所述多个加载队列对应的基础切片并行加载到所述多个图形处理器,包括:

6.根据权利要求5所述的方法,所述重排序处理包括:

7.根据权利要求1所述的方法,所述多个基础切片由推理模型的权重参数基于所述处理系统的参考硬件配置和参考切分方式切分得到,所述参考硬件配置表示所述处理系统所含的图形处理器,所述参考切分方式与所述推理模型的模型架构相关。

8.根据权利要求7所述的方法,所述基础切片存储在基础切片缓存中,所述基础切片缓存包括元数据区、连续数据区和非连续数据区;

9.根据权利要求7所述的方法,所述参考切分方式是多种切分方式中根据所述模型架构确定的一种;

10.一种电子设备,包括存储器,中央处理器和多个图形处理器;