数据处理方法、装置、电子设备及可读存储介质与流程

摘要: 本申请属于计算机,具体涉及一种数据处理方法、装置、电子设备及可读存储介质。背景技术:1、随着深度学习推理、科学计算等场景中矩阵乘法规模的分布差异持续扩大,在gp...
数据处理方法、装置、电子设备及可读存储介质与流程

本申请属于计算机,具体涉及一种数据处理方法、装置、电子设备及可读存储介质。

背景技术:

1、随着深度学习推理、科学计算等场景中矩阵乘法规模的分布差异持续扩大,在gpu平台上实现高性能矩阵乘法时,往往需要为不同的矩阵规模预先生成和调优多个计算内核(kernel),以实现资源利用率的最大化。

2、相关技术中,通常通过自动化测试工具将所有矩阵规模对应的计算进行离线调优,内核统一编译生成单个代码对象(co)文件,以确保任意规模的矩阵乘法调用都能匹配到对应的计算内核。但在实际运行过程中,通常会将整个co文件完整加载到内存后,再从中定位并调用对应的计算内核,从而导致较高的加载总耗时,尤其在边缘推理、小批量计算等以中小尺寸矩阵为主的场景下,往往会造成资源与时间的双重浪费。

技术实现思路

1、为克服相关技术中存在的问题,本发明提供了一种数据处理方法、装置、电子设备及可读存储介质。

2、第一方面,本申请实施例提供了一种数据处理方法,该方法包括:

3、基于待处理矩阵在各矩阵维度对应的维度值,分别确定各所述矩阵维度对应的目标一级索引以及目标二级索引;

4、基于各所述矩阵维度对应的目标一级索引,在一级根目录中确定目标一级索引条目,并加载所述目标一级索引条目指示的目标二级页目录;

5、基于各所述矩阵维度对应的目标二级索引,在所述目标二级页目录中确定目标二级索引条目;不同二级索引条目指示不同内核代码,不同内核代码用于处理不同规模的矩阵;

6、基于所述目标二级索引条目,确定并加载与所述待处理矩阵的规模匹配的目标内核代码,以处理所述待处理矩阵。

7、第二方面,本申请实施例提供了一种数据处理装置,所述装置包括:

8、第一确定模块,用于基于待处理矩阵在各矩阵维度对应的维度值,分别确定各所述矩阵维度对应的目标一级索引以及目标二级索引;

9、第二确定模块,用于基于各所述矩阵维度对应的目标一级索引,在一级根目录中确定目标一级索引条目,并加载所述目标一级索引条目指示的目标二级页目录;

10、第三确定模块,用于基于各所述矩阵维度对应的目标二级索引,在所述目标二级页目录中确定目标二级索引条目;不同二级索引条目指示不同内核代码,不同内核代码用于处理不同规模的矩阵;

11、第四确定模块,用于基于所述目标二级索引条目,确定并加载与所述待处理矩阵的规模匹配的目标内核代码,以处理所述待处理矩阵。

12、第三方面,本申请实施例提供了一种电子设备,该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

13、第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

14、第五方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。

15、在本申请实施例中,通过构建三级分级索引结构,将矩阵乘法的不同矩阵规模映射为离散的层级化索引空间,从而在代码查找与代码加载两个层面均降低部分时间开销。本方案基于各矩阵维度对应的目标一级索引和目标二级索引,即可分别索引至一级根目录中的目标一级索引条目和二级页目录中的目标二级索引条目,将查找操作从线性遍历变为条目索引,缩短了代码查找的耗时。在代码加载层面,本方案仅根据当前矩阵维度的目标一级索引进行定位,并加载对应的目标二级页目录,再根据目标二级索引加载实际匹配的目标内核代码,避免了将全部内核代码一次性全量载入内存所造成的巨大开销,从而缩短代码加载的耗时并降低了运行时内存资源占用。

1.一种数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

3.根据权利要求2所述的方法,其特征在于,所述生成所述矩阵规模区间对应的区域二进制文件,包括:

4.根据权利要求3所述的方法,其特征在于,所述将所述矩阵规模区间划分为至少两个子矩阵规模区间,包括:

5.根据权利要求3所述的方法,其特征在于,所述生成所述区域二进制文件,包括:

6.根据权利要求2所述的方法,其特征在于,所述方法还包括:

7.根据权利要求1所述的方法,其特征在于,所述加载所述目标一级索引条目指示的目标二级页目录,包括:

8.根据权利要求7所述的方法,其特征在于,所述确定并加载与所述待处理矩阵的规模对应匹配的目标内核代码,包括:

9.根据权利要求8所述的方法,其特征在于,所述基于所述指定字段为所述第一数值时所述候选索引条目中存储的代码地址,确定所述目标内核代码,包括:

10.根据权利要求1所述的方法,其特征在于,所述分别确定各所述矩阵维度各自对应的目标一级索引以及目标二级索引,包括:

11.一种数据处理装置,其特征在于,所述装置包括:

12.一种电子设备,其特征在于,包括处理器,存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1-10任一所述的数据处理方法的步骤。

13.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1-10任一所述的数据处理方法的步骤。