融合算子插件的生成方法、装置、设备、介质及产品与流程

摘要: 本公开涉及计算机,特别涉及一种融合算子插件的生成方法、装置、设备、介质及产品。背景技术:1、深度学习模型在推理阶段通常以计算图形式表示,计算图中的节点为算子,边...
融合算子插件的生成方法、装置、设备、介质及产品与流程

本公开涉及计算机,特别涉及一种融合算子插件的生成方法、装置、设备、介质及产品。

背景技术:

1、深度学习模型在推理阶段通常以计算图形式表示,计算图中的节点为算子,边为张量数据流。深度学习推理引擎通过算子融合方式将多个相邻算子合并为单个融合算子,以便于由单个内核统一执行,从而减少中间张量的读写和内核启动开销。

2、在相关技术中,融合算子从开发到部署通常面临以下问题:融合算子的底层实现通常依赖领域特定语言进行开发,该类语言在编译及执行过程中往往与特定的运行时环境紧密耦合,导致生成的代码难以脱离该运行时环境独立编译及部署。并且,在将融合算子集成至深度学习推理引擎时,需要由开发人员手动编写相应的注册代码以实现算子的加载及调用,不仅工作量较大,且容易出现各层接口信息不一致的问题。

技术实现思路

1、本公开提供一种融合算子插件的生成方法、装置、设备、介质及产品。

2、第一方面,本公开提供了一种融合算子插件的生成方法,所述方法包括:

3、基于目标模型的计算图以及融合配置信息,确定所述目标模型中的融合算子以及所述融合算子的目标输入维度;基于所述目标输入维度,通过领域特定语言对所述融合算子进行编译,得到包含原生内核代码和编译元数据的初始编译结果;从所述初始编译结果中提取所述原生内核代码,并对所述原生内核代码进行依赖剥离处理,得到不依赖于所述领域特定语言的源码包;基于所述融合配置信息以及所述编译元数据,生成推理引擎的注册代码,并将所述源码包与所述注册代码编译链接,生成可供所述推理引擎加载的融合算子插件。

4、第二方面,本公开提供了一种融合算子插件的生成装置,所述装置包括:

5、维度确定模块,用于基于目标模型的计算图以及融合配置信息,确定所述目标模型中的融合算子以及所述融合算子的目标输入维度;

6、编译模块,用于基于所述目标输入维度,通过领域特定语言对所述融合算子进行编译,得到包含原生内核代码和编译元数据的初始编译结果;

7、依赖剥离模块,用于从所述初始编译结果中提取所述原生内核代码,并对所述原生内核代码进行依赖剥离处理,得到不依赖于所述领域特定语言的源码包;

8、插件生成模块,用于基于所述融合配置信息以及所述编译元数据,生成推理引擎的注册代码,并将所述源码包与所述注册代码编译链接,生成可供所述推理引擎加载的融合算子插件。

9、第三方面,本公开提供了一种电子设备,包括:

10、至少一个处理器;以及

11、与所述至少一个处理器通信连接的存储器;

12、其中,所述处理器被配置为执行上述的方法。

13、第四方面,本公开提供了一种计算机可读存储介质,其上存储有计算机程序,其中,所述计算机程序在被处理器执行时实现上述的方法。

14、第五方面,本公开提供了一种计算机程序产品,其包括计算机可读代码,或者承载有计算机可读代码的非易失性计算机可读存储介质,当所述计算机可读代码在电子设备的处理器中运行时,所述电子设备中的处理器执行上述的方法。

15、在本公开所提供的实施例中,通过基于目标模型的计算图及融合配置信息自动确定融合算子及目标输入维度,能够实现融合算子识别的自动化,无需人工筛选目标算子。通过对原生内核代码进行依赖剥离处理,能够得到不依赖于领域特定语言的源码包,从而消除对特定运行时环境的依赖,使得生成的源码包可以独立编译及部署。另外,通过基于融合配置信息及编译元数据自动生成推理引擎的注册代码,并将源码包与注册代码编译链接生成可供推理引擎加载的融合算子插件,能够实现从计算图到可加载插件的端到端自动化构建,无需手动编写注册代码,大幅降低了开发成本并减少了接口不一致的风险。

16、应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

1.一种融合算子插件的生成方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述对所述原生内核代码进行依赖剥离处理,得到不依赖于所述领域特定语言的源码包包括:

3.根据权利要求2所述的方法,其特征在于,所述第一调用接口包括以下中的至少一种:与所述领域特定语言的运行时内存管理相关联的接口、与所述领域特定语言的运行时设备上下文管理相关联的接口、与所述领域特定语言的运行时设备同步相关联的接口;

4.根据权利要求1-3任一所述的方法,其特征在于,所述基于所述融合配置信息以及所述编译元数据,生成推理引擎的注册代码包括:

5.根据权利要求4所述的方法,其特征在于,所述算子注册接口包括下述四层结构:用于实现融合算子的计算逻辑封装以及硬件资源绑定的内核封装层、用于声明可供所述推理引擎动态加载的全局符号的符号导出声明层,用于将融合算子注册至所述推理引擎的算子分发表的分发注册层、以及用于定义融合算子的输入输出规格以及类型约束的模式定义层。

6.根据权利要求1-3任一所述的方法,其特征在于,所述确定所述目标模型中的融合算子以及所述融合算子的目标输入维度包括:

7.根据权利要求6所述的方法,其特征在于,所述基于所述候选输入维度以及所述计算图,确定所述融合算子的目标输入维度包括:

8.根据权利要求6所述的方法,其特征在于,所述基于所述候选输入维度以及所述计算图,确定所述融合算子的目标输入维度包括:

9.根据权利要求6所述的方法,其特征在于,所述模型结构特征包括:网络结构超参数、权重张量形状、以及输入维度的取值范围;

10.根据权利要求1-3任一所述的方法,其特征在于,所述基于所述融合配置信息以及所述编译元数据,生成推理引擎的注册代码之前,还包括:

11.根据权利要求1-3任一所述的方法,其特征在于,所述基于所述融合配置信息以及所述编译元数据,生成推理引擎的注册代码,并将所述源码包与所述注册代码编译链接,生成可供所述推理引擎加载的融合算子插件包括:

12.一种融合算子插件的生成装置,其特征在于,所述装置包括:

13.一种电子设备,其特征在于,包括:

14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序在被处理器执行时实现如权利要求1-11中任一项所述的方法。

15.一种计算机程序产品,包括计算机可读代码,其特征在于,当所述计算机可读代码在电子设备中运行时,所述电子设备中的处理器执行权利要求1-11中任一项所述的方法。