算子代码生成方法、装置、电子设备及存储介质与流程
本发明涉及代码生成,尤其涉及一种算子代码生成方法、装置、电子设备及存储介质。
背景技术:
1、在当前的人工智能与深度学习领域,深度学习框架(如pytorch)通常通过底层的算子声明、注册和调度机制来实现计算任务的分发与执行。随着新型异构加速硬件的不断出现,将第三方或自定义硬件后端接入深度学习框架,成为了提升模型训练与推理效率的重要需求。
2、目前,通常采用手工实现后端算子并注册、直接复用深度学习框架自带的代码生成工具,或者基于框架预留的私有后端分发键进行扩展等方式来完成异构硬件的适配工作。
3、然而,上述方式在实际应用中存在一定的缺陷。一方面,手工编写与注册算子代码的工作量巨大,在面对大量算子接入需求时,开发与维护成本较高,且易因人为疏漏引入错误。另一方面,在异构计算的开发与部署过程中,算子的声明配置与底层实际的代码实现往往是分离维护的,现有流程无法针对算子声明与实际代码实现之间的一致性保障机制,导致将未真正实现计算逻辑的无效算子注册到分发系统(如分发器)中,进而导致系统在执行计算调度时引发编译失败或运行时错误,影响了异构硬件后端适配的可靠性与执行稳定性。
技术实现思路
1、本发明提供一种算子代码生成方法、装置、电子设备及存储介质,用以解决异构硬件适配过程中算子代码生成方式自动化程度低、开发维护成本高,且容易因算子声明与底层实际实现脱节而导致系统运行稳定性差的缺陷。
2、本发明提供一种算子代码生成方法,包括:
3、获取深度学习框架的原生算子定义,并对所述原生算子定义进行解析,得到原生算子的算子信息;
4、读取目标硬件后端的后端算子描述文件,得到所述目标硬件后端所支持算子的声明信息;
5、扫描所述目标硬件后端的算子实现文件,以识别所述算子实现文件中已实现的后端算子,得到有效实现集合;
6、将所述声明信息与所述有效实现集合进行一致性校验,并在校验通过的情况下,根据所述算子信息和所述声明信息,生成所述目标硬件后端的算子适配代码,所述算子适配代码包括后端注册代码,所述后端注册代码用于将所述有效实现集合中的后端算子注册至所述深度学习框架的分发器中的目标分发键上,以使所述分发器将算子调用请求分发至所述目标硬件后端执行。
7、根据本发明提供的一种算子代码生成方法,所述算子适配代码还包括原生注册代码,所述根据所述算子信息和所述声明信息,生成所述目标硬件后端的算子适配代码,包括:
8、根据所述声明信息,对所述算子信息进行过滤,得到中间算子定义;
9、基于所述中间算子定义,调用所述深度学习框架的代码生成工具生成参考后端的参考注册代码;
10、将所述参考注册代码转换为所述目标硬件后端对应的原生注册代码,所述原生注册代码用于将所述深度学习框架的原生算子注册至所述目标分发键,以承载所述目标硬件后端的原生注册逻辑和回退逻辑。
11、根据本发明提供的一种算子代码生成方法,所述将所述参考注册代码转换为所述目标硬件后端对应的原生注册代码,包括:
12、将所述参考注册代码中所述参考后端的分发键替换为所述目标分发键;
13、将所述参考注册代码中所述参考后端的初始化逻辑替换为所述目标硬件后端的初始化逻辑;
14、将所述参考注册代码中所述参考后端的命名空间、头文件、注册文件名和符号,分别替换为所述目标硬件后端对应的命名空间、头文件、注册文件和符号,得到所述原生注册代码。
15、根据本发明提供的一种算子代码生成方法,所述根据所述算子信息和所述声明信息,生成所述目标硬件后端的算子适配代码,包括:
16、将所述声明信息转换为所述深度学习框架的代码生成工具可识别的后端元数据,并将所述后端元数据写入所述目标分发键对应的后端索引以及自动求导分发键对应的后端索引中;
17、根据所述目标分发键对应的后端索引和所述自动求导分发键对应的后端索引,生成所述后端注册代码。
18、根据本发明提供的一种算子代码生成方法,所述声明信息包括所述目标硬件后端的自定义算子的描述信息,所述算子适配代码还包括自定义算子接口代码,所述方法还包括:
19、将所述自定义算子的描述信息转换为与所述原生算子兼容的统一算子表示;
20、将所述统一算子表示加入所述深度学习框架的代码生成工具的代码生成流程,以生成所述自定义算子接口代码,所述自定义算子接口代码包括函数模式注册代码、后端语言包装代码、重分发包装代码和脚本语言层补丁代码中的至少一项。
21、根据本发明提供的一种算子代码生成方法,所述扫描所述目标硬件后端的算子实现文件,以识别所述算子实现文件中已实现的后端算子,包括:
22、扫描所述目标硬件后端的宿主语言实现文件和设备侧实现文件;
23、从扫描结果中识别非结构化后端函数、结构化实现函数、结构化元函数以及预计算元函数中的至少一种,得到所述算子实现文件中已实现的后端算子。
24、根据本发明提供的一种算子代码生成方法,还包括:
25、获取所述深度学习框架的当前版本信息;
26、所述扫描所述目标硬件后端的算子实现文件的步骤还包括:
27、解析所述算子实现文件中的版本条件编译语句,并根据所述当前版本信息判断所述版本条件编译语句对应的条件分支是否有效;
28、在所述条件分支有效的情况下,将所述条件分支中已实现的后端算子计入所述有效实现集合;
29、在所述条件分支无效的情况下,将所述条件分支中已实现的后端算子不计入所述有效实现集合。
30、根据本发明提供的一种算子代码生成方法,所述算子适配代码还包括版本适配代码,所述方法还包括:
31、根据所述当前版本信息,生成所述版本适配代码,所述版本适配代码包括版本宏,所述版本宏用于供所述算子实现文件在编译期选择与所述当前版本信息匹配的实现路径。
32、根据本发明提供的一种算子代码生成方法,所述将所述声明信息与所述有效实现集合进行一致性校验的步骤之后,还包括:
33、在校验结果指示存在至少一种不一致情况时,输出错误信息或中止代码生成流程;
34、其中,所述不一致情况包括算子已声明支持但未提供实现、算子存在实现但未在所述后端算子描述文件中声明、结构化算子缺少元函数实现、结构化算子缺少实现函数、以及所述当前版本信息下声明支持的算子无有效实现。
35、根据本发明提供的一种算子代码生成方法,所述算子适配代码还包括后端函数声明代码和结构化算子相关代码,所述方法还包括:
36、根据所述算子信息中的结构化信息,识别所述有效实现集合中的算子属于结构化算子或非结构化算子;
37、对于所述非结构化算子,根据所述算子信息、所述声明信息对应的后端元数据、以及所述有效实现集合中的非结构化函数实现,生成所述目标硬件后端对应的后端函数声明代码;
38、对于所述结构化算子,根据所述算子信息确定所述结构化算子所需的实现类型,所述实现类型包括元函数实现、实现函数实现以及预计算元函数实现中的至少一项;
39、根据所述有效实现集合中与所述实现类型对应的结构化元函数和结构化实现函数,生成所述结构化算子相关代码,所述结构化算子相关代码包括所述结构化算子对应的元函数声明代码、实现函数声明代码、结构化类声明代码以及注册代码。
40、本发明还提供一种算子代码生成装置,包括:
41、定义解析模块,用于获取深度学习框架的原生算子定义,并对所述原生算子定义进行解析,得到原生算子的算子信息;
42、描述解析模块,用于读取目标硬件后端的后端算子描述文件,得到所述目标硬件后端所支持算子的声明信息;
43、文件扫描模块,用于扫描所述目标硬件后端的算子实现文件,以识别所述算子实现文件中已实现的后端算子,得到有效实现集合;
44、代码生成模块,用于将所述声明信息与所述有效实现集合进行一致性校验,并在校验通过的情况下,根据所述算子信息和所述声明信息,生成所述目标硬件后端的算子适配代码,所述算子适配代码包括后端注册代码,所述后端注册代码用于将所述有效实现集合中的后端算子注册至所述深度学习框架的分发器中的目标分发键上,以使所述分发器将算子调用请求分发至所述目标硬件后端执行。
45、本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述任一种所述算子代码生成方法。
46、本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述算子代码生成方法。
47、本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述算子代码生成方法。
48、本发明提供的算子代码生成方法、装置、电子设备及存储介质,通过解析深度学习框架的原生算子定义以及读取目标硬件后端的后端算子描述文件,能够自动提取原生算子的算子信息与目标硬件后端所支持算子的声明信息,从而省去了繁琐且易错的手工编码与注册过程;通过扫描目标硬件后端的算子实现文件以提取出真实的有效实现集合,并将前端的声明信息与该底层有效实现集合进行算子声明与实际代码实现的一致性校验,能够在代码生成阶段提前识别并拦截未实现却被错误声明的无效算子,有效消除了因上层配置与底层物理实现脱节而引发的编译失败或运行时系统崩溃的风险;最终,在校验通过的前提下自动生成包含后端注册代码的算子适配代码,将实际已实现的后端算子注册至深度学习框架分发器的目标分发键上,从而保证了算子调用请求能够被准确、稳定地分发至异构硬件后端进行计算执行。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com