深度学习编译框架中字节码的处理方法及相关设备与流程

摘要: 本技术涉及深度学习,特别是涉及一种深度学习编译框架中字节码的处理方法及相关设备。背景技术:1、在现代大模型(如大语言模型llm这样的深度神经网络)的部署与推理中...
深度学习编译框架中字节码的处理方法及相关设备与流程

本技术涉及深度学习,特别是涉及一种深度学习编译框架中字节码的处理方法及相关设备。

背景技术:

1、在现代大模型(如大语言模型llm这样的深度神经网络)的部署与推理中,深度学习编译器已成为提升计算效率的核心手段。深度学习编译器如深度学习推理与训练框架pytorch(如pytorch 2.x)的torch.compile。torch.compile是pytorch 框架中的即时编译机制,通过torchdynamo前端在运行时捕获python字节码、对计算子图进行编译优化,从而提升模型执行性能。其中,torch.compile 是面向用户的高层接口,而核心即时编译器torchdynamo 是负责核心编译工作的底层引擎。

2、然而,即时编译机制在编译过程产生的中间产物和最终产物的字节码对开发者而言完全不透明,严重制约了编译调试、性能分析和问题定位的效率。对此,现有的python反编译器可将编译过程的字节码产物进行反编译,以逆向还原为开发者可读的源代码(如python源码、java源码、汇编源码、c源码等)。但现有python反编译器(如反编译器decompyle3、反编译器uncompyle6、python字节码反编译器pycdc)的反编译成功率极低。

技术实现思路

1、本技术实施例提供的深度学习编译框架中字节码的处理方法及相关设备,至少解决现有反编译器的反编译成功率极低的问题。

2、根据本技术的一个方面,提供一种深度学习编译框架中字节码的处理方法,包括:

3、接收深度学习编译框架生成的字节码,采用反编译处理流程将所述字节码反编译为编程语言源代码,所述反编译处理流程包括:

4、从所述字节码中解析出字节码指令序列,对所述字节码指令序列执行预处理,所述预处理至少包括前向可达性分析,所述前向可达性分析用于将所述字节码指令序列中的不可达指令替换为空操作,所述不可达指令为从指定的字节码指令出发无法被执行到的字节码指令;

5、对预处理后的所述字节码指令序列执行源码重建操作,所述源码重建操作用于:依序调用各字节码指令的操作码的处理函数,通过所述处理函数生成当前字节码指令对应的符号表达式,并将由符号表达式组合成的源码语句输出;

6、将输出的所述源码语句组合为所述编程语言源代码。

7、进一步地,对预处理后的所述字节码指令序列执行源码重建操作的步骤包括:

8、通过求值栈暂存各字节码指令对应的符号表达式,并根据各字节码指令的类型对所述求值栈执行压入或弹出操作,以在所述求值栈中暂存或移除符号表达式。

9、进一步地,根据各字节码指令的类型对所述求值栈执行压入或弹出操作的步骤包括:

10、对于压栈类字节码指令,将其对应的符号表达式压入所述求值栈;

11、对于运算类字节码指令,从所述求值栈中弹出操作数,将所述操作数组合为新的符号表达式后压入所述求值栈;

12、对于调用类字节码指令,从所述求值栈中弹出函数对象及所述函数对象的调用参数,将所述函数对象和所述调用参数组合为函数调用类型的符号表达式后压入所述求值栈;

13、对于输出类字节码指令,从所述求值栈中弹出符号表达式,将弹出的符号表达式输出为所述源码语句。

14、进一步地,所述方法还包括:

15、在执行所述源码重建操作的过程中,当所述求值栈中的符号表达式满足预设条件时,从所述求值栈中弹出符号表达式,将符号表达式赋值给临时变量,并将赋值得到的赋值语句作为所述源码语句输出;所述预设条件包括:所述符号表达式被多次使用,或所述符号表达式具有副作用的操作。

16、进一步地,所述方法还包括:

17、当遇到条件跳转指令时,将当前反编译产物对应复制两份,将两份所述当前反编译产物分别沿落入路径和跳转目标路径独立执行所述源码重建操作,所述当前反编译产物包括所述求值栈当前具有的符号表达式和已合成的所述源码语句。

18、进一步地,将两份所述当前反编译产物分别沿落入路径和跳转目标路径独立执行所述源码重建操作的过程中,所述方法还包括:

19、在所述落入路径和所述跳转目标路径存在共享尾部指令序列时,将所述共享尾部指令序列复制到所述落入路径和所述跳转目标路径分别执行所述源码重建操作,并在执行完成后确定所述落入路径和所述跳转目标路径的合并边界。

20、进一步地,确定所述落入路径和所述跳转目标路径的合并边界的步骤包括:

21、收集所述落入路径内所有前向跳转的目标地址,从收集的目标地址中选取偏移量最大的目标地址作为初始合并点;

22、从所述初始合并点开始,沿地址递增方向将位于所述初始合并点之后的预设类型指令纳入边界范围,以确定所述落入路径与所述跳转目标路径的共同合并边界,所述预设类型指令包括存储指令、返回指令以及跳转指令中的其中之一。

23、进一步地,还包括:

24、对得到的所述编程语言源代码进行后处理,所述后处理用于消除所述编程语言源代码中由字节码结构引入的冗余代码;和/或,

25、所述预处理还包括:对字节码指令执行行号传播操作,所述行号传播操作用于:将所述字节码指令序列中的每条字节码指令转换为可变数据结构,所述可变数据结构至少包括操作码、操作数和行号,将行号缺失的字节码指令以前一条具有有效行号的字节码指令的行号进行填充。

26、进一步地,所述后处理包括如下处理方式的一种或多种:

27、第一遍优化:识别循环结构中由字节码迭代机制引入的冗余临时变量,将所述冗余临时变量消除或合并至循环变量中;

28、第二遍优化:识别因执行所述源码重建操作而引入的临时变量,对于定义一次且使用一次的临时变量,在执行安全性检查后,将所述临时变量在定义点得到的赋值语句删除,并在使用点将所述临时变量替换为所述赋值语句右侧的符号表达式,所述定义点是将符号表达式赋值给所述临时变量的位置,所述使用点为所述临时变量被使用的位置;

29、第三遍优化:针对条件跳转指令,识别因复制共享尾部指令序列而引入的重复语句,将所述重复语句提取到所述条件跳转指令的落入路径和跳转目标路径之后。

30、进一步地,对得到的所述编程语言源代码进行后处理之前,将所述编程语言源代码构建成抽象语法树结构,以基于所述抽象语法树结构进行所述后处理;和/或,

31、所述安全性检查包括:所述临时变量的定义点与使用点处于同一作用域内,且从定义点到使用点之间不存在对符号表达式中变量的重新赋值操作。

32、进一步地,采用反编译处理流程将所述字节码反编译为编程语言源代码之后,所述方法还包括:

33、对所述编程语言源代码执行重编译处理流程,所述重编译处理流程包括:

34、将所述编程语言源代码编译为新的字节码,所述新的字节码具备与所述编程语言源代码之间的源码映射关系,所述源码映射关系包括所述新的字节码的指令与所述编程语言源代码的文件路径和行号之间的对应关系;

35、基于所述新的字节码和所述源码映射关系对所述编程语言源代码进行断点测试。

36、进一步地,深度学习编译框架生成的字节码来自原始code对象,将所述编程语言源代码编译为新的字节码的步骤包括:

37、在所述反编译处理流程中,将所述原始code对象常量表中不可通过字符串表示函数生成可执行字符串的非标准常量,以常量占位符替代所述非标准常量输出至所述编程语言源代码中;

38、将所述编程语言源代码编译为新的code对象,并将所述原始code对象替换为所述新的code对象。

39、进一步地,所述常量占位符包含所述非标准常量在所述原始code对象常量表中的位置索引,所述将所述编程语言源代码编译为新的code对象之后,所述方法还包括:

40、遍历所述新的code对象的常量表,识别所述常量占位符,根据所述常量占位符中的位置索引从所述原始code对象常量表中获取对应的所述非标准常量的实际常量值,将所述常量占位符替换为所述实际常量值。

41、进一步地,基于所述新的字节码和所述源码映射关系对所述编程语言源代码进行断点测试的步骤包括:

42、响应于开发者在所述编程语言源代码上设置的断点,在所述新的code对象执行过程中,根据所述源码映射关系,在断点对应的字节码位置暂停执行,并向开发者展示所述编程语言源代码中对应位置的状态。

43、根据本技术的另一个方面,提供一种深度学习编译框架中字节码的处理装置,所述处理装置用于执行所述的深度学习编译框架中字节码的处理方法。

44、根据本技术的另一个方面,提供一种存储有计算机指令的非瞬时机器可读介质,所述计算机指令用于使计算机执行所述的深度学习编译框架中字节码的处理方法。

45、本技术实施例提供的深度学习编译框架中字节码的处理方法,采用反编译处理流程,并对字节码的字节码指令依次执行预处理和源码重建操作,最终将源码语句组合为编程语言源代码,实现了将深度学习编译框架生成的字节码成功反编译为可读的编程语言源代码。其中,至少通过预处理中的前向可达性分析消除非标准结构引入的死代码,使得本技术能够提高对深度学习编译框架(如pytorch torch.compile)生成的全部非标准python字节码进行反编译的成功率。