历史数据泛化驱动的编译系统测试程序生成方法及系统

摘要: 本发明涉及软件工程和软件测试领域,特别是涉及一种针对编译系统(包括编译器和java虚拟机)的测试程序自动综合方法及系统。背景技术:1、编译系统是现代软件系统的核...
历史数据泛化驱动的编译系统测试程序生成方法及系统

本发明涉及软件工程和软件测试领域,特别是涉及一种针对编译系统(包括编译器和java虚拟机)的测试程序自动综合方法及系统。

背景技术:

1、编译系统是现代软件系统的核心基础设施,负责将高层程序转换为可执行代码并执行复杂的性能优化。编译系统涵盖静态编译器(如gcc、clang)和动态运行时环境(如java虚拟机,简称jvm)。其中,静态编译器将源程序直接编译为目标平台的机器码;而jvm则通过前端编译器(如javac)将java源程序编译为字节码文件,再由jvm内部的后端编译器(如jit编译器)在运行时将字节码编译为本地代码。在此过程中,编译系统内部引入了大量的优化方法,包括循环展开、部分冗余消除、方法内联、常量传播以及窥孔优化等。这些优化显著提升了程序执行效率,但同时也使编译系统的内部逻辑极为复杂,容易引入缺陷。编译系统中的缺陷可能导致崩溃、静默误编译或执行结果错误等严重后果。由于编译系统承载着上层所有应用程序的正确执行,其可靠性对整个软件生态至关重要。因此,确保编译系统的正确性和健壮性是一项关键挑战。

2、为对编译系统进行充分测试,研究人员提出了大量自动化测试技术。按照方法论的不同,现有技术主要可以分为以下几类:

3、第一类为基于生成的方法。此类方法基于语法规则构造测试程序。例如,csmith和yarpgen基于c/c++语法规则设计生成策略,随机构造符合语法约束的测试程序用于编译器测试;javafuzzer则基于java语法规则生成源代码级别的测试程序。然而,基于规则的生成方法所能覆盖的程序模式有限,且规则设计成本较高。

4、第二类为基于变异的方法。此类方法通过对已有的种子程序进行变异来生成新的测试程序。例如,emi(equivalencemoduloinputs)通过删除或修改输入无关的代码来构造等价程序;classfuzz通过设定大量的语法变异规则对字节码文件进行变异;classming则通过改变种子文件的数据流或控制流实现语义变异。然而,此类方法所设计的变异规则突变较小,生成的测试程序多样性不足。

5、第三类为基于大语言模型(llm)的方法。近年来,llm被引入编译系统测试领域。例如,fuzz4all利用自动提示技术进行多语言测试程序生成;whitefox从编译器源代码中提取测试需求指导生成。然而,llm直接生成的测试程序编译成功率较低,且生成过程计算成本较高。

6、第四类为历史驱动的方法。此类方法通过复用历史缺陷触发测试程序中的信息来指导新测试程序的生成。例如,javatailor从历史测试程序中提取代码片段并将其插入种子程序中;vect将历史程序中的代码片段向量化后进行匹配和组合;jetris进一步将代码片段抽象为控制流/数据流模式并进行实例化。历史驱动方法因其利用了真实缺陷的触发经验,在缺陷检测方面展现出良好效果。

7、然而,发明人在研究过程中发现,现有历史驱动方法存在以下缺陷和不足:

8、1)现有方法仅在语法层面复用历史缺陷信息。它们主要从历史触发测试程序中提取表面的代码结构,如控制流模式、数据流模式或具体代码片段。然而,编译系统缺陷的根本原因是语义层面的,涉及对程序行为的错误假设、不正确的优化条件或微妙的依赖不一致等问题。仅复用语法结构无法捕获使测试程序具有致错能力的核心语义特征。

9、2)语法层面的复用与特定编程语言紧密耦合,无法实现跨编译系统的缺陷触发知识迁移。例如,java中的try-catch异常处理和c++中的setjmp非局部跳转虽然语法形式完全不同,但从编译器优化的视角来看,两者都可能引入异常控制流边从而触发类似的优化缺陷。现有方法无法识别和利用这种跨语言的语义等价性。

10、现有方法未充分利用缺陷报告和修复补丁中包含的根因信息。缺陷报告中包含开发人员的诊断信息,修复补丁则暴露了编译系统内部涉及失败的中间表示节点和优化流程。仅依赖测试程序本身的代码形态,忽略了这些宝贵的根因线索,限制了生成测试程序的致错能力。

技术实现思路

1、为了解决现有历史驱动方法在语法复用局限、跨语言迁移难及根因利用不充分的问题,本发明提出一种历史数据泛化驱动的编译系统测试程序生成方法及系统,通过获取历史缺陷数据,利用大语言模型分析生成含元数据与因果链的编译缺陷语义语言实例,再生成代码片段,适配后依据语法规则插入种子程序,生成合成测试程序,实现了语义层面复用、跨系统迁移及高效生成测试程序的目的。

2、为达到上述目的,本发明采用下述技术方案实现:

3、第一方面,本发明实现了一种历史数据泛化驱动的编译系统测试程序生成方法,包括以下步骤:

4、步骤1:获取历史缺陷数据,所述历史缺陷数据至少包括缺陷报告文本、修复补丁以及与所述缺陷报告文本和修复补丁对应的历史触发测试程序;

5、步骤2:利用大语言模型对所述历史缺陷数据进行联合分析,生成编译缺陷语义语言实例;其中,所述编译缺陷语义语言实例是一种用于统一表达缺陷触发根本原因的、可迁移的语义表示,其至少包括用于表征缺陷触发关键特征的元数据,以及用于描述所述关键特征如何交互以触发缺陷的因果链;

6、步骤3:基于所述编译缺陷语义语言实例,利用大语言模型生成至少一个对应于所述缺陷触发根本原因的可编译代码片段;

7、步骤4:将所述代码片段与预设的种子程序进行上下文适配,并根据所述种子程序的语法结构和作用域规则,将适配后的代码片段插入所述种子程序,以生成用于测试编译系统的合成测试程序。

8、进一步的,所述步骤2中,所述利用大语言模型对所述历史缺陷数据进行联合分析,包括:

9、将所述缺陷报告文本与对应的修复补丁拼接为结构化提示词,输入至预训练的大语言模型中,并利用思维链技术引导模型提取关键特征并构建因果链,以生成所述编译缺陷语义语言实例。

10、进一步的,所述步骤2中,所述编译缺陷语义语言实例还包括对齐信息,所述对齐信息用于将所述元数据中的关键特征映射到目标编译系统的等价构造和实例化策略,以实现跨编译系统的缺陷触发知识迁移。

11、进一步的,所述步骤3进一步包括:

12、子步骤31:将所述编译缺陷语义语言实例输入至大语言模型,生成多个候选代码片段;

13、子步骤32:对所述多个候选代码片段进行编译验证,将通过编译验证的有效代码片段存入代码片段池。

14、进一步的,所述步骤4进一步包括:

15、子步骤41:从种子程序池中随机选择一个种子程序,并从所述代码片段池中随机选择一个已验证的代码片段;

16、子步骤42:对所述种子程序进行抽象语法树分析,枚举所述种子程序中的所有合法插入点,并随机选择一个插入点;

17、子步骤43:在所述插入点的上下文中,对所述代码片段进行字面量替换和/或定义回写,以将所述代码片段与所述种子程序的运行时状态绑定,完成上下文适配;

18、子步骤44:根据所述种子程序的语法结构和作用域规则,将完成上下文适配的代码片段,按其作用域分别插入到所述种子程序的对应位置,生成所述合成测试程序。

19、进一步的,所述子步骤43中,所述字面量替换包括:以预设概率,用所述种子程序插入点上下文中类型兼容的已声明变量,替换所述代码片段中的字面量;所述定义回写包括:以预设概率,在所述代码片段末尾追加赋值语句,将所述代码片段中新定义的变量的值回写给所述种子程序中的类型兼容变量。

20、进一步的,所述步骤4之后还包括:

21、步骤5:将所述合成测试程序在多个不同的编译系统实现上执行,并根据预设的不一致判定规则,判断所述合成测试程序是否暴露了编译系统缺陷。

22、进一步的,所述步骤5之后还包括:

23、步骤6:对于未暴露缺陷的合成测试程序,将其放回所述种子程序池,以供后续测试迭代使用。

24、所述步骤5和步骤6之间还包括利用大语言模型对差异测试结果进行分析,生成编译缺陷语义语言实例的步骤。

25、第二方面,本发明还实现了一种历史数据泛化驱动的编译系统测试程序生成系统,包括:

26、数据获取模块:用于获取历史缺陷数据,所述历史缺陷数据至少包括缺陷报告文本、修复补丁以及与所述缺陷报告文本和修复补丁对应的历史触发测试程序;

27、语义泛化模块:用于利用大语言模型对所述历史缺陷数据进行联合分析,生成编译缺陷语义语言实例;其中,所述编译缺陷语义语言实例是一种用于统一表达缺陷触发根本原因的、可迁移的语义表示,其至少包括用于表征缺陷触发关键特征的元数据,以及用于描述所述关键特征如何交互以触发缺陷的因果链;

28、代码实例化模块:用于基于所述编译缺陷语义语言实例,利用大语言模型生成至少一个对应于所述缺陷触发根本原因的可编译代码片段;

29、程序综合模块:用于将所述代码片段与预设的种子程序进行上下文适配,并根据所述种子程序的语法结构和作用域规则,将适配后的代码片段插入所述种子程序,以生成用于测试编译系统的合成测试程序。

30、相较于现有技术,本发明取得了以下显著技术效果:

31、通过联合分析缺陷报告、修复补丁及原始测试程序,精准提取了缺陷触发的根本原因与深层语义;基于此泛化结果,本发明能够在离线阶段生成多样且有效的测试程序,并在迭代中重组历史缺陷的触发语义,生成高阶复杂度的测试样本。该机制突破了简单的结构变异,逼近真实世界的复杂边缘场景,显著提升了测试的深度与针对性

32、通过将历史缺陷的底层逻辑抽象为可复用的语义知识,本发明成功拓展了历史测试资产的复用边界,不仅大幅降低了针对新型编译系统重新构造海量测试用例的成本,还显著丰富了跨语言编译系统的测试语料库,为构建通用的编译质量保障体系提供了可能。

33、通过采用离线-在线分离的架构设计,在离线阶段利用历史数据完成复杂的语义泛化与种子筛选工作,有效减轻了在线测试环境的实时计算压力,确保了在线测试阶段能够以极低的成本执行高强度的差异测试,同时保持了生成程序的缺陷触发能力与多样性;最终,在保证了对编译器深层逻辑(如优化阶段异常控制流处理)强大探测能力的同时,实现了整体测试效率的显著提升。