面向MC/DC覆盖的单元测试生成方法、系统及存储介质与流程

摘要: 本发明属于软件工程与人工智能交叉领域,特别涉及一种面向mc/dc(修改条件/判定覆盖modifiedcondition/decisioncoverage,mc/...
面向MC/DC覆盖的单元测试生成方法、系统及存储介质与流程

本发明属于软件工程与人工智能交叉领域,特别涉及一种面向mc/dc(修改条件/判定覆盖modified condition/decision coverage,mc/dc)覆盖的单元测试生成方法、系统及存储介质。

背景技术:

1、随着软件系统复杂度的不断提升,单元测试作为保障代码质量的基础手段,其重要性日益凸显。传统的人工编写单元测试方式耗时耗力,且难以覆盖复杂的边界条件。近年来,以gpt、codellama等为代表的大语言模型在代码理解与生成任务中展现出强大能力,基于大语言模型的单元测试自动生成技术成为研究热点。

2、现有基于大语言模型的单元测试生成方法主要存在以下不足:

3、其一,现有方法普遍以行覆盖率或分支覆盖率作为主要优化目标,生成策略侧重于使程序执行到未覆盖的语句或分支,但无法保证复杂布尔表达式中各原子条件对判定结果的独立影响关系得到验证。行覆盖仅要求每条语句至少执行一次,分支覆盖仅要求每个判定的真/假分支至少执行一次,这两种准则均无法检测因条件间逻辑关系错误导致的缺陷。例如,若程序中将判定表达式误写为a || b而正确应为a && b,行覆盖和分支覆盖可能无法发现该错误,但mc/dc能够通过验证每个原子条件的独立影响而有效检出此类逻辑缺陷。

4、其二,现有技术多面向java等高级语言,难以直接适用于航空航天、轨道交通、汽车电子等领域广泛使用的c语言安全攸关软件。

5、修改条件/判定覆盖(mc/dc)是do-178c等安全关键软件标准强制要求的覆盖准则。mc/dc要求每个原子条件都能够独立影响判定结果,即对于判定表达式中的每个原子条件,必须存在一对测试用例,使得仅该原子条件的取值发生变化,而其余原子条件保持不变(或因短路语义被屏蔽),且判定结果随之变化。相比行覆盖和分支覆盖,mc/dc能够更有效地检测复杂条件判定中的逻辑错误。然而,构造满足mc/dc要求的测试用例对(即独立影响对)需要深入理解原子条件与判定结果之间的因果关系,对大语言模型而言具有显著挑战性。现有基于符号执行的mc/dc测试生成方法在复杂表达式、指针解引用、数组访问等场景下容易面临路径爆炸问题,生成效率低。基于搜索的方法则面临大规模系统下性能不足的问题。

6、经本发明人研究发现,现有技术中还普遍存在一个未被认识的技术难题:大语言模型在理解复杂布尔表达式中各原子条件与判定结果之间的因果关系方面存在系统性困难--其生成的测试用例往往能到达目标判定表达式(满足行覆盖或分支覆盖),但无法构造出满足“仅翻转单一原子条件、保持其余原子条件不变”的独立影响对,导致mc/dc覆盖率远低于预期。该困难的根本原因在于:现有方法将“提高mc/dc覆盖率”作为一个整体性目标输入模型,缺乏对“如何构造独立影响对”的粒化引导,导致模型无法准确理解原子条件与判定结果之间的因果关系,陷入反复探索可达路径而无法聚焦于原子条件级别精细构造的困境。这一问题在现有文献和专利中均未被识别和解决,构成了本发明所要解决的技术难题的核心。

7、因此,亟需一种面向mc/dc覆盖准则的大模型单元测试生成方法,将独立影响对的构造作为生成过程的核心导向,通过精细化的反馈机制引导大语言模型迭代生成高mc/dc覆盖率的测试用例。

技术实现思路

1、本发明要解决的技术问题是:现有基于大语言模型的单元测试生成方法以行覆盖或分支覆盖为优化目标,无法保证复杂布尔表达式中各原子条件对判定结果的独立影响关系得到验证,导致测试充分性不足;同时,大语言模型难以理解mc/dc准则所要求的原子条件与判定结果之间的因果关系,直接生成的测试用例无法有效构造独立影响对,mc/dc覆盖率低。此外,现有符号执行和搜索方法在复杂表达式和大规模系统场景下面临路径爆炸和性能瓶颈,难以高效生成满足mc/dc的测试用例。

2、鉴于现有技术的不足,本发明提供了一种面向mc/dc覆盖的大模型单元测试生成方法、系统及存储介质,旨在将mc/dc独立影响对的构造贯穿到静态分析、动态执行、反馈迭代全过程,提升复杂条件判定下的测试充分性。

3、为达到上述目的,本发明采用如下技术方案:

4、一方面,本发明提供了一种面向mc/dc覆盖的单元测试生成方法,包括以下步骤:

5、s1:获取待测试的目标函数,对所述目标函数的源代码进行静态分析,识别其中包含两个及以上原子条件的判定表达式,并提取各原子条件及其逻辑结构关系。

6、具体地,对所述目标函数的源代码进行抽象语法树遍历,定位控制结构中的判定语句;所述控制结构包括if语句、while语句、do-while语句及for语句;将所述判定语句中的布尔表达式作为判定表达式,对所述判定表达式进行递归分解,提取各原子条件,并记录每个判定表达式的源代码行号、原子条件个数、条件文本及表达式树结构。原子条件是指不含有逻辑操作符的布尔表达式,仅由关系操作符(如<、>、==等)构成;判定表达式由原子条件及零个或多个逻辑操作符(如&&、||、!等)组成。

7、s2:基于所述判定表达式和所述原子条件,对所述目标函数进行插桩处理;执行已有测试用例集合中的测试用例以运行插桩后的目标函数,采集各原子条件的观测值、判定表达式的最终判定结果以及因短路语义未被求值的原子条件信息。

8、具体地,在每次判定执行前创建判定编号,在各原子条件求值时记录该原子条件的取值(真/假),在判定表达式求值完成后记录所述最终判定结果(真/假);对于包含短路逻辑(如a && b中a为假时b不被求值)、指针解引用、数组访问或函数调用的判定表达式,保持所述目标函数原有的求值顺序,避免因插桩改变程序行为。短路语义是指当判定表达式的最终结果已可由已求值部分确定时,剩余原子条件不再求值的语言特性;例如对于a &&b,若a为假则b不被求值;对于a || b,若a为真则b不被求值。

9、s3:根据s2采集的信息,计算当前测试用例集合的mc/dc覆盖率,并识别缺失独立影响对的目标原子条件;所述独立影响对是指针对同一原子条件的两次测试执行,该原子条件取值不同且判定结果不同,其余原子条件取值相同或被短路屏蔽。

10、具体地,将每次判定执行表示为一个事件,所述事件包含判定位置、原子条件观测值集合、最终判定结果以及未求值条件信息;针对同一判定表达式的多个执行事件,对于每个原子条件,从已有测试用例集合中搜索是否存在一对测试用例使其满足mc/dc覆盖--即存在两次执行,该原子条件取值分别为真和假,最终判定结果分别为真和假,且其余原子条件在两次执行中取值相同(或因短路未被求值而被视为等价);若不存在,则将该原子条件确定为缺失独立影响对的目标原子条件。

11、例如,对于判定表达式if (a && b),若当前测试用例集合中存在:执行1:(a=true, b=true) → 结果true;执行2:(a=false, b=true) → 结果false,则原子条件a的独立影响对已覆盖。若对于原子条件b,仅存在上述两组执行而无(a=true, b=false)对应的执行,则b的独立影响对缺失。

12、s4:构建包含所述缺失独立影响对信息的提示词,输入大语言模型,生成候选测试用例。

13、具体地,在提示词中显式注入缺失独立影响对覆盖缺口摘要信息,所述覆盖缺口摘要信息包括:判定表达式所在行号、判定表达式文本、缺失原子条件的序号及文本、该原子条件是否已被观察到真值、是否已被观察到假值、是否存在短路未求值情况,以及当前缺失原因;在提示词中明确要求大语言模型构造一对测试用例,使两个测试用例均执行到同一判定表达式,并仅改变目标原子条件的取值,同时保持其余原子条件不变或被短路。

14、例如,提示词可设计为:“当前测试套件缺少针对判定表达式if (x>0 && y<10)中原子条件y<10的独立影响对。已有测试用例(x=5, y=5)执行到该判定,条件x>0为true,y<10为true,判定结果为true。请生成一个新的相近测试用例,使得x>0保持为true,y<10变为false,且判定结果相应变化。确保新测试用例能实际执行到该判定表达式。”

15、s5:执行所述候选测试用例并采集覆盖信息,根据覆盖增量进行分级判定:新增至少一个独立影响对则标记为核心改进并纳入测试套件;仅新增行覆盖或分支覆盖但未新增独立影响对则标记为半优化;无有效覆盖增量或执行失败则标记为无效。

16、s6:根据s5的分级判定结果更新提示词,返回s4迭代执行直至满足终止条件;其中,半优化状态的候选用例反馈目标函数已可达并指示保持可达性以翻转目标原子条件;无效的候选用例降低其参考权重并指示改变输入方向。

17、具体地,若上一轮生成的候选测试用例被标记为半优化状态,则在后续迭代的提示词中反馈:目标函数已可达,应保持可达性并构造一对相近输入以翻转缺失原子条件,避免重新解决可达性问题;若上一轮生成的候选测试用例被标记为无效,则在后续迭代的提示词中降低该候选测试用例的参考权重,并改变输入设计方向。所述终止条件为以下任一情形:mc/dc覆盖率达到预设阈值(如100%)、达到最大迭代次数、或连续预设轮次无核心改进生成。

18、优选地,本发明还包括双策略融合步骤:融合分支覆盖导向策略与mc/dc覆盖导向策略,分别生成两套测试用例集合,取两套集合的并集作为最终测试套件。分支覆盖导向策略侧重于探索程序的不同执行路径,mc/dc覆盖导向策略侧重于构造独立影响对,两种策略互补,通过测试套件并集可获得更稳定的mc/dc覆盖率提升。

19、另一方面,本发明还提供了一种面向mc/dc覆盖的单元测试生成系统,包括:

20、静态分析模块,用于获取待测试的目标函数,对所述目标函数的源代码进行静态分析,识别其中包含两个及以上原子条件的判定表达式,并提取各原子条件及其逻辑结构关系;

21、插桩采集模块,用于基于所述判定表达式和所述原子条件对所述目标函数进行插桩处理,执行已有测试用例集合中的测试用例以运行插桩后的目标函数,采集各原子条件的观测值、判定表达式的最终判定结果以及因短路语义未被求值的原子条件信息;

22、覆盖计算模块,用于根据所述插桩采集模块采集的信息计算当前测试用例集合的mc/dc覆盖率,并识别缺失独立影响对的目标原子条件;

23、提示词构建模块,用于构建包含所述缺失独立影响对信息的提示词,输入大语言模型,生成候选测试用例;

24、分级判定模块,用于执行所述候选测试用例并采集覆盖信息,根据覆盖增量进行分级判定:新增独立影响对则标记为核心改进并纳入测试套件;仅新增行覆盖或分支覆盖则标记为半优化;无有效增量或执行失败则标记为无效;

25、迭代反馈模块,用于根据所述分级判定模块的判定结果更新提示词,触发所述提示词构建模块迭代生成候选测试用例直至满足终止条件;其中,半优化状态的候选用例反馈目标函数已可达并指示保持可达性以翻转目标原子条件;无效的候选用例降低其参考权重并指示改变输入方向。

26、另一方面,本发明还提供一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时实现上述方法的步骤。

27、与现有技术相比,本发明的有益效果在于:

28、(1)将mc/dc独立影响对的构造作为生成过程的核心导向,而非仅将mc/dc覆盖率作为最终统计指标,使大语言模型的生成目标从“覆盖分支”细化为“构造条件独立影响对”,显著提升了复杂条件判定下的测试充分性。现有基于llm的测试生成方法仅关注行覆盖或分支覆盖,无法保证原子条件独立影响关系得到验证;本发明通过将独立影响对构造贯穿全流程,可有效检出复杂逻辑判定中的潜在缺陷。

29、(2)设计了“核心改进-半优化-无效”的三级反馈机制,将“仅提升行/分支覆盖”与“真正新增独立影响对”明确区分,避免模型在可达性已解决的情况下重复探索路径,引导其聚焦原子条件级的精细构造。通用llm测试生成方法通常采用“成功/失败”二元反馈或简单重试策略,无法区分覆盖增量的类型,导致生成效率低;本发明的三级反馈机制通过精准区分覆盖增量类型,显著提升了迭代生成效率。

30、(3)通过缺失独立影响对的上下文增强提示词,将抽象的覆盖缺口转化为具体的输入构造任务(“翻转特定原子条件,保持其余不变”),降低了大语言模型的理解成本,提高了生成成功率。

31、(4)提出了分支导向与mc/dc导向的双策略融合机制,利用两种策略的互补性,通过测试套件并集获得更稳定的mc/dc覆盖率提升。

32、此外,现有技术中主要存在两条不同的技术路线:一是以符号执行为代表的约束求解方案,通过形式化逻辑推理生成满足mc/dc的测试用例,该方案依赖精确的路径条件和约束求解器,无需迭代反馈机制,但在复杂表达式、指针解引用、数组访问等场景下面临路径爆炸问题;二是以大语言模型直接生成测试用例为代表的方案,将mc/dc覆盖率作为一次性生成目标,依赖模型的统计生成能力,缺乏对生成结果的动态验证和精细反馈。上述两条路线在技术原理和解决思路上存在本质差异:前者采用符号推理路径,后者采用统计生成路径。即便将二者简单结合,也无法自然得到本发明的技术方案,原因在于本发明的核心在于“基于插桩采集的原子条件级覆盖信息动态识别缺失对→结合差异化工卡反馈→迭代聚焦于独立影响对构造”,而这需要建立在对llm行为特征(即其在理解原子条件与判定结果因果关系方面存在系统性缺陷)的深刻洞察之上,该技术问题的发现和针对性解决方案的设计在本领域中具有非显而易见性。