一种软件测试的失败根因分析与复现方法、系统及介质与流程

摘要: 本发明涉及软件测试,具体涉及一种软件测试的失败根因分析与复现方法、系统及介质。背景技术:1、软件产品能够提供各类服务,在软件开发过程中,每个服务都会由研发或测试...
一种软件测试的失败根因分析与复现方法、系统及介质与流程

本发明涉及软件测试,具体涉及一种软件测试的失败根因分析与复现方法、系统及介质。

背景技术:

1、软件产品能够提供各类服务,在软件开发过程中,每个服务都会由研发或测试人员写上千的测试用例,来针对该服务的不同功能进行测试。在软件自动化测试领域,断言语句是验证被测系统行为是否符合预期的重要手段。随着测试规模的不断扩大和测试场景的日益复杂,传统自动化测试框架面临严峻挑战。在电力终端测试、协议一致性测试等复杂场景下,测试用例数量动辄成千上万,分析成本高、耗时长,测试失败后的定位与复现工作尤为困难。

2、目前,在复杂嵌入式与软件自动化测试(如电力终端协议测试、协议一致性测试、物联网设备测试等)中,现有测试失败诊断与复现技术仍然存在以下难以解决的技术问题:

3、其一,诊断所需的完整性与数据捕获的低侵入性不可兼得。要想精准定位测试失败的根因,需要捕获变量全生命周期轨迹、完整调用链等多维数据,但这也会增加测试执行的开销,改变被测系统行为,甚至导致“海森堡效应”(观测本身干扰结果)。为此,现有技术通常使用天然的零侵入数据(测试执行的自然产物,比如日志、流量回放数据)作为数据源,但也因此牺牲了测试诊断所需的变量级完整性。

4、其二,多源诊断证据的客观性与融合决策的鲁棒性难以统一。不同的根因推理逻辑各自有优势与盲区,但它们的推理结果可能相互矛盾或置信度尺度不一。为此,现有技术在进行根因分析时,要么采用单一的推理路径,要么是在数据层面进行多源融合,要么是线性深度挖掘,以此自然避免“多源诊断证据(即推理结果)冲突”的问题,但也因此失去了通过不同推理逻辑互补来提高鲁棒性的机会。

5、其三,静态捕获的上下文与动态可复现的测试环境之间存在语义鸿沟。传统复现技术通常依赖人工重建环境、构造数据、设置断点,但捕获的上下文是静态的、碎片化的,难以形成一个可执行、可调试的动态重放脚本。为此,现有复现技术提出了在隔离的回放环境中用新的参数组合构建新的测试用例并重新执行的方案,但该方案仅能实现参数级或场景级的粗粒度复现,无法模拟变量在测试过程中经历的一系列变化操作,因此只能用于确认根因而无法辅助开发者调试。

技术实现思路

1、针对上述技术问题,本发明提出了一种软件测试的失败根因分析与复现方法、系统及介质,旨在克服传统软件测试诊断与复现过程中因数据不完整、失败根因推理片面、复现困难而导致的软件开发效率瓶颈。

2、第一方面,本技术提供了一种软件测试的失败根因分析与复现方法,包括以下步骤:

3、实时捕获断言执行过程中的失败代码上下文信息;

4、采用插桩策略追踪测试脚本执行过程中的变量状态,形成变量快照链;

5、对失败代码上下文信息以及变量快照链进行特征提取,得到多维核心特征;

6、采用专家规则推理逻辑对多维核心特征进行确定性推理,得到第一根因推理结果;

7、采用历史模式匹配推理逻辑对多维核心特征进行相似度推理,得到第二根因推理结果;

8、采用机器学习推理逻辑对多维核心特征进行概率预测推理,得到第三根因推理结果;

9、对全部根因推理结果进行证据聚合与排序,得到根因候选列表;

10、基于失败代码上下文信息以及变量快照链生成重放脚本,执行重放脚本以复现验证根因候选的失败过程。

11、第二方面,本技术提供了一种软件测试的失败根因分析与复现系统,包括:

12、断言上下文捕获器,用于实时捕获断言执行过程中的失败代码上下文信息;

13、变量快照链捕获器,用于采用插桩策略追踪测试脚本执行过程中的变量状态,形成变量快照链;

14、特征提取模块,用于对失败代码上下文信息以及变量快照链进行特征提取,得到多维核心特征,

15、规则推理引擎,用于采用专家规则推理逻辑对多维核心特征进行确定性推理,得到第一根因推理结果;

16、模式匹配引擎,用于采用历史模式匹配推理逻辑对多维核心特征进行相似度推理,得到第二根因推理结果;

17、机器学习引擎,用于采用机器学习推理逻辑对多维核心特征进行概率预测推理,得到第三根因推理结果;

18、推理结果聚合模块,用于对全部根因推理结果进行证据聚合与排序,得到根因候选列表;

19、快速重放模块,用于基于失败代码上下文信息以及变量快照链生成重放脚本,执行重放脚本以复现验证根因候选的失败过程。

20、第三方面,本技术提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如前述的一种软件测试的失败根因分析与复现方法。

21、本发明的有益技术效果至少包括:

22、1、采用一种软件测试的失败根因分析与复现方法、系统及介质,通过构建“以精确的失败代码上下文信息捕获、低侵入性的变量快照链捕获为基础,以多推理逻辑证据级别的融合为核心,以自动生成可调试的重放脚本以及根因候选列表为闭环”的完整、协同的技术方案,将软件测试的失败根因分析与复现流程从一个高度依赖人工经验的、碎片化的、耗时的过程,转变为一个高度自动化、智能化、系统化的工程实践,从而显著提升软件质量和研发效率。具体而言,首先,在断言执行点植入自动化捕获逻辑,结合栈帧过滤算法实现精准定位,并采用选择性插桩与增量存储策略,在变量声明、赋值、比较等关键位置低侵入性地捕获全生命周期变化,形成变量快照链。两者配合既避免了全量记录带来的海森堡效应与性能损耗,又保留了变量级完整轨迹,实现了“完整性与低侵入性”的理想平衡。其次,将捕获的异构上下文转化为多维结构化核心特征,为后续三种并行推理逻辑提供统一输入。并行推理逻辑分别采用专家规则推理进行确定性匹配、历史模式匹配推理进行相似度比对、机器学习推理进行概率预测,三者从不同角度独立输出根因类别与置信度。接着对这些多源证据进行聚合与排序,形成根因候选列表,既保留了各推理逻辑的优势互补,又通过证据级别融合规避了单一推理的盲区与冲突,极大提升了诊断鲁棒性。最后,针对静态捕获上下文与动态可复现环境之间的语义鸿沟,基于捕获的失败代码上下文信息和变量快照链生成可执行、可调试的重放脚本,模拟导致失败的关键数据流,使开发者无需手动重建环境、构造数据或设置断点即可复现失败过程,彻底打破了传统静态碎片化上下文的局限。

23、2、针对现有技术存在的“诊断所需的完整性与数据捕获的低侵入性”的矛盾,本技术创造性地通过“关键点插桩+实时写入+增量存储”的优化设计,在不影响测试主流程的前提下,仅在变量生命周期的关键变化点(变量赋值、比较、调用等)才进行捕获,形成连续的轨迹,并且对相邻相同值的快照节点进行合并去重,而非全量记录,使得快照链的长度严格等于变量值变化的次数,而非捕获次数,从而显著压缩数据量,再通过实时写入避免了内存堆积,使得该方案能够无缝嵌入高速测试执行流程,同时利用捕获时刻的时间戳天然排序,省去了后续排序的计算开销。从而在获得变量从初始到失败的完整生命周期轨迹(保证完整性)的同时,将对测试性能的影响控制在非常小的范围内(低侵入性)。

24、3、针对“多源诊断证据的客观性与融合决策的鲁棒性难以统一”的技术问题,本技术创造性地通过“多推理逻辑并行推理+基于证据数量与证据来源多样性的置信度融合”这一独特设计,有效应对了证据冲突和噪声,提升了诊断的鲁棒性。具体而言,设计三者并行工作、互相补充,规则推理逻辑覆盖已知的确定性场景,模式匹配覆盖历史重复场景,机器学习覆盖未知的新型场景,实现了对失败场景的全覆盖。正是因为本技术设计了三种不同原理的推理逻辑并行工作,才使得后续的证据聚合能够利用多源证据的互补性和冗余性,输出比任何单一推理逻辑都更准确、更鲁棒的根因候选。同时,保留了每个推理逻辑输出的原始证据(包括置信度和来源),通过证据聚合和综合置信度计算,充分利用了证据数量和来源多样性信息进行纠偏,这种设计巧妙地平衡了“深度”与“广度”,使得最终的根因候选排序更具鲁棒性,大幅度降低整体误判率,且具有非常强的可解释性。

25、4、针对“静态捕获的上下文与动态可复现的测试环境之间存在的语义鸿沟”,本技术以数据采集阶段捕获的变量快照链作为“蓝图”,通过快照链中的变化来源类型精确识别导致变量异常的根本操作,并针对性地模拟该操作,而非笼统地修改参数。这使得复现的粒度从“参数级”下降到“变量状态级”,实现从“静态记录”到“动态执行”的语义鸿沟跨越,并与前述步骤推理得到的根因推理结果形成闭环验证。即重放脚本不是盲目复现整个测试过程,而是根据根因候选列表中的排名,有针对性地模拟与最可能的根因相关的数据变化。这使得重放过程本身就是对根因假设的一次验证——如果重放成功复现了失败,则根因候选被证实;如果未能复现,则系统自动尝试下一个候选,实现了“推理→验证→反馈”的闭环。开发者无需手动搭建环境、构造数据,只需执行生成的重放脚本即可在断点处单步调试,观察变量状态,如同亲临原始测试现场,显著改善调试效率,从根本上解决了传统复现耗时、根因难以验证的两大技术痛点。

26、本发明的其他特点和优点将会在下面的具体实施方式、附图中详细的揭露。