一种执行结果核对方法、装置及存储介质与流程

本技术涉及软件测试，尤其涉及一种执行结果核对方法、装置及存储介质。

背景技术：

1、在软件测试领域，测试案例执行结果的核对是保障软件质量的关键环节。测试案例通常包含预设的预期结果，测试人员执行案例后获得执行截图，需要将执行截图中的实际结果与预期结果进行比对，以判断案例是否执行通过。

2、目前，测试案例执行结果的核对工作主要依赖人工操作。由测试负责人根据项目的人员配置、产品特性以及案例数量等因素，主观决定是否对执行结果进行检查以及检查的比例。在人工核对过程中，测试人员需要逐张查看测试案例的执行截图，并将其与案例预设的预期结果进行人工比对。当测试案例数量较大时，人工逐张比对效率低下；同时，不同测试人员对同一案例的判断标准可能存在差异，导致核对结果受主观因素影响，存在误判和准确率不足的问题。

3、因此，如何在测试案例执行结果核对中，提升核对效率的同时确保判定标准的客观性和一致性，是亟需解决的技术问题。

4、上述内容仅用于辅助理解本技术的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

1、本技术的主要目的在于提供一种执行结果核对方法、装置及存储介质，旨在解决如何在测试案例执行结果核对中，提升核对效率的同时确保判定标准的客观性和一致性的技术问题。

2、为实现上述目的，本技术提出一种执行结果核对方法，所述方法包括：

3、响应于接收到的核对请求，根据所述核对请求中携带的项目标识和核对规则，基于预设的挑选策略生成待核对案例集，其中所述待核对案例集包括各测试案例及各测试案例的预期结果；

4、获取所述待核对案例集中各测试案例对应的执行截图，并提取所述执行截图中的文本信息，将所述文本信息作为所述各测试案例的实际执行结果；

5、对所述各测试案例的实际执行结果和所述各测试案例的预期结果分别进行清洗处理，得到所述各测试案例清洗后的实际执行结果和清洗后的预期结果；

6、基于预设的评分规则，对所述清洗后的实际执行结果和所述清洗后的预期结果进行比对，生成评估分数，并根据所述评估分数确定所述各测试案例的判定结果。

7、在一实施例中，所述提取所述执行截图中的文本信息，将所述文本信息作为所述各测试案例的实际执行结果的步骤包括：

8、将所述执行截图输入至预设的人工智能模型；

9、通过所述人工智能模型对所述执行截图进行视觉元素解析和文字信息提取，得到所述执行截图中的文本信息；

10、将所述文本信息作为所述各测试案例的实际执行结果。

11、在一实施例中，所述将所述文本信息作为所述各测试案例的实际执行结果的步骤包括：

12、将所述文本信息按照检查点类型进行分类，所述检查点类型包括数据检查点、用户界面检查点和功能检查点中的至少一种；

13、按照分类后的检查点类型，将所述文本信息组织为结构化文本；

14、将所述结构化文本作为所述各测试案例的实际执行结果。

15、在一实施例中，所述对所述各测试案例的实际执行结果和所述各测试案例的预期结果分别进行清洗处理，得到所述各测试案例清洗后的实际执行结果和清洗后的预期结果的步骤包括：

16、对于任一所述测试案例，对所述测试案例的实际执行结果和所述测试案例的预期结果分别进行格式统一化处理，以去除冗余符号和空格；

17、对格式统一化处理后的实际执行结果和预期结果，按照所述检查点类型进行语义标准化处理，以将格式统一化处理后的实际执行结果和预期结果的文本映射为统一语义表示，得到所述测试案例清洗后的实际执行结果和清洗后的预期结果。

18、在一实施例中，所述基于预设的评分规则，对所述清洗后的实际执行结果和所述清洗后的预期结果进行比对，生成评估分数，并根据所述评估分数确定所述各测试案例的判定结果的步骤包括：

19、获取各所述检查点类型对应的预设权重；

20、针对每个检查点类型，计算所述各测试案例清洗后的实际执行结果与清洗后的预期结果之间的语义差异率；

21、根据所述语义差异率和所述检查点类型对应的评分标准，确定所述各测试案例的各检查点类型的检查点得分；

22、根据所述各测试案例的各检查点类型的检查点得分和所述预设权重，生成评估分数，并根据所述评估分数确定所述各测试案例的判定结果。

23、在一实施例中，所述根据所述语义差异率和所述检查点类型对应的评分标准，确定所述各测试案例的各检查点类型的检查点得分的步骤包括：

24、针对每个检查点类型，判断所述语义差异率是否小于或等于所述检查点类型对应的预设差异率阈值；

25、当所述语义差异率小于或等于所述预设差异率阈值时，确定所述检查点类型的检查点得分为预设满分值；

26、当所述语义差异率大于所述预设差异率阈值时，根据所述语义差异率与所述检查点类型对应的预设递减系数的乘积确定扣减量，将所述预设满分值减去所述扣减量得到所述检查点类型的检查点得分；

27、其中，数据检查点、用户界面检查点和功能检查点对应的预设差异率阈值依次增大，数据检查点、用户界面检查点和功能检查点对应的预设递减系数依次减小。

28、在一实施例中，所述核对规则包括最小维度核对规则，所述基于预设的挑选策略生成待核对案例集的步骤包括：

29、当所述核对请求中携带的核对规则为所述最小维度核对规则时，根据所述项目标识确定候选测试案例；

30、从所述候选测试案例中筛选出符合预设重要功能条件的测试案例，生成所述待核对案例集；

31、其中，所述预设重要功能条件包括：所述测试案例属于核心场景、核心功能或核心业务流程中的至少一项。

32、在一实施例中，在所述根据所述评估分数确定所述各测试案例的判定结果的步骤之后，还包括：

33、根据所述各测试案例的判定结果和所述评估分数生成核对报告；

34、将所述核对报告推送至所述核对请求的发起方。

35、此外，为实现上述目的，本技术还提出一种执行结果核对装置，所述执行结果核对装置包括：

36、案例生成模块，用于响应于接收到的核对请求，根据所述核对请求中携带的项目标识和核对规则，基于预设的挑选策略生成待核对案例集，其中所述待核对案例集包括各测试案例及各测试案例的预期结果；

37、案例执行模块，用于获取所述待核对案例集中各测试案例对应的执行截图，并提取所述执行截图中的文本信息，将所述文本信息作为所述各测试案例的实际执行结果；

38、数据清洗模块，用于对所述各测试案例的实际执行结果和所述各测试案例的预期结果分别进行清洗处理，得到所述各测试案例清洗后的实际执行结果和清洗后的预期结果；

39、结果判定模块，用于基于预设的评分规则，对所述清洗后的实际执行结果和所述清洗后的预期结果进行比对，生成评估分数，并根据所述评估分数确定所述各测试案例的判定结果。

40、此外，为实现上述目的，本技术还提出一种执行结果核对设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如上文所述的执行结果核对方法。

41、此外，为实现上述目的，本技术还提出一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上文所述的执行结果核对方法。

42、此外，为实现上述目的，本技术还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如上文所述的执行结果核对方法。

43、本技术提供了一种执行结果核对方法，本技术首先响应于核对请求，根据项目标识和核对规则生成包含各测试案例及其预期结果的待核对案例集；然后获取各测试案例对应的执行截图并从中提取文本信息作为实际执行结果，对实际执行结果和预期结果分别进行清洗处理；最后基于预设的评分规则对清洗后的结果进行比对，生成评估分数并确定各测试案例的判定结果。

44、因此，本技术通过自动提取执行截图中的文本信息作为实际执行结果，并以清洗处理后的实际执行结果与清洗处理后的预期结果进行比对，替代了人工逐张查看截图并进行人工比对的操作，提升了核对效率；同时，通过对实际执行结果和预期结果分别进行清洗处理，消除了原始数据中的格式差异和语义表述差异对后续比对的影响，并基于预设的评分规则进行统一的量化比对，使得所有测试案例的核对均遵循相同的判定标准，消除了人工核对中因测试人员主观差异导致的判定标准不一致问题，从而在提升核对效率的同时保证了核对质量的客观性和一致性。