基于AI的测试用例核验方法、装置、设备以及产品与流程

本技术涉及软件测试，尤其涉及一种基于ai的测试用例核验方法、装置、设备以及产品。

背景技术：

1、目前，银行软件测试领域的用例核验主要依赖人工方式，测试人员从大量测试用例中凭经验随机选取样本，逐条阅读用例描述并与执行截图进行人工比对，判断实际结果与预期是否一致，而现有核验工具主要包括三类，一是纯人工核验，完全依靠测试人员手动筛选和比对，二是基于标签、优先级等简单属性的规则筛选工具，仅辅助人工缩小范围，三是自动化测试执行工具，虽能自动执行并记录结果，但核验环节仍需人工介入完成图片与步骤的核对。

2、然而，上述现有技术存在明显缺陷，首先，核验效率极为低下，人工逐条阅读描述和查看截图耗时巨大，而测试用例数量随系统规模急剧增长，一个中等规模系统即有数千条用例，人工逐一检查几乎不可能，其次，缺乏统一规则，人工筛选具有较强随机性和主观性，不同人员核验结果差异大，质量不稳定，再次，覆盖范围有限，因耗时限制通常仅能覆盖10%–20%的用例，易遗漏边界条件、异常处理等重要场景，此外，现有技术不具备对执行截图的智能识别能力，图片与步骤的匹配完全依赖人工，工作量大且易出错。最后，图片处理均为单张模式，无法批量进行，进一步加剧了效率瓶颈。

3、上述内容仅用于辅助理解本技术的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

1、本技术的主要目的在于提供一种基于ai的测试用例核验方法、装置、设备以及产品，旨在解决无法识别测试执行截图内容并判断截图内容与用例步骤的相关性，从而导致核验效率低的技术问题。

2、为实现上述目的，本技术提出一种基于ai的测试用例核验方法，所述基于ai的测试用例核验方法包括：

3、获取已执行的测试用例信息，通过标签规则对所述测试用例信息进行核验筛选，得到待核验测试用例；

4、对所述待核验测试用例进行ai图像识别，得到结构化截图识别结果；

5、将所述结构化截图识别结果与所述待核验测试用例进行语义匹配，得到相关性判定结果，并通过所述相关性判定结果得到核验结论。

6、在一实施例中，所述获取已执行的测试用例信息，通过标签规则对所述测试用例信息进行核验筛选，得到待核验测试用例的步骤包括：

7、通过同步接口获取测试管理平台中的测试用例，得到原始用例集合；

8、根据多维度标签规则对所述原始用例集合中的若干测试用例进行打标，得到打标后的若干测试用例；

9、通过核验优先级顺序对所述打标后的若干测试用例进行核验筛选，得到待核验测试用例。

10、在一实施例中，所述对所述待核验测试用例进行ai图像识别，得到结构化截图识别结果的步骤包括：

11、通过多线程并行识别对所述待核验测试用例的测试执行截图进行ai图像识别，得到原始图像识别数据；

12、从所述原始图像识别数据中提取界面操作动作、界面元素状态、数据库表状态以及操作结果中的至少一种信息，得到关键信息集合；

13、根据预设的结构化格式将所述关键信息集合进行文本转换，得到结构化截图识别结果。

14、在一实施例中，所述将所述结构化截图识别结果与所述待核验测试用例进行语义匹配，得到相关性判定结果的步骤包括：

15、解析所述待核验测试用例得到用例文本信息，所述用例文本信息包括用例步骤描述以及用例预期结果；

16、根据所述待核验测试用例对应的产品类型，从提示词模板库中调用提示词模板；

17、根据所述提示词模板对所述结构化截图识别结果、用例步骤描述以及用例预期结果进行拼接，得到匹配输入数据；

18、通过大语言模型对所述匹配输入数据进行语义相似度计算，得到相关性判定结果。

19、在一实施例中，所述通过所述相关性判定结果得到核验结论的步骤包括：

20、解析所述相关性判定结果得到置信度分数，将所述置信度分数与预设的第一阈值和第二阈值分别进行比较；

21、若所述置信度分数大于所述第一阈值，则判定所述待核验测试用例的核验结论为核验通过；

22、若所述置信度分数小于所述第一阈值且大于所述第二阈值，则判定所述待核验测试用例的核验结论为等待人工复核；

23、若所述置信度分数小于所述第二阈值，则判定所述待核验测试用例的核验结论为核验不通过。

24、在一实施例中，所述将所述结构化截图识别结果与所述待核验测试用例进行语义匹配，得到相关性判定结果，并通过所述相关性判定结果得到核验结论的步骤之后，所述方法还包括：

25、当所述核验结论为不通过时，通过缺陷管理平台创建所述待核验测试用例对应的缺陷记录，并将所述缺陷记录发送至开发人员；

26、当所述核验结论为等待人工复核时，通过推送队列将所述待核验测试用例以及所述结构化截图识别结果发送至人工复核端；

27、接收所述人工复核端发送的复核结果，并通过所述复核结果对所述核验结论进行更新。

28、在一实施例中，所述获取已执行的测试用例信息的步骤之前，所述方法包括：

29、在达到预设的时间点时，接收定时任务发送的核验启动信号；

30、根据所述核验启动信号读取产品核验配置信息，并对所述产品核验配置信息进行解析，得到核验配置参数；

31、根据所述核验配置参数确定核验模式；

32、若所述核验模式为自动核验，则执行步骤：获取已执行的测试用例信息；

33、若所述核验模式为手动核验，则等待用户发出核验指令。

34、此外，为实现上述目的，本技术还提出一种基于ai的测试用例核验装置，所述基于ai的测试用例核验装置包括：

35、筛选模块，用于获取已执行的测试用例信息，通过标签规则对所述测试用例信息进行核验筛选，得到待核验测试用例；

36、识别模块，用于对所述待核验测试用例进行ai图像识别，得到结构化截图识别结果；

37、核验模块，用于将所述结构化截图识别结果与所述待核验测试用例进行语义匹配，得到相关性判定结果，并通过所述相关性判定结果得到核验结论。

38、此外，为实现上述目的，本技术还提出一种基于ai的测试用例核验设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序配置为实现如上文所述的基于ai的测试用例核验方法的步骤。

39、此外，为实现上述目的，本技术还提出一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上文所述的基于ai的测试用例核验方法的步骤。

40、此外，为实现上述目的，本技术还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现如上文所述的基于ai的测试用例核验方法的步骤。

41、本技术提出的一个或多个技术方案，至少具有以下技术效果：

42、本技术实施例提出的一种基于ai的测试用例核验方法、装置、设备以及产品，通过获取已执行的测试用例信息，通过标签规则对所述测试用例信息进行核验筛选，得到待核验测试用例；对所述待核验测试用例进行ai图像识别，得到结构化截图识别结果；将所述结构化截图识别结果与所述待核验测试用例进行语义匹配，得到相关性判定结果，并通过所述相关性判定结果得到核验结论。由此，通过ai图像识别自动解析截图内容，输出结构化识别结果，进而通过语义匹配将识别结果与用例说明自动比对，得出相关性判定，替代了人工逐条核对截图与步骤的繁琐过程，最终根据判定结果自动输出核验结论，无需人工介入，解决了无法识别测试执行截图内容并判断截图内容与用例步骤的相关性，从而导致核验效率低的问题，提高了基于ai的测试用例核验的效率。