AI系统联调核验方法及系统与流程

本技术涉及软件测试，特别是涉及ai系统联调核验方法及系统。

背景技术：

1、在ai系统集成联调测试过程中，测试平台需要将用例清单分派给ai子系统，由ai子系统分轮次执行测试用例，并在每轮次执行完毕后导出结果文件。比对工程师将第一轮次执行用例清单中全部测试用例后导出的第一结果文件与第二轮次执行后导出的第二结果文件逐行比对，依据行号对齐的条目内容生成差异报告，再根据差异报告判断版本变更对ai子系统输出内容的影响。

2、在上述联调比对场景中，ai子系统执行测试用例的过程容易受到网络中断的影响。当执行请求发出后在预设等待时长内未收到ai子系统返回结果时，网络中断事件发生，测试用例被判定为执行失败。执行失败的测试用例不会向结果文件写入条目，导致第二结果文件中的条目数量小于用例清单中的用例总数。条目缺失后，位于缺失用例之后的所有条目整体前移，第二结果文件中的行号与用例编号之间的对应关系发生错位。比对平台按照行号逐行比对时，会将大量内容本无差异的条目误判为差异条目，差异报告中充斥因错位引起的假差异，差异结论失去参考价值。

3、为定位错位位置，比对工程师需要人工核对第二结果文件中的每一条目，逐条确认条目内容与用例编号的归属关系，再推算错位起始行与错位行数。当用例清单中包含数百条测试用例时，人工核对耗时较长，且错位起始行容易被遗漏。此外，差异报告的生成与归档通常自动执行，错误报告在工程师发现问题之前已经归档并展示，事后更正需要重新执行比对流程，进一步延长联调测试周期。

技术实现思路

1、鉴于上述存在的问题，提出了本技术。

2、因此，本技术提供了ai系统联调核验方法及系统，能够解决测试用例执行失败导致结果文件条目缺失、行号错位，使逐行比对生成的差异报告出现大量假差异，且错位边界需要人工定位的问题。

3、为解决上述技术问题，本技术提供如下技术方案：

4、第一方面，本技术提供了ai系统联调核验方法，包括：获取ai子系统分轮次执行测试用例时生成的执行状态标识，以及第一轮次执行用例清单中全部测试用例后导出的第一结果文件与第二轮次执行测试用例后导出的第二结果文件；所述执行状态标识包含用例编号数据、执行结果状态数据以及轮次标识数据；

5、响应于比对指令，当本轮次轮次标识数据对应的执行状态标识中执行结果状态为成功的条目数量小于用例清单的用例总数时，根据执行结果状态为失败的执行状态标识提取用例编号数据，生成缺失用例清单；

6、对第二结果文件中的每一条目执行内容归属校验，将条目内容特征与条目当前行号映射的用例编号对应的输入特征进行匹配，将内容特征不符的条目标记为错位嫌疑条目，并根据缺失用例清单与错位嫌疑条目执行边界一致性判断，得到包含起始条目位置数据的错位边界标识；

7、响应于错位边界标识，生成报告暂停指令，按用例编号映射关系表将第二结果文件条目与第一结果文件中同用例编号的条目重新配对后生成差异报告；其中，所述用例编号映射关系表记录用例清单中每个用例编号与第一结果文件条目位置、第二结果文件条目位置之间的对应关系。

8、作为优选，所述获取ai子系统分轮次执行测试用例时生成的执行状态标识，包括：

9、在ai子系统每条测试用例执行结束时，生成执行状态标识写入记录表，所述执行状态标识还包含执行时刻数据、中断关联标识数据以及确认状态数据；

10、其中，所述中断关联标识数据表征测试用例执行期间是否发生网络中断，网络中断为执行请求发出后在预设等待时长内未收到ai子系统返回结果的状态；

11、执行结果状态为执行失败的测试用例，在执行结束时同样生成执行状态标识写入记录表；

12、将各轮次生成的执行状态标识按轮次标识数据归集于记录表，得到ai子系统分轮次执行测试用例时生成的执行状态标识。

13、作为优选，所述当本轮次轮次标识数据对应的执行状态标识中执行结果状态为成功的条目数量小于用例清单的用例总数时，根据执行结果状态为失败的执行状态标识提取用例编号数据，生成缺失用例清单，包括：

14、判断本轮次轮次标识数据对应的全部执行状态标识中，执行结果状态为成功的条目数量是否等于用例清单的用例总数；

15、若小于用例总数，根据执行结果状态为失败的执行状态标识提取用例编号数据，按用例编号由小到大排列生成缺失用例清单；

16、向比对工程师终端发送包含缺失用例清单中用例编号的完整性提示信号；

17、若比对工程师通过终端上的确认按键选择继续比对，将缺失用例清单与本次比对任务绑定；若选择暂停比对，将比对任务挂起并保留缺失用例清单；若在预设等待时长内未收到按键响应，按继续比对处理并生成未收到完整性确认的交互记录，完成缺失用例清单的生成。

18、作为优选，所述对第二结果文件中的每一条目执行内容归属校验，将条目内容特征与条目当前行号映射的用例编号对应的输入特征进行匹配，将内容特征不符的条目标记为错位嫌疑条目，包括：

19、对第二结果文件中的每一条目，提取条目内容中反映输入类别与数据字段构成的内容特征；

20、将条目内容特征与条目当前行号所映射的用例编号在用例清单中登记的输入特征进行匹配；

21、若条目内容特征与所登记的输入特征不符，将条目标记为错位嫌疑条目；

22、若条目内容特征与所登记的输入特征相符，将条目标记为归属正常条目，完成第二结果文件中每一条目的内容归属校验。

23、作为优选，所述将内容特征不符的条目标记为错位嫌疑条目，包括：

24、对标记为错位嫌疑条目的条目，将条目内容特征与第一结果文件中用例编号加一的条目内容特征进行比对；

25、若相符，判定条目发生单行错位，记录错位行数；

26、若不符，继续与第一结果文件中用例编号加二、加三的条目内容特征比对，直至找到内容特征相符的条目或比对到预设邻近范围的尽头，找到相符条目时记录错位行数；

27、若条目内容特征与第一结果文件中任何邻近条目的内容特征都不匹配，判定条目属于输出内容真实异常，生成内容真实异常标识，向执行工程师终端发送内容异常复核请求，完成错位嫌疑条目的标记。

28、作为优选，所述根据缺失用例清单与错位嫌疑条目执行边界一致性判断，得到包含起始条目位置数据的错位边界标识，包括：

29、根据缺失用例清单确定首个失败用例的编号，根据用例编号映射关系表确定首个失败用例编号在第一结果文件中的条目位置，作为候选错位起始边界；

30、若首个错位嫌疑条目在第一结果文件中的条目位置与候选错位起始边界一致，且错位嫌疑条目的错位行数与此前累积的缺失用例数量相符，生成包含起始条目位置数据与错位行数数据的错位边界标识，完成边界一致性判断；

31、若第二结果文件全部条目均标记为归属正常条目，生成无错位标识，完成边界一致性判断；

32、若错位嫌疑条目存在但条目位置与候选错位起始边界不一致，或错位行数与缺失用例数量不相符，生成边界不确定标识，向比对工程师终端发送边界复核请求，完成边界一致性判断。

33、作为优选，所述响应于错位边界标识，生成报告暂停指令，按用例编号映射关系表将第二结果文件条目与第一结果文件中同用例编号的条目重新配对后生成差异报告，包括：

34、响应于错位边界标识，生成报告暂停指令，暂停差异报告的归档与展示；

35、生成重新对齐指令，按用例编号映射关系表将第二结果文件条目与第一结果文件中同用例编号的条目配对后比较内容，缺失用例的行位留空并标记为待补条目；

36、等待配对完成后的对齐完成反馈信号，在预设等待时长内未收到对齐完成反馈信号时，重新发送重新对齐指令，再次未收到时向比对工程师终端发送人工对齐请求；

37、向比对工程师终端与执行工程师终端分别发送包含暂停原因与缺失用例清单摘要的差异报告已暂停提示信号，按重新配对后的条目生成差异报告。

38、作为优选，所述方法还包括：

39、响应于对齐完成反馈信号，生成缺失用例补跑询问发送给执行工程师终端，内容为缺失用例清单以及补跑缺失用例与按现有条目生成差异结论两条选项；

40、若执行工程师选择补跑缺失用例，将缺失用例清单转为补跑任务，补跑的测试用例执行完毕后生成执行状态标识写入记录表，补跑结果追加到第二结果文件的对应行位；若选择按现有条目生成差异结论，在差异报告中将缺失用例逐条标记为未比对状态；

41、补跑完成后执行二次确认判断：若补跑后条目齐全且此前的错位嫌疑条目在按用例编号配对后全部转为一致，生成假差异确认标识，解除报告暂停状态；若补跑后条目齐全但仍有条目内容与第一结果文件中同用例编号的条目不符，生成真实差异标识；若补跑再次执行失败，或补跑结果与第一结果文件和第二结果文件中任何一方的邻近条目内容特征都不匹配，生成存疑标识，向团队负责人终端发送人工复核请求，维持报告暂停状态，按重新配对后的条目生成差异报告。

42、作为优选，所述方法还包括：

43、获取网络中断事件记录，所述网络中断事件记录在检测到与ai子系统之间的请求等待超时状态时生成，包含中断起始时刻数据与中断结束时刻数据；

44、以中断起始时刻数据与中断结束时刻数据界定的中断时段为界，对执行状态标识执行分段校验，中断时段之内生成的执行状态标识不作为用例最终执行结果的判断依据，改用ai子系统返回的用例完成回执判定执行成功，所述用例完成回执携带用例编号与结果条目位置；

45、未收到用例完成回执且执行请求时刻落在中断时段内的测试用例，登记为执行失败并列入缺失用例清单；

46、对同一测试用例出现两条执行状态标识的重叠情形，以用例完成回执到达时刻较早的一条为准，另一条标记为重复记录予以剔除；

47、当网络中断事件记录不可用时，向执行工程师终端发送是否发生网络中断及中断时段的询问提示，根据按键响应生成替代的中断时段数据，完成执行状态标识的分段校验。

48、第二方面，本技术还提供了ai系统联调核验系统，包括：执行状态记录模块、完整性判断模块、内容归属校验模块、边界判断模块以及报告控制模块；

49、所述执行状态记录模块用于在ai子系统每条测试用例执行结束时，生成包含用例编号数据、执行结果状态数据以及轮次标识数据的执行状态标识写入记录表；

50、所述完整性判断模块用于响应于比对指令，当本轮次执行状态标识中执行结果状态为成功的条目数量小于用例清单的用例总数时，根据执行结果状态为失败的执行状态标识生成缺失用例清单；

51、所述内容归属校验模块用于对第二结果文件中的每一条目执行内容归属校验，将条目内容特征与条目当前行号映射的用例编号对应的输入特征进行匹配，将内容特征不符的条目标记为错位嫌疑条目；

52、所述边界判断模块用于根据缺失用例清单与错位嫌疑条目执行边界一致性判断，得到包含起始条目位置数据的错位边界标识；

53、所述报告控制模块用于响应于错位边界标识，生成报告暂停指令，按用例编号映射关系表将第二结果文件条目与第一结果文件中同用例编号的条目重新配对后生成差异报告。

54、实施本技术，具有如下有益效果：

55、本技术提供了ai系统联调核验方法及系统，本发明通过执行状态标识中的用例编号数据、执行结果状态数据与轮次标识数据，自动统计成功条目数量并生成缺失用例清单，比对工程师无需人工核对第二结果文件中的缺失条目，缩短了缺失用例的确认时间。通过内容归属校验将条目内容特征与行号映射的用例编号对应的输入特征进行匹配，配合边界一致性判断，测试平台能够自动确定错位起始条目位置与错位行数，取代人工逐条推算错位边界的操作。通过报告暂停指令阻止错误差异报告归档，并按用例编号映射关系表重新配对条目，差异报告中的条目与用例编号一一对应，消除了条目错位引起的假差异，提高了差异结论的可信度。结合网络中断时段的分段校验与缺失用例补跑流程，本发明还降低了网络中断对执行状态判定与补跑结果追加的干扰，缩短了联调比对的整体周期。