一种基于多模态视觉理解与多源证据融合的缺陷报告自动生成方法、系统及电子设备与流程

摘要: 本技术涉及软件测试与数据处理,尤其涉及一种基于多模态视觉理解与多源证据融合的缺陷报告自动生成方法、系统及电子设备。背景技术:1、在移动应用开发与测试领域中,缺陷...
一种基于多模态视觉理解与多源证据融合的缺陷报告自动生成方法、系统及电子设备与流程

本技术涉及软件测试与数据处理,尤其涉及一种基于多模态视觉理解与多源证据融合的缺陷报告自动生成方法、系统及电子设备。

背景技术:

1、在移动应用开发与测试领域中,缺陷报告用于描述测试过程中发现的缺陷,并为开发人员定位和修复缺陷提供依据。随着自动化缺陷修复场景的发展,缺陷报告不仅需要供开发人员阅读,还需要能够被自动化缺陷修复代理程序化消费。然而,现有缺陷报告生成方式存在依赖人工、信息源单一等缺陷;因此,亟待解决这一技术问题。

技术实现思路

1、鉴于上述问题,提出了本技术以便提供一种克服上述问题或者至少部分地解决上述问题的一种基于多模态视觉理解与多源证据融合的缺陷报告自动生成方法、系统及电子设备。所述技术方案如下:

2、第一方面,提供了一种基于多模态视觉理解与多源证据融合的缺陷报告自动生成方法,所述方法包括:

3、响应于触发操作,获取目标屏幕录像数据、目标系统运行日志数据和文本用例描述信息;

4、从所述目标屏幕录像数据中提取关键帧图像,得到关键帧图像序列;

5、将所述关键帧图像序列、所述目标系统运行日志数据和所述文本用例描述信息输入多模态大语言模型,通过所述多模态大语言模型对所述关键帧图像序列进行视觉内容理解、对所述目标系统运行日志数据进行语义解析,并结合所述文本用例描述信息执行多源证据融合分析,生成结构化缺陷报告。

6、在一种可能的实现方式中,获取目标屏幕录像数据和目标系统运行日志数据,包括:

7、从持续缓存的屏幕录像缓存数据中截取第一时间窗口内的屏幕录像数据作为目标屏幕录像数据,以及从持续缓存的系统运行日志缓存数据中截取第二时间窗口内的系统运行日志数据作为目标系统运行日志数据;其中,所述屏幕录像缓存数据和所述系统运行日志缓存数据为通过环形缓冲区持续缓存的数据;

8、所述环形缓冲区具有固定大小,存储预设时长内的屏幕录像数据和系统运行日志数据,并采用先进先出的淘汰策略,在缓冲区满时覆盖最早存储的数据。

9、在一种可能的实现方式中,所述第一时间窗口为以所述触发操作的触发时刻为终点向前追溯第一预设时长所确定的时间窗口;

10、所述第二时间窗口为以所述触发时刻为终点向前追溯第二预设时长所确定的时间窗口。

11、在一种可能的实现方式中,从所述目标屏幕录像数据中提取关键帧图像,得到关键帧图像序列,包括:

12、按照预设采样策略从所述目标屏幕录像数据中提取关键帧图像,为每帧所述关键帧图像关联对应的时间戳信息;

13、将所有所述关键帧图像按照时间先后顺序排列,得到所述关键帧图像序列;其中,所述预设采样策略包括固定时间点采样、基于画面变化的自适应采样和基于交互痕迹检测的采样中的一种或多种。

14、在一种可能的实现方式中,所述固定时间点采样包括:在所述目标屏幕录像数据的每个时间单位内,在至少一个预设时间点各提取一帧图像;

15、所述基于画面变化的自适应采样包括:计算相邻帧之间的画面差异度,在所述画面差异度超过预设阈值时提取关键帧图像;

16、所述基于交互痕迹检测的采样包括:对每一帧图像进行交互痕迹检测,在检测到交互痕迹时标记该帧为关键帧图像。

17、在一种可能的实现方式中,所述预设采样策略包括所述固定时间点采样、所述基于画面变化的自适应采样和所述基于交互痕迹检测的采样中的多种时,对提取的关键帧图像进行去重处理,并按时间戳排序生成所述关键帧图像序列。

18、在一种可能的实现方式中,通过所述多模态大语言模型对所述关键帧图像序列进行视觉内容理解、对所述目标系统运行日志数据进行语义解析,并结合所述文本用例描述信息执行多源证据融合分析,生成结构化缺陷报告,包括:

19、通过所述多模态大语言模型对所述关键帧图像序列进行视觉时序分析,识别操作事件序列,每个操作事件包括操作类型、操作发生时间戳、操作对象语义描述和所在界面描述;

20、通过所述多模态大语言模型对所述关键帧图像序列进行界面布局变化分析,识别界面跳转序列;

21、通过所述多模态大语言模型对所述目标系统运行日志数据进行异常识别,提取异常信息,并将所述异常信息与所述操作事件序列在时间轴上进行关联;

22、通过所述多模态大语言模型基于所述操作事件序列、所述界面跳转序列、所述异常信息和所述文本用例描述信息,生成所述结构化缺陷报告。

23、在一种可能的实现方式中,所述方法还包括:

24、通过所述多模态大语言模型将所述文本用例描述信息中记载的预期操作路径与所述操作事件序列进行语义比对;

25、在所述预期操作路径与所述操作事件序列不一致的情况下,生成差异提示标记,并以所述操作事件序列为准生成所述复现步骤。

26、在一种可能的实现方式中,所述结构化缺陷报告包括异常现象描述、期望行为描述、复现步骤、异常原因分析和异常日志;

27、所述异常现象描述按照第一预设格式描述,所述第一预设格式包含异常发生时的界面信息、用户操作信息和异常表现信息;

28、所述期望行为描述按照第二预设格式描述,所述第二预设格式包含正确行为信息和异常表现信息;

29、所述复现步骤按执行顺序列出原子级操作步骤,每个所述原子级操作步骤包含操作动作和操作对象;

30、所述异常原因分析是基于所述目标系统运行日志数据的日志分析结果提供技术层面的原因推断;

31、所述异常日志包含所述目标系统运行日志数据中的关键异常日志原文。

32、在一种可能的实现方式中,所述方法还包括:

33、将所述复现步骤中的每一步与所述操作事件序列中的操作事件进行逐条匹配验证;

34、在存在无法匹配的复现步骤时,将该复现步骤标记为存疑步骤,并在所述结构化缺陷报告中添加所述存疑步骤的标记。

35、在一种可能的实现方式中,所述方法还包括:

36、将所述结构化缺陷报告按照目标缺陷管理系统的数据接口规范,通过应用程序编程接口自动提交至所述目标缺陷管理系统。

37、第二方面,提供了一种基于多模态视觉理解与多源证据融合的缺陷报告自动生成系统,所述系统包括:

38、触发获取单元,用于响应于触发操作,获取目标屏幕录像数据、目标系统运行日志数据和文本用例描述信息;

39、关键帧提取单元,用于从所述目标屏幕录像数据中提取关键帧图像,得到关键帧图像序列;

40、融合分析单元,用于将所述关键帧图像序列、所述目标系统运行日志数据和所述文本用例描述信息输入多模态大语言模型,通过所述多模态大语言模型对所述关键帧图像序列进行视觉内容理解、对所述目标系统运行日志数据进行语义解析,并结合所述文本用例描述信息执行多源证据融合分析,生成结构化缺陷报告。

41、第三方面,提供了一种电子设备,该电子设备包括处理器和存储器,其中,所述存储器中存储有计算机程序,所述处理器被配置为运行所述计算机程序以执行上述任一项所述的基于多模态视觉理解与多源证据融合的缺陷报告自动生成方法。

42、借由上述技术方案,本技术提供的基于多模态视觉理解与多源证据融合的缺陷报告自动生成方法、系统及电子设备,该方法可以持续缓存屏幕录像缓存数据和系统运行日志缓存数据,并在触发操作发生后,获取目标屏幕录像数据、目标系统运行日志数据和文本用例描述信息;随后从目标屏幕录像数据中提取关键帧图像序列,并将关键帧图像序列、目标系统运行日志数据和文本用例描述信息输入多模态大语言模型,通过多模态大语言模型对关键帧图像序列进行视觉内容理解、对目标系统运行日志数据进行语义解析,并结合文本用例描述信息执行多源证据融合分析,生成结构化缺陷报告,实现了缺陷报告的自动化生成,消除了人工撰写的质量不确定性;融合了屏幕录像、系统运行日志和文本用例描述等多源证据,构建了包含“用户操作→界面变化→系统异常”完整链条的缺陷画像;以屏幕录像中真实记录的用户操作序列为事实基准,多模态大语言模型仅对屏幕录像进行视觉识别和操作归纳,不作推测或编造,从根源上减少了“幻觉”问题;生成的缺陷报告采用结构化格式,既可供开发人员直接阅读,也可供人工智能缺陷修复代理通过解析固定字段提取关键信息进行程序化消费。