图形用户界面智能体测试方法、装置、设备及存储介质与流程
本发明属于数据处理,应用于金融科技领域以及医疗健康领域,尤其涉及一种图形用户界面智能体测试方法、装置、设备及存储介质。
背景技术:
1、大语言模型驱动的图形用户界面智能体已应用于网页、命令行终端、浏览器扩展等多种平台环境,该类智能体需理解自然语言任务描述、感知界面视觉内容、执行多步骤交互操作以完成指定任务,其行为具有上下文依赖性和非确定性。
2、现有图形用户界面自动化测试方案主要包括两类。第一类为脚本录制回放与元素定位测试框架,依赖预定义的界面元素标识和固定操作步骤,通过断言机制判定测试结果。该类方案要求界面结构稳定,无法适应智能体以自然语言驱动的自由交互模式。例如在医疗健康领域,某医院测试用于电子病历会诊申请单填写的gui智能体时,测试脚本固定了患者搜索框的xpath路径和会诊申请单表单的元素id,智能体以自然语言指令执行任务时的操作路径与录制脚本不一致,导致元素定位频繁失败,测试人员只能通过回放脚本执行日志推测失败原因。
3、第二类为面向智能体的专用仿真评估环境与任务集,在模拟简化环境中运行预设任务,通过比对智能体最终输出文本与期望答案进行评分,无法复现真实环境中的界面反馈、外部工具调用和状态变更。例如在金融科技领域,某银行测试用于网上银行交易明细导出的gui智能体时,评估框架仅比对智能体输出的“导出成功”文本与期望结果,浏览器实际版本、银行服务器连通性等环境状态未被记录,文件是否实际生成、交易明细条目数量是否正确未经验证。
技术实现思路
1、本发明提供一种图形用户界面智能体测试方法、装置、设备及存储介质,可以解决现有图形用户界面智能体测试方案无法在真实动态图形用户界面环境中,对智能体的多步骤交互任务执行过程进行可信验证与可审计的缺陷追溯的技术问题。
2、第一方面,本发明提供了一种图形用户界面智能体测试方法,包括:
3、获取针对被测智能体的测试任务描述、目标平台类型以及测试环境约束条件;
4、处理所述测试任务描述和预设的被测智能体能力文档,生成结构化测试规范,所述结构化测试规范包含用于驱动被测智能体执行测试任务的交互输入内容、环境前置条件、预期结果及验证项;
5、根据所述环境前置条件和所述目标平台类型,调用环境操作接口构建测试环境;
6、在所述测试环境就绪后,根据所述交互输入内容调用预定义的跨平台通用交互原语,以与所述被测智能体的图形用户界面进行交互;
7、在交互过程中,基于界面变化事件触发采集屏幕证据帧,所述屏幕证据帧用于记录所述界面变化事件对应的交互动作日志条目;
8、将所述屏幕证据帧与对应的交互动作日志条目关联绑定,形成屏幕证据序列;
9、基于所述结构化测试规范中所述验证项的标识,从环境构建结果、所述屏幕证据序列及所述交互动作日志中抽取与所述验证项标识对应的多源证据并进行关联聚合,生成对应各所述验证项的结构化调查结果;
10、根据所述结构化调查结果与所述预期结果的一致性分析,输出缺陷判定结论,并生成包含所述结构化调查结果的审计报告。
11、第二方面,本发明提供了一种图形用户界面智能体测试装置,包括:
12、信息获取模块,用于获取针对被测智能体的测试任务描述、目标平台类型以及测试环境约束条件;
13、规范生成模块,用于处理所述测试任务描述和预设的被测智能体能力文档,生成结构化测试规范,所述结构化测试规范包含用于驱动被测智能体执行测试任务的交互输入内容、环境前置条件、预期结果及验证项;
14、环境构建模块,用于根据所述环境前置条件和所述目标平台类型,调用环境操作接口构建测试环境;
15、交互模块,用于在所述测试环境就绪后,根据所述交互输入内容调用预定义的跨平台通用交互原语,以与所述被测智能体的图形用户界面进行交互;
16、证据采集模块,用于在交互过程中,基于界面变化事件触发采集屏幕证据帧,所述屏幕证据帧用于记录所述界面变化事件对应的交互动作日志条目;
17、绑定模块,用于将所述屏幕证据帧与对应的交互动作日志条目关联绑定,形成屏幕证据序列;
18、结果生成模块,用于基于所述结构化测试规范中所述验证项的标识,从环境构建结果、所述屏幕证据序列及所述交互动作日志中抽取与所述验证项标识对应的多源证据并进行关联聚合,生成对应各所述验证项的结构化调查结果;
19、报告生成模块,用于根据所述结构化调查结果与所述预期结果的一致性分析,输出缺陷判定结论,并生成包含所述结构化调查结果的审计报告。
20、第三方面,提供了一种计算机设备,包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述图形用户界面智能体测试方法的步骤。
21、第四方面,提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现上述图形用户界面智能体测试方法的步骤。
22、可以理解的是,本发明方案获取测试任务描述、目标平台类型及环境约束条件后,生成结构化测试规范。该规范作为后续所有阶段的统一中间信息载体,承载交互输入内容、环境前置条件、预期结果及验证项。这一步建立了测试执行与验证审计之间的数据桥梁,使得验证阶段可以按验证项标识从执行阶段产生的多源证据中有针对性地抽取和聚合信息,解决了多源信息分散、无法按验证目标关联组织的问题。
23、进一步的,根据环境前置条件和目标平台类型,调用环境操作接口构建测试环境。这一步确保测试在真实目标平台环境中执行,而非模拟简化环境。环境构建结果作为后续验证的证据来源之一被保留,使得测试环境的实际配置状态可被审计。
24、进一步的,在真实测试环境中,依据交互输入内容调用跨平台通用交互原语驱动智能体交互。交互过程中基于界面变化事件触发采集屏幕证据帧,记录交互动作日志条目,并将二者关联绑定形成屏幕证据序列。这一步在真实执行过程中同步构建了完整的时间线证据链,每个界面状态变化均关联到对应的交互操作,解决了传统方案缺乏过程证据、测试不可追溯的问题。
25、进一步的,基于验证项标识,从环境构建结果、屏幕证据序列及交互动作日志中抽取对应证据并关联聚合,生成结构化调查结果。根据调查结果与预期结果的一致性分析输出缺陷判定结论并生成审计报告。这一步利用建立的验证项标识实现了按验证目标的多源证据聚合,将离散的截图、日志、环境状态组织为可判定的结构化事实,使得验证结论可追溯到具体证据,解决了缺陷判定仅依赖最终输出文本、无法进行可信验证与可审计追溯的问题。
26、这样,本发明方案通过结构化测试规范作为统一中间载体,将真实环境中的交互执行与验证审计串联为闭环:真实环境保证测试参数的真实性,验证项驱动的多源证据聚合保证验证的可信性,证据序列与审计报告保证缺陷的可追溯性。三者协同,解决了现有方案无法同时在真实环境中对智能体多步骤交互任务进行可信验证与可审计缺陷追溯的技术问题。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com