一种基于大模型的可判分WebGUI任务自动合成方法及系统

本发明涉及软件自动化测试与人工智能，具体涉及一种基于大模型的可判分web gui任务自动合成方法及系统，用于对目标web应用在无需人工编写判分器的情况下生成可执行、可判分且去重的多步图形用户界面(gui)操作任务及其配套的自动判分器。

背景技术：

1、图形用户界面(gui)智能体的评测依赖于成规模的操作任务及其判分逻辑：每一个任务需给出一段自然语言意图(例如″将某商品加入购物车＂)，以及一个能够自动判定被测智能体是否真正完成该意图的判分器(evaluator)。目前此类任务及判分器主要依靠人工构建，成本高、周期长，且难以随新网站的出现而扩展。

2、现有的自动化任务生成技术存在两类系统性缺陷：

3、其一，基于结构化探索(网络爬虫式遍历)的方法，能够机械地遍历页面链接与控件，但其产出的动作序列缺乏语义，往往是无意义的、大量重复的点击与跳转，且不附带任何能够判定任务是否完成的判分器，无法直接用作评测任务。

4、其二，基于大语言模型直接生成的方法，虽然能产出具有语义的任务描述，但其生成缺乏系统性：对于同一功能容易产生大量冗余重复的任务而不去重，同时又难以覆盖到网站的深层功能，覆盖不系统。更重要的是，此类方法(例如产出监督微调训练数据的方案)通常只生成任务或轨迹，而不产出可自动判分的判分器，即便产出判分器也缺乏对判分器自身正确性的校验。

5、判分器的可靠性是评测任务能否成立的关键。实践中，一个自动合成的判分器容易被多种情形误导而失效：例如仅凭访问某个网址即判为通过，从而被″只访问网址而未真正操作＂的轨迹骗过(判定过松)；又如把仅在本次会话中偶然出现的高熵随机令牌(如会话表单令牌form_key)也纳入断言，导致换一个被测智能体运行时、其令牌取值不同而被误判为失败(判定过严，过拟合于本次运行)；再如意图与最终页面状态在语义上并不一致，而判分器却判为通过。上述问题若不解决，自动生成的判分器判分不可信，据此构建的评测基准也就失去意义。

6、因此，如何在不依赖人工标注答案的前提下，对目标网站产出既可执行、又可靠可判分、且去重、覆盖系统的多步操作任务及其判分器，成为亟待解决的技术问题。

技术实现思路

1、针对上述问题，本发明提供一种基于大模型的可判分web gui任务自动合成方法及系统。其核心构思是：以视觉语言模型引导的探索采集真实成功轨迹，从轨迹的网络请求副作用反推出判分器，并对判分器施加多个面向不同失效类型的自验证校验环节，从而在无人工标注答案的情况下获得可靠的自动判分器；同时以一个共享的已覆盖功能集同时驱动前沿探索、降权引导与去重，实现覆盖引导的系统化生成；并将涉及页面语义的决策交由大模型完成，使核心逻辑不含站点硬编码。

2、本发明中，成功轨迹是指浏览器在目标网站执行一段多步交互后，被系统判定为到达可作为任务终态的轨迹记录，至少包括动作序列、网络请求日志以及操作前后的页面状态。网络请求副作用是指该轨迹中由交互动作触发的服务端请求及其响应结果，尤其包括非读取型写请求、请求体字段和响应状态码。疑似易变取值是指在会话令牌、随机标识、一次性表单字段等场景下出现的、仅在本次运行中偶然成立的字段取值。稳定证据是指排除疑似易变取值后仍能表征任务完成状态的请求路径、请求方法、非易变字段取值、响应状态码或页面状态证据。判分等价类是指在判分目标、目标请求、关键字段、终态描述或所覆盖功能上等价的一组任务。

3、本发明第一方面提供一种基于大模型的可判分web gui任务自动合成方法，包括：

4、s1、探索采集步骤：由视觉语言模型根据目标网站页面截图逐步决策交互动作，驱动浏览器在网站上执行多步操作，采集至少一条成功轨迹，轨迹包括本次交互的网络请求日志及操作前后的页面状态。

5、s2、意图合成步骤：从轨迹反推出描述该任务的自然语言意图，并判定任务类型(至少包括信息检索类、状态变更类，可选地包括导航类)。

6、s3、判分器合成步骤：在不参照任何人工标注答案的前提下，从轨迹的网络请求副作用反推判分器。

7、(1)对于信息检索类任务：依据被测代理最终应答中检索数据的形状确定结果模式，并将该检索数据作为期望值，组装为应答判分器；此过程可不使用大模型。

8、(2)对于状态变更类任务：先由代码层从网络请求日志中筛选出与目标网站同源、请求方法为post、put、patch或delete的候选写请求，并将其中的主机与端口还原为站点无关的占位符；再按取值长度、大小写字母和数字的出现情况及字符集合，将呈现疑似随机令牌形态的字段从展示给大模型的字段中排除；然后由大模型在候选写请求及其未被排除字段范围内挑选目标请求与关键字段；对于路径中含有易变标识段的目标请求，由代码层将该标识段折叠为通配匹配；最后由代码层组装为应答判分器与网络事件判分器的组合，其中网络事件判分器对目标写请求及其关键字段、以及响应状态码进行断言。整个过程中大模型承担＂挑请求、选字段＂这一语义决策，代码层不设置任何站点关键词白名单。

9、s4、自验证步骤：对s3所得判分器施加多个面向不同失效类型的校验环节自验证，全部通过方予落盘。校验环节包括：

10、(1)正例闸：判分器在其所来源的成功轨迹上必须判为通过，用于捕获网址错、方法错、期望值抄错等粗错；

11、(2)跨任务闸：判分器在其他任务的轨迹上必须判为拒绝，用于捕获判分过松(＂谁来都过＂)；

12、(3)泛化闸：将成功轨迹网络请求日志中统一资源定位路径的易变标识段替换为不同标识段，生成一条孪生轨迹，判分器在该孪生轨迹上仍须判为通过，否则判定其过拟合于本次运行特有标识段；

13、(4)可选的一致性判定：在终态截图可用且启用视觉语言模型时，由视觉语言模型观察操作后的终态截图，判断意图所述任务是否真实完成，用以识别意图与最终状态的语义错位。

14、s5、修补步骤：当泛化闸不通过时，由代码层剔除统一资源定位路径中含有易变标识段的候选请求，令s3在剩余候选请求范围内重新挑选并重新合成，再次施加s4中的校验环节；若重新合成后的判分器仍未通过校验，则丢弃该候选任务。

15、本发明第二方面提供覆盖引导闭环：维护一个已覆盖功能集，并基于同一已覆盖功能集同时执行前沿探索(枚举页面文档对象模型中真实存在但未触发的控件或未访问的功能页作为前沿目标，候选来自真实控件而非模型凭空臆想)、降权引导(对已覆盖区域降权)与去重(按判分等价类查重，同一功能仅保留预定数量的不同实例)；并可进一步包括渐进自举(在深层页面就地从终态截图产生子目标，延伸覆盖深层功能)。前沿探索、降权引导与去重共享同一已覆盖功能集，是同一机制的两个方面。

16、本发明第三方面提供通用化保障：执行s1至s5的核心逻辑不含任何针对特定网站的硬编码常量(包括特定网址路径、界面文本关键词、样式选择器、领域目标枚举等)，涉及页面语义的决策交由视觉语言模型完成；网站间差异被隔离于独立的适配层(环境地址配置、登录鉴权、初始入口与运行约束)，更换目标网站时无需改动核心逻辑。

17、本发明的有益效果包括：

18、1.无需人工编写判分器即可产出可靠可判分的任务：通过从真实成功轨迹反推判分器，并施加多个自验证环节，在无人工标注答案的前提下获得可自动判分且经自验证的评测任务；这与仅产出任务或训练数据、不产出自验证判分器的现有方法存在本质区别。

19、2.判分器可靠性校验：正例闸与跨任务闸用于发现判分过松或结构性不一致，取值形状过滤、泛化闸与修补环用于发现对本次运行特有令牌的过拟合；在启用一致性判定时，还可识别意图与终态的语义错位。

20、3.覆盖引导且天然去重：以共享的已覆盖功能集同时驱动前沿探索与去重，使生成朝未覆盖功能系统推进的同时天然抑制重复，避免＂充满无意义重复＂与＂覆盖不系统＂两类缺陷。

21、4.降低换站成本：核心逻辑零站点硬编码、以视觉语言模型承担语义决策，更换网站时仅需替换适配层，具备良好的可迁移性与可复现性。

22、5.机械与语义分工合理：可由机械规则验证的约束(疑似易变取值判定与过滤)交由代码层，涉及页面语义的判断(挑证据、判完成)交由大模型，兼顾可靠性与泛化性。