图形界面智能体的训练数据生成方法、设备、介质及产品与流程

摘要: 本技术涉及人工智能,尤其涉及图形界面智能体的训练数据生成方法。背景技术:1、随着多模态大模型技术的快速发展,图形用户界面(graphicaluserinterf...
图形界面智能体的训练数据生成方法、设备、介质及产品与流程

本技术涉及人工智能,尤其涉及图形界面智能体的训练数据生成方法。

背景技术:

1、随着多模态大模型技术的快速发展,图形用户界面(graphical user interface,gui)智能体已成为实现数字任务自动化的关键技术。gui智能体能够理解任务指令,通过模拟点击、滑动、输入等操作在各类应用程序中自动完成复杂任务,其性能高度依赖于大规模、高质量的训练数据以及模型自身的持续迭代优化。

2、在gui智能体的实际应用中,目标应用程序(application,app)通常具有页面层级深、入口路径多、页面状态复杂、账号状态差异明显等特点。gui智能体训练不仅需要页面截图,还需要目标元素坐标、控件边界框、操作描述、前序操作列表、页面语义问答数据以及多步操作轨迹数据。目前,上述训练数据的获取和标注主要依赖人工,由标注人员手动执行操作流程并录制页面截图与操作坐标,或对模型自动采集的轨迹进行逐条校验和修正,人工标注方式存在明显的效率瓶颈,难以满足模型训练对数据规模和更新频率的需求,且标注成本随着数据规模的扩大而持续攀升。为降低人工依赖,现有技术提出了通过调用预训练模型自动生成操作轨迹的方案,通过模型与测试设备交互来采集训练数据。然而,该类方案中,模型自动生成的轨迹常包含错误点击、关键步骤遗漏等无效样本,且现有方案缺乏对这些自动生成轨迹的有效质量判定和筛选机制,导致自动生成的轨迹数据质量参差不齐,难以直接用于模型训练。

3、因此,传统方案存在训练数据的人工标注效率低下且成本高,以及自动生成的操作轨迹质量难以保证的问题。

技术实现思路

1、本技术的主要目的在于提供一种图形界面智能体的训练数据生成方法,旨在解决训练数据的人工标注效率低下且成本高,以及自动生成的操作轨迹质量难以保证的技术问题。

2、为实现上述目的,一种图形界面智能体的训练数据生成方法,其特征在于,所述图形界面智能体的训练数据生成方法包括:

3、构建目标移动端应用的界面结构数据集;

4、基于所述界面结构数据集生成感知训练样本集,利用所述感知训练样本集和预设人工操作轨迹训练样本集对图形用户界面智能体模型进行初始训练,并将所述预设人工操作轨迹训练样本集作为已有操作轨迹训练样本集;

5、基于所述界面结构数据集和所述图形用户界面智能体模型,生成任务指令集合;

6、通过所述任务指令集合控制所述图形用户界面智能体与真实测试设备进行交互,生成机器操作轨迹训练样本集;

7、通过所述机器操作轨迹训练样本集更新所述已有操作轨迹训练样本集,得到新的已有操作轨迹训练样本集,并基于所述新的已有操作轨迹训练样本集训练所述图形用户界面智能体模型,返回执行所述基于所述界面结构数据集和所述图形用户界面智能体模型,生成任务指令集合的步骤,直至满足预设的迭代终止条件,得到更新后的已有操作轨迹训练样本集。

8、在一实施例中,所述界面结构数据集包含点击前后截图及控件边界框,所述感知训练样本集包括元素定位训练数据子集;

9、基于所述界面结构数据集生成感知训练样本集,包括:

10、将所述点击前后截图及所述控件边界框输入多模态大模型,通过所述多模态大模型对比所述点击前后截图之间的视觉状态变化,反推点击前后截图对应的自然语言操作描述,并结合所述控件边界框生成包含指令、操作以及坐标之间映射关系的定位样本;

11、若所述多模态大模型根据所述定位样本推理得到的点击位置位于所述控件边界框内,则判定通过,将通过的所述定位样本加入所述元素定位训练数据子集。

12、在一实施例中,所述界面结构数据集包含页面截图及图标控件,所述感知训练样本集包括图标语义泛化训练数据子集;

13、所述基于所述界面结构数据集生成训练样本集,还包括:

14、识别所述页面截图中图标控件的功能语义;

15、根据所述功能语义检索同语义的泛化图标;

16、将所述泛化图标替换至所述图标控件的原始位置,生成扩充后的图标控件的衍生定位样本,加入所述图标语义泛化训练数据子集。

17、在一实施例中,所述界面结构数据集包含页面截图,所述感知训练样本集包括页面语义理解训练数据子集;

18、所述基于所述界面结构数据集生成感知训练样本集,还包括:

19、将所述页面截图输入多模态模型,通过所述多模态模型生成针对页面功能推理、布局细节识别和关键信息理解的视觉问答样本,加入所述页面语义理解训练数据子集。

20、在一实施例中,所述基于所述界面结构数据集生成感知训练样本集,利用所述感知训练样本集和预设人工操作轨迹训练样本集对图形用户界面智能体模型进行初始训练的步骤之前,还包括:

21、获取人工操作录制过程中产生的页面截图、坐标点和操作事件;

22、针对所述操作事件调用大模型生成操作描述;

23、将所述坐标点输入多模态模型,通过所述多模态模型对所述坐标点对应的界面元素进行边界框推理,生成边界框;

24、将所述操作事件、所述页面截图、所述坐标点、所述边界框及所述操作描述作为一个操作节点的记录字段,将多个操作节点按执行时序排列组合,生成多步操作训练数据,作为预设人工操作轨迹训练样本集。

25、在一实施例中,所述界面结构数据集包含页面截图;

26、所述基于所述界面结构数据集和所述图形用户界面智能体模型,生成任务指令集合,包括:

27、将所述页面截图输入多模态大模型进行截图描述补全,得到页面截图的功能描述,对所述功能描述中进行拆分,根据拆分结果生成任务指令,并对所述任务指令进行多样化表达生成,得到衍生任务指令,将衍生任务指令加入到任务指令集合,其中,衍生任务指令与当前页面操作层级对齐,拆分结果包括页面提供的能力、页面提供的能力对应的用户意图、槽位、槽位的取值范围以及用于生成指令的多样化维度;

28、在执行任务指令的过程中,基于图形用户界面智能体模型探索任务指令执行后到达的页面,得到延续操作路径,并将延续操作路径转化为深层任务指令,将深层任务指令加入到任务指令集合。

29、在一实施例中,所述通过所述机器操作轨迹训练样本集更新所述已有操作轨迹训练样本集,包括:

30、将所述机器操作轨迹训练样本集输入多模态结果判定器,通过所述多模态结果判定器对所述机器操作轨迹训练样本集进行判定;

31、若所述机器操作轨迹训练样本集中不存在未纠正错误且无关键步骤遗漏,则判定为通过筛选,将通过筛选的机器操作轨迹训练样本集加入所述已有操作轨迹训练样本集。

32、此外,为实现上述目的,本技术还提出一种电子设备,所述电子设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序配置为实现如上文所述的图形界面智能体的训练数据生成方法的步骤。

33、此外,为实现上述目的,本技术还提出一种存储介质,所述存储介质为计算机可读存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上文所述的图形界面智能体的训练数据生成方法的步骤。

34、此外,为实现上述目的,本技术还提供一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,所述计算机程序被处理器执行时实现上述的图形界面智能体的训练数据生成方法的步骤。

35、本技术首先通过构建目标移动端应用的界面结构数据集,为后续的数据生成提供结构化的界面信息基础;基于所述界面结构数据集生成感知训练样本集,利用所述感知训练样本集和预设人工操作轨迹训练样本集对图形用户界面智能体模型进行初始训练,使智能体具备基础的操作能力,为后续的指令执行和轨迹生成提供能力基础;基于所述界面结构数据集和所述图形用户界面智能体模型生成任务指令集合,通过所述任务指令集合控制所述图形用户界面智能体与真实测试设备进行交互,生成机器操作轨迹训练样本集,所生成的机器操作轨迹源自真实执行环境,能够实现自动化、规模化产出;通过所述机器操作轨迹训练样本集更新所述已有操作轨迹训练样本集,得到新的已有操作轨迹训练样本集,并基于所述新的已有操作轨迹训练样本集训练所述图形用户界面智能体,然后返回执行所述生成任务指令集合的步骤,如此循环迭代,直至满足预设的迭代终止条件,使得智能体在执行过程中产生的轨迹数据能够持续反馈至数据生成流程。

36、综上可知,本技术通过将机器操作轨迹训练样本集加入已有操作轨迹训练样本集并训练图形用户界面智能体,然后返回执行生成任务指令集合的步骤,使回流数据不仅用于训练池扩充,更进一步反馈至数据生成流程以驱动持续产出,实现了智能体性能与数据质量的持续提升,解决了传统方案中训练数据的人工标注效率低下且成本高,以及自动生成的操作轨迹质量难以保证的问题。