图形用户界面智能体的长序列轨迹数据构建方法及装置与流程

本申请涉及人工智能与人机交互，尤其是涉及一种图形用户界面智能体的长序列轨迹数据构建方法及装置。

背景技术：

1、随着大语言模型、多模态模型和智能体技术的快速发展，图形用户界面智能体已成为自动化执行网页、移动应用及桌面软件操作的重要技术方向，其核心能力在于依据自然语言指令理解界面状态并连续执行交互动作以完成明确目标。在此过程中，包含任务指令、界面状态、执行动作及中间推理信息的高质量交互轨迹数据是提升智能体能力的关键基础，特别是对于跨页面、跨步骤的复杂任务，长序列轨迹数据能够帮助智能体学习多步规划、状态跟踪、历史信息利用以及错误恢复等关键能力。

2、现有图形用户界面智能体的轨迹数据构建方法主要依赖已有交互记录、人工设计任务、模型生成任务或智能体执行采样等方式，在技术路线上分为正向构建与反向构建两类。正向构建方法先定义任务描述再由智能体或人工执行获取轨迹，包括人工演示录制、自主探索和强化学习在线采样等；反向构建方法则从界面交互记录中提取操作序列并逆向推导任务描述，包括交互驱动逆向推导、事后推理增强和逆向问题构造等。同时，现有轨迹筛选通常依赖简单规则、人工检查或单一模型评分，且对于未完全完成任务的轨迹往往直接丢弃或仅作为失败样本处理。

3、然而，现有技术在实际应用中仍存在多方面不足。在正向构建方法中，任务描述依赖人工设计或模型生成，与真实界面环境之间易出现不匹配，导致执行失败率高或轨迹偏离预期，同时人工设计任务成本高且规模受限，模型生成任务的可执行性难以保证。在反向构建方法中，逆向推导得到的任务描述可能存在语义失真，轨迹中可能包含冗余步骤和无效操作，且任务多样性受限于原始交互数据的覆盖范围，难以生成超出已有交互范围的长序列复杂任务。目前尚无方法能够系统性地将正向构建与反向构建相结合以同时实现任务可执行性、任务多样性和长序列覆盖。进一步地，无论采用何种构建方式，在长序列轨迹执行采集过程中均容易出现无效点击、重复点击、页面来回跳转、进入无关页面、陷入循环操作以及末端无意义尝试等噪声步骤，而现有轨迹筛选方式无法从动作有效性、状态转移合理性及任务语义完成度等多个维度对轨迹质量进行综合判断。此外，部分成功轨迹中的有效操作片段被直接丢弃导致数据利用率低，且缺乏对错误操作及其反思纠正过程的建模使得智能体在面对异常操作时难以及时识别错误并恢复到正确执行路径。因此，现有轨迹数据构建过程存在任务与环境匹配不足、长序列覆盖欠缺、噪声干扰严重、部分成功轨迹利用率低以及错误恢复数据缺乏等问题。

技术实现思路

1、有鉴于此，本申请提供了一种图形用户界面智能体的长序列轨迹数据构建方法及装置，主要目的在于解决现有轨迹数据构建过程中任务与环境匹配不足、长序列覆盖欠缺、噪声干扰严重、部分成功轨迹利用率低以及错误恢复数据缺乏等问题。

2、第一个方面，提供了一种图形用户界面智能体的长序列轨迹数据构建方法，该方法包括：

3、在图形用户界面环境中获取图形用户界面的交互轨迹数据，对所述交互轨迹数据进行语义解析，生成语义操作单元集合；所述交互轨迹数据至少包括界面状态序列和动作序列；所述语义操作单元用于表示可执行的界面操作及其对应的操作语义信息；

4、基于所述语义操作单元集合对所述交互轨迹数据进行反向推导，生成原子任务集合；所述原子任务集合包括可执行短序列任务；

5、基于所述语义操作单元集合与所述原子任务集合，通过双路径任务生成机制生成执行轨迹序列；所述双路径任务生成机制包括语义重组路径和种子扩展路径中的至少一种；

6、基于所述执行轨迹序列进行轨迹质量评估与处理，生成用于训练图形用户界面智能体的长序列轨迹数据。

7、第二个方面，提供了一种图形用户界面智能体的长序列轨迹数据构建装置，该装置包括：

8、解析单元，用于在图形用户界面环境中获取图形用户界面的交互轨迹数据，对所述交互轨迹数据进行语义解析，生成语义操作单元集合；所述交互轨迹数据至少包括界面状态序列和动作序列；所述语义操作单元用于表示可执行的界面操作及其对应的操作语义信息；

9、推导单元，用于基于所述语义操作单元集合对所述交互轨迹数据进行反向推导，生成原子任务集合；所述原子任务集合包括可执行短序列任务；

10、生成单元，用于基于所述语义操作单元集合与所述原子任务集合，通过双路径任务生成机制生成执行轨迹序列；所述双路径任务生成机制包括语义重组路径和种子扩展路径中的至少一种；

11、评估单元，用于基于所述执行轨迹序列进行轨迹质量评估与处理，生成用于训练图形用户界面智能体的长序列轨迹数据。

12、第三方面，提供了一种计算机设备，包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述图形用户界面智能体的长序列轨迹数据构建方法。

13、第四个方面，提供了一种计算机存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述图形用户界面智能体的长序列轨迹数据构建方法。

14、借由上述技术方案，本申请提供的一种图形用户界面智能体的长序列轨迹数据构建方法及装置，与现有方式相比，通过将真实交互轨迹解析为语义操作单元并反向推导生成原子任务，使任务描述直接来源于真实界面操作，有效提高了任务与界面环境的匹配性和可执行性，在此基础上，采用包含语义重组与种子扩展的双路径任务生成机制，不仅能够将碎片化的底层操作精准映射为高层意图，还能基于原子任务灵活扩展出多样化的执行轨迹序列，提高执行轨迹序列的逻辑连贯性与场景覆盖度；进一步结合轨迹质量评估与处理环节对执行轨迹序列进行严格筛选与优化，确保最终产出的长序列轨迹数据兼具高可信度与强指导性，从而大幅提高图形用户界面智能体在复杂动态环境下的任务规划能力。

15、上述说明仅是本申请技术方案的概述，为了能够更清楚地了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其他目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

1.一种图形用户界面智能体的长序列轨迹数据构建方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述对所述交互轨迹数据进行语义解析，生成语义操作单元集合，包括：

3.根据权利要求1所述的方法，其特征在于，所述基于所述语义操作单元集合对所述交互轨迹数据进行反向推导，生成原子任务集合，包括：

4.根据权利要求1所述的方法，其特征在于，通过语义重组路径生成执行轨迹序列，包括：

5.根据权利要求1所述的方法，其特征在于，通过种子扩展路径生成执行轨迹序列，包括：

6.根据权利要求5所述的方法，其特征在于，所述将所述长序列任务输入图形用户界面智能体执行系统进行正向执行，获取与所述长序列任务对应的执行轨迹序列，包括：

7.根据权利要求1-6中任一项所述的方法，其特征在于，所述基于所述执行轨迹序列进行轨迹质量评估与处理，生成用于训练图形用户界面智能体的长序列轨迹数据，包括：

8.根据权利要求7所述的方法，其特征在于，所述基于所述轨迹状态转移结构中的状态重复比例、唯一状态数量、有效操作步数或状态回访关系中的至少一种，确定执行轨迹序列是否存在循环、震荡或无效重复行为，得到结构一致性评估结果，包括：

9.根据权利要求7所述的方法，其特征在于，所述基于所述轨迹质量评估结果，对所述执行轨迹序列进行筛选、截断、重构、重标注和增强处理中的至少一种，生成用于训练图形用户界面智能体的长序列轨迹数据，包括以下至少一种处理方式：

10.一种图形用户界面智能体的长序列轨迹数据构建装置，其特征在于，包括：