一种GUI智能体领域专业知识自动归档方法及系统与流程

本发明涉及人工智能与人机交互领域，具体为一种gui智能体领域专业知识自动归档方法及系统。

背景技术：

1、随着大型视觉语言模型（vlm）的迅速发展，新一代gui智能体已能够通过视觉感知和自然语言推理自主操作桌面及移动应用程序，具备强大的界面理解、复杂推理与指令遵循能力。这些智能体可以解读屏幕截图、理解任务指令并生成可执行动作（如点击、键盘输入、滚动等），在通用界面操作任务中展现出令人印象深刻的能力。

2、然而，当gui智能体面对真实场景中特定软件任务时，往往表现出显著的领域偏差：智能体缺乏特定应用程序在规划层面和定位层面的领域知识，主要体现在以下两个方面：其一，规划层面的领域偏差，即智能体不熟悉特定企业软件或专业工具的具体操作流程，无法准确判断所需的具体步骤、操作顺序以及需要访问的菜单和面板；其二，定位层面的领域偏差，即智能体不熟悉特定应用程序的ui布局和控件样式，难以定位与任务相关的交互元素。上述领域偏差本质上是通用模型能力与领域特定任务需求之间的对齐差距——模型并非缺乏通用能力，而是缺乏具体的领域知识。

3、在工业和企业环境中，上述问题尤为突出。企业内部使用的专有软件系统、定制化erp平台、行业专用工具等，往往与通用软件存在较大差异，其操作流程和ui布局仅为内部工程师所熟悉。现有针对gui智能体领域偏差的解决方案存在以下局限：（1）人工数据集标注成本高昂，需要专业人员专门为智能体训练而标注操作步骤，与工程师日常工作相互割裂；（2）基于互联网教程视频检索的方法（如guide等）无法适用于企业内部专有软件，因公开网络上缺乏相关教程资源；（3）领域特定微调方法需要大量样本且训练成本高，难以跟上软件版本的持续迭代；（4）现有方法均将知识采集与工程师实际工作流程分离，无法实现知识的持续自动积累。

4、综上，现有技术在面向企业内部专有软件场景时存在三大核心问题：无法从工程师实际操作中自动提取领域知识；缺乏将日常操作录像转化为可迁移智能体知识的系统化方法；知识库无法随工程师操作的积累而持续自动更新。为解决上述问题，亟需一种能够在工程师日常操作过程中无感知地自动采集操作录像、并自动提取和注入领域专业知识的gui智能体增强方法。

技术实现思路

1、为克服现有gui智能体领域偏差问题的局限性，本发明提出sage框架，一种基于工程师操作录屏的训练无关、插拔式gui智能体领域专业知识自主获取方法。sage框架在工程师操作软件的过程中实时或批量采集屏幕录像，通过任务感知的录像分段、自动化逆向动力学标注流水线，将工程师的实际操作经验转化为结构化的规划知识与定位知识，并以插拔式方式注入gui智能体，精准消除其规划层和定位层的领域偏差，无需修改任何模型参数或架构。

2、为实现上述目的，本发明提供如下技术方案：

3、一种gui智能体领域专业知识自动归档方法，包括：

4、步骤1，操作录像采集与任务分段：在工程师操作目标软件时，通过轻量级后台采集客户端实时采集屏幕录像及同步操作元数据流，所述操作元数据流包括鼠标轨迹、键盘事件、活动窗口标题，并基于操作语义对录像进行自动任务分段，得到与具体操作任务对应的录像片段；

5、步骤2，自动化逆向动力学标注：对分段后的录像片段进行关键帧提取、ui元素检测，并通过逆向动力学推理从连续关键帧中推断出任务相关的规划知识与定位知识，形成可迁移的结构化标注信息，存入领域知识库；

6、步骤3，任务匹配与知识检索：当gui智能体接到新任务时，根据任务描述与应用名称从领域知识库中检索最相关的历史操作片段知识，支持语义匹配与精确匹配两种检索模式；

7、步骤4，规划与定位知识注入：将检索到的规划知识注入gui智能体的任务规划模块，将检索到的定位知识注入gui智能体的坐标生成模块，所述规划知识提供领域特定的操作工作流，所述操作工作流包括执行流程、关键注意事项及与坐标无关的抽象描述；所述定位知识提供多个关键ui元素的外观描述、屏幕相对位置及预测功能信息；

8、步骤5，gui任务执行：gui智能体参考注入的规划与定位知识完成目标任务，以自然语言知识为参考，在知识与当前截图冲突时优先以当前截图为准。

9、进一步地，所述步骤1包括：

10、步骤101，后台录像采集客户端部署：在工程师工作机上部署轻量级后台采集客户端，以可配置帧率持续采集屏幕录像，同步记录操作元数据流，所述操作元数据流包括鼠标位置与点击事件、键盘输入事件、活动窗口标题，其中，轻量级后台采集客户端以最低系统资源占用为设计目标；

11、步骤102，隐私与权限管控：采集前工程师显式授权，支持以下粒度的隐私控制：（1）应用级白名单，仅采集工程师主动授权的目标应用程序操作录像，非白名单应用的录像自动丢弃；（2）敏感内容检测，对包含密码框、个人信息表单的敏感ui元素的帧自动进行遮蔽或跳过；（3）按需暂停，工程师随时通过快捷键暂停或恢复采集。

12、进一步地，所述步骤1还包括：

13、步骤103，任务感知录像自动分段：基于操作元数据流对连续录像进行自动任务分段，分段依据包括：（1）时间空闲检测，当鼠标与键盘在阈值时间内无操作时判定为任务间隔；（2）窗口切换检测，活动窗口在不同应用间切换时作为任务边界；（3）任务描述提示，若工程师在开始操作前主动输入任务描述标签，则以标签为分段依据，并将该描述与对应录像片段绑定，直接用于后续知识检索的语义索引；经分段后，每个录像片段对应工程师完成的一次具体操作任务，上述过程用如下函数表达：

14、，

15、其中，m表示操作元数据流，θ表示由空闲阈值和窗口切换规则构成的分段规则集合，segment()表示基于分段规则集合θ对操作元数据流m执行任务分段的函数，｛vi｝为输出的任务录像片段集合，若工程师输入了任务标签li，则对应片段直接绑定该标签，记作vi←li；

16、步骤104，录像片段元数据生成：对每个分段片段自动生成元数据记录，包含应用程序名称与版本、操作时间戳、片段时长、工程师输入的任务描述标签、操作元数据摘要中的多者，所述操作元数据摘要包括点击次数、键盘输入次数、滚动次数。

17、进一步地，所述步骤2包括：

18、步骤201，关键帧提取：对每个任务录像片段，采用基于操作元数据流对齐的背景差分方法提取关键帧，以鼠标位置与点击事件和键盘输入事件为触发锚点，在每个事件前后各提取固定时间窗口内前景像素变化量大于关键帧前景变化阈值的代表性帧，同时结合mog2算法检测相邻操作事件之间发生的显著视觉变化帧，最终得到反映操作过程的离散界面状态序列，关键帧集合fkey形式化定义为满足以下条件的帧：每个帧f的采样时间落于某一操作事件o的邻域内，且与前一帧的前景像素变化量超过阈值，记作：

19、，

20、其中，o为由鼠标位置与点击事件和键盘输入事件构成的操作事件集合，o为其中任一操作事件，time(f)表示帧f的采样时间，to表示操作事件o的发生时间，δtpre、δtpost为前后向窗口长度，ηkey为关键帧前景变化阈值，δpixel(f)为帧f的前景变化量；

21、步骤202，ui元素检测：使用omniparser对每个关键帧进行处理，检测交互式ui元素，所述交互式ui元素包括按钮、文本框、下拉菜单、标签页，生成带有位置、类型、文本标签的边界框注释和结构化json描述，形成每帧对应的ui元素图et，对每一关键帧ft，检测结果表示为：

22、，

23、其中，detect()为omniparser检测函数，omniparser为用于将界面截图解析为交互式ui元素集合的视觉解析器，输出为一组交互元素的属性集合；

24、步骤203，操作意图标签生成，工程师操作录像对应的语义上下文来源于操作元数据，所述自动化标注模块从以下来源构建每个关键帧对应的操作意图标签ctask：（1）工程师输入的任务描述标签ltask；（2）当前活动窗口标题与菜单路径wt；（3）键盘输入内容kt；（4）操作元数据统计摘要mt，所述操作元数据统计摘要由自动化标注模块直接从操作元数据中提取，包含当前窗口内的点击次数、滚动步数、键盘输入字符数，操作意图标签ctask按照优先级由以下函数确定：

25、，

26、其中，prior{}表示优先级选择函数，ltask为工程师输入的任务描述标签，wt、mt、kt分别为窗口标题与菜单路径、操作统计摘要和键盘输入内容；当ltask存在时直接采用ltask作为操作意图标签，否则由大语言模型llm根据wt、mt、kt三者推理生成标签。

27、进一步地，所述步骤2还包括：

28、步骤204，视觉语言模型逆向动力学推理，将标注步骤形式化为逆向动力学问题：设st和st+1为两个连续关键帧图像，et和et+1为对应的ui元素图，ttask为当前操作任务标题，ctask为操作意图标签，标注智能体调用逆向动力学函数fidm(st,et,st+1,et+1,ttask,ctask)对连续关键帧对进行滑动窗口处理，通过视觉比对两帧、经由et/et+1对比检测元素级变化、利用ttask和ctask评估任务意义性，推断具有战略意图的动作决策对at；

29、输出包含两个字段：

30、语义噪声过滤字段，判断帧对变化是否与任务相关，过滤无效操作；

31、战略叙述字段，以第一人称执行者视角描述操作意图、决策逻辑和操作步骤，包含ui元素视觉描述，不含绝对坐标；

32、逆向动力学函数fidm对于连续帧对输出一个动作决策对：

33、

34、其中，validt∈{0,1}指示该变化是否为有效操作，1代表有效，0代表无效，narrativet只在有效时提供自然语言动作叙述文本，整条轨迹汇总为序列，a1、a2分别表示第1个、第2个连续帧对的动作决策对，tseg表示该录像片段包含的关键帧数量；

35、步骤205，知识分解与入库：逐帧标注按时间顺序汇总为逐片段操作轨迹，大语言模型llm将每条轨迹分解为两类知识并存入领域知识库：（1）规划知识，包含执行流程与规划、关键注意事项及与坐标无关的抽象描述，所述执行流程与规划为连贯的任务工作流叙述、逻辑步骤序列、阶段目标，所述关键注意事项为从工程师操作经验中提炼的高价值实践见解，包括常见错误规避方法；（2）定位知识，包含多个关键ui元素的外观描述、屏幕相对位置及预测功能信息，使用视觉外观和语义功能而非绝对坐标；每条入库知识与原始录像片段元数据关联存储，构成可持续扩充的领域知识库，知识分解将操作轨迹映射为两类知识：

36、

37、其中，kplan为规划知识，包含工作流描述、注意事项和抽象步骤；kground为定位知识，包含多个关键ui元素的外观描述、屏幕相对位置及预测功能信息，每一条知识均与元数据meta关联存储。

38、进一步地，所述步骤3包括：

39、步骤301，语义索引构建：对领域知识库中每条知识条目，基于任务描述标签、应用名称和规划知识文本，由大语言模型llm生成语义嵌入向量，构建支持近似最近邻检索的向量索引，同时维护基于应用名称和关键词的精确匹配索引，两类索引互为补充；

40、步骤302，任务相似性检索：当gui智能体接到新任务指令t时，所述插拔式知识注入模块同时执行语义检索和精确检索，所述语义检索基于t的嵌入向量在向量索引中进行近似最近邻搜索，所述精确检索基于应用名称和关键词匹配，对两类结果按相关性得分融合排序，取top-k条最相关的历史操作片段知识，检索相关性得分按以下方式计算：

41、

42、其中，score(t,entry)表示任务指令t与知识条目entry之间的检索相关性得分，entry表示领域知识库中的候选知识条目；vt为任务指令t经嵌入模型编码得到的语义向量，ventry为知识条目entry经嵌入模型编码得到的语义向量；appt为任务指令t对应的目标应用名称，appentry为知识条目entry关联的应用名称；sim()为语义向量的余弦相似度，match()为应用名称匹配指示，δt为记录的时间差，α、β、γ和λ为可调系数，得分最高的k条记录构成候选集，e为自然常数。

43、进一步地，所述步骤3还包括：

44、步骤303，知识质量过滤：对检索到的知识条目进行质量过滤：（1）相关性阈值过滤，仅保留相关性得分高于阈值的条目；（2）版本兼容性检查，若知识来源录像的软件版本与当前环境版本差异过大，则降低其权重或丢弃；版本兼容性通过以下方式量化评估：

45、

46、其中，compat(vsrc,vcur)表示来源软件版本vsrc与当前软件版本vcur之间的兼容性得分，if表示如果，otherwise表示否则，major()和minor()分别为软件的主版本号和次版本号，β为次版本差异的衰减系数，当compat(vsrc,vcur)<τcompat时，对应知识条目的权重按比例降低或直接丢弃，τcompat为版本兼容性阈值；max()表示最大值函数；主版本号不一致时兼容性为0，次版本号差异越大兼容性越低；（3）知识多样性去重，当多条候选知识内容高度重复时，保留操作步骤最完整的一条。

47、进一步地，所述步骤4中规划与定位知识的插拔式智能体集成具体包括：

48、步骤401，通用集成原则：提取的规划知识和定位知识完全以自然语言表达，独立于任何特定gui智能体架构，支持插拔式集成，无需修改模型参数或架构，知识以参考材料而非强制指令的形式注入，智能体根据当前截图验证建议，当知识与当前截图冲突时优先以自身观察为准，知识-截图冲突的判定形式化为：

49、

50、其中，conflict(kground,fcur)表示定位知识kground与当前截图fcur之间是否发生冲突，ekey为定位知识中的关键交互元素集合，u为ekey中的任一关键交互元素，descu为关键交互元素u的外观描述，detect(fcur)为当前截图fcur的ui元素检测结果，v为ui元素检测结果中的候选元素；sim(descu,v)为关键交互元素u的外观描述与候选元素v之间的视觉—语义余弦相似度；τ为最低匹配相似度阈值，表示从所有相似度中选取最高值；

51、当存在至少一个关键交互元素u，并且对于该关键交互元素u，满足以下任一条件时，判定定位知识与当前截图发生冲突，智能体以自身对当前截图的视觉观察结果为准：

52、条件1，当前截图中不存在可与关键交互元素u进行匹配的候选元素；

53、条件2，当前截图中存在候选元素，但关键交互元素u的外观描述与所有候选元素的视觉—语义余弦相似度均低于最低匹配相似度阈值；

54、当检索到多条历史操作知识时，对各条历史操作知识分别进行标注并依次拼接，以提供多次历史操作的经验参考；

55、步骤402，多智能体系统集成：规划知识以工程师操作参考章节形式附加至规划智能体的系统提示，与当前截图和交互历史并列，指导任务分解，定位知识作为每次动作查询的补充上下文提供给定位智能体，辅助坐标预测；

56、步骤403，单模型智能体集成：规划知识与定位知识统一注入单模型gui智能体的系统提示的外部知识章节，配合结构化思维链模板，强制在每步进行主动知识参照：所述单模型gui智能体首先对照检索到的历史操作评估任务相似性，在工作流中定位当前阶段，从规划知识中推导下一子任务，并在选择动作前将定位元素描述与当前截图匹配，当仅有一个通道可用时，结构化思维链模板自动降级为部分思维链；

57、步骤404，执行反馈与知识更新：gui智能体完成任务后，将执行结果反馈至知识库管理模块，所述执行结果包括成功/失败状态、实际操作路径，对执行成功的任务，将智能体的实际执行轨迹作为新的操作样本纳入知识库，实现知识库的自我增强；对执行失败的任务，记录失败原因以供后续知识质量优化参考。

58、进一步地，所述步骤5具体包括：gui智能体以检索到的规划与定位知识为参考材料，根据当前屏幕截图自主验证知识的有效性，当定位知识中描述的关键ui元素在当前截图中无法被可靠检测或视觉-语义相似度低于冲突判定阈值时，智能体以自身视觉观察为准进行元素定位与操作决策，确保在软件版本更新或界面布局变化情况下仍能保持执行鲁棒性。

59、本发明还提供一种gui智能体领域专业知识自动归档系统，用于实现如上所述的gui智能体领域专业知识自动归档方法，包括：

60、操作录像采集模块，以无感知方式在工程师日常工作中自动采集目标软件的操作录像；

61、自动化标注模块，通过操作元数据对齐的关键帧提取、ui元素检测和逆向动力学推理，将操作录像转化为结构化的规划知识与定位知识；

62、领域知识库，存储并索引从历史操作录像中提取的所有知识条目，支持持续扩充与版本管理；

63、插拔式知识注入模块，根据新任务实时检索相关历史知识并注入gui智能体。

64、与基于网络视频检索的方法相比，本发明具有三项独特优势：其一，知识来源于企业内部工程师的真实操作，天然覆盖专有软件、定制系统等公开网络无法提供教程的领域；其二，操作元数据（鼠标轨迹、键盘事件、窗口标题）取代视频字幕，作为更精准的语义上下文桥梁，显著提升关键帧提取和操作意图推断的准确性；其三，知识库随工程师日常工作的积累而持续自动扩充，无需额外人力投入，实现领域知识的自我增长。

65、本发明的有益效果主要表现在：

66、1）领域覆盖：支持任意企业内部专有软件，突破现有方法依赖公开教程资源的局限；

67、2）知识精准性：操作元数据对齐的关键帧提取方法相比纯视觉变化检测提升了关键帧与真实操作的对应精度，生成的规划与定位知识更贴合实际操作场景；

68、3）持续积累：知识库随工程师操作的积累而自动扩充，形成企业级领域知识资产；

69、4）隐私安全：支持应用级白名单、敏感内容遮蔽和按需暂停等多层隐私控制机制；

70、5）训练无关：完全无需修改gui智能体的模型参数或架构，可与任意现有gui智能体系统无缝集成。