面向时序屏幕数据的端侧多模态记忆构建方法及系统

本发明属于端侧人工智能体、多模态检索、屏幕内容理解和智能体记忆，具体地，涉及面向时序屏幕数据的端侧多模态记忆构建方法及系统。更具体是一种将长期、连续、高频的端侧屏幕流构建为可检索、可回溯、可供智能体消费的多模态记忆的方法及系统。所述高频指的是屏幕的采集时间间隔小于等于3秒，即采集频率大于等于1/3hz；所述长期指的是端侧设备连续或间断采集并累计保存的屏幕时间跨度可达数周乃至于数月。

背景技术：

1、随着大语言模型和多模态模型的发展，智能体正在从一次性问答工具演变为能够长期感知环境、理解用户上下文并执行跨应用任务的系统。

2、在端侧智能体中，屏幕是最直接的数字行为入口。用户在文档编辑、网页浏览、代码开发、会议沟通、数据分析等任务中的大部分行为都会反映在屏幕画面、窗口切换、控件布局和文本内容中。因此，将连续屏幕流转化为长期记忆，是端侧智能体获得用户上下文的重要基础。

3、现有技术中，各类gui智能体或电脑操控智能体，通常将当前屏幕截图输入多模态模型进行理解，并根据当前界面状态生成下一步操作。该类方案适合即时操作，但通常将屏幕作为单次任务中的临时观察对象，而不是长期、可检索、可回溯的记忆对象。若直接将该路线扩展到连续屏幕流，需要对大量屏幕帧进行多模态理解，会产生高昂的多模态词元成本与推理时延。

4、现有的长期屏幕记录或个人屏幕记忆系统，例如microsoft recall、rewind.ai、screenpipe、paperboy等，通常持续记录用户屏幕，并提供时间线回看、关键词检索或ocr文本搜索能力。该类方案能够覆盖较长时间范围的屏幕历史，但多面向人类回看，欠缺视觉语义，尚未充分将屏幕记录组织为可被智能体直接消费的多模态记忆。

5、现有屏幕记忆方案通常存在以下缺陷。

6、第一，单次截图理解或逐帧多模态理解的成本过高。gui智能体通常将当前屏幕截图整体输入视觉语言模型进行理解。这种方式适合即时操作，但连续屏幕流具有高频率、长时段和高分辨率特征，若对每一帧都进行完整多模态推理，会产生高昂的计算、时延和模型输入成本，难以在端侧长期运行。

7、第二，依赖ocr的屏幕记忆缺少视觉语义。现有长期屏幕记录系统多采用持续截图、ocr提取和关键词检索。ocr能够保留部分文字信息，但会丢失窗口层级、控件位置、表格关系、图表结构、页面布局、应用上下文等视觉语义。对于“我刚才在哪个页面调试代码”、“我上午看过哪个图表”、“这个按钮附近写了什么说明”等查询，仅保留扁平文本无法稳定定位证据。

8、第三，单纯的视频压缩难以直接服务智能体。将屏幕录制为视频可以降低原始图像存储开销，但视频本身只是像素证据，不包含结构化文本、语义嵌入、活动标签和检索关系。若没有按帧寻址、索引映射和语义组织，上层智能体仍然难以从长时间视频中定位可用证据。

9、第四，逐帧调用视觉语言模型进行活动标注会造成成本失控。屏幕活动具有连续性和高度重复性，例如用户可能在同一文档、同一网页或同一ide界面停留较长时间。若每一帧均调用视觉语言模型生成活动标签，会重复处理大量语义相同的画面。相反，如果仅根据固定时间间隔抽样，又可能错过窗口切换、弹窗出现、阅读位置变化等关键行为边界。

10、因此，端侧屏幕记忆系统需要同时解决三个技术问题：如何在保留可回溯视觉证据的同时降低存储和处理开销；如何将屏幕中的gui结构转化为可检索的视觉语义；如何在不逐帧调用视觉语言模型的情况下，将连续屏幕流抽象为稳定的活动级语义对象。

11、专利文献cn120832362a公开了一种基于大模型与检索增强生成的长视频多模态理解与问答方法及系统，实现了对长视频的高效理解和精准问答，然而其并未解决上述现有屏幕记忆方案通常存在的缺陷。

12、此问题亟须得到解决。

技术实现思路

1、针对现有技术中的缺陷，本发明的目的是提供一种面向时序屏幕数据的端侧多模态记忆构建方法及系统。

2、根据本发明提供的一种面向时序屏幕数据的端侧多模态记忆构建方法，包括：

3、步骤s1：采集端侧设备的连续屏幕帧及其窗口元信息，基于当前屏幕帧与上一保留屏幕帧之间的帧间差异筛除冗余帧，对保留屏幕帧进行视频分块压缩，并记录所述保留屏幕帧在视频块中的寻址信息用于后续提取；

4、步骤s2：对所述保留屏幕帧进行gui结构化解析，生成与所述窗口元信息关联的界面区域候选，按照各区域候选的坐标从所述保留屏幕帧中截取对应的区域并执行ocr，形成结构化文本索引；

5、所述结构化文本索引，包括：区域ocr结果与区域坐标、所属应用、窗口标题与来源帧标识。

6、步骤s3：基于所述保留屏幕帧生成多模态嵌入并存储在向量数据库，将结构化元数据、所述结构化文本索引和所述多模态嵌入分别写入关系型索引轨与向量索引轨，并基于帧标识建立所述双轨索引的对应关系；

7、步骤s4：根据连续屏幕内容的多模态嵌入相似性，对所述保留屏幕帧进行流式活动语义标注，复用已有活动标签，将未匹配已有活动簇的保留屏幕帧聚合为待标注活动簇，并在创建新的待标注活动簇的代表样本时调用视觉语言模型生成活动标签；

8、步骤s5：根据所述活动标签、时间连续性和应用上下文，将活动标签相同、应用上下文一致且时间连续的屏幕帧聚合为具有时间范围的活动片段；

9、步骤s6：响应检索请求时，根据所述检索请求中的时间范围、应用上下文或活动标签，从所述活动片段中筛选候选活动片段，在所述候选活动片段对应的帧范围内，结合所述结构化文本索引和所述向量索引召回相关帧，并根据所述视频块寻址信息提取可回溯的视觉证据。

10、优选地，所述步骤s1中，所述帧间差异通过归一化均方根误差进行计算，判断所述归一化均方根误差是否小于差异阈值，结果为是，则将当前屏幕帧判定为冗余帧；结果为否，则将当前屏幕帧作为保留屏幕帧；

11、所述视频分块压缩包括：将多个保留屏幕帧按照预设时间长度或刷新条件写入同一视频块，对所述视频块采用视频编码方式压缩，并为每个保留屏幕帧记录视频块标识和块内帧序号，使任一历史屏幕帧能够通过“视频块标识+块内帧序号”的复合键进行按需解码。

12、优选地，所述步骤s2中，所述gui结构化解析包括：

13、将屏幕帧转换为灰度图并计算梯度幅值，对所述梯度幅值执行自适应阈值化得到界面边界掩码，对所述界面边界掩码执行膨胀、闭运算和连通域分析得到区域候选，并根据交并比、包含度或文本密度对重叠区域候选进行合并；

14、按照各区域候选的坐标从屏幕帧中截取对应的区域图像，分别对各区域图像执行ocr，得到包括识别文本、局部坐标和识别置信度的区域ocr结果；

15、将所述区域ocr结果的局部坐标转换为屏幕绝对坐标，并将所述区域ocr结果与区域候选、应用、窗口和来源帧标识绑定，写入所述结构化文本索引。

16、优选地，所述双轨索引包括：关系型索引轨与向量索引轨；

17、所述关系型索引轨，存储帧标识、时间戳、所属视频块、块内帧序号、应用名称、窗口标题、区域坐标、ocr文本、活动标签和全文检索索引；

18、所述向量索引轨，存储屏幕帧的多模态嵌入、时间戳、应用名称、活动标签及对应的帧标识；

19、其中，结构化条件通过所述关系型索引轨过滤，语义相似条件通过所述向量索引轨召回，召回结果通过同一帧标识合并为可追溯证据。

20、优选地，所述步骤s4中的流式活动语义标注包括四层递进流程，包括：

21、l1层：将当前帧嵌入与对应应用下的成熟活动簇质心进行相似度匹配，相似度达到成熟簇阈值，则复用该成熟活动簇的活动标签；相似度未达到成熟簇阈值，则进入l2层；

22、l2层，l1层未命中时，将当前帧嵌入与候选活动簇进行相似度匹配，命中候选活动簇，则增加候选活动簇的支持度，并在支持度达到晋升阈值时将候选活动簇晋升为成熟活动簇；未命中候选活动簇，则进入l3层；

23、l3层：l1层和l2层均未命中，则将当前帧作为待标注活动簇的代表样本，或者作为与已有代表样本的从属样本加入待标注活动簇；

24、l4层：当新的待标注活动簇的代表样本产生时，将所述代表样本对应的视觉证据、结构化ocr文本、应用上下文和已有活动标签输入视觉语言模型，获得活动标签，并将该活动标签回填至所述待标注活动簇中的所有样本，并将完成标注的待标注活动簇转为候选活动簇或并入已有成熟活动簇。

25、优选地，所述l1层中的成熟活动簇质心在复用活动标签后通过指数滑动平均方式更新，表达式为：

26、

27、其中，表示第个活动簇质心；符号“”表示将左侧变量的值更新为右侧表达式的计算结果；表示当前帧嵌入；表示更新率；

28、当所述成熟活动簇支持度超过稳定阈值时，停止或降低质心更新速率，以抑制长时运行中的异常样本干扰；

29、所述l4层中的视觉语言模型调用以异步方式执行，当视觉语言模型连续调用失败次数超过预设的失败阈值时，进入熔断状态，在冷却时间内暂停新增调用；当系统重启或用户触发重算时，对仍处于待标注状态的历史样本重新组织为待标注活动簇并进行标注。

30、优选地，所述活动片段的聚合包括：

31、相邻帧属于同一活动簇、应用上下文一致，且时间间隔不超过会话断裂阈值，则将所述相邻帧合并到同一活动片段；

32、相邻帧的活动簇不同、应用上下文不一致，或时间间隔超过会话断裂阈值，则生成不同活动片段；

33、对处于待标注状态的帧先挂入临时活动片段，并在活动标签回填后更新所述活动片段的活动标签和时间范围。

34、根据本发明提供的一种面向时序屏幕数据的端侧多模态记忆构建系统，采用面向时序屏幕数据的端侧多模态记忆构建方法，包括：

35、屏幕采集模块：采集连续屏幕帧、焦点应用、窗口标题和显示器信息；

36、变化驱动存储模块：基于帧间差异筛除冗余帧，对保留屏幕帧进行视频分块压缩，并维护视频块寻址信息；

37、gui结构化解析模块：生成界面结构单元，将ocr文本与应用、窗口、区域坐标和布局关系绑定，形成结构化文本索引；

38、双轨索引模块：将结构化元数据和全文检索数据写入关系型索引轨，将多模态嵌入写入向量索引轨，并维护二者之间的帧标识映射；

39、活动语义标注模块：执行成熟簇复用、候选簇晋升、待标注活动簇聚合和视觉语言模型标注，并根据活动簇标签、应用上下文和时间连续性生成活动片段；

40、检索与证据返回模块：根据活动片段、结构化文本索引和向量索引检索相关屏幕证据，并根据视频块寻址信息返回对应视觉和文本证据。

41、根据本发明提供的一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现面向时序屏幕数据的端侧多模态记忆构建方法的步骤。

42、根据本发明提供的一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被处理器执行时实现面向时序屏幕数据的端侧多模态记忆构建方法的步骤。

43、与现有技术相比，本发明具有如下的有益效果：

44、1、本发明用于将连续屏幕流构建为可供智能体调用的多模态记忆，保留视觉语义，并且降低了多模态词元成本与连续屏幕流的存储和处理开销，提高了长期屏幕数据的检索精度和定位效率；并且，将连续屏幕帧聚合为具有行为语义和时间范围的活动片段，为上层智能体提供比单帧、单ocr文本或单视频片段更稳定的记忆对象，便于问答、回溯、日报生成和任务上下文恢复。

45、2、本发明将连续屏幕流作为时序数据处理，基于帧间变化筛除冗余帧，并对保留帧进行视频分块压缩，在保留可回溯像素证据的同时降低长期屏幕流的存储和处理负担；并且，本发明利用屏幕gui具有窗口、控件、坐标、文本和布局关系的特性，将ocr文本与界面结构绑定，使屏幕记忆不再退化为扁平文本，从而能够保留部分视觉语义并提升证据定位能力。

46、3、本发明将结构化文本索引和多模态向量索引组成双轨索引，使精确时间、应用、窗口、关键词过滤能够与模糊视觉语义召回协同工作，适合处理智能体中的复杂历史上下文查询；并且，本发明通过成熟簇、候选簇、待标注活动簇和视觉语言模型四层递进标注流程，使视觉语言模型调用主要由活动变化触发，而不是由屏幕帧数量触发，从而降低长期运行中的高成本模型调用频率，降低多模态词元消耗。

47、4、本发明提供的端侧设备的处理器，首先通过归一化帧间差异过滤冗余屏幕帧，使未达到差异阈值的屏幕帧不进入ocr、多模态嵌入和活动语义标注处理链路，从而减少处理器需要处理的数据量以及存储器的读写次数；视频编码器将保留屏幕帧组织为视频块并进行h.265/hevc帧间压缩，以利用连续屏幕帧之间的时间冗余，减少存储介质写入的数据量；处理器通过成熟活动簇、候选活动簇和待标注活动簇对屏幕帧进行逐级相似度匹配，仅在创建新的待标注活动簇的代表样本时调用视觉语言模型，从而减少用于视觉语言模型推理的硬件计算资源占用和模型调用等待时间；

48、在一个具体测试中，在同一端侧设备上以1秒的采集间隔采集30分钟屏幕轨迹，在差异阈值设置为0.006、每60帧形成一个视频块并采用h.265/hevc编码的条件下，原始逐帧png文件占用3533.27 mb，经帧间差异过滤和视频分块压缩后占用270.15 mb，存储占用降低约92.35%；在893次活动帧处理事件中，仅有20次进入视觉语言模型标注层，相对于逐帧调用方式，视觉语言模型调用次数减少约97.76%。