一种基于记忆自演化策略的流式视频理解方法及系统
本发明涉及流式视频理解,尤其涉及一种基于记忆自演化策略的流式视频理解方法及系统。
背景技术:
1、随着流媒体技术与具身智能的快速发展,流式视频理解的应用场景不断拓展,相关技术需求持续提升。与传统的离线视频理解不同,流式视频理解要求模型在无法获取未来视频帧信息的前提下,基于已接收的历史视频内容实时完成内容问答、事件预测等推理任务。另外,流式视频输入通常具有不定时长的特点,部分场景下甚至为持续输入的无限长视频流,这就要求模型具备长时间跨度的视觉上下文维持与深度理解能力。
2、现有流式视频理解相关技术文献包括:专利申请cn122265712a公开了一种通过视觉记忆机制扩展多模态大语言模型长视频理解能力的方法,其采用显式记忆模块存储历史视觉特征,但记忆更新方式为静态写入,缺乏对已存储记忆内容的动态演化机制;专利申请cn121236670a公开了一种面向目标层次化的记忆增强的长视频理解系统及方法,其通过层次化记忆结构实现长视频理解,但语义聚合仍采用全局池化等粗粒度方式,难以精确筛选高价值信息;专利申请cn120526345a公开了一种基于自适应稀疏记忆与语言模型的长期视频理解系统,其通过稀疏化策略压缩记忆词元,但稀疏化过程缺乏由粗到细的渐进式语义筛选机制;此外,美国专利申请us20250259465a1公开了一种带流式特征库的视频处理模型,采用流式特征库机制处理流式视频,但未涉及相似度分布的时序先验融合和多阈值掩码自注意力演化策略。
3、当前流式视频理解技术中,多模态大语言模型通常通过视觉编码器将视频帧转换为视觉嵌入向量,经连接模块对齐后输入大语言模型进行推理。为应对长时长视频带来的计算压力,现有技术多采用显式记忆模块对历史视觉特征进行存储和压缩。
4、为应对长时长流式视频带来的高计算量、高显存占用问题,现有技术普遍采用显式记忆模块方案,通过压缩存储历史视觉特征来降低资源开销。这些方案对记忆模块的优化主要集中于外部读写操作层面,如通过词元丢弃、词元合并等策略进行语义聚合,或通过键值缓存机制优化检索效率。
5、尽管上述方案已在流式视频理解领域取得一定进展,但在复杂长程流式场景下,其记忆表征能力与鲁棒性仍存在明显瓶颈,难以兼顾高精度推理与低资源开销。为了克服这些缺陷,本技术提出了一种基于记忆自演化策略的流式视频理解方法及系统。
技术实现思路
1、本技术的目的是提供一种基于记忆自演化策略的流式视频理解方法及系统,旨在解决现有流式视频理解的记忆机制仅优化外部读写操作,存在记忆内部演化能力缺失、语义聚合粒度粗糙、缺乏历史先验引导的缺陷,导致长时推理准确率低、鲁棒性差且资源开销高的问题。
2、为实现上述目的,本技术提供如下技术方案:
3、第一方面,本技术提供一种基于记忆自演化策略的流式视频理解方法,步骤包括:
4、获取流式输入的视频数据并缓存至帧缓冲区,当检测到视频场景切换或接收到用户查询指令时从所述帧缓冲区提取视频片段;
5、通过多模态大语言模型将所述视频片段转换为视觉嵌入向量,由所述视觉嵌入向量聚合生成当前记忆实体;其中,已生成的历史记忆实体被存储于记忆库中,所述当前记忆实体作为待写入实体暂未写入所述记忆库;
6、获取所述当前记忆实体与所述记忆库中各历史记忆实体之间的当前相似度分布,以及所述记忆库中存储的前一时刻的历史相似度分布,将所述当前相似度分布与所述历史相似度分布进行指数移动平均融合,得到校准后的相似度分布;
7、基于所述校准后的相似度分布从所述记忆库中筛选出目标历史记忆实体,将所述当前记忆实体与所述目标历史记忆实体进行特征交互后写入所述记忆库;
8、由小至大依次从预设的多个相似度阈值中选取各阈值作为当前阈值,以当前阈值构建所述记忆库中全部记忆实体的亲和度矩阵及对应的掩码矩阵,对各记忆实体进行掩码自注意力运算并对所述记忆库进行更新,并将更新后的全部记忆实体作为下一阈值对应的处理对象,直至遍历完多个相似度阈值;
9、响应于用户查询,将所述记忆库中的记忆实体与查询文本输入所述多模态大语言模型,生成视频理解结果。
10、第二方面,本技术提供一种基于记忆自演化策略的流式视频理解系统,具体包括:
11、视频分段预处理模块,用于获取流式输入的视频数据并缓存至帧缓冲区,当检测到视频场景切换或接收到用户查询指令时从所述帧缓冲区提取视频片段;
12、记忆实体生成模块,用于通过多模态大语言模型将所述视频片段转换为视觉嵌入向量,由所述视觉嵌入向量聚合生成当前记忆实体;其中,已生成的历史记忆实体被存储于记忆库中,所述当前记忆实体作为待写入实体暂未写入所述记忆库;
13、历史先验演化模块,用于获取所述当前记忆实体与所述记忆库中各历史记忆实体之间的当前相似度分布,以及所述记忆库中存储的前一时刻的历史相似度分布,将所述当前相似度分布与所述历史相似度分布进行指数移动平均融合,得到校准后的相似度分布;基于所述校准后的相似度分布从所述记忆库中筛选出目标历史记忆实体,将所述当前记忆实体与所述目标历史记忆实体进行特征交互后写入所述记忆库;
14、语义演化模块,用于由小至大依次从预设的多个相似度阈值中选取各阈值作为当前阈值,以当前阈值构建所述记忆库中全部记忆实体的亲和度矩阵及对应的掩码矩阵,对各记忆实体进行掩码自注意力运算并对所述记忆库进行更新,并将更新后的全部记忆实体作为下一阈值对应的处理对象,直至遍历完多个相似度阈值;
15、推理模块,用于响应于用户查询,将所述记忆库中的记忆实体与查询文本输入所述多模态大语言模型,生成视频理解结果。
16、第三方面,本技术提供一种计算机设备,所述计算机设备包括处理器、与所述处理器耦接的存储器,其中,所述存储器存储有用于实现一种基于记忆自演化策略的流式视频理解方法的程序指令;所述处理器用于执行所述存储器存储的所述程序指令以实现一种基于记忆自演化策略的流式视频理解。
17、第四方面,本技术提供一种计算机可读存储介质,存储有处理器可运行的程序指令,所述程序指令用于执行一种基于记忆自演化策略的流式视频理解方法。
18、本技术提供了一种基于记忆自演化策略的流式视频理解方法及系统,具有以下有益效果:
19、本技术通过设置帧缓冲区将连续输入的流式视频帧按照场景切换或用户查询触发划分为视频片段,以片段为单位进行统一处理,避免了逐帧处理导致的重复计算,可降低后续多模态大语言模型推理过程中的计算开销与显存占用;同时,在将当前视频片段的记忆实体写入记忆库之前,通过指数移动平均策略将历史相似度分布作为先验知识与当前相似度分布进行融合,利用历史时刻保留的注意力信息对当前相似度分布进行动态校准,可使相似度分布在时序上保持平滑,抑制因视频流局部突变或冗余帧引入的注意力偏差,从记忆写入端提升了历史记忆检索的准确性。进一步地,在记忆更新完成后,由小至大依次通过预设的多个连续递增的相似度阈值分别对全部记忆实体进行掩码自注意力运算,亲和度矩阵作为调制项对原始注意力分数进行加权校准、掩码矩阵对低于阈值的实体对进行屏蔽,实现了由粗到细的渐进式语义筛选与信息聚合,使记忆实体在内部不断进行信息重组与去噪,演化后获得的记忆表征具有更高的信息密度。上述技术手段相互配合,使得在相同或更低的记忆词元消耗条件下,能够保持甚至提升流式视频理解的推理准确率,同时由于记忆词元数量的缩减,也相应降低了后续大语言模型推理阶段的计算量和显存占用,从而在长时流式视频理解场景中兼顾了推理精度与资源效率。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com