一种基于双重认知状态机制的实时多模态交互方法与流程

摘要: 本发明属于人工智能领域,涉及多模态大语言模型的交互应用,具体为一种基于双重认知状态机制的实时多模态交互方法。背景技术:1、近年来,多模态大语言模型(multim...
一种基于双重认知状态机制的实时多模态交互方法与流程

本发明属于人工智能领域,涉及多模态大语言模型的交互应用,具体为一种基于双重认知状态机制的实时多模态交互方法。

背景技术:

1、近年来,多模态大语言模型(multimodal large language model,mllm)在人工智能领域取得了显著的进展,实现了从以视觉为中心的设计向统一的全模态架构的转变。这类模型凭借强大的跨模态理解能力,能够端到端的处理交错的视频、音频和文本流,在短视频理解与即时问答任务中表现出了令人瞩目的成绩。然而,当面临长视频,如一小时以上的视频,或连续不断的流式交互场景时,现有多模态大模型面临着严峻的挑战。由于模型架构受限于有限的上下文窗口,且计算复杂度随着序列长度的增加呈二次方增长,模型无法将所有的历史多模态信息直接保留在当前输入中,这导致模型在长时间交互中不可避免地出现严重的“失忆”现象。

2、为了赋予多模态大模型长序列视频交互和记忆保持的能力,使其能够在不爆显存的前提下持续理解用户的意图并回顾历史信息,现有的技术方案主要分为两类工作流范式:

3、第一类是基于外部记忆库的检索增强机制(rag,retrieval-augmentedgeneration)。在视频领域,这种方案通常的做法是将连续的视频流分割成离散的片段,并利用预处理工具提取稀疏的文本元数据,例如视频片段摘要、自动语音识别 asr 生成的转录文本等,将其存入外部的向量数据库。当接收到用户的提问时,系统会基于问题提取特征,利用常规的语义相似度搜索算法,如余弦相似度,从离线数据库中检索出固定数量(top-k)的历史条目,作为上下文补充给模型以生成最终回答。

4、第二类是基于智能体的迭代推理与证据聚合机制。为了弥补上述常规检索方案在复杂问题上的不足,近期的视频代理技术引入了复杂的智能体(agent)工作流。这些方案采用了一种“侦探式”的迭代范式,大模型作为任务的规划者,在接收到用户查询后,通过多轮次的内部“思考”(生成显式的思维链文本)、查询重写、调用外部特定模态工具如搜索 api、时间定位模块等来反复收集和聚合证据,最后进行反思和总结以生成回答。

5、本领域现有的代表性技术方案如下:

6、《视频检索增强生成方法、装置及相关设备》(专利申请号cn202510677291.6),公开了一种典型的基于视频片段和文本大模型的检索增强(rag)技术方案。其核心设计包括:基于用户输入的查询内容在预先设置的视频检索库中进行检索,得到目标视频片段;将查询内容与目标视频片段输入至预先训练的视觉语言模型中,输出查询内容对应的视觉描述;最后基于目标视频片段与视觉描述,生成查询内容对应的答案。该方法通过引入外部检索库,在一定程度上提升了模型面对海量视频数据时的信息获取能力,缓解了单纯依靠模型上下文窗口的限制。但该方案存在明显的局限性:在真实的流式视频交互中,用户的输入往往是高度上下文依赖的,且充满了口语化表达、语气停顿和模糊指代。这种充满噪声的原始输入表示,与记忆库中经过高度结构化的稀疏文本特征之间存在巨大的“语义分布鸿沟”。该方案采用传统的“检索-增强-回答”线性工作流,在长视频理解与交互中面临明显的性能瓶颈:一是推理延迟痛点,由于该方案依赖直接的检索比对,必须等待检索链路完整闭环后再进行多模态大模型生成,系统无法实现流式响应,单次回复时长通常受到检索算法复杂度的显著影响;二是语义分布鸿沟问题,该方案缺乏对输入端噪声的底层纠偏机制,在面对用户高度指代不明或充满口语化干扰(如“刚才那个东西”、“刚才那个人”)的流式输入时,其基于文本相似度的检索机制极易失效,在复杂交互下检索准确率极低,导致模型召回大量冗余甚至错误的上下文,严重干扰生成质量。

7、《一种基于检索增强的长视频视觉对齐理解方法》(专利申请号cn202511647573.8),该方案聚焦长视频视觉对齐理解的痛点,提出了一套结构化检索与多模态辅助信息提取的方法。其核心是通过获取原始长视频资源数据集,对用户的原始查询进行显式的语义解耦,生成用于从目标视频中提取辅助文本的结构化检索请求;随后,并行生成并检索多模态辅助文本信息,包括自动语音识别文本、光学字符识别文本和目标检测信息;最后将检索得到的多模态辅助文本与原始查询进行整合,输入至大型视频语言模型(lvlm)生成响应内容。该方法通过细粒度的元数据提取(asr/ocr/det)强化了对视频信息的结构化理解,提升了信息定位的精准度。但其架构设计仍存在以下缺陷:一是计算开销与延迟不可兼得,该方案引入了繁重的“侦探式”多轮迭代推理链条,试图通过多模态信息的层层解耦来提升精度,由于依赖重度的前端语义解耦与并行的多模块文本提取,计算开销庞大,这导致系统在处理小时级以上长视频时,响应延迟长达数十秒甚至分钟级,完全丧失了实时交互的属性;二是交互行为的机械性,在流式交互中,用户期望的是毫秒级的“本能”响应,根据输入语义深度自主判断交互时机,如是否需要主动发言、是否需要触发检索等,而该方法这种“侦探式”的繁重推理链条极大地增加了系统延迟,完全丧失了实时性,系统仅能根据指令被动生成响应,缺乏让模型自主判断交互时机的能力,智能化交互程度较低。

8、《一种为大模型智能体提供多模态记忆能力的实现方法》(专利申请号cn202511895793.2),该方案针对大模型在长周期多轮会话中的记忆连贯性问题,提出了一种基于人物特征轨迹的多模态记忆管理技术。其核心技术在于构建多模态人物特征轨迹并存储于人物特征记忆体中。在用户发起新会话时,通过计算首轮输入的身份向量与记忆体中轨迹末端身份向量的相似度进行身份延续性判断;同时结合情绪向量的相似度判断情绪状态的连续性。最后融合文本、语音及视觉多模态特征,生成包含身份与情绪连续性判定的上下文信息并输入大模型智能体。该方法有效解决了跨会话场景下特定用户实体身份和情绪状态的追踪问题,提升了多轮交互的连贯性。但该方案主要是为“特定实体”的状态维护而设计,主要聚焦于人物属性追踪,存在明显的架构局限:一是记忆扩展性瓶颈,该方案对多模态特征进行按时间序列的线性堆叠存储,缺乏对长视频全局叙事主线的宏观认知构建机制,导致随着交互时长的无限增加,如跨月级场景的持续交互,即使仅对多模态特征进行按时间序列的线性堆叠,kv缓存将呈爆炸式增长,极易引发显存溢出(oom,out-of-memory),或触发简单的截断丢弃机制,导致模型陷入“严重失忆”;二是缺乏缺乏类似人类记忆的“分辨率衰减”与“层级抽象合并”机制,其系统无法对远期历史进行有逻辑的总结合并,导致模型在处理长期全局叙事主线时认知视野受限,无法在恒定内存开销下维系长期的全局认知视野,难以维系长周期流式交互中的逻辑连贯性。

技术实现思路

1、本发明要解决的技术问题是:现有视频交互系统在长序列场景下存在语义纠缠、响应高延迟以及显存爆炸的核心问题,本发明解决以下技术问题:

2、1)多模态大模型在流式交互中的高延迟与高资源消耗问题。现有的视频智能体普遍采用一种“侦探式”的多轮迭代推理机制,通过大模型反复生成文本思考、重写查询和调用外部工具来聚合证据。这种重度依赖多轮推理的模式导致了极其高昂的计算开销(词元消耗)和动辄数十秒的响应延迟,完全打破了流式交互所需的实时性,使得模型无法像人类一样做出低延迟的本能反应。

3、2)消除含有噪声的动态输入与静态离线记忆之间的语义分布鸿沟。在真实的语音视频交互中,用户输入具有强烈的上下文依赖性,且掺杂环境噪声、模糊指代以及口语化特征。而现有的系统多依赖将输入直接映射到由稀疏文本构成的记忆特征空间中。这种粗糙的向量映射方法无法在底层表征上对齐动态输入与静态记忆的分布差异,导致传统的语义相似度检索在面对复杂交互时经常失效,不仅无法召回关键历史信息,还会给模型注入大量干扰性冗余上下文,从而严重降低响应的准确性。

4、3)实现多模态交互系统中模型行为的智能与极速控制。现有的流式系统往往依赖简单的语音活动检测(vad)或静音时长等外部物理规则来被动触发模型响应,或者依赖大模型生成显式的长文本指令来决定是否调用检索工具。前者仅停留在声学层面,缺乏对输入内容的深层语义理解,容易导致不恰当的打断、无效回复或漏回复;后者则再次陷入高延迟的多轮推理困境。因此,本发明需要解决如何使模型摆脱对单一语音物理信号或显式文本推理的依赖,使其能够基于当前多模态输入的深层语义和历史上下文,以类似人类“本能反射”的方式,在单次前向传播中自主且极速地判断是否需要执行主动回复(如speech)以及是否需要触发记忆检索(如search)操作。

5、本发明的技术方案为:一种基于双重认知状态机制的实时多模态交互方法,以多模态大语言模型为智能体,构建多模态长时记忆库、全局认知状态模块、隐式反射状态模块以及多任务动作空间用于长序列交互:

6、多模态长时记忆库用于存储用户属性信息、流式多模态输入信息和交互历史信息,

7、全局认知状态模块基于多模态长时记忆库,通过层级合并策略,即将不同片段的画面、语音和交互描述进行合并,处理后得到长期的总结和近期的细节信息作为全局状态;

8、隐式反射状态模块用于控制智能体的反射行为,在当前输入序列和上一时刻的全局状态序列之后加入一组可学习的连续向量参数作为软提示,将拼接好的序列送入多模态大语言模型中执行单次前向传播,提取最后一层的隐藏状态,解码为动作控制信号和记忆检索向量,用于行为决策,触发交互动作行为;

9、多任务动作空间用于根据隐式反射状态模块的隐藏状态的解码结果执行对应的动作,进行交互输出;

10、多模态交互拆分为实时反射与异步巩固两个环路,多模态大语言模型处理当前输入,基于提取的隐藏状态,将当前输入检索召回的结果、当前全局状态及原始输入融合,驱动多模态大语言模型执行交互动作,实现实时反射的即时反馈;即时反馈完成后,利用多模态大语言的空闲时间,通过产生的反馈生成新的交互日志,提取其中的结构化信息更新至多模态长时记忆库,进行异步维护,实现异步记忆巩固。

11、进一步的,多模态长时记忆库具体包括:

12、用户画像记忆模块:用于识别并存储用户的基本属性,包括用户的视觉头像特征、个人偏好、性格特征及人口统计学信息;

13、语义记忆模块:从流式多模态输入中提取抽象的事实、概念及实体关系,以文本键值对的形式存储,用于使智能体在不翻阅原始历史日志的情况下,找回客观知识;

14、情景记忆模块:用于记录所有交互过程的细节,作为交互历史的时间轴账本,每一条记录为一个结构化的多模态脚本,包含交互的起始和结束时间戳、视觉场景描述、听觉线索提示以及智能体的回复内容。

15、进一步的,情景记忆模块中,交互历史信息在转化为结构化的多模态脚本后即被释放。

16、进一步的,所述隐藏状态用于进行交互动作的自主决策,多模态大模型训练两个并行的任务头对隐藏状态进行解码,解码为两个隐藏特征向量,分别用于动作预测和检索生成:

17、

18、动作预测: 表示智能体采取的行动并服从伯努利分布,其中,行动值直接输出一个二元组向量0或1,分别决定当前时刻是否出发主动动作,进行发言操作以及记忆检索操作;

19、检索生成:通过一个由多层感知机构成的投影头 pro(),将隐藏状态映射到与外部检索模型相同维度的特征空间中,生成检索修正向量 ,

20、当动作预测触发检索操作,将叠加到由输入生成的初始查询向量上,对齐查询与记忆的分布,利用修正后的查询向量在多模态长时记忆库中执行faiss相似度搜索,召回记忆,多模态大语言模型结合召回的记忆、全局状态和当前输入,生成回复输出给用户。

21、进一步的,在模型的训练阶段,采用一个结合离散分类和对比检索对齐的混合损失函数进行优化模型和投影头:

22、

23、其中,和分别是预测的结果和真实标签,c是当前预测的词元,b表示记忆库大小,为交叉熵损失, 为正样本记忆特征,为温度系数,λ是平衡参数并设定为2。

24、进一步的,全局认知状态模块基于多模态长时记忆库,按时间顺序存储每一次交互的视觉场景描述和语音对话文本,一次交互对应一个记忆节点,初始层级为0,当某一层级i的节点数量ni大于等于k+1时,触发合并操作,k为预设的容量因子,合并时使用当前模型,对节点中的画面、音频和交互文本进行总结合并,按时间将最旧的一批节点压缩合并得到新的描述内容,并将其作为下一层级节点。

25、进一步的,多模态大语言模型采用多低秩适配器multi-lora架构,在推理过程中,根据当前状态动态切换适配器,将记忆构建、文本生成和反应决策这三个不同的任务解耦对应到多模态长时记忆库、全局认知状态模块、隐式反射状态模块中。

26、进一步的,多模态大语言模型对输入到视频进行预处理,通过计算相邻帧之间的特征余弦距离进行时间维度的冗余剔除,并利用显著性评分在帧内进行空间 token 剪枝。

27、相比于现有技术的“基于常规文本相似度的检索增强(rag)方法”与“基于多轮迭代推理的视频智能体”,本发明通过创新设计的全局状态(global state)与隐式状态(latent state)双重认知机制,既解决了多轮重度推理带来的不可控高延迟问题,又在底层潜在特征空间实现了动态输入与静态记忆的精准语义对齐;同时摆脱了对外部生硬物理规则和多轮显式文本生成的依赖,有效克服了现有方法在实时响应能力、检索准确度与长时上下文连贯性上的不足,展现出强大的多模态流式交互潜力。本发明有效促进了长视频交互的多模态记忆的极速提取的全局认知整合,实现了流式视频交互中“全局连贯性 - 实时响应性 - 行为自主性”的三重平衡,显著提升了多模态大模型对复杂噪声交互场景的抗干扰能力与超长时连续运行的稳定性。

28、本发明提出的实时交互架构通过双重认知状态机制,在长视频理解和实时流式交互方面展现出显著的技术优势。与现有基于迭代推理或传统检索增强生成(rag)的技术相比,本发明的有益效果具体体现在以下几个维度:

29、1)极速响应能力与推理效率的显著提升:本发明通过将重度推理(reasoning)转变为轻量化的反射(reflex),极大地降低了系统的交互延迟。实验数据显示,本方案在推理速度上相比于基准模型提升了20.0倍,相比于目前主流的视频代理模型m3-agent提升了11.5倍。由于本发明采用单次前向传播同时完成决策与检索修正,避免了传统方案中多轮文本生成的开销。如图3所示,在保持高准确率的同时,本发明的响应延迟(latency)被大幅压缩。在交互式响应测试中,本发明的总延迟仅为2.22秒左右,而对比方案则普遍需要25秒以上,这使得本发明能够真正支持实时的流式视频交互场景。

30、2)长视频理解准确率的突破性增长:本发明通过全局状态提供的认知底座和隐式状态实现的特征纠偏,显著增强了对长视野信息的提取精度。在权威的长视频基准测试videomme-long和lvbench中,本发明的平均准确率相比于基线模型提升了11.8%,展现出极强的鲁棒性。如图4所示,本发明的表现稳定优于包括gpt-4o和gemini-2.0-flash在内的商业闭源模型以及各类开源视频代理。这证明了本发明提出的双重状态机制能够比传统的多轮推理更精准地定位并聚合视频中的关键证据。

31、3)卓越的记忆存储效率与近乎恒定的扩展性:本发明通过层级合并策略和冗余剪枝技术,实现了极高的记忆管理效率。相比于现有技术,本发明在内存足迹(memoryfootprint)上实现了3.3倍的优化。更重要的是,本发明的内存消耗和推理延迟在面对极长视频输入时表现出近乎恒定的特性,成功克服了传统方案中显存随视频时长线性增长甚至溢出的难题。如图5所示,即使视频时长增加到两小时以上,本发明的交互延迟始终稳定在6秒以下的极低水平。同时,如图5的(a)所示,即便在长达六个月的模拟持续交互中,全局状态中的活跃话题数依然能维持在极低阈值内,有效防止了显存崩溃。

32、4)针对噪声输入的鲁棒性:本发明在潜在空间中直接执行检索向量纠偏,天然地克服了用户输入中的环境噪声和语义歧义。如图6所示,在人为引入大量随机文本干扰和音频环境噪声的挑战性测试中,传统rag方案的准确率会出现剧烈波动,降幅达5.1%,而本发明的性能波动极小,仅约1.3%。这证明了本发明在处理不规范、含噪声的真实世界交互时具有极高的可靠性,能够实现稳定的检索效果。

33、5)本发明不依赖昂贵的商业api调用进行多轮重推理,且对计算资源的消耗极低,这极大地降低了多模态助手在实际部署中的单位运营成本。本发明既可以作为一个独立的实时助手运行,也可以作为一种通用的记忆增强框架来提升现有大模型的能力,具有一定的应用前景和商业价值。