一种融合状态空间模型与注意力机制的视频理解方法与流程
本发明涉及长视频理解与多模态分析,具体为一种融合状态空间模型与注意力机制的视频理解方法。
背景技术:
1、视频理解作为计算机视觉与多媒体分析领域的核心任务,不仅涉及对视频内容的静态语义提取,还包括对视频中发生的事件、行为、对象及其时空交互作用的识别与理解。其应用范围极其广泛,涵盖了智能安防中的异常识别、娱乐检索中的精彩瞬间定位、人机交互中的自然对话以及自动驾驶中的时空因果推理等多个关键领域。根据任务类型划分,当前主流的视频理解任务主要包括文本视频检索、视频描述(videocaptioning)以及视频问答(videoquestionanswering)等。
2、在技术演进脉络上,研究者们最初借鉴机器翻译的思想,确立了以编码器-解码器(encoder-decoder)为基础的通用架构。在编码阶段,利用视觉骨干网络提取时空特征并映射至特征空间;在解码阶段,则利用语言模型将视觉表征转化为自然语言序列。
3、早期的视频理解方法主要依赖卷积神经网络(cnn)与循环神经网络(rnn)的结合。例如,lrcn通过卷积层提取帧特征并级联lstm以表征动态变化;s2vt则通过双层递归结构解决了输入视频流与输出文本流长度不一致的映射瓶颈。然而,由于rnn存在梯度消失及难以并行计算的物理限制,这类方法在处理长视频时表现受限。
4、随着注意力机制(attentionmechanism)及transformer架构的提出,视频理解领域经历了重大跨越。transformer通过自注意力机制(self-attention)捕获跨帧的时空关联,实现了强大的全局依赖建模能力。典型的如emt、timesformer以及vivit等,通过在不同时间尺度上进行注意力聚合,显著提升了视频序列的解析精度。此外,大规模多模态预训练(vlp)技术(如clip、videococa、omnivl等)通过在海量图文对上进行对比学习,实现了视觉特征与自然语言语义的高维对齐,进一步增强了方法的泛化能力。
5、近年来,为解决长序列建模的计算压力,状态空间模型(statespacemodel)及其改进版mamba架构逐渐受到关注。mamba通过隐状态的递归传递捕获长程时序依赖,具备线性计算复杂度,特别适用于长视频分类、密集动作定位等需要处理极长帧序列的视觉任务。为了兼顾transformer的细粒度检索能力与状态空间模型的高效长程建模能力,研究者开始探索混合架构(hybridarchitectures)。目前常见的方案包括层内串行堆叠(如jamba、zamba等),通过交替放置注意力层与状态空间层来实现空间与时序特征的交互以及并行分支策略(如hymba、vis4mer等),允许两类机制在独立的数据通路中分别处理全局空间关联与时序连续性。
6、视频理解任务作为计算机视觉与多媒体分析领域的核心,与静态图像理解相比,在捕获复杂时空动态、长程时序依赖以及处理高维数据流方面仍面临巨大挑战。在现实应用场景中,视频帧序列具有高度的语义冗余性,对每一帧执行无差别的全局建模不仅会导致极高的计算代价与显存消耗,还容易使方法忽略表征动作演变的微小增量信息。
7、现有基于transformer架构的方法虽然具备强大的全局依赖建模能力,但其核心自注意力机制的计算复杂度随输入序列长度呈平方级增长,导致在处理长视频流或高帧率视频时,面临严峻的显存溢出与推理延迟瓶颈,难以实现在有限硬件资源下的高效建模。目前的混合架构或纯状态空间模型虽然在一定程度上提升了计算效率,但现有方案大多将时序建模路径与局部特征检索路径独立开来,或采用简单的层内串行堆叠方式,这不仅限制了硬件的并发计算吞吐量,还容易引发不同数学逻辑分支间的表征发散与语义冲突,导致方法在长程感知效率与细粒度语义对齐之间难以兼顾。
8、因此,目前的视频理解方法难以在高效率的前提下精准提取长序列视频中的连续状态演变与关键语义线索,亟待一种能够有效融合长程线性时序建模与局部高精度特征检索、并具备严格特征一致性约束的高效视频理解算法。
技术实现思路
1、本发明所要解决的技术问题是提供一种构建融合 mamba 与注意力的双分支架构,借助门控过滤、语义一致性约束,实现兼顾速度与识别精度的融合状态空间模型与注意力机制的视频理解方法。
2、本发明采用如下技术方案:
3、本发明融合状态空间模型与注意力机制的视频理解方法采用如下步骤:
4、s1、输入原始视频序列,利用带随机偏移的tsn稀疏采样策略提取关键帧,通过预训练的clip-vit骨干网络对图像帧执行token化映射,生成具备空间位置感知的初始特征序列;
5、s2、将初始特征序列输入并行双分支架构,mamba状态空间分支通过选择性扫描递归捕获长程时序演化特征,并利用双向扫描增强上下文特征;自注意力分支利用多头机制执行全局交互,检索局部空间显著性特征;
6、s3、设计带门控机制的特征映射单元计算特征传递权重,对时序信号执行非线性过滤,剔除冗余背景信息,将提炼后的关键特征注入自注意力支路,生成融合时空协同属性的混合表征;
7、s4、注入任务引导向量初始化解码器,执行任务相关的跨模态特征检索并自回归生成文本;联合单词级交叉熵损失、句子级强化学习奖励及路径一致性惩罚项执行全局优化,输出最终视频描述或问答结果。
8、进一步地,s1中带随机偏移的tsn稀疏采样策略具体为:
9、将原始视频总采样帧数 t 在时间轴上均匀划分为 n 个互不重叠分段序列 ,每一分段包含连续帧数 l=t/n;在每个分段区间 内引入随机偏移量 ,每一分段内抽取的帧索引 ,计算公式如下:
10、
11、式中, 表示在区间 内随机生成一个整数;采样得到的帧序列 被送入预训练的视觉骨干网络 clip-vit 执行token 化,对图像帧执行token化映射具体为:
12、将单帧图像划分为一系列固定大小 的图像块,经过线性投影层转化为特征向量,计算公式如下:
13、
14、式中, 为图像分块操作, 为线性投影映射, 为可学习的位置嵌入向量,用于赋予图像块特征空间位置感知能力;随后,在序列起始位置插入可学习的类别标记 汇聚整帧全局信息,生成特征向量序列 :
15、
16、式中, 表示输入视频帧经 clip-vit 分块得到的图像分块嵌入特征,为图像块总数。
17、进一步地,s2中的mamba状态空间分支处理过程具体为:
18、对于给定输入序列 ,构建基础连续状态空间模型,该模型通过隐状态 建立映射,其线性常微分方程为:
19、 ,
20、式中, 表示隐状态 对时间 的一阶导数, 为状态转移矩阵, 为输入投影矩阵,输入信号 ;
21、引入时间步长参数 ,采用零阶保持规则执行离散化变换,采用公式如下:
22、
23、式中, 为矩阵指数函数, 为单位矩阵, 为离散化后的状态转移矩阵,为离散化后的输入投影矩阵;离散化后的状态转移递归形式为 ,输出为 ,其中 为输出投影矩阵;
24、引入选择性机制,将状态转移参数重构为输入序列 的动态函数:
25、
26、
27、
28、其中, 为线性变换, 为可学习偏置, 为激活函数;
29、分别沿时序正向、反向执行选择性扫描得到前向路径和反向路径,前向路径按时间正序计算输出 ,反向路径按逆序计算输出 ,二者执行逐元素相加生成融合特征 ;
30、在残差连接处引入可学习缩放因子 ,最终输出特征 ,采用如下公式计算:
31、
32、式中, 为层归一化操作, 为输入特征。
33、进一步地,s2中自注意力分支利用多头机制执行全局交互过程为: 输入特征分别通过 组不同的线性映射矩阵 和 映射至多个子空间,分解生成第 个注意头对应的查询向量 、键向量 与值向量 ;第个注意头 的注意力权重通过缩放点积操作计算:
34、
35、随后,将 个注意头的输出特征进行通道拼接(concat),并经输出线性投影矩阵 进行多头表征融合,生成自注意力分支的全局交互特征 :
36、
37、式中,q为查询向量,k为键向量,v为值向量, 为注意力头的数量, 为单个注意力头中键向量的通道维度, 为值向量的通道维度, 为归一化指数函数, 为第 个注意力头的查询与键的点积矩阵, 为输出线性投影矩阵, 为多头输出的通道拼接操作。
38、进一步地,s3中带门控机制的特征映射单元基于 mlp 的门控评分网络计算特征传递率 :
39、
40、式中, 为mamba状态空间分支在时刻 的输出特征, 与 为权重矩阵, 与 为偏置向量, 为高斯误差线性单元激活函数, 为sigmoid激活函数;通过对时序信号执行逐元素相乘(hadamard积)过滤掉画面变化缓慢的背景: ;由各时刻过滤后的特征向量按时间维度拼接构成矩阵将矩阵经层归一化与线性对齐矩阵投影后与自注意力分支特征相加,生成具备时空协同属性的融合表征:
41、
42、式中, 为生成的具备时空协同属性的融合表征。
43、进一步地,s4中注入任务引导向量初始化解码器具体为:
44、利用集成任务引导向量的指令解码器,将融合视觉特征映射至符号空间;解码器基于标准 transformer 架构,其输入端注入任务引导向量 ,用于强制在计算初期处于与任务契合的语义状态:
45、
46、式中, 为当前时刻的词标记, 为词嵌入层, 为文本位置编码;在解码层内部,掩码多头自注意力层(mmhsa)确保生成的自回归属性,而交叉注意力层(mhca)则将已生成的文本语义作为查询向量 ,与编码器端输出的混合视觉表征 执行计算交叉注意力:
47、
48、解码器根据当前生成的单词动态定位最相关的视频时空线索,最终,特征映射至词表概率空间,预测时刻 的下一个单词 :
49、
50、式中, 为解码器第 层在时刻 的隐藏状态, 为词表投影矩阵,为词表偏置向量。
51、进一步地,所述任务引导向量 为视频描述引导向量 或问答引导向量 。
52、进一步地,s4中联合单词级交叉熵损失、句子级强化学习奖励及路径一致性惩罚项执行全局优化具体为:
53、对mamba状态空间分支输出矩阵 各时刻特征向量 与自注意力分支输出矩阵 各时刻特征向量 进行 归一化,计算归一化特征之间的均方误差得到路径一致性损失 ,公式如下:
54、
55、式中, 为网络参数, 为序列长度, 与 分别为归一化后的隐特征;构建全局联合优化损失函数:
56、
57、式中, 为单词级交叉熵损失,为基于分数与视觉相似度构建混合奖励的句子级强化学习损失; 为强化学习调节权重, 与 分别为任务损失与一致性损失的平衡系数;利用所述全局联合优化损失进行反向传播迭代更新网络参数,强制并行双分支特征向相同隐空间区域映射,最终得到视频描述或问答结果。
58、本发明积极效果如下:
59、1、本发明通过在tsn稀疏采样中引入随机偏移量,有效破除了传统等距采样的固化模式,增加了训练阶段视频帧时序组合的多样性,显著降低了帧间语义冗余对后续特征提取的干扰。2、本发明通过将mamba状态空间分支与自注意力分支并行配置,利用mamba分支的线性计算复杂度高效建模长程时序依赖,同时保留自注意力机制对局部高频显著特征的精细检索能力,克服了单一架构在效率与精度上的失衡问题。3、本发明在mamba分支的残差连接处引入可学习缩放因子,动态调节时序递推特征的注入比例,有效平抑了状态空间模型训练初期的数值波动,保障了深层网络训练的稳定收敛。4、本发明通过带门控机制的特征映射单元计算特征传递率,实现了对背景缓慢变化信息的非线性过滤,精细提炼反映动作演变的关键增量特征,增强了混合表征的时空协同能力。5、本发明通过惩罚mamba分支与自注意力分支输出表征在潜空间内的欧氏距离,消除了异质分支因数学机制差异引发的语义发散,确保了多通路特征的深度对齐。6、本发明采用显式任务引导向量初始化解码器,使单一方法能够根据视频描述或视频问答的任务意图动态调整跨模态注意力分配,提升了跨任务泛化性与生成文本的语义连贯性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com