一种基于时序动态与空间细粒度协同表征的微动作视频行为识别方法及装置
本发明涉及计算机视觉与视频行为识别,具体是一种基于时序动态与空间细粒度协同表征的微动作视频行为识别方法及装置。
背景技术:
1、随着深度学习技术的快速发展,视频行为识别在智能监控、工业场景理解与人机交互等场景中取得了显著进展。基于三维卷积网络、transformer以及多模态建模的动作识别方法,已经能够在通用视频理解任务中学习较强的时空表征能力。然而,与常规宏动作识别相比,微动作识别具有动作幅度小、持续时间短、判别区域局部化以及类别差异细微等特点,在真实工业场景中还常伴随背景冗余、局部遮挡和边界模糊等干扰因素。工业场景中的微动作通常仅在局部区域呈现短时、弱幅度的细微变化,其类别差异更多依赖关键瞬间的局部细节。对于这类任务,模型不仅需要判断动作在时间维度上何时发生变化,还需要准确刻画关键帧中何处出现了具有判别性的细微差异。
2、现有研究主要从时序动态建模和空间细粒度建模两个方向展开。时序建模方法能够通过关键帧选择、动态推理或自适应计算增强模型对跨帧变化的表征能力,在减少时间冗余和提升视频级表示质量方面取得了较好效果;但对于微动作识别而言,其关键判别信息往往仅集中于极少数关键时刻和极小尺度局部区域,单纯依赖视频级时序特征聚合容易使单帧中的细粒度差异难以得到充分保留。空间建模方法则通过局部区域感知、空间自适应计算或姿态增强等方式提升模型对关键区域的关注能力,在一定程度上缓解了背景冗余带来的干扰,但对微动作中高度依赖的单帧细粒度空间差异利用仍然不足。因此,现有方法虽然分别在时序建模或空间建模方面取得了进展,但仍难以同时兼顾视频级动态信息与局部细粒度空间差异的协同表征。
3、综上所述,现有方法虽在时序动态建模、局部区域增强和高效视频计算等方面取得了一定进展,但在工业微动作识别任务中仍存在明显不足。尤其是在面向弱幅度、短时程且高度依赖细粒度判别线索的动作场景时,现有方法整体上仍以视频级整体表征优化为主要目标,对关键瞬间局部细微差异的独立建模能力不足。与此同时,视频级动态信息与关键帧细粒度空间信息之间的显式协同建模仍不充分,因而难以稳定刻画工业微动作中的关键判别特征。
技术实现思路
1、本发明旨在解决现有方法在微动作视频行为识别中存在的难以同时兼顾视频级动态信息与局部细粒度空间差异的技术问题,提出一种基于时序动态与空间细粒度协同表征的微动作视频行为识别方法及装置。
2、为解决上述技术问题,本发明提供一种基于时序动态与空间细粒度协同表征的微动作视频行为识别方法,包括以下步骤:
3、步骤s1、视频级时序特征提取:将输入视频片段输入全局编码器,提取所有帧的全局特征,得到全局特征序列;定义微动态显著性量为相邻时刻所述全局特征之差的二范数;将所述全局特征序列输入策略网络,由所述策略网络为每一帧生成归一化权重,并结合所述微动态显著性量进行无放回加权采样,选择用于时序建模的第一关键帧;对所选第一关键帧的局部补丁进行空间自适应编码,提取局部精细特征,再经时序聚合,获得视频级时序特征表示;
4、步骤s2、关键帧细粒度空间特征提取:对所述输入视频片段的相邻帧计算稠密光流场,采用tv-l1光流模型估计像素级运动矢量,基于像素运动幅值的空间域平均值计算各时刻的运动强度评分,通过最大化所述运动强度评分选取用于空间建模的第二关键帧;将选取的所述第二关键帧输入由姿态估计网络和行为识别网络构成的多任务空间特征增强结构,先由所述姿态估计网络提取目标操作区域边界框、关键点空间先验信息及中间层特征表示,再由所述行为识别网络基于所述中间层特征表示执行区域池化并对固定尺度局部特征进行判别映射,获得关键帧图像级细粒度空间特征;
5、步骤s3、特征协同融合与分类:引入film条件调制机制,由步骤s1获得的所述视频级时序特征生成缩放参数和偏置参数,对步骤s2获得的所述关键帧细粒度空间特征进行逐元素自适应调制,将调制后的融合特征输入融合分类器,输出微动作类别预测结果。
6、进一步的,所述步骤s1中,所述全局编码器为轻量级卷积网络;所述策略网络通过monte carlo采样近似实现帧选择权重的端到端优化;所述无放回加权采样的权重为所述策略网络输出的所述归一化权重与所述微动态显著性量的加权组合。
7、进一步的,所述步骤s1中,所述空间自适应编码包括:由空间策略网络预测关键区域参数,采用可微采样机制生成局部补丁表示,再输入至高容量局部编码器进行精细建模,得到局部精细特征;所述时序聚合采用平均池化或加权聚合方式。
8、进一步的,所述步骤s2中,所述tv-l1光流模型的光流估计表述为如下能量最小化问题:
9、
10、其中,表示像素处在水平方向和垂直方向上的位移分量,为图像像素域,第一项为基于亮度一致性的l1数据项,第二项为全变分正则项,为权衡系数;在获得光流场后,定义像素级运动幅值为水平位移分量与垂直位移分量平方和的平方根,并采用其在空间域上的平均幅值作为片段内每一时刻的运动强度评分,最终通过最大化运动强度评分选取片段内的第二关键帧。
11、进一步的,所述步骤s2中,所述姿态估计网络提取所述第二关键帧中的目标操作区域边界框、关键点空间先验信息及中间层特征表示,为所述行为识别网络提供区域约束;所述行为识别网络基于所述目标区域在所述中间层特征表示上执区域池化,并对提取的固定尺度局部特征进行判别映射,获得所述关键帧图像级细粒度空间特征。
12、进一步的,所述步骤s3中,所述film条件调制机制具体为:由所述视频级时序特征经过参数生成网络产生缩放参数和偏置参数,对所述关键帧细粒度空间特征执行逐元素乘法和加法操作,使关键帧细粒度空间特征在视频级时序上下文的约束下完成自适应重标定;所述融合分类器对调制后的融合特征进行分类映射,输出类别预测概率分布。
13、进一步的,还包括多任务联合优化步骤:将细粒度空间模块的辅助分类损失、融合分类损失与基础优化项加权求和,作为总体优化目标;所述辅助分类损失由所述细粒度空间模块对输入关键帧的分类输出经softmax后与真实标签的交叉熵计算得到,所述融合分类损失由所述融合分类器对所述融合特征的输出经softmax后与真实标签的交叉熵计算得到。
14、进一步的,在步骤s1之前还包括数据预处理步骤:采集工业场景微动作视频数据,对原始视频逐帧解码为图像序列,采用基于切帧的行为标注策略以微动作起止帧为边界切分为动作片段并赋予类别标签,以原始视频id为划分单位,确保同一原视频的所有帧或片段仅出现在同一数据子集中。
15、一种基于时序动态与空间细粒度协同表征的微动作视频行为识别装置,包括:
16、微动作时序动态模块,用于将输入视频片段输入全局编码器,提取所有帧的全局特征,得到全局特征序列;定义微动态显著性量为相邻时刻所述全局特征之差的二范数;将所述全局特征序列输入策略网络,由所述策略网络为每一帧生成归一化权重,并结合所述微动态显著性量进行无放回加权采样,选择用于时序建模的第一关键帧;对所选第一关键帧的局部补丁进行空间自适应编码,提取局部精细特征,再经时序聚合,获得视频级时序特征表示;
17、细粒度空间模块,用于对所述输入视频片段的相邻帧计算稠密光流场,采用tv-l1光流模型估计像素级运动矢量,基于像素运动幅值的空间域平均值计算各时刻的运动强度评分,通过最大化所述运动强度评分选取用于空间建模的第二关键帧;将选取的所述第二关键帧输入由姿态估计网络和行为识别网络构成的多任务空间特征增强结构,先由所述姿态估计网络提取目标操作区域边界框、关键点空间先验信息及中间层特征表示,再由所述行为识别网络基于所述中间层特征表示执行区域池化并对固定尺度局部特征进行判别映射,获得关键帧图像级细粒度空间特征;
18、特征融合分类模块,用于采用film条件调制机制,由所述视频级时序特征生成缩放参数和偏置参数对所述关键帧细粒度空间特征进行逐元素自适应调制,并将调制后的融合特征输入融合分类器,输出微动作类别预测结果。
19、一种电子设备,其特征在于:包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现如上所述的基于时序动态与空间细粒度协同表征的微动作视频行为识别方法。
20、本发明与现有技术相比,具有以下效果:
21、双模块协同建模,细粒度判别能力显著增强:本发明同时构建微动作时序动态模块mtdm与细粒度空间模块fgsm,分别对微动作的动态演化过程和关键帧中的局部细粒度差异进行显式建模,并通过film条件调制机制实现两类异构特征的有效协同。相比现有仅依赖单一维度建模的方法,能够更全面地刻画微动作的判别特征,在自建microact-v2数据集上top-1准确率达到95.24%,相比基线方法提升1.56个百分点。
22、微动作时序动态建模精准:mtdm通过全局编码器提取全局特征序列,结合微动态显著性量进行关键时刻筛选,并通过空间自适应编码对局部补丁进行高容量精细建模,能够将计算资源集中于更具判别性的短时动态片段及其相关区域,有效解决了微动作持续时间短、变化幅度小和时序边界模糊等问题。
23、关键帧细粒度空间特征提取稳定:fgsm基于tv-l1光流模型计算运动显著性以选取最具代表性的关键帧,并通过姿态估计网络与行为识别网络组成的多任务空间特征增强结构,对目标操作区域及其局部结构进行分阶段建模,有效抑制背景冗余和非关键外观信息干扰,为微动作识别提供稳定的单帧判别依据。
24、特征融合协同机制有效:film条件调制机制在视频级动态上下文引导下对关键帧细粒度空间特征进行自适应调制,增强了视频级动态特征与图像级细粒度空间特征的互补建模能力,有效缓解了高相似类别之间的混淆问题。
25、多任务联合优化充分:通过引入fgsm辅助分类分支的监督信号,与融合分类损失及基础优化项构成多任务联合优化目标,能够在保持视频级时序建模稳定性的同时,进一步增强对关键帧细粒度空间判别线索的利用能力,从而提升整体识别性能与鲁棒性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com