一种基于动态关键帧与跨模态增强的人体行为识别方法

本发明涉及人体行为识别，具体为一种基于动态关键帧与跨模态增强的人体行为识别方法。

背景技术：

1、在现有的视频人体行为识别技术中，通常通过获取连续rgb视频帧，并利用卷积神经网络、三维卷积网络、时序建模网络或视频transformer网络对视频序列进行时空特征提取，从而输出对应的人体行为类别。为了使原始视频满足后续网络的输入要求，现有方法通常需要对视频进行解码、帧率统一、尺寸归一化和帧序列组织等处理。

2、然而，人体行为视频通常具有较强的时间连续性，相邻视频帧之间往往包含大量重复信息。尤其是在长时序视频中，视频序列可能包含较多静止帧、缓慢变化帧或低贡献帧，这些帧对行为类别判定的贡献有限，但仍会参与后续时空特征提取过程，从而增加后续网络的计算负担。

3、同时，固定采样、均匀采样或随机采样方式主要依据预设时间间隔、固定帧数或随机策略进行帧选择，缺乏对视频内容本身的自适应感知能力。当关键动作片段持续时间较短，或者动作转折片段只出现在局部时间段时，传统采样方式可能无法稳定保留关键帧，导致动作语义被弱化。

4、此外，现有视频行为识别网络通常需要对输入帧序列进行空间特征提取和时间关系建模。输入帧数越多，后续时空建模过程的计算量、显存占用和推理延迟通常越高。对于长时序视频而言，如果不能在输入阶段减少冗余帧，后续网络将承担较多无效计算。

5、在复杂动作或动作转折片段较多的视频场景中，关键动作信息通常只集中于部分时间区间。传统固定采样方式难以根据动作变化程度调整采样位置，随机采样方式又难以保证关键动作片段被稳定选中。当大量非关键帧与少量关键动作帧共同输入后续网络时，关键动作信息容易被冗余信息稀释。

6、虽然动态关键帧筛选能够减少冗余帧并突出关键动作片段，但在人体遮挡、姿态细节缺失、局部肢体动作幅度较小或相似动作类别区分困难的情况下，单一rgb视频模态仍可能难以充分表达人体结构关系和局部动作链信息。例如，部分行为类别在外观上较为相似，但其差异主要体现为关节运动顺序、身体部位协同关系或姿态细节变化。

7、现有一些多模态人体行为识别方法尝试将rgb视频特征与姿态、骨骼或其他结构特征进行融合，但常见方式多为特征拼接、固定加权或后端结果投票。这类方式缺乏对不同模态信息质量的动态判断，难以根据动作语义和场景状态自适应调整视频模态与结构模态的贡献比例。

8、进一步地，当视频分支和结构分支分别进行特征提取时，如果缺少跨模态语义交互和对齐约束，不同模态得到的特征表示可能处于相互独立的表达空间，导致融合后的特征不能充分体现关键帧中的动作语义与人体结构关系之间的对应关系，从而影响复杂场景下的人体行为识别稳定性。

9、因此，在保留动态关键帧筛选优势的基础上，有必要进一步引入与关键帧时间位置对应的辅助结构特征，并通过门控交叉注意力机制建立视频行为特征与结构特征之间的语义交互关系，使关键帧筛选不再仅作为前端采样步骤，而是与后续跨模态协同增强形成完整识别链路。

10、具体而言，固定间隔采样通常按照预先设定的时间步长从视频中抽取帧序列，其优点是实现方式简单且采样数量容易控制，但该方式并不考虑视频中人体动作发生的实际位置和变化强度。当动作关键阶段未落入预设采样位置时，固定间隔采样可能遗漏具有较高行为判别价值的视频帧。

11、对于相似动作，例如站起与弯腰、挥手与整理衣物、行走与慢跑等，区分类别的依据不仅包括关键帧外观，还包括人体关键部位的相对位置、运动方向和局部姿态变化。若仅依赖rgb视频帧的外观语义，识别结果容易受到视角、遮挡和背景变化影响。

12、综上所述，现有视频人体行为识别技术在视频帧采样、关键动作片段保留、时序冗余压缩、单一视频模态姿态细节表达以及跨模态协同增强等关键步骤中仍存在不足。

13、因此，设计一种基于动态关键帧与跨模态增强的人体行为识别方法是很有必要的。

技术实现思路

1、本发明的目的在于提供一种基于动态关键帧与跨模态增强的人体行为识别方法，以解决上述背景技术中提出的问题。

2、为了解决上述技术问题，本发明提供如下技术方案：

3、一种基于动态关键帧与跨模态增强的人体行为识别方法，包括以下步骤：

4、s100、获取待识别人体行为对应的rgb视频序列，并对所述rgb视频序列进行预处理，得到标准化视频帧序列；

5、s200、对所述标准化视频帧序列中的各视频帧进行帧级特征提取，得到各视频帧对应的帧级特征表示；

6、s300、基于所述帧级特征表示构建帧重要性评估机制，生成各视频帧对应的帧重要性评分或选择权重；

7、s400、根据所述帧重要性评分或选择权重执行动态关键帧筛选，并对筛选结果进行时序冗余抑制，得到关键帧序列；

8、s500、将所述关键帧序列输入视频行为识别网络，所述视频行为识别网络对所述关键帧序列进行空间特征提取和时间关系建模，得到视频行为特征；并在存在关键帧对应辅助结构特征的情况下，将所述视频行为特征与所述辅助结构特征映射到统一特征空间；

9、s600、通过门控交叉注意力模块对所述视频行为特征和辅助结构特征进行跨模态协同增强，并根据增强后的人体行为特征输出人体行为识别结果。

10、s700、在训练阶段，基于带有人体行为类别标注的训练样本，对包括所述帧级特征提取、帧重要性评估、关键帧筛选、视频行为特征提取以及门控交叉注意力模块的网络进行训练，并采用分类损失与跨模态对齐损失进行联合优化。

11、根据上述技术方案，s100中对rgb视频序列进行的预处理包括视频解码、帧率统一、图像尺寸归一化、像素归一化和帧序列组织，选用其中的一种或多种处理，以形成满足后续帧级特征提取要求的标准化视频帧序列，所述帧级特征提取用于从标准化视频帧序列中提取各视频帧对应的视觉特征和动作变化特征；

12、所述帧序列组织包括按照时间顺序排列视频帧，并对视频帧序列进行截取、补齐或长度统一处理，使不同长度的视频样本形成统一输入形式。

13、根据上述技术方案，s200中进行帧级特征提取的具体方法如下：

14、采用共享参数的帧级特征提取模块对各视频帧进行特征编码，获得能够表征对应视频帧外观信息、人体姿态变化信息、局部运动线索和动作转折信息的帧级特征表示，使不同视频帧在统一特征空间内形成可比较的帧级特征表示；

15、根据上述技术方案，s300的具体方法如下：

16、将各视频帧对应的帧级特征表示输入帧重要性评估模块，通过评分映射单元生成各视频帧对应的帧重要性评分，并根据所述帧重要性评分得到各视频帧参与关键帧筛选的选择权重，所述帧重要性评分用于表示对应视频帧对人体行为识别任务的贡献程度，从而为后续动态关键帧筛选提供依据。

17、根据上述技术方案，所述帧重要性评估模块包括帧级特征编码单元、评分映射单元和权重归一化单元，所述帧级特征编码单元用于整合视频帧的局部视觉信息和动作变化信息，所述评分映射单元用于生成标量评分或选择分值，所述权重归一化单元用于形成帧选择权重。

18、根据上述技术方案，s400的具体方法如下：

19、根据各视频帧对应的帧重要性评分或选择权重，从标准化视频帧序列中选取若干关键帧，即采用按评分排序选择、top-k选择、概率化选择、近似可微采样或训练阶段软选择与推理阶段硬选择相结合的方式从标准化视频帧序列中选取预设数量的关键帧，并构成初始关键帧集合。

20、根据上述技术方案，所述时序冗余抑制包括对相邻时间位置的视频帧同时入选进行抑制，或对关键帧之间设置时间分散约束、最小时间间隔约束或选择权重稳定约束，以避免所选关键帧过度集中于相邻视频帧位置，使关键帧序列能够在时间维度上覆盖更完整的动作过程。

21、根据上述技术方案，s500中的辅助结构特征具体获取方法级作用如下：

22、由所述关键帧对应的人体姿态关键点、人体骨骼序列、人体区域结构表示或与所述关键帧时间位置同步的结构模态数据提取得到，所述辅助结构特征用于补充视频行为特征中的姿态细节和人体结构关系信息，不替代动态关键帧筛选主流程。

23、根据上述技术方案，s600中的门控交叉注意力模块具体如下：

24、所述门控交叉注意力模块用于在统一特征空间中建立视频行为特征与辅助结构特征之间的交互关系，所述门控交叉注意力模块包括视频特征投影单元、结构特征投影单元、双向交叉注意力单元和门控权重分配单元，所述双向交叉注意力单元用于建立关键帧视频行为特征与辅助结构特征之间的语义关联，所述门控权重分配单元用于自适应调节视频模态与结构模态的融合权重，使视频模态能够关注结构模态中的姿态变化信息，结构模态能够关注关键帧中的外观语义和动作上下文信息；

25、所述门控权重分配单元根据不同模态的特征质量、动作语义贡献和场景状态生成自适应门控权重，用于调节视频行为特征与辅助结构特征在融合过程中的贡献比例，可根据具体行为片段动态突出更具判别力的模态信息。

26、根据上述技术方案，s700的训练阶段采用分类损失与跨模态对齐损失进行联合训练，所述分类损失用于约束人体行为类别输出，所述跨模态对齐损失用于约束关键帧视频行为特征与辅助结构特征在统一特征空间中的语义一致性。

27、与现有技术相比，本发明所达到的有益效果是：

28、首先，构建了基于帧重要性评估的动态关键帧筛选机制，使输入视频序列能够根据帧内容和动作变化情况自适应保留关键帧；其次，通过时序冗余抑制避免关键帧过度集中于局部时间段，使关键帧序列能够覆盖动作发生过程中的多个阶段；再次，在关键帧筛选之后引入辅助结构特征和门控交叉注意力模块，使关键帧视频语义与人体结构关系实现协同增强；最后，通过门控权重自适应分配和联合损失训练，提高了复杂场景、遮挡场景和相似动作识别场景下的行为特征表达稳定性。