视频动作检测方法、装置、电子设备及存储介质与流程

技术特征：
1.一种视频动作检测方法，其特征在于，所述方法包括：获取目标视频的原始特征序列，所述原始特征序列包括所述目标视频中的每帧图像对应的原始特征；将所述原始特征序列输入动作边界预测模型进行动作边界预测，得到所述每帧图像对应的动作边界预测值；分别基于所述每帧图像对应的动作边界预测值对所述每帧图像对应的原始特征进行边界增强处理，得到所述目标视频的边界增强特征序列；将所述边界增强特征序列输入视频动作检测模型进行视频动作检测，得到所述目标视频的动作检测结果，所述动作检测结果包括所述目标视频中动作的起止位置信息。2.根据权利要求1所述的方法，其特征在于，所述动作检测结果还包括所述目标视频中动作的类型信息；所述视频动作检测模型包括动作位置检测子模型和动作类型检测子模型；所述将所述边界增强特征序列输入视频动作检测模型进行视频动作检测，得到所述目标视频的动作检测结果包括：将所述边界增强特征序列分别作为所述动作位置检测子模型和所述动作类型检测子模型的输入，在所述动作位置检测子模型中进行动作起止位置检测，并在所述动作类型检测子模型中进行动作类型检测，得到所述目标视频中动作的起止位置信息和类型信息。3.根据权利要求1或2所述的方法，其特征在于，所述每帧图像对应的动作边界预测值包括所述每帧图像对应的动作起始预测值和动作结束预测值；所述分别基于所述每帧图像对应的动作边界预测值对所述每帧图像对应的原始特征进行边界增强处理，得到所述目标视频的边界增强特征序列包括：分别基于所述每帧图像对应的动作起始预测值和动作结束预测值对所述每帧图像对应的原始特征进行边界增强处理，得到所述每帧图像对应的边界增强特征；基于所述目标视频中的每帧图像对应的边界增强特征生成所述目标视频的边界增强特征序列。4.根据权利要求3所述的方法，其特征在于，所述分别基于所述每帧图像对应的动作起始预测值和动作结束预测值对所述每帧图像对应的原始特征进行边界增强处理，得到所述每帧图像对应的边界增强特征包括：基于所述每帧图像对应的动作起始预测值对所述每帧图像对应的原始特征进行加权计算，得到第一加权特征；基于所述每帧图像对应的动作结束预测值对所述每帧图像对应的原始特征进行加权计算，得到第二加权特征；对所述第一加权特征和所述第二加权特征进行拼接处理，得到所述每帧图像对应的边界增强特征。5.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：获取多个标注有动作边界标签的样本帧图像对应的原始特征；基于所述多个标注有动作边界标签的样本帧图像对应的原始特征，对预设神经网络模型进行动作边界预测的训练，在动作边界预测的训练中调整所述预设神经网络模型的模型参数直至所述预设神经网络模型满足预设收敛条件，得到所述动作边界预测模型。6.根据权利要求5所述的方法，其特征在于，所述获取多个标注有动作边界标签的样本
帧图像对应的原始特征包括：获取多个标注有动作起止位置信息的样本帧图像序列；根据所述动作起止位置信息对所述样本帧图像序列中的每个样本帧图像进行动作边界标注，得到所述每个样本帧图像的动作边界标签；将每个标注有所述动作边界标签的样本帧图像输入特征提取模型，基于所述特征提取模型对所述每个标注有所述动作边界标签的样本帧图像进行特征提取，得到所述多个标注有动作边界标签的样本帧图像对应的原始特征。7.根据权利要求6所述的方法，其特征在于，所述动作起止位置信息包括所述样本帧图像序列中的动作起始位置和所述样本帧图像序列中的动作结束位置；所述根据所述动作起止位置信息对所述样本帧图像序列中的每个样本帧图像进行动作边界标注，得到所述每个样本帧图像的动作边界标签包括：分别计算所述样本帧图像序列中的每个样本帧图像与所述动作起始位置之间的第一距离；分别根据所述第一距离对所述每个样本帧图像进行动作起始标注，得到所述每个样本帧图像的动作起始标签；分别计算所述样本帧图像序列中的每个样本帧图像与所述动作结束位置之间的第二距离；分别根据所述第二距离对所述每个样本帧图像进行动作结束标注，得到所述每个样本帧图像的动作结束标签；将所述每个样本帧图像的动作起始标签和动作结束标签作为所述每个样本帧图像的动作边界标签。8.一种视频动作检测装置，其特征在于，所述装置包括：原始特征序列获取模块，用于获取目标视频的原始特征序列，所述原始特征序列包括所述目标视频中的每帧图像对应的原始特征；动作边界预测模块，用于将所述原始特征序列输入动作边界预测模型进行动作边界预测，得到所述每帧图像对应的动作边界预测值；边界增强模块，用于分别基于所述每帧图像对应的动作边界预测值对所述每帧图像对应的原始特征进行边界增强处理，得到所述目标视频的边界增强特征序列；视频动作检测模块，用于将所述边界增强特征序列输入视频动作检测模型进行视频动作检测，得到所述目标视频的动作检测结果，所述动作检测结果包括所述目标视频中动作的起止位置信息。9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由所述处理器加载并执行以实现如权利要求1至7任一所述的视频动作检测方法。10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如权利要求1至7任一所述的视频动作检测方法。

技术总结
本申请公开了一种视频动作检测方法、装置、电子设备及存储介质，涉及视频处理技术领域，所述方法包括获取目标视频的原始特征序列，所述原始特征序列包括目标视频中的每帧图像对应的原始特征；将所述原始特征序列输入动作边界预测模型进行动作边界预测，得到所述每帧图像对应的动作边界预测值；分别基于所述每帧图像对应的动作边界预测值对所述每帧图像对应的原始特征进行边界增强处理，得到所述目标视频的边界增强特征序列；将所述边界增强特征序列输入视频动作检测模型进行视频动作检测，得到所述目标视频的动作检测结果，所述动作检测结果包括所述目标视频中动作的起止位置信息。利用本申请提供的技术方案能够提升视频动作检测的精度和可靠性。频动作检测的精度和可靠性。频动作检测的精度和可靠性。


技术研发人员：李岩
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：2021.03.19
技术公布日：2021/11/25