动作检测方法、装置、计算机设备和存储介质与流程

技术特征：
1.一种动作检测方法，其特征在于，所述方法包括：获取待检测视频中的共现动作的公共特征；所述共现动作，是在所述待检测视频的不同视频帧中出现的同类型动作；从所述待检测视频中按时序排列的各视频帧的视频特征中，筛选与所述公共特征满足相似度接近条件的视频特征，得到属于共现动作的视频特征；根据各视频帧的视频特征与所述属于共现动作的视频特征之间的相似度，生成有序相似性特征；根据所述有序相似性特征和各所述视频帧的视频特征，识别所述待检测视频中属于所述共现动作的视频片段。2.根据权利要求1所述的方法，其特征在于，所述获取待检测视频中的共现动作的公共特征，包括：将待检测视频中各视频帧对应的视频特征按时序拼接，得到视频拼接特征；对视频拼接特征中各视频特征添加位置信息；对添加位置信息的视频拼接特征进行编码处理，生成所述待检测视频中的共现动作的公共特征。3.根据权利要求2所述的方法，其特征在于，所述对添加位置信息的视频拼接特征进行编码处理，生成所述待检测视频中的共现动作的公共特征，包括：根据各添加位置信息的视频特征之间的相关性，确定各所述视频特征对应的注意力权重；所述注意力权重与所述相关性正相关；基于所述注意力权重对相应所述视频特征进行编码，生成所述待检测视频中共现动作对应的公共特征。4.根据权利要求1所述的方法，其特征在于，所述从所述待检测视频中按时序排列的各视频帧的视频特征中，筛选与所述公共特征满足相似度接近条件的视频特征，得到属于共现动作的视频特征，包括：将所述公共特征分别与所述待检测视频中按时序排列的各视频帧的视频特征进行融合，得到融合后的视频特征；分别确定各融合后的视频特征与所述公共特征之间的相似度；根据所述相似度从各所述视频帧的视频特征中筛选与所述公共特征满足相似度接近条件的视频特征，得到属于共现动作的视频特征。5.根据权利要求1所述的方法，其特征在于，所述根据所述有序相似性特征和各所述视频帧的视频特征，识别所述待检测视频中属于所述共现动作的视频片段，包括：根据各所述视频帧的视频特征与所述有序相似性特征之间的目标相似度，预测所述待检测视频中候选动作对应的视频片段；基于对所述候选动作对应的视频片段中的视频特征进行动作分类得到的分类结果，从所述候选动作对应的视频片段中识别属于所述共现动作的视频片段。6.根据权利要求5所述的方法，其特征在于，所述根据各所述视频帧的视频特征与所述有序相似性特征之间的目标相似度，预测所述待检测视频中候选动作对应的视频片段，包括：将所述有序相似性特征和各所述视频帧的视频特征进行拼接，得到拼接后的视频特
征；根据拼接后的视频特征确定各视频帧的视频特征之间的目标相似度；根据所述目标相似度达到相似度阈值的视频特征所对应的位置信息，预测所述待检测视频中候选动作对应的视频片段。7.根据权利要求6所述的方法，其特征在于，所述根据拼接后的视频特征确定各视频帧的视频特征之间的目标相似度，包括：在所述拼接后的视频特征中查询拼接后的各视频帧的视频特征之间的目标相似度，得到查询结果；所述根据所述目标相似度达到相似度阈值的视频特征所对应的位置信息，预测所述待检测视频中候选动作对应的视频片段，包括：根据所述查询结果，预测所述待检测视频中候选动作对应的起始位置和结束位置，得到候选动作对应的视频片段。8.根据权利要求1至7任意一项所述的方法，其特征在于，所述动作检测方法是通过动作检测模型执行的；所述动作检测模型通过训练步骤训练获得；所述训练步骤包括：获取样本视频中各视频帧对应的样本视频特征；所述样本视频携带样本标签，样本标签包括样本视频中属于样本共现动作的位置和类别；在每轮迭代训练中，将本轮的标记特征添加至按时序拼接后的样本视频特征中，通过待训练的动作检测模型的编码层，对添加本轮的标记特征后的样本视频特征进行编码，预测生成所述样本视频中的样本共现动作的预测公共特征；通过所述动作检测模型的相似性编码生成器，从各所述样本视频特征中筛选与所述预测公共特征满足相似度接近条件的样本视频特征，得到属于样本共现动作的样本视频特征；根据各视频帧的样本视频特征与所述属于样本共现动作的样本视频特征之间的相似度，生成预测有序相似性特征；通过所述动作检测模型的并行解码器，根据所述样本有序相似性特征和各所述样本视频特征，预测所述样本视频中属于样本共现动作的预测视频片段；基于所述预测视频片段与所述样本标签之间的差异，确定预测结果损失；根据所述预测结果损失，调整所述动作检测模型的模型参数并继续进行训练，直至满足训练停止条件时结束训练。9.根据权利要求8所述的方法，其特征在于，所述通过所述动作检测模型的并行解码器，根据所述样本有序相似性特征和各所述样本视频特征，预测所述样本视频中属于样本共现动作的预测视频片段，包括：将所述样本有序相似性特征与各所述样本视频特征进行拼接，得到拼接后的样本视频特征；通过所述动作检测模型中的并行解码器，根据拼接后的样本视频特征预测所述样本视频中候选动作对应的预测视频片段；对所述预测视频片段对应的样本视频特征进行动作分类，得到预测分类结果。10.根据权利要求9所述的方法，其特征在于，所述预测结果损失包括回归损失和分类损失；所述基于所述预测视频片段与所述样本标签之间的差异，确定预测结果损失，包括：基于所述预测视频片段的预测位置与所述样本标签中属于样本共现动作的位置之间
的差异，确定回归损失；基于所述预测视频片段的预测分类结果与所述样本标签的样本共现动作的类别之间的差异，确定分类损失。11.根据权利要求8所述的方法，其特征在于，所述方法还包括：根据所述样本标签从所述样本视频中提取属于样本共现动作的正样本视频帧，从所述正样本视频帧对应的样本视频特征中提取对应的样本公共特征；基于所述预测公共特征与所述正样本视频帧的样本视频特征之间的相似度差异，确定第一特征损失；基于所述预测公共特征与所述样本公共特征间的差异，确定第二特征损失；所述根据所述预测结果损失，调整所述动作检测模型的模型参数并继续进行训练，直至满足训练停止条件时结束训练，包括：根据所述预测结果损失、第一特征损失和第二特征损失，调整所述动作检测模型的模型参数并继续进行训练，直至满足训练停止条件时结束训练。12.一种动作检测装置，其特征在于，所述装置包括：公共特征生成模块，用于获取待检测视频中提取出的共现动作的公共特征；所述共现动作，是在所述待检测视频的不同视频帧中出现的同类型动作；视频特征筛选模块，用于从所述待检测视频中按时序排列的各视频帧的视频特征中，筛选与所述公共特征满足相似度接近条件的视频特征，得到属于共现动作的视频特征；相似特征生成模块，用于根据各视频帧的视频特征与所述属于共现动作的视频特征之间的相似度，生成有序相似性特征；共现动作检测模块，用于根据所述有序相似性特征和各所述视频帧的视频特征，识别所述待检测视频中属于所述共现动作的视频片段。13.根据权利要求12所述的装置，其特征在于，所述公共特征生成模块还用于将待检测视频中各视频帧对应的视频特征按时序拼接，得到视频拼接特征；对视频拼接特征中各视频特征添加位置信息；对添加位置信息的视频拼接特征进行编码处理，生成所述待检测视频中的共现动作的公共特征。14.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至11中任一项所述的方法的步骤。15.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的方法的步骤。

技术总结
本申请涉及一种动作检测方法、装置、计算机设备和存储介质。所述方法包括：获取待检测视频中的共现动作的公共特征；所述共现动作，是在所述待检测视频的不同视频帧中出现的同类型动作；从所述待检测视频中按时序排列的各视频帧的视频特征中，筛选与所述公共特征满足相似度接近条件的视频特征，得到属于共现动作的视频特征；根据各视频帧的视频特征与所述属于共现动作的视频特征之间的相似度，生成有序相似性特征；根据所述有序相似性特征和各所述视频帧的视频特征，识别所述待检测视频中属于所述共现动作的视频片段。采用本方法能够有效提高对视频进行共现动作检测的准确性。提高对视频进行共现动作检测的准确性。提高对视频进行共现动作检测的准确性。


技术研发人员：周鹏豪 孙星 张钊 彭湃
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：2021.12.27
技术公布日：2023/2/17