基于特征编码器分类和定位串行的视频动作检测方法与流程

技术特征：
1.一种基于特征编码器分类和定位串行的视频动作检测方法，其特征在于，包括以下步骤：s1.视频预处理：将未修剪的视频抽取成帧，表示为在训练集中包含 t 帧,将每个视频以视频帧输入到网络模型中；s2.基于特征编码器分类和定位串行的视频动作检测方法的网络模型搭建：s3.基于特征编码器分类和定位串行的视频动作检测方法的目标函数构建；s4. 经过步骤s2和步骤s3后形成最终的基于特征编码器分类和定位串行的视频动作检测方法模型。2.根据权利要求1所述基于特征编码器分类和定位串行的视频动作检测方法，其特征在于，步骤s2具体包括如下步骤：1）模型构建：101.将视频帧输入到特征编码器生成不同时间尺度的特征；102.不同层次的特征输入到分类器，生成分类特征，进行smooth平滑，输入到定位器进行定位操作；103.生成最终的视频中动作实例的分类和定位结果；2）特征提取网络选择：通过i3d网络获得时空特征，获得的时空特征经过3d卷积变成1d特征序列。3.根据权利要求2所述基于特征编码器分类和定位串行的视频动作检测方法，其特征在于，步骤s2具体包括如下步骤：作为特征编码器的输入，得到不同时间尺度的特征，分类特征生成过程：基于不同时间尺度的特征,采用轻量级的卷积神经网络进行分类，生成分类特征, 是所有动作的类别；将生成的分类特征输入到平滑函数。4.根据权利要求2所述基于特征编码器分类和定位串行的视频动作检测方法，其特征在于，平滑函数包括以下步骤：确定一个滑动窗口，对一个窗口内的数值进行平滑操作，实现过程为：
ꢀꢀꢀꢀ
(1)是窗口的大小，是利用hann函数生成的一维向量
ꢀꢀ
(2)是一维向量所有元素的
和 （3） 是每个时间尺度分类特征需要平滑的窗口大小为的一维向量； （4）经过smooth平滑操作后的分类特征。5.根据权利要求1至4任一项所述基于特征编码器分类和定位串行的视频动作检测方法，其特征在于，分类和定位具体过程如下：对预测分类的损失函数加了一个参数，总损失函数定义为：定义为：分别是边界分类和边界回归的损失函数，定义如下：其中是分类中正样本的数量，如果预测的片段位于真实样本中，视为正样本，是预测的分类结果，是真实标签；在细化边界回归中，使用 作为损失函数，预测是预测边界偏移量，是真实的边界偏移，则的实现过程为：其中是定位中正样本的数量，采用来处理所有预测以抑制冗余提议。

技术总结
本发明属于计算机视觉和模式识别技术领域，公开了一种基于特征编码器分类和定位串行的视频动作检测方法，准确地实现了对视频中动作实例的定位和分类；方法的具体步骤如下：（1）视频预处理；（2）基于特征编码器分类和定位串行的视频动作检测方法的网络模型搭建；（3）基于特征编码器分类和定位串行的视频动作检测方法的目标函数构建；（4）基于特征编码器分类和定位串行的视频动作检测方法；本发明基于已知数据集对视频中的动作实例进行高效定位和分类，并且方法收敛速度快。并且方法收敛速度快。并且方法收敛速度快。


技术研发人员：高赞 崔兴磊 卓涛 李传森 张蕊 郝敬全
受保护的技术使用者：山东中联视听信息科技股份有限公司 青岛海尔智能技术研发有限公司 泰华智慧产业集团股份有限公司
技术研发日：2022.11.02
技术公布日：2022/11/29