一种人体动作的轻量化在线检测方法

技术特征：
1.一种人体动作的轻量化在线检测方法，其特征在于，包括以下步骤：步骤1：采集人体动作视频数据，对人体动作视频进行标注分块，得到作为训练样本的多个视频块序列；步骤2：对步骤1中得到的所有视频块做预处理，得到视频序列数据集，并将视频序列数据集分为测试集和训练集；步骤3：基于slowfast模型构建特征提取网络，并基于所构建的特征提取网络提取人体动作在线检测数据集中的每个视频块的特征，得到视频块时空特征；步骤4：基于双路孪生网络设计辨别性特征映射网络，并基于所述辨别性特征映射网络对视频块时空特征进行辨别性映射，得到映射向量；步骤5：基于informer模型的概率稀疏注意力与注意力蒸馏，构建时序编码器，并通过时序编码器对特征向量进行特征编码，得到编码向量序列；步骤6：基于informer模型的概率稀疏注意力构建时序解码器，并通过时序解码器对编码向量序列进行时序解码，得到解码结果；将解码结果送入分类器得到人体动作在线检测结果，并基于多时态的检测结果对整体网络联合优化。2.根据权利要求1所述的一种人体动作的轻量化在线检测方法，其特征在于，所述步骤1包括以下步骤：步骤1.1：采用影像设备采集人体动作视频数据；步骤1.2：对人体动作视频数据中的人体动作做时序上的标注；步骤1.3：对人体动作视频数据按预设的固定时间长度进行分块，得到视频块序列；步骤1.4：设定输入时间序列长度，按时间顺序将长度为序列长度的视频块序列作为单个训练样本。3.根据权利要求1所述的一种人体动作的轻量化在线检测方法，其特征在于，所述步骤2包括以下步骤：步骤2.1：将训练样本中的所有视频块序列中的图像帧分辨率修改为256*256；步骤2.2：对修改后的图像帧分辨率进行随机裁剪，得到图像帧分辨率为224*224的视频块序列数据集；步骤2.3：将原始视频数据按照1:1的比例划分为训练集和测试集，分别用于训练和测试。4.根据权利要求1所述的一种人体动作的轻量化在线检测方法，其特征在于，所述步骤3中构建特征提取网络时，还需将特征提取网络在kinetics数据集上进行训练。5.根据权利要求1所述的一种人体动作的轻量化在线检测方法，其特征在于，步骤3中所述的特征提取网络结构采用slowfast模型中的date layer的时序抽取操作，以及slow pathway中的conv1到res5的卷积层和池化层。6.根据权利要求1所述的一种人体动作的轻量化在线检测方法，其特征在于，所述双路孪生网络采用两层共享参数的全连接层网络构建，使用xavier初始化策略对全连接层网络的网络参数进行初始化，即：层输入维度为f
in
，层输出维度为f
out
，其初始化参数ω服从均值为0，方差为的高斯分布：
网络训练时，将步骤3中输出的视频块时空特征序列x-t 1
,
…
,x2,x1,x0中的x0与序列的其余特征{x-t 1
,
…
,x2,x1}分别配对，得到(x-t 1
,x0),
…
,(x1,x0)特征对序列，其中x0代表当前时刻的视频块时空特征；将经过配对的特征对送入辨别性特征映射网络进行训练，通过对比损失l
c
对辨别性特征映射网络进行优化，其表达式为：其中w为网络参数，当x1,x2为同一类别时y＝1，否则y＝0，dw为两向量间的欧式距离，m为向量间距离阈值。7.根据权利要求1所述的一种人体动作的轻量化在线检测方法，其特征在于，所述时序编码器首先将输入的特征向量序列进行位置编码，加入序列的位置信息，基于informer编码器对z进行编码，得到编码后的向量序列h；h＝en(z)；利用概率稀疏自注意力层计算z的中序列间的时序自注意力，利用注意力蒸馏层对注意力序列进行蒸馏压缩；采用多个概率稀疏注意力和注意力蒸馏层级联而成，数量为n:n-1。8.根据权利要求1所述的一种人体动作的轻量化在线检测方法，其特征在于，所述时序解码器构建出p个可学习向量，且时序解码器所构建的向量维度与步骤4中的输出维度相同，且与步骤4中的输出向量级联，利用1个概率稀疏注意力层计算可学习向量间的自注意力后，再通过一个全注意力层计算与编码输出间的互注意力，得到过去、现在以及未来三时态解码向量。9.根据权利要求1所述的一种人体动作的轻量化在线检测方法，其特征在于，对整体网络联合优化的具体步骤如下：步骤a:对过去时刻以及未来时刻进行人体动作识别，得到预测概率p
i
，具体为：p
i
＝classifier(y
i
) (i＝-t 1,...p,i≠0)；其中y
i
表示解码输出序列中第i个解码向量，classifier()表示动作识别分类器，由一个输出维度为动作类别数的全连接层和softmax函数级联而成；步骤b：利用标准交叉熵函数计算过去时刻预测损失l
p
以及未来时刻损失l
f
，具体的：其中g
i
表示第i个视频块对应的动作标签，p
i
为该时刻预测概率；步骤c：对于现在时刻，将y中过去时刻与未来时刻向量平均后与y0级联得到人体动作在线预测向量y；将人体动作在线预测向量y送入分类器后得到人体在线动作检测概率p0,并用标准交叉熵计算预测损失l
n
：
并利用多时态联合损失函数l对整体网络参数进行优化，其表达式为：其中λ1,λ2为人为设定的平衡系数，最后将p0中概率最大的动作类别作为在线动作检测结果。

技术总结
本发明属于视频处理技术领域，具体涉及一种人体动作的轻量化在线检测方法，本发明包括：步骤1：采集视频数据并标注分块；步骤2：对视频块预处理并生成在线检测数据集；步骤3：基于SlowFast构建特征提取网络，得到视频块特征；步骤4：构建基于双路孪生网络对特征进行辨别性映射；步骤5：构建基于Informer概率稀疏注意力与注意力蒸馏的时序编码器，得到时序编码特征；步骤6：构建基于Informer概率稀疏注意力的时序解码器进行时序解码，将解码结果送入分类器得到人体动作在线检测结果,基于多时态检测结果对整体网络联合优化；本发明通过上述技术方案，极大减少了时序推理运算量，提高了在线动作检测效率和精度。线动作检测效率和精度。线动作检测效率和精度。


技术研发人员：程建 夏子瀛 刘思宇 王琪 马琦钧
受保护的技术使用者：电子科技大学
技术研发日：2022.02.28
技术公布日：2022/6/10