一种基于视频多路径时空特征网络的动作识别方法

1.本发明属于深度学习视频理解领域，具体涉及一种基于视频多路径时空特征网络的动作识别方法。


背景技术：

2.视频市场的快速增长受益于移动互联网和智能数字设备等方面的技术创新。如今，智能移动设备可存储数千个视频，移动应用程序允许用户通过移动互联网方便地访问数百视频网站。因此，视频在许多领域都变得愈发重要。例如，动作识别能够应用于网站每天大量视频的上传审核，用于视频监控危险动作与危险行为，甚至应用在机器人动作技术等领域。然而，传统深度学习方法通常涉及低精度和速度慢的问题，尤其在是处理大量视频场景和复杂动作视频场景时不能满足需求。
3.在当前的人工智能深度学习方法中，动作分类通常通过两种机制来实现。一种方法是使用双流网络，其中一个流位于rgb帧上，用于提取空间信息，另一个是利用光流作为输入来捕获时间信息。双流模式的光流模块的加入，能大量提升动作识别的精度，然而光流的计算成本十分昂贵。另一种方法是通过3d卷积从多帧rgb图像中学习时空特征。3dcnn能够有效地提取时空信息，但是由于时空信息是一起被提取的，该类型的网络缺乏对时间维度的具体考量，也无法像双流网络中根据光流信息获取具体前后动作差异，在提取特征的过程中很多重要的信息被丢失。因此，如何在3dcnn网络中更好的分离时间信息与空间信息使得它们更明确的表达出各自的特征信息，仍然是一个挑战。具体还是在于对视频片段中的空间和时间信息的提取。空间信息代表单帧场景中的静态信息，例如在视频中动作实体，相关具体的动作形态等信息；时间信息代表在多帧上整合空间信息从而获得动作上下文相关信息。因此，针对这两部分设计出一种有效的深度学习方法去提升动作识别的准确性是很有必要的。


技术实现要素：

4.本发明的目的在于针对上述问题，提出一种基于视频多路径时空特征网络的动作识别方法，能够大幅提升动作视频分类的准确度，并有助于增强网络模型对动作视频的理解，显著提升鲁棒性，从而能够应对现实生活中的复杂场景。
5.为实现上述目的，本发明所采取的技术方案为：
6.本发明提出的一种基于视频多路径时空特征网络的动作识别方法，包括如下步骤：
7.s1、获取待识别的视频，根据帧率从视频中抽取若干张图像并对图像进行预处理；
8.s2、按照不同的采样率分别从预处理后的若干个图像中抽取不同数量的图像，形成多个图像序列；
9.s3、建立时空特征网络模型，时空特征网络模型包括多个特征提取模块，各图像序列一一对应输入至特征提取模块，特征提取模块执行如下操作：
10.s31、获取对应图像序列的中间特征x∈rn×
t
×c×h×w，其中，n为批尺寸，t为视频总帧数，c为图像的通道数，h为图像的高度，w为图像的宽度；
11.s32、将中间特征x均分为第一特征矩阵x0和第二特征矩阵x1，并计算差值x
1-x0作为差异特征，其中，x0为中间特征x的前半部分，x1为中间特征x的后半部分，x0、x1∈rn×
(t/2)
×c×h×w；
12.s33、将差异特征依次经过最大池化层、第一多层感知机和sigmoid层输出空间注意力特征；
13.s34、将空间注意力特征与中间特征x点乘后再与中间特征x相加，获得空间特征图；
14.s35、将空间特征图输入并行的最大池化层和平均池化层对应获得第一最大池化特征图和第一平均池化特征图；
15.s36、将第一最大池化特征图和第一平均池化特征图输入第二多层感知机对应获得第二最大池化特征图和第二平均池化特征图；
16.s37、将第二最大池化特征图和第二平均池化特征图通过concat操作连接第二个维度，再通过卷积层获得融合特征图；
17.s38、将第二最大池化特征图、第二平均池化特征图和融合特征图分别经过sigmoid层对应获得第一池化信息图、第二池化信息图和第三池化信息图；
18.s39、将第一池化信息图、第二池化信息图和第三池化信息图相加形成第四池化信息图，第四池化信息图与空间特征图点乘后再与空间特征图相加，输出时空特征矩阵；
19.s4、将各特征提取模块输出的时空特征矩阵聚合，输出特征向量；
20.s5、利用分类器对特征向量进行分类检测，以概率最高的类别作为检测结果。
21.优选地，步骤s1中，预处理为随机裁剪图像至宽高为[256,320]像素。
[0022]
优选地，步骤s3中，时空特征网络模型包括2个特征提取模块。
[0023]
优选地，步骤s37中，将第二最大池化特征图和第二平均池化特征图通过concat操作连接第二个维度，再通过卷积层获得融合特征图还包括squeeze操作和unsqueeze操作，卷积层为1d卷积层，squeeze操作、concat操作、1d卷积层和unsqueeze操作依次进行。
[0024]
优选地，第一多层感知机的缩减系数为r、放大系数为2r，第二多层感知机的缩减系数和放大系数均为r，r＝16。
[0025]
优选地，步骤s4中，将各特征提取模块输出的时空特征矩阵聚合时，每个时空特征矩阵的权重比为1：1。
[0026]
与现有技术相比，本发明的有益效果为：
[0027]
该方法通过将获取的待识别视频抽帧为图像，以不同的采样率获取多个图像序列，作为时空特征网络模型的多层级输入，天然的对获取的图像序列进行了时序建模，将从对应图像序列中提取出的中间特征进行差异性操作，能够在不增加计算量的前提下，大幅度削减视频背景对动作识别准确度的干扰，并能够有效聚合平均池化特征和最大池化特征提取出动作在时间维度的敏感信息，对视频整体进行全局建模，在此过程中，时空特征网络模型的健壮性能够得到持续的增强，从而在聚合各池化信息图时，使每一层特征提取模块输出的时空特征矩阵都能够表征出自有的那一层提取出来的特性，能够大幅提升动作视频分类的准确度；并通过融合多个时空特征矩阵，能够有助于增强网络模型对动作视频的理
解，显著提升鲁棒性，从而能够应对现实生活中的复杂场景。
附图说明
[0028]
图1为本发明动作识别方法的流程图；
[0029]
图2为本发明动作识别方法的总体架构图；
[0030]
图3为本发明空间差分模块的结构示意图；
[0031]
图4为本发明注意力时序模块的结构示意图。
具体实施方式
[0032]
下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
[0033]
需要说明的是，除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中在本技术的说明书中所使用的术语只是为了描述具体的实施例的目的，不是在于限制本技术。
[0034]
如图1-4所示，一种基于视频多路径时空特征网络的动作识别方法，包括如下步骤：
[0035]
s1、获取待识别的视频，根据帧率从视频中抽取若干张图像并对图像进行预处理。从视频(video)中抽取的图像数量(视频总帧数)为视频每秒帧数(帧率)乘以视频总秒数。
[0036]
在一实施例中，步骤s1中，预处理为随机裁剪图像至宽高为[256,320]像素。
[0037]
s2、按照不同的采样率分别从预处理后的若干个图像中抽取不同数量的图像，形成多个图像序列。
[0038]
其中，设定m个采样率分别为[τ1,τ2,...,τm]，每个采样率抽取的图像形成一个图像序列(sample)，其中，m个图像序列的维度分别为其中，t为视频总帧数，c为图像的通道数，h为图像的高度，w为图像的宽度。
[0039]
s3、建立时空特征网络模型，时空特征网络模型包括多个特征提取模块，各图像序列一一对应输入至特征提取模块，特征提取模块执行如下操作：
[0040]
s31、获取对应图像序列的中间特征x∈rn×
t
×c×h×w，其中，n为批尺寸，t为视频总帧数，c为图像的通道数，h为图像的高度，w为图像的宽度；
[0041]
s32、将中间特征x均分为第一特征矩阵x0和第二特征矩阵x1，其中，并计算差值x
1-x0作为差异特征，x0为中间特征x的前半部分，x1为中间特征x的后半部分，x0、x1∈rn×
(t/2)
×c×h×w；
[0042]
s33、将差异特征依次经过最大池化层、第一多层感知机和sigmoid层输出空间注意力特征；
[0043]
s34、将空间注意力特征与中间特征x点乘后再与中间特征x相加，获得空间特征图；
[0044]
s35、将空间特征图输入并行的最大池化层和平均池化层对应获得第一最大池化
特征图和第一平均池化特征图；
[0045]
s36、将第一最大池化特征图和第一平均池化特征图输入第二多层感知机对应获得第二最大池化特征图和第二平均池化特征图；
[0046]
s37、将第二最大池化特征图和第二平均池化特征图通过concat操作连接第二个维度，再通过卷积层获得融合特征图；
[0047]
s38、将第二最大池化特征图、第二平均池化特征图和融合特征图分别经过sigmoid层对应获得第一池化信息图、第二池化信息图和第三池化信息图；
[0048]
s39、将第一池化信息图、第二池化信息图和第三池化信息图相加形成第四池化信息图，第四池化信息图与空间特征图点乘后再与空间特征图相加，输出时空特征矩阵。
[0049]
在一实施例中，步骤s3中，时空特征网络模型包括2个特征提取模块。
[0050]
在一实施例中，步骤s37中，将第二最大池化特征图和第二平均池化特征图通过concat操作连接第二个维度，再通过卷积层获得融合特征图还包括squeeze操作和unsqueeze操作，卷积层为1d卷积层，squeeze操作、concat操作、1d卷积层和unsqueeze操作依次进行。
[0051]
在一实施例中，第一多层感知机的缩减系数为r、放大系数为2r，第二多层感知机的缩减系数和放大系数均为r，r＝16。
[0052]
其中，如图2所示，每个特征提取模块包括依次连接的backbone框架、空间差分模块(spatial-difference modulation)和注意力时序模块(temporal-attention modulation)，backbone框架如采用resnet框架。将第i个图像序列记为fi，并将{f1,f2,...,fm}中的元素一一对应作为m个特征提取模块的输入，通过backbone框架获取对应图像序列的中间特征x。本实施例中将m设定为2，n＝32，且批尺寸(batch_size)还可根据实际需求调整。具体如下：
[0053]
如图3所示，空间差分模块包括第一提取单元(difference operation)、最大池化层(maxpooling)、第一多层感知机(mlp)和sigmoid层(sigmoid)、第二提取单元(包括点乘、相加操作)，利用第一提取单元将中间特征x均分为第一特征矩阵x0和第二特征矩阵x1，并计算差值x
1-x0，通过相减操作提取差异特征，可以在不增加计算复杂度的情况下，大大减少动作识别视频背景对于动作识别准确率的干扰。差异特征依次经过最大池化层、第一多层感知机和sigmoid层输出空间注意力特征，通过3d最大池化层有效的提取了前后特征差异性，获得f
max
∈rn×
(t/2r)
×1×1×1。再将f
max
∈rn×
(t/2r)
×1×1×1通过第一多层感知机，其中，第一多层感知机包括依次连接的第一3d卷积层、relu层和第二3d卷积层，为了削减参数开销和提升特征提取效果，第一多层感知机将f
max
∈rn×
(t/2r)
×1×1×1先进行缩小后再进行放大，其中，削减系数为r，放大系数为2r，如r＝16，获得f
mlp
∈rn×
t
×1×1×1。将f
mlp
输入至sigmoid层获得对应的空间注意力特征。利用第二提取单元将空间注意力特征与中间特征x点乘后再与中间特征x相加获得空间特征图(spatial attention)，空间特征图的计算公式如下：
[0054]
y＝x x
·
(δ(mlp(max(d(x))))
[0055]
其中，x为backbone框架输出的中间特征，d为差异性操作(即x
1-x0)，max为最大池化操作，mlp为第一多层感知机操作，δ为sigmoid操作。以上为一个空间差分模块的具体结构与操作，其他各空间差分模块同理，仅对应不同的输出，卷积核大小有所不同，这里不再赘述。
[0056]
如图4所示，注意力时序模块包括并行的最大池化层(maxpooling)和平均池化层(avgpooling)、第二多层感知机(shared-mlp)、squeeze操作、concat操作(c)、1d卷积层(1dcnn)、unsqueeze操作、三个sigmoid层(sigmoid)和第三提取单元(包括相加、点乘、相加)。其中，利用3d最大池化层对空间特征图进行提取，获得第一最大池化特征图，利用3d平均池化层分别对空间特征图进行提取，获得第一平均池化特征图。利用第二多层感知机对第一最大池化特征图和第一平均池化特征图分别进行提取，对应获得第二最大池化特征图和第二平均池化特征图，第二多层感知机结构与第一多层感知机类似，但缩减系数和放大系数同是r，r＝16。第二最大池化特征图和第二平均池化特征图依次经过squeeze操作、concat操作、1d卷积层和unsqueeze操作获得融合特征图，具体地，将第二最大池化特征图和第二平均池化特征图分别做squeeze操作对应获得f’max
与f’avg
，维度均为rn×
t
×1。通过concat操作连接f’max
和f’avg
的第二个维度获得f
ios
，f
ios
∈rn×
2t
×1。再将f
ios
通过一个卷积核大小为(3,3)的1d卷积层，进一步增加其平均特征和最大特征的联系。最后应用unsqueeze操作还原其原先维度，获得融合特征图。利用三个sigmoid层一一对应对第二最大池化特征图、第二平均池化特征图和融合特征图进行提取，对应获得第一池化信息图f
temp1
∈rn×
t
×1×1×1、第二池化信息图f
temp2
∈rn×
t
×1×1×1和第三池化信息图f
temp3
∈rn×
t
×1×1×1。将第一池化信息图、第二池化信息图和第三池化信息图相加形成第四池化信息图，第四池化信息图与空间特征图点乘后再与空间特征图相加，输出时空特征矩阵。其中，各池化信息图及时空特征矩阵的计算公式如下：
[0057]ftemp1
＝δ(smlp(max(x’)))
[0058]ftemp2
＝δ(smlp(avg(x’)))
[0059]ftemp3
＝δ(unsqueeze(conv(squeeze([(avg(x’)，max(x’)])))))
[0060]
y’＝x’ x’·
(f
temp1
f
temp2
f
temp3
)
[0061]
其中，y’为时空特征矩阵，x’为空间特征图，δ为sigmoid操作，smlp为第二多层感知机操作，max为最大池化操作，avg为平均池化操作，conv为卷积操作，squeeze为squeeze操作，unsqueeze为unsqueeze操作。
[0062]
该注意力时序模块能够有效的聚合平均池化特征和最大池化特征提取出动作在时间维度的敏感信息。能够显著的改进现有技术中网络对时序建模中的具体动作行为重要特征不敏感的问题，例如，在一段投篮视频中，应该对视频中球与手随着时间变化的位置给予更多关注，而不是像现有技术中的网络错误的聚焦在了运动员的身体部分。需要说明的是，各注意力时序模块执行相似操作，在此不再赘述。
[0063]
s4、将各特征提取模块输出的时空特征矩阵聚合，输出特征向量。
[0064]
在一实施例中，步骤s4中，将各特征提取模块输出的时空特征矩阵聚合时，每个时空特征矩阵的权重比为1：1。
[0065]
其中，各特征提取模块输出的时空特征矩阵的维度是相同的，权重比优选为1：1，对齐进行相加操作(即聚合fusion)，通过融合多个时空特征矩阵，能够有助于增强网络对动作视频的理解，显著提升鲁棒性，从而应对现实生活中复杂的场景。
[0066]
s5、利用分类器对特征向量进行分类检测，以概率最高的类别作为检测结果。分类器采用神经网络的线性连接层，输出待识别的视频属于各个类别的概率，取概率最高的那一个类别作为动作视频结果。
[0067]
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0068]
以上所述实施例仅表达了本技术描述较为具体和详细的实施例，但并不能因此而理解为对申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。