人体运动动作识别方法、系统及存储介质

1.本发明涉及人体运动动作识别技术领域，尤其涉及一种人体运动动作识别方法、系统及存储介质。


背景技术：

2.近年来，基于人体骨架的动作识别因其广泛的应用场景而受到越来越多的关注，如人机交互、视频监控和视频检索等。人体骨架结构是以图的形式存在的，其中人体骨架的每个关机主要由关节类型、时间帧索引和三维坐标位置来标识。传统的基于骨架的动作识别方法将人体关节视为一组独立的特征，通过设计手工特征来模拟关节的空间和时间依赖关系。然而，手工特征普遍较为浅层且强依赖于数据集，导致模型缺乏灵活性和泛化性。而随着人工智能与深度学习技术的发展，逐渐涌现出大量基于gcn的人体动作识别研究。但是，相关技术在实际处理与建模时，难以捕获关节间更丰富、深层且有效的时空特征。


技术实现要素：

3.为了解决上述技术问题的至少之一，本发明提出一种人体运动动作识别方法、系统及存储介质，能够有效提高人体动作的识别性能及准确率。
4.一方面，本发明实施例提供了一种人体运动动作识别方法，包括以下步骤：
5.构建局部与非局部时空图卷积单元；其中，所述局部与非局部时空卷积单元包括局部路径和非局部路径，所述局部路径和所述非局部路径的输入端均与所述局部与非局部时空图卷积单元输入端连接，将所述局部路径的输出和所述非局部路径的输出进行聚合作为所述局部与非局部时空图卷积单元的输出；
6.将骨架图序列输入所述局部与非局部时空图卷积单元提取得到第一时空特征；
7.将所述第一时空特征输入全局平均池化层，得到第二时空特征；
8.将所述第二时空特征依次输入全连接层和分类器预测得到识别结果。
9.根据本发明实施例的一种人体运动动作识别方法，至少具有如下有益效果：本实施例首先构建局部与非局部时空图卷积单元，其包括局部路径和非局部路径。然后将骨架图序列输入到基本与非局部时空图卷积单元中，通过局部路径提取骨架图序列中关节间的局部时空信息，并通过非局部路径提取骨架图序列中非局部空间依赖关系和长期时空依赖关系。然后本实施例通过将局部路径与非局部路径的输出进行聚合得到第一时空特征，并依次经过全局平均池化层、全连接层以及分类器后，预测得到人体动作的识别结果。本实施例通过提取骨架图序列的局部时空信息以及非局部时空信息，即非局部空间依赖关系和长期时空依赖关系，构建出有效的时空特征提取单元，即局部与非局部时空图卷积单元，从而实现人体运动动作的准确识别，并且有效提高了人体动作识别的性能以及准确率。
10.根据本发明的一些实施例，所述构建局部与非局部时空图卷积单元，包括：
11.构建局部时空域；
12.根据所述局部时空域构建跨时空跳跃连接边；
13.对所述跨时空跳跃连接边进行时空卷积构建得到局部卷积模块；
14.根据所述局部卷积模块构建所述局部路径。
15.根据本发明的一些实施例，所述构建局部与非局部时空图卷积单元，还包括：
16.构建非局部时空图卷积模块；
17.构建多尺度时间图卷积模块；
18.根据所述非局部时空图卷积模块和所述多尺度时间图卷积模块构建所述非局部路径；其中，所述非局部时空图卷积模块的输入端与所述局部与非局部时空图卷积单元的输入端连接，所述非局部时空图卷积模块的输出端与所述多尺度时间图卷积模块的输入端连接，将所述多尺度时间图卷积模块的输出作为所述非局部路径的输出。
19.根据本发明的一些实施例，所述构建非局部时空图卷积模块，包括：
20.根据所述骨架图序列构建非局部空间图特征；
21.构建掩码矩阵；
22.通过第一激活函数处理所述掩码矩阵，得到第一掩码数据；
23.根据所述第一掩码数据和所述非局部空间图特征构建得到所述非局部时空图卷积模块。
24.根据本发明的一些实施例，所述多尺度时间图卷积模块包括扩张卷积子模块、卷积子模块以及池化卷积子模块，所述扩张卷积子模块、所述卷积子模块以及所述池化卷积子模块的输入端均与所述非局部时空图卷积模块的输出端连接，所述扩张卷积子模块、所述卷积子模块以所述池化卷积子模块的输出端连接。
25.根据本发明的一些实施例，所述扩张卷积子模块包括卷积操作层、第一移位操作层、逐点卷积层以及第二移位操作层，所述卷积操作层、所述第一移位操作层、所述逐点卷积层以及所述第二移位操作层依次连接；其中，所述扩张卷积子模块设置有4个，包括第一扩张卷积子模块、第二扩张卷积子模块、第三扩张卷积子模块以及第四扩张卷积子模块，所述第一扩张卷积子模块的逐点卷积层扩张率为1，所述第二扩张卷积子模块的逐点卷积层扩张率为2，所述第三扩张卷积子模块的逐点卷积层扩张率为3，所述第四扩张卷积子模块逐点卷积层的扩张率为4。
26.根据本发明的一些实施例，所述局部与非局部时空图卷积单元包括第一局部与非局部时空图卷积单元、第二局部与非局部时空图卷积单元以及第三局部与非局部时空图卷积单元，所述第一局部与非局部时空图卷积单元的特征通道为96，所述第一局部与非局部时空图卷积单元的时间卷积与时空窗口步长为1，所述第一局部与非局部时空卷积单元输出端依次连接有第一批处理规范化模块和第二激活函数，所述第二激活函数输出端与所述第二局部与非局部时空图卷积单元输入端连接，所述第二局部与非局部时空图卷积单元的特征通道为192，所述第二局部与非局部时空图卷积单元的时间卷积与时空窗口步长为2，所述第二局部与非局部时空卷积单元输出端依次连接有第二批处理规范化模块和第三激活函数，所述第三激活函数输出端与所述第三局部与非局部时空图卷积单元输入端连接，所述第三局部与非局部时空图卷积单元的特征通道为384，所述第三局部与非局部时空图卷积单元的时间卷积与时空窗口步长为2，所述第三局部与非局部时空图卷积单元的输出端与所述全局平均池化层的输入端连接。
27.另一方面，本发明实施例还提供了一种人体运动动作识别系统，包括：
28.时空图卷积单元构建模块，用于构建局部与非局部时空图卷积单元；其中，所述局部与非局部时空卷积单元包括局部路径和非局部路径，所述局部路径和所述非局部路径的输入端均与所述局部与非局部时空图卷积单元输入端连接，将所述局部路径的输出和所述非局部路径的输出进行聚合作为所述局部与非局部时空图卷积单元的输出；
29.特征提取模块，用于将骨架图序列输入所述局部与非局部时空图卷积单元提取得到第一时空特征；
30.池化模块，用于将所述第一时空特征输入全局平均池化层，得到第二时空特征；
31.预测输出模块，将所述第二时空特征依次输入全连接层和分类器预测得到识别结果。
32.另一方面，本发明实施例还提供了一种人体运动动作识别系统，包括：
33.至少一个处理器；
34.至少一个存储器，用于存储至少一个程序；
35.当所述至少一个程序被所述至少一个处理器执行，使得至少一个所述处理器实现如上述实施例所述的人体运动动作识别方法。
36.另一方面，本发明实施例还提供了一种计算机存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由所述处理器执行时用于实现如上述实施例所述的人体运动动作识别方法。
附图说明
37.图1是本发明实施例提供的人体运动动作识别方法流程图；
38.图2是本发明实施例提供的人体运动动作识别系统原理框图；
39.图3是本发明实施例提供的局部与非局部时空图卷积单元原理框图；
40.图4是本发明实施例提供的多尺度时间图卷积模块原理框图；
41.图5是本发明实施例提供的人体运动动作识别模型原理框图；
42.图6是本发明实施例提供的移位卷积示意图。
具体实施方式
43.本技术实施例所描述的实施例不应视为对本技术的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
44.在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
45.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术实施例的目的，不是旨在限制本技术。
46.近年来，基于人体骨架的动作识别因其广泛的应用场景而受到越来越多的关注，例如，人机交互、视频监控以及视频检索等。其中，人体骨架结构是以图的形式存在的，人体骨架的每个关节主要由关节类型、时间帧索引和三维坐标位置来标识。而传统的基于骨架的动作识别方法将人体关节视为一组独立的特征，主要通过设计手工特征来模拟关节的空
间和时间依赖关系。手工特征普遍较为浅层且强依赖于数据集，导致模型缺乏灵活性与泛化性。相关技术中，随着深度学习技术的快速发展，基于骨架的人体动作识别任务逐渐从传统方法转向深度学习方法，通过数据驱动的方式，构建骨架序列的动态时空特征。而相关技术中也涌现出了大量基于图卷积网络(gcn)的人体动作识别研究。将人体骨架数据编码为骨架图结构并应用gcn来进行人体动作识别的方法，虽然相较于之前的基于循环神经网络(rnn)模型和卷积神经网络(cnn)模型的方法来说，在骨架数据编码方式和时空特征建模这两方面实现了较大的突破，但在实际处理与建模过程中，仍难以捕获关节间更丰富、深层且有效的时空特征。例如，难以捕获非直接连接关节间的依赖关系，并且也没有考虑到各个骨架关节对于不同动作样本存在重要程度的差异性，同时也难以捕获大量动作样本中复杂多变的时序运动信息，以及关节间的局部复杂时空融合依赖关系。
47.基于此，本发明的一个实施例提供了一种人体运动动作识别方法，能够有效提高人体动作的识别性能及准确率。参照图1，本发明实施例的方法包括但不限于步骤s110、步骤s120、步骤s130和步骤s140。
48.具体地，本发明实施例的方法应用过程包括但不限于以下步骤：
49.s110：构建局部与非局部时空图卷积单元。其中，局部与非局部时空卷积单元包括局部路径和非局部路径，局部路径和非局部路径的输入端均与局部与非局部时空图卷积单元输入端连接，将局部路径的输出和非局部路径的输出进行聚合作为局部与非局部时空图卷积单元的输出。
50.s120：将骨架图序列输入局部与非局部时空图卷积单元提取得到第一时空特征。
51.s130：将第一时空特征输入全局平均池化层，得到第二时空特征。
52.s140：将第二时空特征依次输入全连接层和分类器预测得到识别结果。
53.在本具体实施例中，参照图5，本实施例首先构建局部与非局部时空图卷积单元(lnl-stgc)，然后通过将人体运动的骨架图序列输入lnl-stgc单元中，进行时空特征提取，得到第一时空特征。进一步地，将第一时空特征输入全局平均池化层，经过全局平均池化层处理后得到第二时空特征。然后本实施例通过将第二时空特征依次输入全连接层和分类器，得到对人体运动的骨架图序列的识别结果。具体地，参照图3，本实施例中lnl-stgc单元包括局部路径和非局部路径。其中，局部路径和非局部路径的输入端均与lnl-stgc单元的输入端连接，即将骨架图序列输入lnl-stgc单元后，骨架图序列分别输入到局部路径和非局部路径进行特征提取。其中，lnl-stgc单元的输入特征图与输出特征的是由通道数c、关节数量n和时间帧长度t构建而成。另外，本实施例将局部路径的输出与非局部路径的输出进行聚合，得到lnl-stgc单元的输出。本实施例通过局部路径对关节间局部的时空信息进行提取。同时，本实施例通过非局部路径对关节间非局部的时空信息进行提取。从而提取得到骨架图序列的局部与非局部的时空信息。进一步地，本实施例将局部路径和非局部路径所提取出的特征信息进行融合，得到第一时空特征。然后，本实施例通过将第一时刻特征输入全局平均池化层，通过全局平均池化层对第一时空特征进行下采样，以实现去除冗余信息和特征压缩，从而扩大感知野。进一步地，本实施例将第二时空特征依次输入全连接层以及分类器，通过全连接层将第二时空特征进行整合，并通过分类器进行预测分类，得到识别结果。需要说明的是，分类器可以为softmax分类器，通过softmax分类器能够使分类效果更加明显，提高识别准确率。本实施例通过提取骨架图序列的局部时空信息以及非局部时空
信息，以构建出有效的时空特征提取单元，即局部与非局部时空图卷积单元，从而实现人体运动动作的准确识别，并且有效提高了人体动作识别的性能以及准确率。
54.在本发明的一些实施例中，构建局部与非局部时空图卷积单元，包括但不限于：
55.构建局部时空域。
56.根据局部时空域构建跨时空跳跃连接边。
57.对跨时空跳跃连接边进行时空卷积构建得到局部卷积模块。
58.根据局部卷积模块构建局部路径。
59.在本具体实施例中，本实施例首先构建局部时空域，然后根据局部时空域构建跨时空跳跃连接边，并对跨时空跳跃连接边进行时空卷积构建得到局部卷积模块，从而根据局部卷积模块构建局部路径。具体地，人体骨架图可以表示为g(v,e)，其中顶点集合v代表的是人体关节点，边的集合e代表的是关节点之间的骨骼，将邻接矩阵a∈rn×n初始化，其中a
i,j
＝1表示从节点vi到vj直接相连，否则为0。邻接矩阵a是对称矩阵，因为骨架图的表示为无向图。一个动作是由一个带有节点的特征集合的图序列表示，其中x
t,n
为节点vn在时间t上的特征表示。因此输入的动作最终由邻接矩阵a和节点特征充分表示。同时，在由邻接矩阵n和特征x定义的输入骨架上，图卷积网络逐层更新规则使用在t时刻的特征上表示如下式(1)所示：
[0060][0061]
其中式中，是加入了自环的骨架图，是矩阵的度矩阵，σ()是激活函数。为聚合所有直接相连邻居节点的特征后的平均特征。
[0062]
示例性地，本实施例首先在输入的图序列上设定一个大小为τ帧的滑动窗口，该滑动窗口在每一个时间步数上都有一个空间-时间子图g
(τ)
＝(v
(τ)
,e
(τ)
)，其中v
(τ)
＝v1∪v2∪
…
∪v
τ
是窗口内τ帧中的所有节点的并集，从而构建得到当前的局部时空域。进一步地，在τ帧中的g
(τ)
内的每一个节点都紧密地与自身以及直接空间邻居节点相连。然后，本实施例对输入数据的所有帧使用窗口滑动得到t个窗口，得到的特征可以表示为x
(τ)
∈r
t*τn*c
，其中c代表通道数。因此，在第t个时间窗口的时空图卷积操作可以表示如下式(2)所示：
[0063][0064]
其中，和分别表示第t个时间窗口的输出特征图及输入特征图，表示由τ帧骨架的邻接矩阵构建而成的邻接矩阵块，w
(l)
是由多个权重向量堆叠而成的权重矩阵。
[0065]
进一步地，在通过时空窗口构建得到局部时空域后，本实施例在局部时空域中将多个时间帧中关节直接进行跨时空连接起来。首先，本实施例根据关节之间的空间距离k来进行分组连接。例如，对于当前关节，将与其空间距离为1的关节分为一组，空间距离为2的关节分为一组，即将所有具有相同空间距离的关节分为一组。其中，直接相连的关节之间空间距离为1，当两个关节之间有一个关节时，此时这两个关节间的空间距离为2，以此类推。本实施例通过根据关节见空间距离进行分组连接的方式，以有效缓解远距离邻居节点特征被较近邻居节点特征主导的问题，降低冗余依赖性，并且在多个不同距离的关节特征聚合
的帮助下，即使在距离k较大的情况下，也仍能保持时空特征建模的有效性。具体的计算公式如下式(3)所示：
[0066][0067]
其中，式中k表示单帧内关节间预定义的最大空间距离，其中，式中k表示单帧内关节间预定义的最大空间距离，和分别表示邻接矩阵的k次幂和k-1次幂，是的归一化对角度矩阵。
[0068]
进一步地，本实施例将非直接相邻关节间的直接连接由单帧内的空间维度拓展到由时空窗口内多帧构建的空间-时间维度。简单来说，是由公式(2)与公式(3)整合而成，具体的计算公式如下式(4)所示：
[0069][0070]
其中，式中k表示多帧时空结构中关节间预定义的最大跨时空距离，是由和一同整合而成的多时间帧多距离的邻接矩阵块。由此，本实施例通过在局部时空域中建立直接跨时空跳跃连接边，并对其进行时空卷积来构建得到局部卷积模块(l-stgc模块)。本实施例通过l-stgc模块构建局部路径，以实现对关节间的局部复杂时空依赖关系捕获。
[0071]
在本发明的一些实施例中，构建局部与非局部时空图卷积单元，还包括但不限于：
[0072]
构建非局部时空图卷积模块。
[0073]
构建多尺度时间图卷积模块。
[0074]
根据非局部时空图卷积模块和多尺度时间图卷积模块构建非局部路径。其中，非局部时空图卷积模块的输入端与局部与非局部时空图卷积单元的输入端连接，非局部时空图卷积模块的输出端与多尺度时间图卷积模块的输入端连接，将多尺度时间图卷积模块的输出作为非局部路径的输出。
[0075]
在本具体实施例中，lnl-stgc单元的非局部路径中包括非局部时空图卷积(nl-stgc)模块和多尺度时间图卷积(mstgc模块)。本实施例通过构建非局部时空图卷积模块以及多尺度时间图卷积模块，并根据非局部时空图卷积模块和多尺度时间图卷积模块构建得到非局部路径。具体地，参照图3，本实施例中nl-stgc模块的输出端与mstgc模块的输入端连接，并将mstgc模块的输出端作为非局部路径的输出。本实施例通过nl-stgc模块和mstgc模块依次建模的方式，以捕获非局部空间依赖关系、多尺度时序运动特征以及长期时空依赖关系。本实施例通过nl-stgc模块对骨架图中非直接相连关节间的依赖关系进行提取，同时，通过mstgc模块对骨架图序列的多尺度时序运动信息，从而提取得到关节间更丰富和潜在的时空特征，提高人体运动动作识别的准确性。
[0076]
在本发明的一些实施例中，构建非局部时空图卷积模块，包括但不限于：
[0077]
根据骨架图序列构建非局部空间图特征。
[0078]
构建掩码矩阵。
[0079]
通过第一激活函数处理掩码矩阵，得到第一掩码数据。
[0080]
根据第一掩码数据和非局部空间图特征构建得到非局部时空图卷积模块。
[0081]
在本具体实施例中，本实施例首先根据骨架图序列构建非局部空间图特征。然后，
本实施例构建掩码矩阵，并通过第一激活函数对掩码矩阵进行处理，得到第一掩码数据，从而根据第一掩码数据和非局部空间图特征构建得到非局部时空图卷积(nl-stgc)模块。具体地，由于在固定骨架图中，仅只有人体物理结构上相邻的关节间才有直接连接，因此难以提取非直接相邻关节间的依赖关系，例如，对于“跑步”动作，手臂与腿部的关节之间就存在强关联性，并且这些关节在固定骨架图中都没有直接相连。本实施例首先根据输入的骨架图序列构建一个非局部空间图特征。具体地，本实施例通过将所有关节都直接相互连接，以使得每个关节的感受野都能包含其他所有关节的特征。进一步地，本实施例通过构建可学习的掩码矩阵m，通过自适应地学习关节间的重要连接而忽略不重要连接的干扰，以解决将所有关节都直接相互连接所导致的所有关节间连接的重要程度一致的问题。示例性地，将构建的非局部空间图特征与第一激活函数处理后的掩码矩阵逐元素相乘，其中，第一激活函数可以为tanh激活函数，得到调整后的特征如下式(5)所示：
[0082][0083]
在本发明的一些实施例中，多尺度时间图卷积模块包括扩张卷积子模块、卷积子模块以及池化卷积子模块，扩张卷积子模块、卷积子模块以及池化卷积子模块的输入端均与非局部时空图卷积模块的输出端连接，扩张卷积子模块、卷积子模块以池化卷积子模块的输出端连接。具体地，参照图4，在本具体实施例中，mstgc模块包括有扩张卷积子模块、卷积子模块以及池化卷积子模块。扩张卷积子模块、卷积子模块以及池化卷积子模块并列连接，nl-stgc模块输出的特征数据分别输入扩张卷积子模块、卷积子模块以及池化卷积子模块进行处理。本实施例通过扩张卷积子模块在不增加参数量的同时扩大感受野。另外，本实施例通过将扩张卷积子模块、卷积子模块以及池化卷积子模块的输出进行连接，从而提取得到不同时间尺度的信息。需要说明的是，在本发明的一些实施例中，卷积子模块包括1*1卷积，池化卷积子模块包括3*1最大池化。
[0084]
在本发明的一些实施例中，扩张卷积子模块包括卷积操作层、第一移位操作层、逐点卷积层以及第二移位操作层，卷积操作层、第一移位操作层、逐点卷积层以及第二移位操作层依次连接。其中，扩张卷积子模块设置有4个，包括第一扩张卷积子模块、第二扩张卷积子模块、第三扩张卷积子模块以及第四扩张卷积子模块，第一扩张卷积子模块的逐点卷积层扩张率为1，第二扩张卷积子模块的逐点卷积层扩张率为2，第三扩张卷积子模块的逐点卷积层扩张率为3，第四扩张卷积子模块逐点卷积层的扩张率为4。具体地，参照图4和图6，在本具体实施例中，mstgc模块的扩张卷积子模块设置有4个，分别为第一扩张卷积子模块、第二扩张卷积子模块、第三扩张卷积子模块以及第四扩张卷积子模块。每个扩张卷积子模块中均包括有卷积操作层、第一移位操作层、逐点卷积层以及第二移位操作层，且卷积操作层、第一移位操作层、逐点卷积层以及第二移位操作层依次连接，构建出“移位-卷积-移位”的结构，从而在指定的不同方向上进行移动，以丢弃一些冗余特征，减少复杂度及参数量。另外，每个扩张卷积子模块的逐点卷积层扩张率不同，第一扩张卷积子模块的逐点卷积层扩张率为1，第二扩张卷积子模块的逐点卷积层扩张率为2，第三扩张卷积子模块的逐点卷积层扩张率为3，第四扩张卷积子模块逐点卷积层的扩张率为4，通过四个不同扩张率的扩张卷积，以得到不同感受野下的特征差异，从而实现对不同时间尺度信息的提取。需要说明的是，在本发明的一些实施例中，卷积操作层包括1*1卷积，逐点卷积层包括3*1逐点卷积。
mstgc模块还包括残差卷积模块，通过将nl-stgc模块输出的特征数据输入残差卷积模块，然后将残差卷积模块的输出与扩张卷积子模块、卷积子模块以及池化卷积子模块连接后的输出进行融合，得到mstgc模块的输出，从而实现同时提取不同时间尺度的信息。
[0085]
在本发明的一些实施例中，局部与非局部时空图卷积单元包括第一局部与非局部时空图卷积单元、第二局部与非局部时空图卷积单元以及第三局部与非局部时空图卷积单元，第一局部与非局部时空图卷积单元的特征通道为96，第一局部与非局部时空图卷积单元的时间卷积与时空窗口步长为1，第一局部与非局部时空卷积单元输出端依次连接有第一批处理规范化模块和第二激活函数，第二激活函数输出端与第二局部与非局部时空图卷积单元输入端连接，第二局部与非局部时空图卷积单元的特征通道为192，第二局部与非局部时空图卷积单元的时间卷积与时空窗口步长为2，第二局部与非局部时空卷积单元输出端依次连接有第二批处理规范化模块和第三激活函数，第三激活函数输出端与第三局部与非局部时空图卷积单元输入端连接，第三局部与非局部时空图卷积单元的特征通道为384，第三局部与非局部时空图卷积单元的时间卷积与时空窗口步长为2，第三局部与非局部时空图卷积单元的输出端与全局平均池化层的输入端连接。具体地，参照图5，在本实施例中，人体运动动作识别模型包括三个lnl-stgc单元，通过三个lnl-stgc单元堆砌而成，第一局部与非局部时空图卷积单元、第二局部与非局部时空图卷积单元以及第三局部与非局部时空图卷积单元依次连接，以从骨架图序列中提取时空特征。其中，第一局部与非局部时空图卷积单元、第二局部与非局部时空图卷积单元以及第三局部与非局部时空图卷积单元的特征通道数分别为96、192以及384。同时，除了第三局部与非局部时空卷积单元外，第一局部与非局部时空图卷积单元、第二局部与非局部时空图卷积单元的末尾，即输出端，均设置有批处理规范化和激活函数，即在第一局部与非局部时空图卷积单元输出端设置有第一批处理规范化模块和第二激活函数，在第二局部与非局部时空图卷积单元输出端设置有第二批处理规范化模块和第三激活函数。其中，第二激活函数与第三激活函数均可以为relu激活函数。同时，除了第一局部与非局部时空图卷积单元使用步长为1的时间卷积和时空窗口对时间进行下采样，第二局部与非局部时空图卷积单元和第三局部与非局部时空图卷积单元均使用步长为2的时间卷积和时空窗口对时间进行下采样，以使高层特征拥有更大的感受野，有利于提取更丰富的动作特征。
[0086]
本发明的一个实施例还提供了一种人体运动动作识别系统，包括：
[0087]
时空图卷积单元构建模块，用于构建局部与非局部时空图卷积单元。其中，局部与非局部时空卷积单元包括局部路径和非局部路径，局部路径和非局部路径的输入端均与局部与非局部时空图卷积单元输入端连接，将局部路径的输出和非局部路径的输出进行聚合作为局部与非局部时空图卷积单元的输出。
[0088]
特征提取模块，用于将骨架图序列输入局部与非局部时空图卷积单元提取得到第一时空特征。
[0089]
池化模块，用于将第一时空特征输入全局平均池化层，得到第二时空特征。
[0090]
预测输出模块，将第二时空特征依次输入全连接层和分类器预测得到识别结果。
[0091]
参照图2，本发明的一个实施例还提供了一种人体运动动作识别系统，包括：
[0092]
至少一个处理210。
[0093]
至少一个存储器220，用于存储至少一个程序。
[0094]
当至少一个程序被至少一个处理器210执行，使得至少一个处理器实现如上述实施例描述的人体运动动作识别方法。
[0095]
本发明的一个实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器执行，例如，执行以上实施例描述的步骤。
[0096]
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
[0097]
以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本发明权利要求所限定的范围内。