基于跨时空图卷积网络的人体骨架行为识别系统及方法与流程

1.本发明涉及基于跨时空图卷积网络的人体骨架行为识别系统及方法，属于人体骨架行为识别技术领域。


背景技术：

2.行为识别是计算机视觉中的一个重要的研究领域，但由于基于rgb视频的行为识别数据量大、训练难度大的瓶颈，基于骨架序列的行为识别方法越来越流行，基于人体骨架的行为识别没有噪声干扰，数据简洁，而且近年来硬件的快速发展使得骨架序列获取的更加容易。目前基于人体骨架的行为识别方法多采用空间维度的图卷积网络和时间维度的时间卷积网络交替提取时空特征，但是相同的骨架序列以串联的形式分别进行空间卷积和时间卷积会混入不同域的信息，影响识别效果。近年来，一些方法在二维空间卷积的基础上直接扩展上时间卷积组合成三维时空卷积，虽然在一定程度上增加了时空维度的感受野，实现了跨时空的信息交流，增强了网络对时空特征的提取能力，但是三维时空卷积极大的增加了计算量，加大了网络训练的难度。


技术实现要素：

3.本发明的目的在于克服现有技术中的不足，提供基于跨时空图卷积网络的人体骨架行为识别系统及方法，能够达到增强网络对时空特征的提取能力的效果。
4.为达到上述目的，本发明是采用下述技术方案实现的：
5.第一方面，本发明提供了基于跨时空图卷积网络的人体骨架行为识别方法，包括：
6.获取人体骨架序列；
7.将人体骨架序列的输入通道均匀分成多份；
8.基于均分后的多份人体骨架序列沿时间维度向不同的方向进行移位；
9.基于移位后的人体骨架序列输入时空图卷积网络进行卷积运算。
10.进一步的，所述人体骨架序列的输入通道均匀分为五份，其中每一份人体骨架序列的维度为c/5
×
t
×
n，c为通道数，t为帧数，n为关节数。
11.进一步的，基于分割后的多份人体骨架序列沿时间维度向不同的方向进行移位，包括：
12.将其中两份人体骨架序列分别沿时间维度向前移动一个时间单位和两个时间单位；
13.从剩余未移动的人体骨架序列中选择两份人体骨架序列分别沿时间维度向后移动一个时间单位和两个时间单位；
14.剩余最后一份未移动的人体骨架序列保持不变。
15.进一步的，基于分割后的多份人体骨架序列沿时间维度向不同的方向进行移位，还包括：
16.去除超出时间维度范围的序列，以及，对时间维度范围内的空白位置进行补零操
作。
17.第二方面，本发明提供了基于跨时空图卷积网络的人体骨架行为识别系统，包括：
18.采集模块：用于获取人体骨架序列；
19.序列均分模块：用于将人体骨架序列的输入通道均匀分成多份；
20.序列移位模块：用于基于均分后的多份人体骨架序列沿时间维度向不同的方向进行移位；
21.卷积运算模块：用于基于移位后的人体骨架序列输入时空图卷积网络进行卷积运算。
22.进一步的，所述人体骨架序列的输入通道均匀分为五份，其中每一份人体骨架序列的维度为c/5
×
t
×
n，c为通道数，t为帧数，n为关节数。
23.进一步的，基于分割后的多份人体骨架序列沿时间维度向不同的方向进行移位，包括：
24.将其中两份人体骨架序列分别沿时间维度向前移动一个时间单位和两个时间单位；
25.从剩余未移动的人体骨架序列中选择两份人体骨架序列分别沿时间维度向后移动一个时间单位和两个时间单位；
26.剩余最后一份未移动的人体骨架序列保持不变。
27.进一步的，基于分割后的多份人体骨架序列沿时间维度向不同的方向进行移位，还包括：
28.去除超出时间维度范围的序列，以及，对时间维度范围内的空白位置进行补零操作。
29.第三方面，基于跨时空图卷积网络的人体骨架行为识别装置，包括处理器及存储介质；
30.所述存储介质用于存储指令；
31.所述处理器用于根据所述指令进行操作以执行根据上述任一项所述方法的步骤。
32.第四方面，计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项所述方法的步骤。
33.与现有技术相比，本发明所达到的有益效果：
34.本发明对骨架序列的时间维度进行移位操作，使得不同维度的空间信息混入不同的时间信息，有效地实现了信息的跨时空交流，同时移位操作本身仅仅是一系列内存方面的操作，与普通卷积不同，不增加网络参数和浮点数运算，是一种轻量级实现跨时空提取信息的解决方案，同时，将移位卷积以残差连接的形式嵌入原有时空图卷积网络中，构成残差图卷积网络，进一步增强网络对时空特征的提取能力，实现信息的跨时空交流。
附图说明
35.图1是本发明实施例一提供的移位卷积网络示意图；
36.图2是本发明实施例一提供的残差图卷积网络示意图。
具体实施方式
37.下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
38.实施例一：
39.基于跨时空图卷积网络的人体骨架行为识别方法，空间特征和时间特征是行为识别的两个关键信息，在二维空间卷积的基础上拓展时间卷积组合成三维时空卷积是提取时空特征的常见方法。必须指出的是：(1)在二维空间卷积的基础上扩展时间卷积可以有效地增加时空维度的感受野，实现了跨时空地信息交流，增强了网络对时空特征的提取能力；(2)三维时空卷积极大的增加了计算量，加大了网络训练的难度。
40.基于上述，为了在有效捕捉跨时空信息的同时尽可能减少网络的参数量，本发明提出了移位卷积网络。移位卷积网络如图1所示，移位卷积是以通道为单位，沿时间维度向不同的方向进行移位，移位后的特征再进行卷积运算。移位本身仅是一系列内存方面的操作，与普通卷积过程不同，移位卷积在不增加参数和浮点数运算的前提下实现了跨时空的信息交流。此外，图1的移位运算会保持一定的通道不改变，解决了移位运算造成的信息丢失的问题。
41.本发明能够增强时空图卷积网络对时空特征的提取能力。时空图卷积网络作为人体骨架行为识别方法，包含多个时空卷积层，每一层包含一个空间卷积和一个时间卷积，空间卷积和时间卷积分别是二维卷积和一维卷积。时空图卷积的第l层的输入为x
l
，时空图卷积网络的空间卷积部分可以表示为：
[0042][0043]
其中x
l 1
代表第l层输出，m代表n
×
n的掩码矩阵，是一种简单的注意力机制，
⊙
代表点积，代表归一化邻接矩阵，a代表邻接矩阵，表示关节点之间的连接关系，d
‑
1/2
是归一化系数，w代表图卷积神经网络的权重，时间卷积是一个一维卷积，包含一个k
×
1的卷积层，k代表时间卷积核的大小。
[0044]
时空图卷积网络以串联的方式交替提取空间特征和时间特征，阻碍了跨时空的信息交流。基于此，本发明结合上述移位卷积，提出残差图卷积网络。残差图卷积网络是在原有空间卷积之前，时间卷积之后引入一个空间卷积作为残差连接。以残差的方式引入空间卷积网络能够在不损坏原有空间特征和时间特征的前提下，进一步增强时空特征。残差图卷积网络可以表示为：
[0045][0046]
其中，代表移位卷积，与时空图卷积网络相加形成残差图卷积网络。
[0047]
为更清晰地阐述本发明的移位卷积网络，将其结构划分为以下步骤：
[0048]
步骤一、在不考虑训练批次的情况下，输入特征x的维度为c
×
t
×
n，其中c为通道数，t为帧数，n为关节数，将输入通道均匀分成5份，每一份的输入特征的维度为c/5
×
t
×
n；
[0049]
步骤二、将其中两份分别沿时间维度向前移动一个时间单位和两个时间单位，另外两份分别向后移动一个时间单位和两个时间单位，最后一份保持不变，即每一份输入特征变成：其中t t0代表时间维度上的移位操作，5份不同的输入的t0分别为
‑
2、
‑
1、0、
1、2；
[0050]
步骤三、去除超出时间维度范围的序列，以及，对时间维度范围内的空白位置进行补零操作，如图1所示，将特征沿时间维度向前或者向后移动时，会有特征移出时间维度的范围(图1中间位置特征图相对于图1左边特征图的突出部分)，超出时间维度的特征是指相对于未进行移位的特征。为了保持移位后特征的完整性，将移出部分进行补零(图1右边特征图的白色方块就是补零后的特征)，缺失的部分是指将特征向前或者向后移动时，移位反方向会有部分特征缺失，图1中间特征图的白色方块部分。零填充就是对空白的地方进行补零操作。移位后的特征作为卷积的输入特征，即：
[0051][0052]
注意，这里的相加是指按照通道维度进行拼接，拼接后的不同维度的特征混入了不同的时间信息，此外，将数据分成5份是根据具体的网络模型而定，经过实验证明，时空图卷积网络将通道分成5份最优，在其他网络模型引入移位卷积需要根据情况设定份数，但是要保持一定比例的通道数不进行移位，能够克服较多移位造成的信息丢失的问题。
[0053]
残差卷积网络整体框图如图2所示，初始输入特征为x∈r
batch
×
c
×
t
×
n
，其中batch为批次、c为通道数，t为帧数，n为关节数。整体网络包含9个图卷积模块，分别对应l1
‑
l9，前三个图卷积网络通道数为64，中间三个图卷积网络通道数为128，最后三个图卷积网络通道数为256，gap为全局平均池化层，softmax层用来做归一化，归一化后的输出可直接进行预测。在l3层和l6层之后会在时间维度进行一次下采样，帧数分别降为t/2和t/4，而残差卷积部分不包含时间维度的卷积，所以在l3层和l6层不添加残差连接。
[0054]
本发明对骨架序列的时间维度进行移位操作，使得不同维度的空间信息混入不同的时间信息，有效地实现了信息的跨时空交流，同时移位操作本身仅仅是一系列内存方面的操作，与普通卷积不同，不增加网络参数和浮点数运算，是一种轻量级实现跨时空提取信息的解决方案，同时，将移位卷积以残差连接的形式嵌入原有时空图卷积网络中，构成残差图卷积网络，进一步增强网络对时空特征的提取能力，实现信息的跨时空交流。
[0055]
实施例二：
[0056]
基于跨时空图卷积网络的人体骨架行为识别系统，包括：
[0057]
采集模块：用于获取人体骨架序列；
[0058]
序列均分模块：用于将人体骨架序列的输入通道均匀分成多份；
[0059]
序列移位模块：用于基于均分后的多份人体骨架序列沿时间维度向不同的方向进行移位；
[0060]
卷积运算模块：用于基于移位后的人体骨架序列输入时空图卷积网络进行卷积运算。
[0061]
其中，人体骨架序列的输入通道均匀分为五份，其中每一份人体骨架序列的维度为c/5
×
t
×
n，c为通道数，t为帧数，n为关节数。基于分割后的多份人体骨架序列沿时间维度向不同的方向进行移位，包括：
[0062]
将其中两份人体骨架序列分别沿时间维度向前移动一个时间单位和两个时间单位；
[0063]
从剩余未移动的人体骨架序列中选择两份人体骨架序列分别沿时间维度向后移动一个时间单位和两个时间单位；
[0064]
剩余最后一份未移动的人体骨架序列保持不变；
[0065]
去除超出时间维度范围的序列，以及，对时间维度范围内的空白位置进行补零操作。
[0066]
实施例三：
[0067]
本发明实施例还提供了基于跨时空图卷积网络的人体骨架行为识别装置，包括处理器及存储介质；
[0068]
所述存储介质用于存储指令；
[0069]
所述处理器用于根据所述指令进行操作以执行下述方法的步骤：
[0070]
获取人体骨架序列；
[0071]
将人体骨架序列的输入通道均匀分成多份；
[0072]
基于均分后的多份人体骨架序列沿时间维度向不同的方向进行移位；
[0073]
基于移位后的人体骨架序列输入时空图卷积网络进行卷积运算。
[0074]
实施例四：
[0075]
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现下述方法的步骤：
[0076]
获取人体骨架序列；
[0077]
将人体骨架序列的输入通道均匀分成多份；
[0078]
基于均分后的多份人体骨架序列沿时间维度向不同的方向进行移位；
[0079]
基于移位后的人体骨架序列输入时空图卷积网络进行卷积运算。
[0080]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
[0081]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0082]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0083]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0084]
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人
员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。