基于选择聚集规范化图卷积网络的行为识别方法及系统

1.本发明属于行为识别技术领域，尤其涉及基于选择聚集规范化图卷积网络的行为识别方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.在现有的行为识别方法中，基于距离的分组方式不能有效的表达骨架的空间几何关系，多分组图卷积的方法引入了过多的根节点自环；基于滑动窗的3d时空联合图卷积，构造复杂；而分步时空图卷积的方法损失了部分重要的关节时空特征；图卷积建模长距离的空间特征会受到近距离的节点特征的影响。


技术实现要素：

4.为了解决上述背景技术中存在的技术问题，本发明提供基于选择聚集规范化图卷积网络的行为识别方法及系统，有效提高了行为识别的准确度。
5.为了实现上述目的，本发明采用如下技术方案：
6.本发明的第一个方面提供基于选择聚集规范化图卷积网络的行为识别方法，其包括：
7.获取待识别用户的连续多帧行为骨架图；
8.将连续多帧行为骨架图输入若干个依次连接的选择聚集规范化图卷积网络，逐层获得行为深度特征，行为深度特征依次经过全局平均池化层和全连接层后，得到待识别用户的行为类别；
9.其中，每个选择聚集规范化图卷积网络均包括分解路径、联合路径和非局部路径，所述分解路径、联合路径和非局部路径同时捕获的输入特征的时空依赖特征，经相加操作后，经过多尺度时间卷积网络，得到所述行为深度特征。
10.进一步的，所述分解路径包括依次连接的基于邻居图选择聚集规范化的低级聚合层、逐点空间卷积高级聚合层和两个多尺度时间卷积网络。
11.进一步的，所述基于邻居图选择聚集规范化的低级聚合层的具体操作包括：
12.对于输入骨架图，根据邻居节点和根节点的距离和位置关系对邻居节点标号，实现邻居图的选择聚合规范化，将输入骨架图分解为若干个骨架子图的邻接矩阵；
13.基于各骨架子图的邻接矩阵，进行同标号节点的平均池化，得到输出特征。
14.进一步的，所述联合路径包括依次连接的基于邻居图选择聚集规范化的低级聚合层、时空联合卷积高级聚合层和两个多尺度时间卷积网络。
15.进一步的，所述非局部路径包括依次连接的基于非局部邻接矩阵的低级聚合层、逐点空间卷积高级聚合层和两个多尺度时间卷积网络。
16.进一步的，所述基于非局部邻接矩阵的低级聚合层的具体操作包括：
17.基于输入特征，计算节点间的相似性矩阵；
18.基于节点间的相似性矩阵，计算非局部邻接矩阵；
19.基于非局部邻接矩阵，计算输出特征。
20.进一步的，所述多尺度时间卷积网络采用多个并列设置的卷积块对输入特征进行操作，并对多个卷积块的输出进行通道连接后进行相加操作，得到输出特征。
21.本发明的第二个方面提供基于选择聚集规范化图卷积网络的行为识别系统，其包括：
22.数据获取模块，其被配置为：获取待识别用户的连续多帧行为骨架图；
23.行为识别模块，其被配置为：将连续多帧行为骨架图输入若干个依次连接的选择聚集规范化图卷积网络，逐层获得行为深度特征，行为深度特征依次经过全局平均池化层和全连接层后，得到待识别用户的行为类别；
24.其中，每个选择聚集规范化图卷积网络均包括分解路径、联合路径和非局部路径，所述分解路径、联合路径和非局部路径同时捕获的输入特征的时空依赖特征，经相加操作后，经过多尺度时间卷积网络，得到所述行为深度特征。
25.本发明的第三个方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的基于选择聚集规范化图卷积网络的行为识别方法中的步骤。
26.本发明的第四个方面提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的基于选择聚集规范化图卷积网络的行为识别方法中的步骤。
27.与现有技术相比，本发明的有益效果是：
28.本发明提供了基于选择聚集规范化图卷积网络的行为识别方法，其采用分解、联合和非局部路径，同时捕获复杂的时空依赖性，有效提高了行为识别的准确度。
附图说明
29.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
30.图1是本发明实施例一的方法流程图；
31.图2是本发明实施例一的san-gcn网络结构图；
32.图3(a)是本发明实施例一的1-hop邻居图和3-hop邻居图；
33.图3(b)是本发明实施例一的邻域节点按距离分组的示意图；
34.图3(c)是本发明实施例一的邻居节点的规范化结果示意图；
35.图4是本发明实施例一的低级聚合示意图；
36.图5(a)是本发明实施例一的感知域滑动示意图；
37.图5(b)是本发明实施例一的时空感受域的所有节点都与根节点相连的示意图；
38.图5(c)是本发明实施例一的根节点只连接到连续帧中的同一个节点的示意图；
39.图6是本发明实施例一的双级聚合的流程图；
40.图7是本发明实施例一的非局部聚合的流程图；
41.图8是本发明实施例一的ms-tcn网络结构图。
具体实施方式
42.下面结合附图与实施例对本发明作进一步说明。
43.应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
44.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
45.实施例一
46.本实施例提供了基于选择聚集规范化图卷积网络的行为识别方法，如图1所示，具体包括以下步骤：
47.步骤1、获取待识别用户的连续多帧行为骨架图。
48.步骤2、如图1所示，将连续多帧行为骨架图作为网络的输入特征c
(0)
是每一帧中每个节点的特征通道数量，t
(0)
是特征时间维度，即帧数，n是骨架图节点数量，输入若干个(三个)依次连接的选择聚集规范化图卷积网络模块(skeleton-based action recognition with non-local select-assemble-normalize graph convolutional network，san-gcn)，逐层获得行为深度特征(具体的，行为骨架数据输入第一san-gcn，得到第一行为深度特征第一行为深度特征输入第二san-gcn，得到第二行为深度特征第二行为深度特征输入第三san-gcn，得到第三行为深度特征即为三个依次连接的邻居节点选择聚集规范化的图卷积网络得到的最终行为深度特征。)；然后通过全局平均池化层将行为深度特征(第三行为深度特征)降维，获得行为表征；最后通过全连接层将行为表征映射到行为分类空间中，并使用softmax函数获得最终分类结果(即得到待识别用户的行为类别，具体的，可以由使用者自行定义，包括行走等各种日常行为)。
49.如图2所示，每个san-gcn模块均包括分解路径、联合路径和非局部路径，分解路径、联合路径和非局部路径同时捕获san-gcn网络的输入特征的复杂时空依赖特征。分解路径包括依次连接的基于邻居图选择聚集规范化的低级聚合层(s-san层)、逐点空间卷积高级聚合层和两个多尺度时间卷积网络(ms-tcn)；联合路径包括依次连接的s-san层、时空联合卷积高级聚合层和两个多尺度时间卷积网络，采用多尺度时间卷积，充分学习骨架的潜在时空依赖关系；非局部路径包括依次连接的基于非局部邻接矩阵的低级聚合层(n-san层)、逐点空间卷积高级层和两个多尺度时间卷积网络。分解路径、联合路径和非局部路径捕获的时空依赖特征，经过相加操作后，输入一个多尺度时间卷积网络，得到行为深度特征。
50.在时空图卷积网络(st-gcn)中，邻居节点根据空间关系进行分组。当感知域为图3(a)左图所示的1-hop邻居图时，这种划分策略简单有效。但是，当感知域较大时，邻居节点的标签不符合身体结构意义。例如，在图3(a)右图中，用空间感知域d＝3构建邻域图，将相同颜色的节点归为同一组，这不能充分表示身体关节间的几何结构。为了聚合长距离的空
间几何信息，可以应用更深的网络层来扩展感知域。但随着信息的流动，远程信息会被近距离节点的特征稀释。
51.s-san层的具体操作包括：
52.①
、对s-san层的输入特征，采用基于骨架结构的邻图规范化方法，得到n个骨架子图的邻接矩阵，具体的，首先根据邻居节点与根节点的距离对邻居节点进行分组，如图3(b)所示；如果根节点属于躯干节点，则其邻居节点进一步划分为下肢节点或上肢节点；如果根节点属于四肢关节或头部关节，则其相邻节点分为近心节点和远心节点；邻居节点的规范化结果如图3(c)所示。具体的，基于骨架结构的邻图规范化方法包括如下步骤：
53.(1)设定感知距离d，获取每一帧骨架图的邻接矩阵a，初始化距离hop＝0；
54.(2)根节点子图的邻接矩阵a0＝i,n＝2*d，i为单位矩阵；
55.(3)判断距离hop是否在范围(1,d)内，若是，执行步骤(4)-(7)，否则，执行步骤(8)；
56.(4)判断节点vi和节点vj的距离d(vivj)是否等于hop，若是，执行步骤(5)；
57.(5)判断节点vi是否属于预定义的躯干节点，如果是，执行步骤(6)，否则，执行步骤(7)；
58.(6)判断节点vj是否属于预定义的上肢节点，如果是，a
2*hop-1
[i,j]＝1，否则，a
2*hop
[i,j]＝1；
[0059]
(7)如果vi与重心的距离大于vj，并且，vi和vj在相同的肢体部位，a
2*hop
[i,j]＝1，并返回步骤(3)，否则，a
2*hop-1
[i,j]＝1，并返回步骤(3)；
[0060]
(8)返回各骨架子图的邻接矩阵a0,a1,a2…
,an。
[0061]
②
、基于各骨架子图的邻接矩阵，采用双级聚合方法，得到基于s-san的节点聚合特征。
[0062]
s-san中的一个重要问题是，每个根节点有不同数量的邻居节点。而传统卷积核的尺寸是固定的。所以，采用一种双级聚合方法来解决这一问题。低级聚合是将具有相同标签的节点平均池化，使各节点邻图中的节点数量对齐。通过平均池化得到的虚拟节点仍然可以反映人体关节的几何特征，如图4所示。
[0063]
对于cnn来说，根节点与感知域内的每个邻居节点密集连接，感知域在图像上从左到右，从上到下滑动，如图5(a)所示。在高级聚合中，在每个根节点的对齐特征图中加入密集的时空连接，如图5(b)所示，传统卷积可以实现在特征图上的时空特征联合卷积聚合。如果每个根节点只连接到如图5(c)所示的连续帧中的同一节点，则可以通过空间卷积和时间卷积来分步聚合骨架数据的时空特征。
[0064]
如图6所示，双级聚合可以表示为:
[0065][0066]
其中,是第(l 1)层的输出特征,是第(l)层的输出特征,c
(l 1)
、c
(l)
是特征通道数量，t
(l 1)
、t
(l)
是特征时间维度，n是骨架图节点数量，ai是具有相同标签的节点组成子图的邻接矩阵,di是相应的度量矩阵,是平均池化，即为低级聚合,||表示在通道方向的连接,cnn可以是时空联合卷积或分步空间卷积和时间空间卷积的高级聚合。
[0067]
如图7所示，n-san层的具体操作包括：
[0068]
①
、基于n-san层的输入特征，计算节点间的相似性矩阵，具体的：
[0069]
卷积网络可以通过叠加网络层(如残差网络)来获取长距离特征。然而，随着信息的长距离流动，重要的特征很容易丢失。为了更好地建模关节点的长距离时空依赖性，采用非局部选择-聚集-规范化(n-san)来有效地聚合长距离信息。首先，嵌入特征和是使用两个不同的逐点卷积网络分别对x
(l)
逐点卷积获得的不同尺度的嵌入特征，c
en
是嵌入特征通道数量，t是嵌入特征时间维度，n是骨架图节点数量。通过特征变换为和节点间的相似性矩阵通过矩阵乘法得到：
[0070][0071]
②
、基于节点间的相似性矩阵，计算非局部邻接矩阵。
[0072]
在非局部神经网络中，基于图卷积的非局部网络集合了所有节点信息，其中相似矩阵起到了邻接矩阵的作用。为了提取更重要的特征，本方法采用了非局部接受域k，只聚合k个最相似节点的信息。通过相似度排序对非局部子图进行聚集和规范化。对相似矩阵a
non-local
进行非局部规范化操作(non-local normlize)，获得非局部邻接矩阵的具体步骤包括：
[0073]
(1)设置非局部感知域k，初始化迭代次数i＝1；
[0074]
(2)判断i是否满足i≤k，若满足，执行步骤(3)-(5)，否则，执行步骤(6)；
[0075]
(3)将a
non-i
对应于相似性矩阵中每一列最大值所在索引处的值设为1，
[0076]anon-i
＝(a
non-local
＝＝max(a
non-local
,dim＝1))；
[0077]
(4)去掉相似性矩阵每列的最大值，a
non-local
＝a
non-local-a
non-i
；
[0078]
(5)另i＝i 1，并返回步骤(2)；
[0079]
(6)输出非局部邻接矩阵a
non-1
,a
non-2
,
…
,a
non-k
。
[0080]
③
、基于非局部邻接矩阵，计算非局部聚合特征，即基于n-san的聚合特征。
[0081]
非局部节点特征的聚合可以表示为:
[0082][0083]
其中，是非局部聚合特征，是低级聚合，||是特征通道连接,cnn是高级聚合。
[0084]
如图2所示，两个多尺度时间卷积网络为依次连接的第一ms-tcn和第二ms-tcn，第一ms-tcn的时间步长为2，可以收缩时间维度，第二ms-tcn的时间步长为1。
[0085]
如图8所示，ms-tcn分别应用于分解路径和非局部路径，建模多尺度时间特征，每个多尺度时间卷积网络包含多个并列设置的卷积块(第一卷积块、第二卷积块、第三卷积块、第四卷积块、第五卷积块、第六卷积块和第七卷积块)，第一卷积块由依次连接的1
×
1卷积层和3
×
1卷积层(空洞率dilation为1)组成，第二卷积块由依次连接的1
×
1卷积层和3
×
1卷积层(dilation为2)，第三卷积块由依次连接的1
×
1卷积层和3
×
1卷积层(dilation为3)组成，第四卷积块由依次连接的1
×
1卷积层和4
×
1卷积层(dilation为4)组成，第五卷积
块由1
×
1卷积层组成，第六卷积块由依次连接的1
×
1卷积层和3
×
1最大池化层组成，第七卷积块由1
×
1卷积层(步长stride为2)；七并列设置的卷积块分别对输入ms-tcn的特征进行操作后，对七卷积块的输出进行通道连接后进行相加操作，得到ms-tcn的输出。
[0086]
逐点空间卷积高级聚合层：逐点卷积的运算与常规卷积运算非常相似，它的卷积核的尺寸为1
×1×
m，m为输入特征的通道数。所以这里的卷积运算会将输入的特征图在通道方向上进行加权组合，生成新的特征。而逐点空间卷积的输入特征的通道数为节点特征通道数量与邻居节点分组数量的乘积m＝c
(l)
×
(n 1)。
[0087]
时空联合卷积高级聚合层：如图5(b)所示，传统卷积可以实现在特征图上的时空特征联合卷积聚合。
[0088]
为了验证本发明的有效性，在ntu-rgb d60数据集上验证本发明的方法。
[0089]
(1)自环消除策略的有效性：
[0090]
为了公平的比较，本实施例重新训练了时空图卷积网络st-gcn，见表1。如果空间感知域d＝1。使用s-san策略和时空分步卷积的双级聚合策略来替代st-gcn中的骨架分组策略和st-gcn块，验证了本发明消除冗余自环的有效性。
[0091]
表1、st-gcn与s-san比较结果
[0092]
方法精度(％)st-gcn85.24使用st-gcn网络建构的s-san(d＝1)86.53
[0093]
(2)分解路径
[0094]
在表2中，通过不同的空间感知域验证提出的基于s-san的分解路径。从实验结果可以看出，当空间感知域d＝5时，分解路径的准确率最高，为87.94％。当在分解路径中加入可学习的参数矩阵a
res
，空间感受野d＝7时，模型的精度最高，为88.18％。
[0095]
表2、不同空间感知域条件下分解路径的准确率(％)(d)
[0096]
d1357分解路径86.5187.7387.9487.11分解路径 a
res
矩阵88.0588.0888.1488.18
[0097]
(3)联合路径
[0098]
在表3中，提出的基于s-san的联合路径通过使用不同的空间感知域进行验证。将时间联合卷积核的时间感知域设为τ＝3。如表3所示，当空间感知域d＝3时，可以获得最大的精度87.51％。a
res
可以提高三维路径的精度，将空间感知域设为d＝1时，提高1.13％的精度，效果最为明显。
[0099]
通过对比表2和表3可以看出，分解路径在空间感知域d＝5时性能最好，而联合路径在空间感知域d＝5时性能开始下降。联合路径的精度略低于分解路径，这可能与联合路径参数较多有关。
[0100]
表3、不同空间感知域条件下联合路径的准确率(％)
[0101]
d1357联合路径(时间感知域τ＝3)86.587.5187.1287.1联合路径 a
res
矩阵87.6387.8187.6687.84
[0102]
(4)非局部路径
[0103]
表4比较了使用相似矩阵a
non-local
作为邻接矩阵非局部路径。直接使用相似性矩阵a
non-local
为非局部邻接矩阵的模型精度为85.71％。当使用非局部感受野k＝9和k＝11时，非局部路径分别提高0.13％和0.33％。然而，如果非局部路径中加入可学习矩阵a
res
，模型的性能将得到显著提高。非局部感知域k＝9和a
res
条件下非局部路径的准确率为87.19％，精度提高1.48％。这表明全局信息和关键节点信息对于骨架节点间的依赖性建模都是非常重要的。
[0104]
表4、不同非局部感知域(k)下非局部路径的准确率(％)
[0105]
方法-融合a
resanon-local
85.71-n-san(k＝5)85.4586.84n-san(k＝7)85.4786.67n-san(k＝9)85.8487.19n-san(k＝11)86.0486.6n-san(k＝13)85.6486.66
[0106]
(5)多支路融合
[0107]
根据上述实验的结果，构建多路径san-gcn模块，相关实验结果如表5所示。分解路径的空间感知域d＝5，联合支路的空间感知域d＝3，非局部支路的非局部感知与k＝9。从实验结果来看，分解路径和联合路径并联并没有获得性能增益。而分解路径和非局部路径的并联网络取得88.51％的精度，较分解路径模型提高了0.37％的精度。联合路径与非局部路径的并联网络取得88.03％的精度，较联合路径模型精度提高0.22％。而三种路径的多路径融合网络取得89％的精度，比分解和联合路径的并联网络显著提高0.82％，这充分体现了非局部路径的有效性。
[0108]
表5、多路径模型精度
[0109]
路径精度分解路径和联合路径88.18分解路径和非局部路径88.51联合路径和非局部路径88.03分解，联合，非局部多路径融合89
[0110]
(6)与最优的方法比较
[0111]
在ntu rgb d60数据集上，将完整的模型(图1)与最先进的基于骨架的动作识别方法进行比较。结果分别见表6。用于比较的方法包括非图卷积的方法indrnn、hcn和基于图卷积的方法st-gr、as-gcn、2s-agcn、agc-lstm、dgnn、gr-gcn、ms-g3d。可以看出，san-gcn的性能仅略低于ms-g3d。这是因为不同路径的互补性有限，特别是联合路径和分解路径的融合很难提高模型的性能。另外，由于所有的路径都采用了ms-tcn模块，网络参数的数量比ms-g3d多，容易出现过拟合。然而，通过与其他最新方法的比较，本发明仍然可以证明其有效性。值得注意的是，在基于骨架的动作识别领域，本发明应用s-san和双层聚合策略，利用传统的卷积网络对骨骼数据的图结构特征进行建模。
[0112]
表6、基于ntu rgb d60骨架数据集的分类精度对比研究。
[0113][0114][0115]
实施例二
[0116]
本实施例提供了基于选择聚集规范化图卷积网络的行为识别系统，其具体包括如下模块：
[0117]
数据获取模块，其被配置为：获取待识别用户的连续多帧行为骨架图；
[0118]
行为识别模块，其被配置为：将连续多帧行为骨架图输入若干个依次连接的选择聚集规范化图卷积网络，逐层获得行为深度特征，行为深度特征依次经过全局平均池化层和全连接层后，得到待识别用户的行为类别；
[0119]
其中，每个选择聚集规范化图卷积网络均包括分解路径、联合路径和非局部路径，所述分解路径、联合路径和非局部路径同时捕获的输入特征的时空依赖特征，经相加操作后，经过多尺度时间卷积网络，得到所述行为深度特征。
[0120]
此处需要说明的是，本实施例中的各个模块与实施例一中的各个步骤一一对应，其具体实施过程相同，此处不再累述。
[0121]
实施例三
[0122]
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的基于选择聚集规范化图卷积网络的行为识别方法中的步骤。
[0123]
实施例四
[0124]
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的基于选择聚集规范化图卷积网络的行为识别方法中的步骤。
[0125]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
[0126]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0127]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0128]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0129]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)或随机存储记忆体(random accessmemory，ram)等。
[0130]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。