一种基于广义卷积神经网络的骨架异常步态识别方法及系统

1.本发明属于步态分析领域，尤其涉及一种基于广义卷积神经网络的骨架异常步态识别方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.帕金森氏病、阿尔茨海默症等各种老年性退行性疾病和神经系统疾病都会导致步态异常。传统的步态分析方法依赖于医学专家的主观经验或专业的测量设备，效率低且价格昂贵。随着传感器技术和人工智能的发展，自动异常步态识别越来越受到关注。
4.在步态识别领域，可以采用rgb视频实现步态身份识别。然而，由于服装和场景的变化，基于rgb视频的异常步态模式难以被有效识别。光学运动捕捉系统(mocap)可以捕捉精确的步态数据，但其效率低且成本昂贵。廉价的可穿戴惯性测量装置被广泛用于异常步态识别，但可穿戴设备会限制患者的活动。由于低成本的深度传感器可以在不干涉患者活动的情况下实时跟踪3d人体骨架关节点位置，基于骨架数据的异常步态识别技术得到了长足的发展。
5.在一些研究中，基于临床先验知识提取人工步态特征进行异常步态识别。但由于会忽略重要特征，人工步态特征缺乏代表性和泛化性。循环神经网络(rnns)和时间卷积网络(tcns)在自动提取数据特征方面性能优异，在异常步态识别中得到广泛应用，显著提高了异常步态识别的性能。然而，因为步态骨架数据本质上是一系列非欧图，这些方法不能有效地学习骨架关节中潜在的空间依赖性。
6.图卷积网络(gcns)将卷积从图像推广到了图结构数据，在许多领域都取得了良好的图结构特征建模性能。在基于骨架数据的动作识别中，时空图卷积首先利用图卷积提取骨架数据的时空特征。在此基础上，有研究提出了自适应图卷积方法来构造非局部空间特征。还有学者提出了三维时空骨架图，促进了时空信息流动。但是，由于患者步态数据的收集需要许多正式的许可和特殊的实验室设置，因此在异常步态识别领域中很少有基准数据集是开放的。虽然这些基于图卷积的方法可以在动作特征建模方面取得很好的效果，但是在有限的异常步态数据集上很难取得更好的结果。


技术实现要素：

7.为了解决上述背景技术中存在的技术问题，本发明提供一种基于广义卷积神经网络的骨架异常步态识别方法及系统，其可以根据人体结构设计步态图和相应的邻居节点分组策略，能有效地反映关节之间的几何关系。将非欧步态图规范化为欧几里德特征图，其中节点的位置关系编码了关节之间的连接性。然后提出了广义卷积网络来建模规范化步态特征图中编码的几何特征，将传统卷积核从图像中提取纹理表示的能力泛化到提取骨架图几何特征中。
8.为了实现上述目的，本发明采用如下技术方案：
9.本发明的第一个方面提供一种基于广义卷积神经网络的骨架异常步态识别方法。
10.一种基于广义卷积神经网络的骨架异常步态识别方法，包括：
11.以下肢关节为节点，以骨骼为边构造步态图；
12.根据距离和空间关系对步态图中的相邻节点进行分组，将非欧结构的步态图规范化为欧几里德特征图；其中，节点的位置关系编码了关节之间的连接性；
13.采用广义卷积网络来建模规范化欧几里德特征图中编码的几何特征，将卷积核从图像中提取纹理表示的能力泛化到提取步态图几何特征中，得到时空邻居节点特征聚合的步态特征图；
14.根据步态特征图，预测异常步态分类结果。
15.本发明的第二个方面提供一种基于广义卷积神经网络的骨架异常步态识别系统。
16.一种基于广义卷积神经网络的骨架异常步态识别系统，包括：
17.图构建模块，其被配置为：以下肢关节为节点，以骨骼为边构造步态图；
18.规范化模块，其被配置为：根据距离和空间关系对步态图中的相邻节点进行分组，将非欧结构的步态图规范化为欧几里德特征图；其中，节点的位置关系编码了关节之间的连接性；
19.建模模块，其被配置为：采用广义卷积网络来建模规范化欧几里德特征图中编码的几何特征，将卷积核从图像中提取纹理表示的能力泛化到提取步态图几何特征中，得到时空邻居节点特征聚合的步态特征图；
20.预测模块，其被配置为：根据步态特征图，预测异常步态分类结果。
21.本发明的第三个方面提供一种计算机可读存储介质。
22.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一个方面所述的基于广义卷积神经网络的骨架异常步态识别方法中的步骤。
23.本发明的第四个方面提供一种计算机设备。
24.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一个方面所述的基于广义卷积神经网络的骨架异常步态识别方法中的步骤。
25.与现有技术相比，本发明的有益效果是：
26.本发明根据人体结构设计步态图和相应的邻居节点分组策略，能有效地反映关节之间的几何关系。
27.本发明通过将非欧步态图规范化为欧几里德特征图，然后提出了广义卷积网络来建模规范化步态特征图中编码的几何特征，将传统卷积核从图像中提取纹理表示的能力泛化到提取骨架图几何特征中；有效的提高了异常步态识别的分类精度。
附图说明
28.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
29.图1是本发明示出的基于广义卷积神经网络的骨架异常步态识别方法的流程图；
30.图2(a)是本发明示出的步态图；
31.图2(b)是本发明示出的步态图被按照邻居节点分组被分解为5个子图；
32.图3(a)是本发明示出的步态图规范化示意图；
33.图3(b)是本发明示出的时空分步卷积图；
34.图3(c)是本发明示出的同步时空卷积图；
35.图4(a)是本发明示出的ng-gcns模型的算法结构图；
36.图4(b)是本发明示出的基于时空分解卷积网络的ng-cnn块流程图。
具体实施方式
37.下面结合附图与实施例对本发明作进一步说明。
38.应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
39.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
40.需要注意的是，附图中的流程图和框图示出了根据本公开的各种实施例的方法和系统的可能实现的体系架构、功能和操作。应当注意，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，所述模块、程序段、或代码的一部分可以包括一个或多个用于实现各个实施例中所规定的逻辑功能的可执行指令。也应当注意，在有些作为备选的实现中，方框中所标注的功能也可以按照不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，或者它们有时也可以按照相反的顺序执行，这取决于所涉及的功能。同样应当注意的是，流程图和/或框图中的每个方框、以及流程图和/或框图中的方框的组合，可以使用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以使用专用硬件与计算机指令的组合来实现。
41.实施例一
42.如图1所示，本实施例提供了一种基于广义卷积神经网络的骨架异常步态识别方法，本实施例以该方法应用于服务器进行举例说明，可以理解的是，该方法也可以应用于终端，还可以应用于包括终端和服务器和系统，并通过终端和服务器的交互实现。服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务器、云通信、中间件服务、域名服务、安全服务cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本技术在此不做限制。本实施例中，该方法包括以下步骤：
43.以下肢关节为节点，以骨骼为边构造步态图；
44.根据距离和空间关系对步态图中的相邻节点进行分组，将非欧结构的步态图规范化为欧几里德特征图；其中，节点的位置关系编码了关节之间的连接性；
45.采用广义卷积网络来建模规范化欧几里德特征图中编码的几何特征，将卷积核从
1)/2-hop邻居图。
56.如图3(b)中，时空分步聚合中节点只能连接到连续帧中的同一个节点上，分解后的空间卷积核和时间卷积核依次在规范化步态特征图上滑动，以建模关节的时空相关性。如图3(c)中，时空同步聚合中时空感知域内的所有节点都与根节点相连，然后将时空同步卷积核在步态特征图上滑动建模节点的时空关系。
57.网络结构和训练
58.本实施例模型由3个ng-cnn模块构成，如图4(a)所示，其中3个模块分别有64、128、256个输出通道；每个ng-cnn模块都是聚合时空邻居特征生成新的步态特征图，3个块逐层更新，获得深度步态特征图。所有模块的时间步长都设置为2。最后利用全局平均池化、全连接层和softmax来推断给定步态的异常模式。此外，我们使用时空分步卷积(图3b)构建ng-cnn模块，如图4(b)所示，首先通过1d空间卷积聚合空间邻居节点信息，经过数据规范化和激活函数relu后再使用1d时间卷积聚合时间邻居节点特征，最后通过数据规范化和激活函数获得更新的步态特征图。
59.为了验证本实施方案的准确性，进行了以下实验：
60.我们使用adam优化器以端到端方式训练所提出的模型，每次迭代输入数据量大小为32，初始学习率为0.1，每400个世代衰减0.1倍。训练过程在1200世代结束。权重衰减值设置为0.0005。每个输入数据由一个连续的56帧骨架数据组成。所有实验都是在pytorch深度学习框架和1台rtx 2080显卡上进行的。
61.1数据集
62.mmgs:khokhlova等在数据收集中使用了7厘米的鞋底。他们把特殊鞋垫放进鞋子(“衬垫”)，或者要求参与者在走路时不要弯曲右膝盖(“膝盖”)，从而导致了不正常的步态。27名受试者参与了这项研究，每种步态类型行走5到7次。mmgs数据库包含489个视频，其中8个受试者作为测试数据，19个受试者作为训练数据。
63.2消融实验
64.因为我们随机从每个视频中采样56帧，所以每个训练的输入实际上是不同的。我们对每个模型进行30次训练，将30次测试结果的平均值作为每个训练模型的最终结果。30个训练结果的平均值“avg”和标准差“stdev”如表1、2、3所示。
65.2.1规范化矩阵
66.表1比较了三种常用的规范化邻接矩阵:对称规范化邻接矩阵、图卷积网络(gcns)中的规范化邻接矩阵和随机游走规范化邻接矩阵。空间卷积的感知域设置为k＝3(1-hop)，时间卷积的感知域设为τ＝9。所提出的ng-cnn中采用的随机游走归一化矩阵获得了最佳性能。ng-cnn比使用gcn归一化邻接矩阵的模型平均精度提高了3.63％，比使用对称规范化邻接矩阵的模型平均精度提高了6.52％。证明了随机游走规范化矩阵更适合于步态图的时空几何特征建模。
67.表1具有各种规范化邻接矩阵的模型精度(％)
[0068][0069]
2.2时空分步卷积网络
[0070]
本实施例提出的ng-cnn时空分步卷积网络模块(图4(b))在表2中以不同的空间感知域k和时间感知域τ进行验证。采用空间感知域k＝3和时间感知域τ＝7的模型性能最佳。在所有的时间感受野模型中，空间感知域k＝3的精度明显优于其他模型。对于不同的空间感知域，时间感知域τ＝7可以获得更好的表现。根据以上结果，验证了较小的空间感知域和时间感知域可以获得较好的性能。
[0071]
表2不同空间感知域(k)和时间感知域(τ)的时空分步卷积ng-gcn块的精度(％)
[0072][0073][0074]
3对比实验
[0075]
我们将模型在mmgs数据集上与最先进的基于骨架数据的异常步态识别方法进行比较。如表3所示，我们的方法在mmgs数据集上达到了92.92％的平均精度，相比ags-gcn提高了0.66％的平均精度。值得注意的是，ags-gcn基于先验知识构建gait-link，并采用注意力模块提高细粒度步态特征建模。然而，本实施例提出的ng-cnn仅基于人体关节的连接性构建步态图和邻居节点分组策略，充分证明了本实施例提出的广义卷积网络在提取步态图时空几何特征方面的有效性。
[0076]
表3与目前最先进的mmgs方法的比较
[0077][0078]
实施例二
[0079]
本实施例提供了一种基于广义卷积神经网络的骨架异常步态识别系统。
[0080]
一种基于广义卷积神经网络的骨架异常步态识别系统，包括：
[0081]
图构建模块，其被配置为：以下肢关节为节点，以骨骼为边构造步态图；
[0082]
规范化模块，其被配置为：根据距离和空间关系对步态图中的相邻节点进行分组，将非欧结构的步态图规范化为欧几里德特征图；其中，节点的位置关系编码了关节之间的连接性；
[0083]
建模模块，其被配置为：采用广义卷积网络来建模规范化欧几里德特征图中编码的几何特征，将卷积核从图像中提取纹理表示的能力泛化到提取步态图几何特征中，得到时空邻居节点特征聚合的步态特征图；
[0084]
预测模块，其被配置为：根据步态特征图，预测异常步态分类结果。
[0085]
此处需要说明的是，上述图构建模块、规范化模块、建模模块和预测模块与实施例一中的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
[0086]
实施例三
[0087]
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的基于广义卷积神经网络的骨架异常步态识别方法中的步骤。
[0088]
实施例四
[0089]
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的基于广义卷积神经网络的骨架异常步态识别方法中的步骤。
[0090]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
[0091]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0092]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0093]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0094]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)或随机存储记忆体(randomaccessmemory，ram)等。
[0095]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。