基于时空注意力增强图卷积的异常步态识别方法及系统与流程

1.本发明属于步态分析领域，尤其涉及基于时空注意力增强图卷积的异常步 态识别方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在 先技术。
3.步态对于反映人体的健康具有重要的作用，老年退行性疾病、神经系统疾 病都会对步态产生严重不良的影响，例如：帕金森、脑卒中等。而且步态分析 还可以用于运动分析，矫正运动姿势减小运动损伤的发生。随着深度相机的应 用普及，通过深度图像提取骨架信息进行自动的异常步态分析，对于医疗监控 和临床诊断具有重要的应用价值，可以降低步态测量的传感器成本，实现不依 赖于医生主观评价的自动诊断，提高诊断效率，并且通过日常医疗监控可以尽 早的发现患者步态变化，对相关疾病进行预防避免难以挽回的不良后果。
4.基于骨架的异常步态识别存在两方面的难题。一是深度相机提取的骨架信 息包含大量的噪声干扰，而且存在严重的数据误差，这十分不利于异常步态的 自动识别。以往研究中通常使用低通滤波处理骨架信息来降低噪声的干扰，同 时剔除异常数据帧提高检测精度，这虽然有一定的效果，但是分类精度仍然受 限于硬件设备的性能。二是异常步态的步态模式特征同时依赖于身体关节间的 时间和空间关系，异常步态和正常步态相比仅具有细粒度的局部特征，这给异 常步态特征的提取和分类带来困难。现有研究中提取基于先验知识的步态特征 进行异常步态识别，例如关节角度、步长等，但是异常步态的种类繁多特征复 杂，人工步态特征仅针对特定的步态类型难以泛化。
5.以往基于深度学习算法的步态识别多使用循环神经网络和卷积神经网络， 将每一帧骨架坐标堆叠成一个特征向量作为循环神经网络每一时间步的输入， 或者仅在时间方向对骨架位置坐标做卷积，这样方法完全没有考虑关节之间的 关系，没有提取空间特征能力，这对于异常步态识别是非常不利的。


技术实现要素：

6.为了解决现有技术的不足，本公开提供了基于时空注意力增强图卷积的异 常步态识别方法及系统，针对异常步态模式特征的局部性和时空依赖性，本申 请充分考虑了关节之间的身体连接关系，获得行走过程中的身体姿态特征，采 用了关节步态运动关系尺度提取关节的运动特征，多种尺度的图卷积融合可以 增强步态特征的表达能力。本技术提出了统一的时空注意力机制，获取重要关 节的时空位置，逐层的对时空关节特征图进行加强，强化异常关节点的信息， 提取更具分辨力的关节局部细粒度特征，增强了异常步态分类的效果，
7.为了实现上述目的，本发明采用如下技术方案：
8.本发明的第一个方面提供基于时空注意力增强图卷积的异常步态识别方 法，包括：
9.包括如下步骤：
10.获取人体步态骨架关节数据，提取步态特征向量；
11.根据步态特征向量和每一帧骨架邻接矩阵构建步态骨架图序列；
12.根据步态骨架图序列和基于时空多尺度图卷积神经网络模型，提取异常步 态时空特征表征；
13.根据异常步态时空特征表征构建时空关节点注意力机制，逐层强化异常步 态的关键时空关节的特征，得到异常步态分类结果。
14.在一些实施方式中，所述基于时空多尺度图卷积神经网络模的构建过程包 括：通过图卷积逐层更新，所述更新法则为：使用全连接层映射节点特征，通 过左乘规范化的邻接矩阵对图结构中的每个节点及其邻居节点特征进行加权平 均，然后通过激活函数输出作为这一节点更新特征。
15.在一些实施方式中，所述空间特征包括关节轨迹特征、关节角度特征以及 步态参数特征。
16.在一些实施方式中，所述异常步态时空特征包括关节轨迹特征、关节角度 特征以及步态参数特征。
17.在一些实施方式中，所述关节轨迹特征的提取过程为：提取每个关节点的 三维坐标，使用图卷积将每个关节的坐标映射到高维空间得到关节点的深度特 征，使用时间卷积获得关节点的时间轨迹特征；
18.或，所述关节角度特征的提取过程为根据人体关节的连接关系建立邻接矩 阵，使用图卷积建模关节的几何特征，使用时间卷积建模关节角度动态；
19.或，所述步态参数特征的提取过程为：根据临床先验知识和步态参数建立 邻接矩阵，使用图卷积提取相应关节之间隐藏的空间步态参数特征，进一步使 用时间卷积网络建立时空步态参数特征。
20.在一些实施方式中，述逐层强化异常步态的关键时空关节的特征的步骤包 括：
21.将步态时空特征表征进行维度变换得到时间特征向量和空间特征向量；
22.通过全连接层分别求解时间和空间的注意力因子；
23.基于时间和空间的注意力因子得到联合时空注意力权重分布图；
24.根据联合时空注意力权重分布图得到时空注意力增强的步态时空特征向 量。
25.在一些实施方式中，所述人体步态骨架关节数据包括下肢关节中的踝关节， 膝关节，髋关节和髋关节中点七个关节点的数据。
26.在一些实施方式中，所述图卷积逐层更新法则如下：
[0027][0028]
其中，为规范化的邻接矩阵，是第t帧的骨架关节数据， 为可学习的参数，c
l
,c
l 1
分别是第l,l 1层节点特征的维度，σ(
·
)为激 活函数。
[0029]
本发明的第二个方面提供基于时空注意力增强图卷积的异常步态识别系 统，包括：
[0030]
步态特征向量提取模块，其被配置为：获取人体步态骨架关节数据，提取 步态特征向量；
[0031]
步态骨架图序列获取模块，其被配置为：根据步态特征向量和每一帧骨架 邻接矩阵构建步态骨架图序列；
[0032]
步态异常识别模块，其被配置为：根据步态骨架图序列和基于时空多尺度 图卷积神经网络模型，提取异常步态时空特征表征；其中，根据异常步态时空 特征表征构建时空关节点注意力机制，，逐层强化异常步态的关键时空关节的特 征，得到异常步态分类结果。本发明的第三个方面提供一种计算机设备，包括 存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征 在于，所述处理器执行所述程序时实现上述任一所述的基于时空注意力增强图 卷积的异常步态识别方法的步骤。
[0033]
本发明的第四个方面提供一种计算机可读存储介质，其上存储有计算机程 序，其特征在于，该程序被处理器执行时实现上述任一所述的所述的基于时空 注意力增强图卷积的异常步态识别方法的步骤。
[0034]
与现有技术相比，本发明的有益效果是：
[0035]
(1)本发明将图卷积神经网络用于基于骨架数据的异常步态识别，基于身 体结构和步态动作特点的构建了时空步态图，充分考虑了异常步态和骨架数据 的特点，更高效的提取异常步态的空间特征和时间特征。
[0036]
(2)本发明提出了时空联合注意力机制，逐层强化关键时空关节点的特征， 增强网络提取细粒度关节特征的能力。通过在两个具有不同步态模式数量和样 本数量的数据集上进行的大量实验，验证了所提方法的有效性和优越性。
[0037]
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述 中变得明显，或通过本发明的实践了解到。
附图说明
[0038]
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发 明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
[0039]
图1是本发明实施例1提供的基于时空注意力增强图卷积的异常步态识别 方法整体流程示意图；
[0040]
图2是本发明实施例1提供的步态骨架图；
[0041]
图3(a)为本发明实施例1所示的空间步态骨架图分解三个步态骨架子图；
[0042]
图3(b)为本发明实施例1提取关节轨迹特征所建立的子图；
[0043]
图3(c)为本发明实施例1提取关节角度特征所建立的子图；
[0044]
图3(d)为本发明实施例1提取步态参数特征所建立的子图；
[0045]
图4是本发明实施例1提供的多尺度图卷积网络结构；图5(a)
‑
图5(c)是本发明实施例1提供的注意力模块图。图6是本发明实施例1提供的逐层注意力增强的多尺度图卷积网络算法框 架图；图7(a)
‑
图7(c)是本发明实施例1提供的可视化注意力权重分布图。
具体实施方式
[0046]
下面结合附图与实施例对本发明作进一步说明。
[0047]
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。 除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的 普通技术人员通常理解的相同含义。
[0048]
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图 限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确 指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说 明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器 件、组件和/或它们的组合。
[0049]
本技术提出了自动提取异常步态表征，基于关节之间的身体连接尺度，获 得行走过程中的身体姿态特征，考虑到在临床步态分析中，行走过程中的步态 参数是重要的分析内容，例如步长等，本技术基于步态关节运动关系尺度提取 关节的运动特征，通过多种尺度的卷积融合可以增强步态特征的表达能力。本 发明提出了时空联合注意力机制，通过获取重要关节的时空位置，逐层的对时 空关节特征图进行加强，增强了异常步态分类的效果。
[0050]
实施例一
[0051]
如图1所示，本发明提供了基于时空注意力增强图卷积的异常步态识别方 法，包括如下步骤：
[0052]
步骤1：获取步态骨架关节数据
[0053]
由kinect相机获取人体步行过程中的关节坐标数据，所述步态骨架关节数 据包括下肢关节中的踝关节，膝关节，髋关节和髋关节中点七个关节点的数据。
[0054]
作为具体的实施例，仅选用下肢关节中的踝关节，膝关节，髋关节和髋关 节中点七个关节点的数据，没有使用脚尖数据的原因在于，脚部的数据偏差较 大。
[0055]
guess等人验证了在起跳动作中kinects v2测量人体髋关节和膝关节角度 的准确性和可靠性；eltoukhy等人验证了人在跑步机上行走时，使用kinect v2 进行步态评价的可靠性。在步态的运动学方面，矢状面内的膝关节和髋关节角 度与vicon系统的测量结果一致性较高，而踝关节的测量结果一致性较差； tanaka等人又验证了人在平地上行走时，kinect v2测量步态参数的可靠性， 发现髋关节和膝关节角度在矢状面和冠状面内的误差都在5度以内，符合临床 使用要求；khokhlova等人针对不平衡步态验证了kinect相机测量得到的髋关 节和膝关节的屈曲和伸展、外展和内收、外旋和内旋三种运动学参数的准确性， 发现髋关节和膝关节的屈曲和伸展角精度较高。通过上述研究表明，kinect v2 相机在测量运动学参数上，尤其是髋关节和膝关节角度达到了临床应用的要求。
[0056]
步骤2：提取步态特征向量，根据步态特征向量x和每一帧骨架邻接矩阵a 构建步态骨架图序列；
[0057]
定义人体骨架图其中是n个身体关节点的集合， ε＝{v
i
v
j
|(i,j)∈h}是每一帧骨架数据的关节连接边的几何集，h表示身体关节点 连接关系的集合。
[0058]
所述人体骨架图为无向图，是邻接矩阵(邻接矩阵是图的一种数学 性
质)，如果v
i
v
j
存在，则a
ij
＝1，否则a
ij
＝0。
[0059]
其中，是节点特征向量，其中，t是骨架序列的帧数，n是每一帧 的关节点个数，c是关节点特征的维数，即x
t
,n,:是指在第t帧中关节n的特征， 1≤t≤t，1≤n≤n。
[0060]
所述每个步态骨架图序列就可以用上述步态特征向量x和每一帧骨架邻接 矩阵a共同表示，其中，是第t帧的骨架关节数据。
[0061]
如图2所示，从kinect相机捕获的25个关节点坐标数据中截取7个下肢 关节的坐标信息构建步态骨架图序列。
[0062]
步骤3：根据步态骨架图序列和基于身体结构和步态动作的多尺度图卷积神 经网络模型，得到异常步态深度表征；；
[0063]
其中，所述基于身体结构和步态动作的多尺度图卷积神经网络的构建过程 包括如下步骤：
[0064]
基于骨架关节数据和邻接矩阵，通过图卷积逐层更新得到异常步态的时空 深度特征，所述更新法则为：使用全连接层映射节点特征，通过左乘规范化的 邻接矩阵对图结构中的每个节点及其邻居节点特征进行加权平均，然后通过激 活函数输出作为这一节点更新特征。
[0065]
具体的，所述图卷积逐层更新法则如下：
[0066][0067]
其中，为规范化的邻接矩阵，是第t帧的骨架关节数据， 为可学习的参数，c
l
,c
l 1
分别是第l,l 1层节点特征的维度，σ(
·
)为激 活函数。
[0068]
邻接矩阵规范化的方法为：通过对称规范图拉普拉斯矩阵 [0069]
或，随机游走规范化矩阵
[0070]
或，在图卷积为防止梯度爆炸采用其中
[0071]
图卷积仅能聚合相邻节点的特征，仅以身体关节的连接关系建立步态骨架 图，不能有效的提取步态时空特征。步态时空特征包括关节轨迹特征、关节角 度特征以及步态参数特征。为提高步态时空特征的建模能力，依据上述三种特 征的表现形式将图3(a)所示的空间步态骨架图分解为三个步态骨架子图，每个 子图代表了步态骨架图的相应尺度的特征，图分量示意如图3(b)
‑
图3(d)所示：
[0072]
其中，图3(b)为提取关节轨迹特征所建立的子图，邻接矩阵a
root
＝i，也就 意味着，在这一组中的图卷积实际上就是通过全连接层将每个节点的特征进行 了线性变换。
[0073]
图3(c)为提取关节角度特征所建立的子图，提取关节角度等步态运动学参 数特征需要使用三个相邻关节点的坐标计算关节角度，所以将邻接矩阵定义为 a
angle
，具体如下式所示：
[0074]
[0075]
图3(d)为提取步态参数特征所建立的子图，在临床步态分析中，步长、步 宽、膝盖高度、髋关节高度都是重要的步态特征参数，根据这些特征确定行走 过程中关节间运动连接关系，其邻接矩阵a
gait
为：
[0076][0077]
如图4所示，通过分组后，得到每一层图卷积，为：
[0078][0079]
其中，其中，其中，是的度量矩阵，的度量矩阵，是的度量矩阵。经过 图卷积的提取空间特征之后，使用时间卷积网络tcn提取步态序列的时间特征。
[0080]
为了进一步获取细粒度的异常步态时空，缓解图卷积更新过程中的特征过 度光滑问题，我们逐层增加了时空关节点注意力机制，增强异常关节点特征。
[0081]
图5(a)
‑
图5(c)为注意力模块图，如图5(a)
‑
图5(c)所示，求时空注意 力图的时候，考虑到单个关节点包含的信息较少，为了增大注意力的感知区域， 本实施例时空注意力图的求解包括如下步骤：
[0082]
将步态时空特征向量进行维度变换得到时间特征向量和空间特征向量
[0083]
通过全连接层分别求解时间和空间的注意力因子；
[0084]
其中，时间注意力因子为：
[0085]
空间注意力因子为：
[0086]
其中，
[0087]
基于时间和空间的注意力因子得到联合时空注意力权重分布图，并进行高 斯归一化：att
(l)
＝softmax(φ
(l)
θ
(l)t
)；
[0088]
其中，
[0089]
通过时空注意力增强的步态时空特征向量为：
[0090]
如图6所示构建时空注意力增强的图卷积网络进行异常步态识别，使用如 下损失函数进行网络优化；
[0091][0092]
其中，为分类损失函数，为保证注意力权重矩阵稀疏性的损失函数， 为预测向量，y
c
为标签向量，m是步态的数量，l为网络层数，h是注意力 的头数，λ为权重系
数。
[0093]
实验过程：
[0094]
使用两个公开的数据集对所提方法进行验证，采集数据的方式如下：
[0095]
步行步态数据集(the walking gait dataset)：志愿者穿着不同厚度的鞋 垫模拟不平衡步态，采用5厘米、10厘米和15厘米的鞋底和4公斤的配重，使 志愿者可以模拟不同程度的不平衡步态。所述数据通过跑步机和kinect v2获 得，共九名志愿者参与了数据收集，每人采集一个正常步态和八个异常步态序 列；
[0096]
多模态步态数据集(mmgs)：采用了鞋垫让志愿者模拟异常步态，或要求参 与者在走路时不要弯曲单侧膝盖模拟异常步态，在收集数据时只使用了7厘米 的鞋垫，从而模拟异常步态，共27名志愿者按照每种步态步行了5到7次。
[0097]
消融实验：表1为各种设置下模型精度的统计结果。模型1是基于关节轨 迹特征图和关节角度特征图的图卷积网络。模型2在模型1的基础上增加了步 态参数特征图。模型3在模型2的基础上增加了注意力模块。
[0098]
表1
[0099] 模型1模型2模型3(图6)平均值(％)88.5892.1692.26最小值(％)83.2387.1688.69最大值(％)92.294.1894.56方差3.81
×
10
‑42.18
×
10
‑41.57
×
10
‑4[0100] 基于多模态步态数据集(mmgs)数据集进行了消融实验，本实施例中在每 个步态上随机截取48帧，作为一个步态数据，这样使得每次训练的数据实际上 是不一样的，就会使训练结果落入不同的极小值，同时受限于数据集的样本量 较小，所以训练结果会有一定的随机性。
[0101]
本实施例对每个模型训练50次，每次的训练结果在测试集上测试50次取 均值，然后对每个模型的结果进行分析。从表1中可以看出，三种模型训练的 结果，最小值、最大值、平均值依次增大，标准差依次减小，增加步态运动关 系尺度的图卷积，性能得到了显著的提高，这充分说明了增加关节间步态运动 关系尺度对于提取异常步态的时空特征具有重要的作用，逐层特征增强的时空 联合注意力机制也增强了模型提取步态局部特征的能力。值得注意的是，模型 的训练结果的标准差依次减小，这说明模型训练的稳定性也逐渐增加。
[0102]
如图7(a)
‑
图7(c)可视化注意力图，从注意力图可以看出，通过注意力增 强特征图可以提高对关节细粒度特征的提取能力。
[0103]
对比实验
[0104]
如表2所示为在步行步态数据集(the walking gait dataset)上的实验 结果对比：
[0105]
表2
[0106][0107][0108]
在这一数据集上，本发明的方法优于其他所有最先进的方法，达到100％的 准确性。这说明我们将图卷积网络用于基于骨架数据的异常步态识别具有显著 的效果。
[0109]
表3所示为在多模态步态数据集(mmgs)上的实验结果对比：
[0110]
表3
[0111][0112]
从实验结果本身和对数据的处理两个方面进行比较得到如下结论：
[0113]
在长短期记忆网络模型中使用原始骨架数据进行步态分类的精度为48％，对 数据进行滤波、步态周期分割并计算出膝关节和髋关节的关节角度作为步态特 征进行步态分类的精度最高为91％。而本公开的模型没有对骨架数据做任何预处 理，随机从一个步态序列截取48帧作为一个步态数据，模型的最大精度为94.01％ 高于使用经过预处理的手工步态特征的长短期记忆网络模型，远高于使用原始 骨架数据的长短期记忆网络模型，而且本公开的训练是端到端的，这也说明了 本公开采用的方法对于提取步态骨架数据的时空依赖性具有重要的作用。
[0114]
实施例二
[0115]
本实施例提供了基于时空注意力增强图卷积的异常步态识别系统，包括：
[0116]
步态特征向量提取模块，其被配置为：获取人体步态骨架关节数据，提取 步态特征向量；
[0117]
步态骨架图序列获取模块，其被配置为：根据步态骨架图序列和基于时空 多尺度图卷积神经网络模型，提取异常步态时空特征表征；
[0118]
根据异常步态时空特征表征构建时空关节点注意力机制，逐层强化异常步 态的
关键时空关节的特征，得到异常步态分类结果。
[0119]
实施例三
[0120]
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上 并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时 实现实施例一所述的基于时空注意力增强图卷积的异常步态识别方法的步骤。
[0121]
实施例四
[0122]
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其特征 在于，该程序被处理器执行时实现实施例一所述的所述的基于时空注意力增强 图卷积的异常步态识别方法的步骤。
[0123]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计 算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和 硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算 机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储 器等)上实施的计算机程序产品的形式。
[0124]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品 的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或 方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的 结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机 或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他 可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多 个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0125]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程， 是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算 机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。 其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read
‑
only memory， rom)或随机存储记忆体(random accessmemory，ram)等。
[0126]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领 域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则 之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之 内。