一种基于长短期记忆网络的步态相位实时检测方法与流程

1.本发明涉及医疗康复类外骨骼机器人技术领域，是一种基于长短期记忆网络的步态相位实时检测方法。


背景技术：

2.(1)传感系统：实时稳定地跟随人的行为是对外骨骼机器人的基本要求，要保证这一点需要准确地识别人体步态相位。因此，传感感知系统和步态相位识别算法便尤为重要。基于摄像头的运动捕捉系统是一种用于准确测量运动物体在三维空间运动状况的设备，它通过排布在空间中的数个视频捕捉设备将运动物体的运动状况以图像的形式记录下来，然后利用计算机对图像数据进行处理。但是，运动捕捉系统只适用于室内环境，难以在室外或情况更加复杂的环境下使用。脚部开关能够在步态周期中直接检测脚部与地面的接触情况，足底压力鞋垫可以直观地反映步态特征，但是传感器的位置、接线方式等因素均会影响测量的精度。另外，考虑到力传感器对鞋垫附着的敏感性和使用寿命的有限性，它并不适合在日常生活中使用。与力传感器相比，惯性测量单元(imu)更适合长期使用。imu已被广泛应用于下肢步行运动学的估计，与加速度计、陀螺仪和磁力计相结合的imu可以输出原始数据(加速度、角速度和磁场)和融合数据(单元的绝对航向)。
3.(2)步态相位检测算法：最简单的步态相位检测方法是阈值法，它是指根据对原始数据的观察，手动设置阈值来划分步态相位，该方法直接基于输出的传感器信号，当信号达到一定阈值时，触发步态事件检测，阈值方法直观但泛化性能较差。更复杂的方法是机器学习方法，机器学习方法是从周期或准周期的步态数据中提取不同步态相位的模式。基于机器学习的步态相位检测主要有两种方法，分别是基于模型和基于距离的方法，基于模型的方法通过采用判别和生成模型来描述数据的分布，基于距离的方法通过采用距离测量将运动模式与参考集相匹配，当可用数据有限时，基于模型的方法面临过拟合问题，此时基于距离的方法更好。在适用于步态相位检测的所有机器学习方法中，隐马尔可夫模型(hmm)应用最广泛并且取得了比支持向量机(svm)、高斯混合模型(gmm)和线性判别分析(lda)更好的性能。多层感知器(mlp)的优势在于其非线性拟合的能力，也取得了令人满意的结果。长短期记忆(lstm)递归神经网络通过门控状态来控制传输状态，能够同时利用当前时刻的信息与历史信息，非常适合基于时间序列数据进行分类、处理和预测。在语音识别等方面lstm已经得到了广泛应用，并且取得了比以往序列模型更好的效果。因此，主要选用lstm完成步态相位检测并检验它在这一方面的应用价值。


技术实现要素：

4.本发明为了筛选传感器的最佳安装位置以简化系统并且保证使用小腿上单个惯性测量单元(imu)对典型时间序列进行测量时，所得绝对航向和角速度的精度，本发明提供了一种基于长短期记忆网络的步态相位实时检测方法，本发明提供了以下技术方案：
5.一种基于长短期记忆网络的步态相位实时检测方法，包括以下步骤：
6.步骤1：建立数据采集系统，通过数据采集系统采集imu数据；
7.步骤2：根据采集的imu数据，进行预处理，对角度和角速度进行标注；
8.步骤3：对处理后的数据进行划分，划分为训练集和测试集；
9.步骤4：建立lstm网络架构，并对训练集进行训练，当训练误差收敛时停止迭代；
10.步骤5：待训练完成后，通过测试集对训练后的步态相位分类器进行测试，将相位分类器给出的步态相位分类标签与实际标签进行对比，确定分类准确率；
11.步骤6：建立传统机器学习模型用于对比分类效果，与步骤5中得到的分类准确率进行比较，确定检测结果。
12.优选地，所述步骤1具体为：
13.建立数据采集系统，所述系统包括微控制器、imu和脚踏开关；通过三个imu对受试者进行步态检测，三个脚踏开关用于划分阶段并向训练数据添加标签；将三个imu传感器分别安装在受试者下肢的三个目标位置上，分别为小腿外侧的上部、中部和下部，用于获取角度和速度信息；
14.将三个脚踏开关分别安装在第一跖骨、第五跖骨、脚后跟处，用于检测脚部与地面的接触；单片机通过串口与imu进行通信、通过数字输入与脚踏开关进行通信，以200hz的采样率对信号进行采样，采样后将数据导出。
15.优选地，用于采集小腿处imu信号与足底脚踏开关信号的信号采集，使用的采集设备为delsys trigno肌电采集系统，采集系统中包含无线通信基站与16个无线肌电电极，每个电极内置imu信号采集器，其中imu信号包含x、y、z轴加速度信号及x、y、z轴角速度信号。
16.优选地，对受试者右小腿外侧上部、中部、下部的部分表面皮肤进行去角质处理，随后分别粘贴3个imu传感器。
17.优选地，所述步骤2具体为：数据预处理是对角度和角速度进行标注，采用四相位模式对步态相位进行划分，分为：脚跟着地阶段、平足阶段、脚跟离地阶段和摆动阶段；脚跟着地阶段是指只有脚跟与地板接触的状态，脚跟离地阶段对应于脚跟未与地板接触的状态，平足阶段脚底与地板接触，摆动阶段对应于脚在空中摆动的状态。
18.优选地，每位佩戴数据采集系统的受试者都以4.5km/h的速度在跑步机上行走5
±
1min；实验重复进行四次，每两次实验的间隙要求受试者在跑步机上站立休息三分钟。
19.优选地，所述步骤3具体为：
20.每个imu传感器及对应的步态相位标签构成一个数据集，共得到三个数据集，分别记为数据集1、数据集2、数据集3；将每个数据集中的数据划分为两部分，其中，训练集占总量的80％，测试集占总量的20％，共得到三个训练集和三个测试集。
21.优选地，所述步骤4具体为：建立lstm的网络结构，所述结构由两个并行的lstm网络、三个线性层和一个softmax层组成，其中softmax层的四个输出单元对应四种步态；两个独立并行的lstm分别用于处理速度信号和角度信号，每个lstm网络含有三个隐藏层，每个隐藏层有60个记忆单元；每个lstm网络之后是60
×
4的线性层；两个全连接层的输出经过合并输入给8
×
4的线性层，网络的最后是softmax层，四个输出单元对应四种步态相位；
22.在三个训练集上分别对神经网络进行训练，观察训练误差，当训练误差收敛时停止迭代。
23.优选地，所述步骤5具体为：训练完成后，用各个数据集中的测试集部分对训练后
的步态相位分类器进行测试；将相位分类器给出的步态相位分类标签与实际标签进行对比，并计算分类准确率，将测试集上的分类准确率最高的安装位置确定为imu传感器的最优安装位置；并且将最优安装位置对应的数据集定义为最优数据集，进而定义最优训练集和最优测试集。
24.优选地，所述步骤6具体为：
25.建立传统机器学习模型用于对比分类效果，分别建立支持向量机和多层感知机两种分类模型并在最优训练集上进行训练，训练结束后在最优测试集上进行测试；将二者的分类准确率分别与步骤5中得到的分类准确率进行比较，确定检测结果。
26.本发明具有以下有益效果：
27.本发明在该步态相位实时检测算法的目的是筛选传感器的最佳安装位置以简化系统并且保证使用小腿上单个惯性测量单元(imu)对典型时间序列进行测量时，所得绝对航向和角速度的精度。首先尝试imu传感器的多个安装位置，然后通过实验筛选出最佳位置。之后再通过与传统机器学习模型进行对比实验来验证基于长短期记忆网络的步态相位实时检测算法的分类效果。
28.同时，lstm是一种特殊的循环神经网络(rnn)，相比于多层感知器，rnn的输出不仅取决于当前的输入还依赖于过去时刻的历史数据。在rnn中，隐藏层在某一时刻的输出不仅与当前时刻的输入有关还与前一时刻隐藏层的输出有关，因此其中包含了历史信息，更适用于时序关系紧密的信号(如imu信号)。
29.然而，标准rnn在训练时可能会发生梯度消失或梯度爆炸，lstm架构就是为了解决这个问题而提出的。它与标准rnn的不同之处在于lstm的隐含层中使用了记忆单元。lstm的记忆单元由三个门组成：输入门、遗忘门和输出门。输入门决定记住多少新内容，而遗忘门控制忘记多少旧内容，输出门控制向外发送输出。各个门通过记住和遗忘信息来控制记忆单元的输出。lstm对长期和短期序列都有效。
附图说明
30.图1为本发明方法流程图；
31.图2为lstm网络；
32.图3为记忆单元；
33.图4为imu传感器的粘贴位置；
34.图5为脚踏开关的粘贴位置；
35.图6为网络的整体结构。
具体实施方式
36.以下结合具体实施例，对本发明进行了详细说明。
37.具体实施例一：
38.根据图1至图6所示，本发明为解决上述技术问题采取的具体优化技术方案是：本发明涉及一种基于长短期记忆网络的步态相位实时检测方法。
39.一种基于长短期记忆网络的步态相位实时检测方法，包括以下步骤：
40.步骤1：建立数据采集系统，通过数据采集系统采集imu数据；
41.所述步骤1具体为：
42.建立数据采集系统，所述系统包括微控制器、imu和脚踏开关；通过三个imu对受试者进行步态检测，三个脚踏开关用于划分阶段并向训练数据添加标签；将三个imu传感器分别安装在受试者下肢的三个目标位置上，分别为小腿外侧的上部、中部和下部，用于获取角度和速度信息；
43.将三个脚踏开关分别安装在第一跖骨、第五跖骨、脚后跟处，用于检测脚部与地面的接触；单片机通过串口与imu进行通信、通过数字输入与脚踏开关进行通信，以200hz的采样率对信号进行采样，采样后将数据导出。
44.用于采集小腿处imu信号与足底脚踏开关信号的信号采集，使用的采集设备为delsys trigno肌电采集系统，采集系统中包含无线通信基站与16个无线肌电电极，每个电极内置imu信号采集器，其中imu信号包含x、y、z轴加速度信号及x、y、z轴角速度信号。
45.采集数据前，为了尽量减少实验过程中存在的干扰因素，对受试者右小腿外侧上部、中部、下部的部分表面皮肤进行去角质处理，随后分别粘贴3个imu传感器，粘贴位置如图3所示。将delsys数据采集模式设定为离线模式。随后在受访者的脚底粘贴三个脚踏开关，用于检测脚部与地面的接触情况，三个脚踏开关分别位于脚后跟、第一跖骨和第五跖骨，如图4所示。
46.步骤2：根据采集的imu数据，进行预处理，对角度和角速度进行标注；
47.所述步骤2具体为：数据预处理是对角度和角速度进行标注，采用四相位模式对步态相位进行划分，分为：脚跟着地阶段、平足阶段、脚跟离地阶段和摆动阶段；脚跟着地阶段是指只有脚跟与地板接触的状态，脚跟离地阶段对应于脚跟未与地板接触的状态，平足阶段脚底与地板接触，摆动阶段对应于脚在空中摆动的状态。
48.每位佩戴数据采集系统的受试者都以4.5km/h的速度在跑步机上行走5
±
1min；实验重复进行四次，每两次实验的间隙要求受试者在跑步机上站立休息三分钟。
49.步骤3：对处理后的数据进行划分，划分为训练集和测试集；
50.所述步骤3具体为：
51.每个imu传感器及对应的步态相位标签构成一个数据集，共得到三个数据集，分别记为数据集1、数据集2、数据集3；将每个数据集中的数据划分为两部分，其中，训练集占总量的80％，测试集占总量的20％，共得到三个训练集和三个测试集。
52.对所有信号进行同步采样，采样率为200hz。之后，对采集到的角度和角速度信号进行标注。每个步态阶段都按脚踏开关进行分类，标签0、1、2、3分别代表脚跟着地、平足、脚跟离地、摆动。
53.步骤4：建立lstm网络架构，并对训练集进行训练，当训练误差收敛时停止迭代；
54.所述步骤4具体为：建立lstm的网络结构，所述结构由两个并行的lstm网络、三个线性层和一个softmax层组成，其中softmax层的四个输出单元对应四种步态；两个独立并行的lstm分别用于处理速度信号和角度信号，每个lstm网络含有三个隐藏层，每个隐藏层有60个记忆单元；每个lstm网络之后是60
×
4的线性层；两个全连接层的输出经过合并输入给8
×
4的线性层，网络的最后是softmax层，四个输出单元对应四种步态相位；
55.网络的整体结构如图5所示。选取标注后的小腿运动信号作为此分类算法的输入，在三个训练集上分别进行训练和测试，通过测试阶段的分类准确率筛选出传感器的最优安
装位置并确定最优数据集。
56.在三个训练集上分别对神经网络进行训练，观察训练误差，当训练误差收敛时停止迭代。
57.步骤5：待训练完成后，通过测试集对训练后的步态相位分类器进行测试，将相位分类器给出的步态相位分类标签与实际标签进行对比，确定分类准确率；
58.所述步骤5具体为：训练完成后，用各个数据集中的测试集部分对训练后的步态相位分类器进行测试；将相位分类器给出的步态相位分类标签与实际标签进行对比，并计算分类准确率，将测试集上的分类准确率最高的安装位置确定为imu传感器的最优安装位置；并且将最优安装位置对应的数据集定义为最优数据集，进而定义最优训练集和最优测试集。
59.步骤6：建立传统机器学习模型用于对比分类效果，与步骤5中得到的分类准确率进行比较，确定检测结果。
60.所述步骤6具体为：
61.建立传统机器学习模型用于对比分类效果，分别建立支持向量机和多层感知机两种分类模型并在最优训练集上进行训练，训练结束后在最优测试集上进行测试；建立支持向量机和多层感知机两种分类模型作为对照，在最优测试集上对上述两种对照模型进行测试并计算分类准确率。将二者的分类准确率分别与步骤5中得到的分类准确率进行比较，确定检测结果。
62.以上所述仅是一种基于长短期记忆网络的步态相位实时检测方法的优选实施方式，一种基于长短期记忆网络的步态相位实时检测方法的保护范围并不仅局限于上述实施例，凡属于该思路下的技术方案均属于本发明的保护范围。应当指出，对于本领域的技术人员来说，在不脱离本发明原理前提下的若干改进和变化，这些改进和变化也应视为本发明的保护范围。