一种基于深度学习的肌电信号手势识别方法及装置

1.本发明涉及肌电信号的识别和处理技术领域，特别是涉及一种基于深度学习的肌电信号手势识别方法及装置。


背景技术：

2.表面肌电信号(semg)是一种能够反应生物运动过程中肌肉兴奋程度的生物电信号刺激，目前被广泛应用在人机交互，假肢控制，康复训练等方面。特别是在手势识别和假肢控制控制领域，作为一种可靠的信号源，相比于传统的数字图像，imu传感数据，数据手套等信号采集方式而言，肌电信号具有反应迅速(一般超前人类意识30-150ms)，抗干扰等优点。
3.基于肌电信号的手势识别方法研究按照识别算法主要划分为基于传统方法和基于深度学习方法两种。在基于传统的手势识别方法中，常用的有隐马尔可夫模型(hidden markov model,hmm)，近邻法(k-nearest neighbor，knn)，支持向量机(support vector machine，svm)，随机森林(random forest，rf)，线性判别分析(lineardiscriminant analysis，lda)等特征识别方法。此类方法从信号中提取的不同的时频域特征加以处理，此类方法识别算法复杂，深切精度较低，无法很好的发掘数据和手势动作的潜在信息。第二类基于深度学习的手势识别方法随着21世纪人工智能的发展，特别是信息时代下大数据集的出现，成为手势识别领域的研究热点，自1993年以来神经网络开始就被用于从表面肌电信号记录中实现手势分类。较早的研究中，使用cnn进行分类的比较，在准确率上超过了传统的支持向量机的识别方法。然而此类方法的研究中大多使用复杂的信号预处理方法从中发现数据的不同特征作为输入信号分类，这大大增加了计算的成本和软件维护难度。降低了的信号识别的实时性，这使得在手势识别方法应用在实时应用中困难重重。
4.因此提供一种快速，计算成本低且识别精度高的手势识别方法对手势识别应用于现实的人机交互具有重大的意义。如何权衡识别精度和处理成本，是目前研究人员亟待解决的一大问题也是目前手势识别方法应用于现实人机交互的最大阻碍。


技术实现要素：

5.本发明提供一种基于深度学习的肌电信号手势识别方法及装置，以克服现有手势识别技术在识别流程中数据处理延迟大，识别精度低的问题。旨在利用人工智能技术在肌电信号手势识别方面达到高准确度和健壮性，同时缩短数据处理时间。
6.为了解决上述技术问题，本发明采用以下技术方案：
7.根据本发明的第一技术方案，提供一种基于深度学习的肌电信号手势识别方法，所述方法包括：根据肌电信号确定对应的特征图像；将所述特征图像输入至训练好的分类模型中进行分类，所述分类模型包括lstm层和卷积网络层，所述lstm层包括两个隐藏层，所述卷积网络层包括五个卷积层，每一层卷积层之间使用批标准化层和激活函数进行处理，在第三层卷积层后使用dropout 层缓解过拟合，在第一层和第四层卷积层后均使用混合注
意力机制模块，第五层卷积层前使用自适应最大池化层。
8.根据本发明的第二技术方案，提供一种基于深度学习的肌电信号手势识别装置，所述装置包括处理单元以及分类模型；所述分类模型包括lstm层和卷积网络层，所述lstm层包括两个隐藏层，所述卷积网络层包括五个卷积层，每一层卷积层之间使用批标准化层和激活函数进行处理，在第三层卷积层后使用dropout层缓解过拟合，在第一层和第四层卷积层后均使用混合注意力机制模块，第五层卷积层前使用自适应最大池化层；所述处理单元被配置为根据肌电信号确定对应的特征图像，并将对应的特征图像输出至所述分类模型；所述分类模型配置为根据所述特征图像输出分类结果。
9.与现有技术相比，本发明的有益效果在于：
10.(1)通过简单的数据处理方法简化了数据处理的流程，减少了数据处理时间。使用数据增强的方法有效的模拟了数据实时采集时可能出现的数据抖动和噪声干扰，有利于提高训练的精度。
11.(2)使用组合网络模型有效的提高了肌电信号手势识别的精度。使用注意力机制的方法对肌电信号提取过程中的突出信息，特别是不同通道和空间上的显著信息进行了加强，使网络层对这类数据更为敏感，有利于较大产生动作的肌电信号的训练与识别。
12.(3)短时间的窗口划分大大减少了数据量，节约了训练成本。
附图说明
13.图1示出了根据本发明实施例的一种基于深度学习的肌电信号手势识别方法的流程图。
14.图2示出了根据本发明实施例的一种基于深度学习的肌电信号手势识别方法的流程图。
15.图3示出了根据本发明实施例的肌电信号上的窗口滑动图。
16.图4示出了根据本发明实施例的平稳小波包分解示意图。
17.图5示出了根据本发明实施例的平稳小波包分解特征图像示意图。
18.图6示出了根据本发明实施例的一种基于深度学习的肌电信号手势识别方法的分类模型训练流程图。
具体实施方式
19.以下列举的部分实施例仅仅是为了更好地对本发明进行说明，但本发明的内容并不局限在应用于所举的实施例中。所以熟悉本领域的技术人员根据上述发明内容对实施方案进行非本质的改进和调整而应用于其他实施例中，仍在本发明的保护范围之内。
20.现在结合说明书附图对本发明做进一步的说明。
21.图1示出了根据本发明实施例的一种基于深度学习的肌电信号手势识别方法的流程图。本发明实施例提供一种基于深度学习的肌电信号手势识别方法。如图1所示，该方法始于步骤s100，根据肌电信号确定对应的特征图像。
22.最后，在步骤s200，将所述特征图像输入至训练好的分类模型中进行分类，所述分类模型包括lstm层和卷积网络层，所述lstm层包括两个隐藏层，所述卷积网络层包括五个卷积层，每一层卷积层之间使用批标准化层和激活函数进行处理，在第三层卷积层后使用
dropout层缓解过拟合，在第一层和第四层卷积层后均使用混合注意力机制模块，第五层卷积层前使用自适应最大池化层。通过分类模型分类后即对肌电信号进行了识别。本发明使用深度学习技术，避免了人工构造特征，在实际应用时，可以方便的扩展到其他类似的任务之中。
23.在具体利用分类模型进行分类时，将特征图输入模型进行分类，分类阶段使用lstm-cnn的组合网络，网络主要使用lstm层和conv2卷积网络层进行组合，卷积网络的每一层之间使用批标准化(batchnorm)层和激活函数relu 进行处理，lstm层使用两个隐藏层，每个隐藏层输出为64，在对lstm输出进行升维拼接后，三通道的数据进入卷积层部分，卷积网络层第一，二，三，四，五层卷积数量分别为64,64,128，64，52。前四层的卷积核均为3x3，第五层卷积层的卷积核为1x1。第三层后使用值为0.3的dropout层缓解过拟合，在第一层和第四层卷积层后使用混合注意力机制模块cbam。第五层前使用输出尺寸为1的自适应最大池化层。
24.需要说明的是，lstm层是长短期记忆网络(lstm，long short-termmemory)层，lstm是一种时间循环神经网络。使用长短时记忆网络能很好的提取肌电信号隐藏的时序信息，有利于像肌电信号这种兼具时频域的特征信号分类。
25.卷积网络层是一个卷积神经网络，利用卷积神经网络进行信号的分类，具有很好的泛化性，而由于肌电特征图像的表现形式为具有通道，长，宽高三维的数据，所以使用二维卷积网络相对于一维卷积网络能更好的发掘其内在信息。本发明实施例通过在第一层和第四层卷积层后均使用混合注意力机制模块 (cbam)。即使用混合注意力机制对肌电信号的空间和通道相关性进行了处理，有效提高了数据的识别精度。且cbam属于一种轻量型网络模块，增加的参数很少。
26.因此，利用本发明实施例所提供的方法对肌电信号进行手势识别时，使用流程较为简单，方便代码的维护和移植，在在线系统的开发上具有更高的可用性和健壮性。
27.在一些实施例中，图2示出了根据本发明实施例的一种基于深度学习的肌电信号手势识别方法的流程图。如图2所示，所述根据肌电信号确定对应的特征图像，包括以下步骤：
28.步骤s101，对肌电信号进行低通滤波。示例性的，使用一阶1hz的高通巴特沃斯滤波器对肌电信号进行低通滤波。
29.步骤s102，对滤波后的肌电信号进行标准化；
30.步骤s103，对标准化后的肌电信号进行窗口数据划分，得到原始肌电图像，通过三阶平稳小波包分解将所述原始肌电图像中每个通道的肌电信号分解为多个不同波段，各个通道的肌电数据整合得到对应的特征图像。图3示出了肌电信号上的窗口滑动图。图4示出了三阶平稳小波包分解的效果图。图5示出了平稳小波包分解特征图像图。结合图2-图5所示，本发明使用平稳小波包变换方法显著提高了数据的处理速度和识别精度。
31.在一些实施例中，图6示出了根据本发明实施例的一种基于深度学习的肌电信号手势识别方法的分类模型训练流程图。如图6所示，通过如下步骤对所述分类模型进行训练：
32.步骤s201，构建分类模型；
33.步骤s202，获取第一数据集，所述第一数据集包括多个经过预处理后的肌电信号；
34.步骤s203，对所述第一数据集中的各个肌电信号随机添加25-45db的随机噪声进行数据增强，得到第二数据集；
35.步骤s204，将所述第一数据集与所述第二数据集合并得到训练数据集；
36.步骤s205，利用所述训练数据集训练所述分类模型。
37.上述训练过程中，本发明创造性地使用添加抖动噪声的方法有效的模拟了数据的干扰和抖动，训练结果在识别时更具有鲁棒性。
38.本发明实施例还提供一种基于深度学习的肌电信号手势识别装置，所述装置包括处理单元以及分类模型；所述分类模型包括lstm层和卷积网络层，所述lstm层包括两个隐藏层，所述卷积网络层包括五个卷积层，每一层卷积层之间使用批标准化层和激活函数进行处理，在第三层卷积层后使用dropout层缓解过拟合，在第一层和第四层卷积层后均使用混合注意力机制模块，第五层卷积层前使用自适应最大池化层；
39.所述处理单元被配置为根据肌电信号确定对应的特征图像，并将对应的特征图像输出至所述分类模型；
40.所述分类模型配置为根据所述特征图像输出分类结果。
41.在一些实施例中，所述处理单元被进一步配置为：对肌电信号进行低通滤波：对滤波后的肌电信号进行标准化；对标准化后的肌电信号进行窗口数据划分，得到原始肌电图像，通过三阶平稳小波包分解将所述原始肌电图像中每个通道的肌电信号分解为多个不同波段，各个通道的肌电数据整合得到对应的特征图像。
42.在一些实施例中，所述处理单元被进一步配置为使用一阶1hz的高通巴特沃斯滤波器对肌电信号进行低通滤波。
43.在一些实施例中，所述装置还包括训练单元，所述训练单元被配置为：构建分类模型；获取第一数据集，所述第一数据集包括多个经过预处理后的肌电信号；对所述第一数据集中的各个肌电信号随机添加25-45db的随机噪声进行数据增强，得到第二数据集；将所述第一数据集与所述第二数据集合并得到训练数据集；利用所述训练数据集训练所述分类模型。
44.在一些实施例中，所述五个卷积层，第一至五层卷积层的卷积数量分别为 64,64,128，64，52，前四层卷积层的卷积核均为3x3，第五层卷积层的卷积核为1x1。
45.本发明实施例提供的基于深度学习的肌电信号手势识别装置与在先阐述的方法的技术效果基本一致，在此不赘述。
46.以上描述旨在是说明性的而不是限制性的。例如，上述示例(或其一个或更多方案)可以彼此组合使用。例如本领域普通技术人员在阅读上述描述时可以使用其它实施例。另外，在上述具体实施方式中，各种特征可以被分组在一起以简单化本公开。这不应解释为一种不要求保护的公开的特征对于任一权利要求是必要的意图。相反，本发明的主题可以少于特定的公开的实施例的全部特征。从而，以下权利要求书作为示例或实施例在此并入具体实施方式中，其中每个权利要求独立地作为单独的实施例，并且考虑这些实施例可以以各种组合或排列彼此组合。本发明的范围应参照所附权利要求以及这些权利要求赋权的等同形式的全部范围来确定。