一种肌电模式识别与肌力估计的实现方法

1.本发明涉及生物信号处理领域，尤其涉及一种肌电模式识别与肌力估计的实现方法。


背景技术：

2.人体肌肉在收缩时，所募集的多个运动单位兴奋时产生的生物电信号在时间和空间上叠加生成可以在皮肤上采集到的表面肌电信号。因此，表面肌电信号携带人体情绪以及意图信息。通过解码表面肌电信号的手势识别技术已经在肌电控制、人机交互中有所应用。
3.现有肌电控制主要针对手势识别的准确率是否足够，因此往往采用一些区分度非常强但是在生活中并不经常使用的手势。此类应用，在手势指令方面的准确度是足够的，但是对假肢控制等生活类应用则不大需要。因此可用于生活中的常见手势识别的训练集是必要的。
4.并且肌电控制，尤其是假肢控制领域，不仅仅需要对肌电模式进行准确的识别，也需要对肌力有较为精确的估计。但现有研究中，往往将肌电模式识别和肌力估计分开研究。并且在进行肌电模式识别的时候，其训练模型往往是在中等力度下进行数据采集的，因此也存在在变力情况下的失去鲁棒性的问题。而在肌力估计的研究中，往往不关注手势的变化，许多研究都是在同种手势下完成的。因此提出一种肌电模式识别与肌力估计的实现方法。


技术实现要素：

5.本发明的目的在于提供一种肌电模式识别与肌力估计的实现方法，解决了现有对肌电模式识别和肌力估计往往是分开研究，并且在进行肌电模式识别时存在在变力情况下的失去鲁棒性的问题以及在肌力估计的研究中不关注手势变化的问题。
6.为实现上述目的，本发明提供如下技术方案：一种肌电模式识别与肌力估计的实现方法，包括以下步骤：
7.s1：使用力传感器以及高密度电极阵列采集用户在执行手势时产生的实际力信号f与表面肌电信号x，并对采集到的表面肌电信号进行预处理；
8.s2：对经过预处理的表面肌电信号按通道地进行特征提取操作，经此操作得到与电极通道数量相对应的包络信号e以及其他三项时域特征；
9.s3：而后将上述得到的三项时域特征组合成三通道肌电时域特征图以供后续训练；
10.s4：构建基于注意力机制的多任务学习网络；
11.s5：构建用于肌电模式识别的分类网络和肌力估计的回归网络，并对网络进行训练，同步实现肌电模式识别以及肌力估计。
12.优选的，所述s1中执行手势时产生的实际力信号f∈r1×
t
；所述表面肌电信号x∈rc×
t
(其中c为高密度阵列电极通道数，t为信号采样点数)。
13.优选的，所述s2中电极通道数量相对应的包络信号e∈rc×
t
(其中c为高密度阵列电极通道数，t为采样点数)。
14.优选的，所述s4中使用vgg16对肌电时域特征进行数据挖掘，使用cbam对深度肌电信号时域特征进行强化，并得到可以反映肌肉激活程度的空间注意力权重图，利用空间注意力权重图对各个通道的包络信号进行加权融合。
15.与相关技术相比较，本发明提供的一种肌电模式识别与肌力估计的实现方法具有如下有益效果：
16.1、本方法发明针对现有研究中，大多数只关心肌电模式识别准确率而忽视肌力估计的问题进行设计的多任务学习网络，已经可以达到同步实现肌电模式识别以及肌力估计，并且在精度上得到了一定保障。
17.2、本方法发明采用注意力机制的方法找到不同手势间肌肉激活的空间权重图，并将其运用到肌力估计模型输入信号的生成中，实验结果体现了此种方法的可行性，并且进一步说明所设计方法可以解码肌电中蕴含的肌电模式识别与肌力估计之间的相互关系。
18.3、本方法发明运用迁移学习的思想，验证了可以使用预训练对表面肌电信号进行特征挖掘以提升识别准确率的思想。
19.4、本方法发明设计了一套从日常生活中抽象出的手势集，此种集合更有益于生活类应用。
附图说明
20.图1为本发明的一种肌电模式识别与肌力估计的实现方法的流程图。
21.图2为本发明的一种肌电模式识别与肌力估计的实现方法的手势集图。
22.图3为本发明的一种肌电模式识别与肌力估计的实现方法的vgg16提取肌电信号特征流程图。
23.图4为本发明的一种肌电模式识别与肌力估计的实现方法的多任务学习中cnn网络以及lstm网络的具体结构图。
24.图5为本发明的一种肌电模式识别与肌力估计的实现方法的手势分类情况实验图。
25.图6为本发明的一种肌电模式识别与肌力估计的实现方法的肌力估计均值柱状图。
具体实施方式
26.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
27.实施例一：
28.请参阅图1-6，本发明提供一种技术方案：一种肌电模式识别与肌力估计的实现方法，包括以下步骤：
29.s1：使用力传感器以及高密度电极阵列采集用户在执行手势时产生的实际力信号f∈r1×
t
(t为信号采样点数)与表面肌电信号x∈rc×
t
。(其中c为高密度阵列电极通道数，t为信号采样点数)，并对采集到的表面肌电信号进行预处理；
30.s2：对经过预处理的表面肌电信号按通道地进行特征提取操作，经此操作得到与电极通道数量相对应的包络信号e∈rc×
t
(其中c为高密度阵列电极通道数，t为采样点数)以及其他三项时域特征；
31.s3：而后将上述得到的三项时域特征组合成三通道肌电时域特征图以供后续训练；
32.s4：构建基于注意力机制的多任务学习网络。其中，使用vgg16对肌电时域特征进行数据挖掘。使用cbam对深度肌电信号时域特征进行强化，并得到可以反映肌肉激活程度的空间注意力权重图。利用空间注意力权重图对各个通道的包络信号进行加权融合；
33.s5：构建用于肌电模式识别的分类网络和肌力估计的回归网络，并对网络进行训练，同步实现肌电模式识别以及肌力估计。
34.为了便于理解本实施方案，下面针对本发明做详细的介绍
35.一、执行手势时的高密度阵列表面肌电以及实际力信号的采集
36.本发明实施例中，如说明书附图2所示为本发明实施例中的手势集，在生活常见情景中抽象出11种常见手势动作作为识别对象。这些手势的选取涵盖了按压、捏合、握抓等多种手部动作类型。招募了11位不同性别，年龄的健康右利手人士参与数据采集实验。在实验开始前所有参与者都被要求练习手势动作的执行方式，直到可以按照实验要求完成任务。
37.设高密度电极阵列的行通道数量为m，列通道数量为n，阵列内部相邻通道的距离为d。示范性的，本发明实施例中，m＝16，n＝8，d＝8mm。
38.数据采集前，受试者舒适地坐在高度可调节的座椅上，右手前臂放松地平放于桌面之上，由数据采集人员用酒精擦拭目标肌肉来降低皮肤阻抗，将导电膏涂抹在电极上。由实验采集人员使用弹性和附着性良好的硅胶贴将高密度电极片固定在手势动作所涉及的主要肌肉区域，并使用弹性绑带进行固定以防止电极偏移。示范性的，将高密度电极片放置在受试者的右手前臂屈肌处。
39.数据采集时，受试者如说明书附图1中所示，将压力传感器以及扭矩传感器视作生活中的物体，在每种手势下，对传感器施加l秒的自选模式发力(发力大小，发力曲线形状均有受试者自身控制，但必须涵盖最大可能发力值)。在执行完每种手势之后，受试者都被要求休息两分钟以避免肌肉疲劳。示范性的，本发明实施例中，l＝40s。整个数据采集过程中的表面肌电信号与实际力信号均由高密度电极片以及力传感器采集，并经过两级运算放大器放大a倍，最后经过模数转换器采样。示范性的，a＝1000，肌电信号以及实际力信号的被采样率均设置为1000hz。
40.二、表面肌电信号预处理
41.本发明实施例中，对实验采集得到的表面肌电信号与实际力信号进行如下的预处理操作：
42.分割活动段。基于信号能量阈值的移动平均方法对肌电信号进行分割。具体来看，以所有通道信号能量均值大于预设能量阈值作为活动段的起始点。
43.滤波以及归一化。对肌电信号进行带通滤波，以消除数据采集时可能出现的低频
噪声和高频干扰。示范性的，本发明实施例中的通带频率设置为20-500hz。
44.样本扩充。鉴于后续使用的深度学习网络对样本量的需求很大，因此采用滑窗法进行样本扩充。设置窗长为l，滑动步长为s，最终可以获得m个滑动窗样本。示范性的，若总样本时长为2s，l＝100ms,s＝50ms,则m＝39。
45.三、融入注意力机制的多任务学习网络构建与训练
46.(1)网络构建。目标网络的设计思想是利用注意力机制，找寻不同手势间的空间激活权重图(此图中每个像素均对应一个电极通道)。并按此图对每通道上的肌电信号的特征进行加权融合，最终得到高质量的肌力估计模型输入信号。并希望借助神经网络的反向传播挖掘肌电模式识别以及肌力估计间的相互关系。示范性的，基于上述思想，本发明实施例提出一种由特征提取模块、注意力模块、多输出模块组成的多任务学习网络结构。
47.特征提取部分指的是按通道地对窗样本中的肌电信号进行特征提取。示范性的，在本发明实施例中，每通道均可提取出波长(wl)、f1、f6以及包络信号等四项时域特征。其中包络信号可以通过fir低通滤波器获取，在本发明实施例中，低通滤波器的截止频率设置为3hz。
48.剩余三个特征的计算公式如下所示：其中x表示肌电信号序列。
[0049][0050]
d2＝d2(x)/d(t)2
[0051][0052][0053][0054]
f1＝log(m0)
[0055][0056]
经典的图像识别深度学习网络已被证实可以迁移使用在其他特征挖掘领域，因此，示范性的。本发明实施例中，将上述wl，f1以及f6组成类似彩色图片的三通道肌电特征图，其数据维度为(16*8*3)，其中16*8对应的是高密度电极分布情况。接下来，如说明书附图3所示，使用vgg16的部分网络对三通道肌电特征图进行深度特征挖掘。值得注意的是，需先将肌电特征图进行升采样以保证维度符合vgg16的输入要求。示范性的，在本发明实施例中，使用双三性插值法进行升采样。经过vgg16挖掘，可得到深度肌电信号特征图。至此，特征提取部分完毕。
[0057]
注意力模块旨在利用注意力机制提取手势动作过程中的肌肉空间激活情况。示范性的，在本发明实施例中，采用卷积模块注意力机制(cbam)提取肌电信号深度特征图的空间注意力权重图。cbam可以提取出深层特征中的空间注意力权重图。示范性的，在本发明实施例中，cbam可提取出28*28大小的空间权重特征，经过降采样得到16*8的权重图，并以此
对128通道的包络信号进行加权融合形成一维肌力估计模型输入信号i。
[0058]
多输出模块指的是分别将经过cbam强化过的深度肌电特征经过网络进行分类，将上面得到的一维肌力估计模型输入信号i经过网络结构进行点到点的回归。示范性的，在本发明实施例中，使用卷积神经网络和lstm进行分类和回归。其具体结构如说明书附图4所示，此结构是经过实验得来的。
[0059]
具体来看，cnn以及lstm网络分别由两层cnn(卷积核为3*3，通道数为16)以及两层lstm(128节点)。其中利用dropout进行防止过拟合，利用bn进行批次归一化，利用rule作为激活函数。两个任务的损失函数分别是交叉熵损失函数以及均方误差损失函数。其具体公式如下所示：
[0060][0061]
(2)网络训练。首先将实验采集数据划分成训练集、验证集以及测试集。
[0062]
根据训练集的熟练误差以及识别率确定网络层数以及各个节点数量，示范性的，当训练误差收敛到下限设定值是，且识别率也无法进一步提高，此时的网络层数与节点数是最优选择。
[0063]
根据验证集的识别率调整网络中超参数的设置，使得验证集准确率上升并收敛至设定标准。
[0064]
使用测试集确定训练的网络模型效果，为了验证所提出融入注意力机制同步完成肌电模式识别以及肌力估计的实现方法的有效性。本发明实施例共训练5名受试者的用户相关网络，基于交叉验证法，获得实验结果如说明书附图5-6所示。
[0065]
其中，手势识别的均值可以达到91％，肌力估计的均值可以达到0.09(以rmsd计)。