一种基于通道注意力和多尺度时域卷积的运动想象脑电信号分类方法与流程

1.本发明公开了一种基于通道注意力和多尺度时域卷积的运动想象脑电信号分类方法，可用于识别运动想象肢体部位，属于计算机软件领域。


背景技术：

2.近年来，基于eeg的脑机接口(brain
–
computer interfaces，bci)技术发展迅速。脑机接口是一种连接大脑和外部设备的实时通信系统，在生物医学、神经康复和人工智能等领域具有重要的研究意义和巨大的应用潜力，实现了大脑与外界直接通信的一种新的人机交互方式。脑机接口技术从大脑采集数据主要有三种方式：侵入式、半侵入式和非侵入式。基于eeg的脑机接口是非侵入性的，是脑机接口领域最常用的技术。其中，运动想象是最具有代表性的范式之一。肢体活动的想象力可以改变大脑的电活动。当人们做单侧肢体动作和运动想象时大脑对侧主感觉运动皮层的mu节律和β节律幅度明显减小，而同侧主感觉运动皮层的mu节律和β节律幅度明显增大，这一现象被称之为事件相关去同步(erd，event-related desynchronization)和事件相关同步(ers，event related synchronization)。根据这种感觉运动区脑电节律的差异，可以对不同运动想象任务的脑电信号进行识别分类，这对中风患者或神经系统受损的病人恢复感觉和运动功能具有极大的帮助和研究意义。虽然基于运动想象范式的脑机接口技术已广泛应用于康复医疗等领域，但其解码性能仍不能很好地满足实际应用的需要。因为脑电信号是不稳定的信号，具有很低的信噪比，采集到的eeg信号很容易受到眼电、肌电等噪声的影响。另外，对于不同的受试者，同一想象任务产生的脑电信号是有差异的；同一受试者在不同时间对于同一想象任务的时间序列也可能差别很大。因此，如何从运动想象脑电信号中提取有效特征并精确分类是运动想象领域中一个具有挑战性的问题。
3.为解决上述问题，经常采用机器学习方法和深度学习方法进行特征提取和分类。传统的运动想象脑电信号的分类方法主要分为两步：特征提取和分类。对原始脑电信号先通过一系列算法进行特征提取，然后将提取的特征输入到相应的分类器进行分类判别，得到最终结果。传统的特征提取方法主要有共空间模式(common spatial pattern，csp)，滤波器组共空间模式(filter bank common spatial pattern，fbcsp)等；常用的分类方法包括线性判别分析(lda)，支持向量机(svm)，贝叶斯分类器等。近年来，研究人员发现，深度学习方法比机器学习方法能获得更好的分类性能。lawhern等人提出了eegnet，一种专门为脑电图识别任务而设计的通用且紧凑的卷积神经网络。相比普通的卷积神经网络结构，他们使用了逐通道卷积和深度可分离卷积(逐通道卷积 逐点卷积)来构造特定的eeg模型。目前，eegnet模型已经成功应用于脑机接口领域的多个范式，并取得了不错的分类效果。wu等人提出了一种针对运动想象脑电分类的并行多尺度滤波器组卷积神经网络(msfbcnn)，该模型的新颖之处在于使用了四个并行的时间卷积层来提取时间特征，充分利用了端到端网络中的特征信息。dai等人提出了一种具有混合卷积尺度的卷积神经网络(hs-cnn)，他们提
出的方法有效地解决了在cnn中使用单个卷积尺度限制分类效果的问题，进一步提高了分类精度。从上述研究可以发现：轻量级网络和滤波器组在基于深度学习的运动想象脑电分类中起着关键作用。此外，现有方法的分类准确性仍有待进一步提高。
4.通道注意力机制在改善深度卷积神经网络的性能方面具有极大的潜力，因此引起了越来越多研究者的广泛关注。其中se-net(squeeze-and-excitation networks)，cbam(convolutional block attention module)，a
2-net(double attention networks)是几种比较经典的注意力机制。se-net是由hu等人提出的，该模块通过捕获所有通道之间的依赖关系自适应地重新校准通道方式的特征响应。虽然该模块被广泛应用，但是其中涉及的降维方法会给通道注意力预测带来副作用，并且捕获所有通道的依赖关系会使模型效率降低。为了解决上述问题，wang等人提出了一种用于深度卷积神经网络的高效通道注意力(efficient channel attention，eca)模块。该模块先进行逐通道全局平均池化，然后在不降低维度的情况下，对每个通道及其k个相邻通道进行卷积提取相邻通道间的信息。这样设计避免了降维带来的副作用，并且适当的跨通道交互可以在保持性能的同时显著降低模型的复杂性，并减少参数量。为了进一步减少参数量，saini等人提出了一种简单有效的“超轻量子空间注意力机制”(ultra-lightweight subspace attention module，ulsam)，虽然该模块降低了参数量和计算开销，但是对整体模型效果增益不大，还有待于进一步改进。zequn qin1等人提出了fcanet(frequency channel attention networks)，从频域角度思考并设计了多谱通道注意力，取得了不错的成果，但其适用性还有待进一步考究。
5.通过对以上现有研究方法的优缺点进行探讨分析，本发明获得了新的启发和研究思路，基于eegnet，提出了一种新的改进网络模型(mca-eegnet)。拟采用多尺度的时间卷积层代替eegnet模型中的普通卷积层，以更好地进行特征提取；同时添加通道注意力模块eca，使网络训练时更加关注与输入数据相关度高的通道信息，从而进一步提高模型的鲁棒性。相比eegnet模型，本发明提出的分类方法更能有效提升运动想象脑电信号的解码性能。


技术实现要素：

6.本发明提出了一种基于通道注意力和多尺度时域卷积的运动想象脑电信号分类方法，该方法可有效提升对运动想象脑电信号的特征提取和分类性能。针对脑电信号信噪比低导致特征提取困难的问题，使用并行多尺度的时间卷积层代替eegnet模型中的普通卷积层，以更好地进行特征提取，从而提高分类准确率；同时添加通道注意力模块eca，使网络训练时更加关注与输入数据相关度高的通道信息，进一步提高模型的鲁棒性。相比较eegnet，本发明提出的方法具有更高的分类准确率。
7.经过研究讨论和反复实践，本方法确定最终方案如下：
8.首先对原始脑电数据集进行预处理，然后将数据集划分为训练集、验证集和测试集三部分，分别输入到新的网络模型mca-eegnet中进行训练和测试，最后得出模型分类结果，并对分类结果进行评估，验证方法的有效性。
9.本发明技术方案的具体步骤如下：
10.步骤1.数据预处理：使用带通滤波器对运动想象脑电信号进行带通滤波处理，之后对滤波后的信号做指数移动均值标准化；将脑电信号数据集划分为训练集、验证集和测试集；
11.步骤2.构建mca-eegnet模型：使用并行多尺度的时间卷积层代替eegnet模型中的普通卷积层，以更好地进行特征提取；添加通道注意力模块eca，使网络训练时更加关注与输入数据相关度高的通道信息；
12.步骤3.将步骤1中的训练集和验证集输入到mca-eegnet模型中进行训练；
13.步骤4.将步骤1中的测试集输入到步骤3中已训练好的模型中进行分类，评价分类的准确度。
14.本发明具有以下优点：
15.1.相比单尺度卷积层的网络，使用并行多尺度时间卷积层的网络可以对信号进行不同维度的特征提取，从而进一步提高运动想象分类任务的准确率。
16.2.通过对改进模型添加通道注意力模块，可使网络训练时更加关注与输入数据相关度高的通道信息，同时适当的跨通道交互既可以保持网络性能，又能够显著降低模型的复杂性，提升模型训练速度。
附图说明
17.图1本发明方法的总流程图
18.图2 mca-eegnet网络结构图
19.图3运动想象数据集的时间示意图
具体实施方式
20.本发明针对脑电信号信噪比低导致特征提取困难、难以分类的问题，提出了一种基于通道注意力和多尺度时域卷积的运动想象脑电信号分类方法。使用并行多尺度的时间卷积层代替eegnet模型中的普通卷积层，以更好地进行特征提取，从而提高分类准确率。同时添加通道注意力模块eca，使网络训练时更加关注与输入数据相关度高的通道信息，进一步提高模型的鲁棒性，为运动想象脑电信号分类提供了高效且性能更好的深度学习方法。
21.图1为本发明方法的总流程图，可分解为如下几个步骤：
22.步骤1.数据预处理，并划分数据集；
23.步骤2.构建mca-eegnet模型；
24.步骤3.使用训练集和验证集对模型进行训练；
25.步骤4.测试模型效果，并评价分类的准确度。
26.下面对每个步骤的具体细节进行详细说明：
27.步骤1：
28.(1)对原始运动想象脑电信号用3阶4-40hz的巴特沃斯带通滤波器进行带通滤波，过滤出所需频段的信号；
29.(2)对滤波后的信号做指数移动均值标准化，其中衰减因子设为0.999，以减少数值差异对模型效果的影响；
30.(3)开始训练之前，将经过预处理后的脑电数据集进行划分。将训练样本中80％的数据作为训练集，其余20％的数据作为验证集。
31.步骤2：
32.针对脑电信号信噪比低导致特征提取困难、难以分类的问题，本发明基于eegnet，
提出了一种新的模型改进方法，简称“mca-eegnet”。该方法的网络结构如图2所示，主要概括为四部分：block1，block2，block3，全连接层。此处使用pytorch构建模型。下面对每一部分进行详细说明：
33.(1)block1
34.受滤波器组思想启发，使用两个并行多尺度的时间卷积层对输入信号分别进行卷积处理，卷积步长stride设为1，padding为卷积核大小的1/2。经多次实验，最终设置两个卷积核大小kernel size分别为(1,64)、(1,40)效果最好。之后将两个卷积层的卷积结果连接并经过归一化后输出。
35.(2)block2
36.首先将上层的输出使用卷积核大小为(c,1)、卷积步长为1、最大范数权值约束max_norm为0.5的空间卷积层进行特征提取，其中c为采集的脑电信号的导联个数。然后对输出结果进行归一化处理。此处激活函数使用的是elu函数，既能加快训练速度，又能提高分类准确率。经过激活函数后，使用大小、步长均为1
×
8的平均池化层来处理特征，以减少参数量。最后通过dropout方式将对应层中的节点以0.5的概率随机丢弃，以减轻网络的过拟合现象。
37.(3)block3
38.深度可分离卷积(separableconv2d)由逐通道卷积(depthwiseconv2d)和逐点卷积(pointwiseconv2d)两部分组成。首先将上层的输出使用卷积核大小为(1,33)、步长为1的逐通道卷积层进行特征提取，padding为卷积核大小的1/2。然后进行逐点卷积操作，卷积核大小为(1,1)，步长为1，padding为0。对输出结果进行归一化处理后添加高效通道注意力模块eca对网络进行权重分配，使网络训练时更加关注与输入数据相关度高的通道信息。最后，经过平均池化、丢弃等一系列操作对结果进行输出。
39.其中，eca是一种用于深度卷积神经网络的高效通道注意力模块。该方法首先对输入信息进行逐通道全局平均池化，得到聚合特征。然后在不降低维度的情况下，对每个通道及其k个相邻通道进行一维卷积提取相邻通道间的信息。最后经过sigmoid函数进行激活输出结果。其中k值代表局部跨通道交互的覆盖率，其由导联个数c的映射自适应确定，计算方法如式1所示：
[0040][0041]
其中，γ＝2，b＝1，|m|
odd
表示最接近m的奇数，c代表采集到的脑电信号的导联个数。
[0042]
(4)全连接层
[0043]
最后，将得到的所有特征通过全连接层进行整合，输入到softmax中进行分类，得到最终结果。同时在全连接层添加了最大范数约束进行正则化处理，最大范数值设为0.25，以防止过拟合现象，提升模型的泛化能力。
[0044]
步骤3：将脑电信号的训练集和验证集输入到mca-eegnet模型中进行训练，训练过程分为两个阶段。第一阶段的最大迭代次数设为800，且当验证集损失函数达到最低时提前结束训练以防止过拟合并节省训练时间。在第二阶段中，将验证集数据合并入训练集数据中进行训练，当验证集损失值小于第一阶段训练集损失值时提前结束训练，最大迭代次数
仍为800。记录第二次迭代过程中验证集损失值最低时的模型，用其预测测试集样本，记录测试集准确率。对9个受试者分别进行上述模型训练和测试，得到9组测试集准确率，记录其平均值作为最终的模型准确率。
[0045]
实验中所有方法的训练均采用交叉熵损失函数，以adam方法作为优化器，学习率均设为0.001，其余参数使用adam方法的默认值。批训练的批大小(batch size)均设为64。
[0046]
步骤4：将步骤1中的测试集输入到步骤3中已训练好的模型中进行分类识别，并评价分类的准确度。
[0047]
本发明方法所使用的数据集和实验结果描述如下：
[0048]
1.数据集
[0049]
本发明使用bci competition iv dataset 2a和2b两个公开数据集进行实验，其中数据集的时间示意图如图3所示，所有实验数据都已使用0.5-100hz的带通滤波器进行了预处理。
[0050]
2a数据集包含9个受试者的左手、右手、双脚和舌头共4类运动想象脑电信号。这些脑电信号采集自22个电极，采样率为250hz，共包含576次试验(即样本个数为576)。这576个样本采集自两天，每天的实验记为1个session。每个session中包含4个类别的样本，每个类别包含72个样本。对于2a数据集，提取展示提示后0.5秒至2.5秒的数据作为一个样本。所有样本均已打标签(即标记该样本对应哪个部位的运动想象)。
[0051]
2b数据集包含9个受试者的左手和右手共2类运动想象脑电信号。这些脑电信号采集自3个电极，采样率同样为250hz。对于每个受试者，运动想象任务分为5个session。与2a数据集不同，2b数据集中的前2个session在没有反馈的情况下进行实验，即为无视觉反馈的脑电想象数据，后3个session为包含视觉反馈的脑电想象数据。对于2b数据集，提取展示提示后0.5秒至4秒的数据作为一个样本。
[0052]
由于不同受试者的脑电特征差异较大，因此进行脑电信号的分类实验需要为每个受试者单独计算分类准确率，并求多个受试者分类准确率的平均值作为模型的性能指标。
[0053]
2.实验结果与讨论
[0054]
为了验证本发明方法的有效性和通用性，在公开数据集2a和2b上分别进行了对比实验和消融实验，实验结果如下：
[0055]
(1)跨数据集对比实验
[0056]
分别使用2a和2b数据集将本发明提出的新方法和eegnet方法进行对比实验，实验结果如表1所示：
[0057]
表1跨数据集对比实验结果
[0058][0059]
由表1可以看出，在2a和2b数据集上，本发明提出的方法准确率均高于eegnet方法，其中在2a数据集上最高可提升约8.5％。
[0060]
(2)消融实验
[0061]
在2a数据集上对本发明方法做了两组消融实验，一组是不添加注意力机制的mca-eegnet，一组是不使用并行多尺度卷积层的mca-eegnet，实验结果如表2所示：
[0062]
表2消融实验结果
[0063][0064]
由表2可知，两组消融实验结果虽高于eegnet方法，但是均低于本发明提出的方
法。由此可说明，这两个方案均是有效且必不可少的，当两者同时具备时，本发明方法具有更高的分类性能。