一种基于改进ResNet18的运动想象脑电信号识别方法

一种基于改进resnet18的运动想象脑电信号识别方法
技术领域
1.本发明属于深度学习技术领域，具体涉及一种基于改进resnet18的运动想象脑电信号识别方法。


背景技术：

2.脑电信号具有幅度微弱、背景噪声复杂、随机性、个体差异较大以及数据量小等特点，现有的运动想象脑电信号特征提取及分类模型，虽然提供了一定的的理论和思路，且效果可观，但对信号的时频域、空域特征提取不够充分，特别是在特征不明显的受试者身上准确率提高不够。本文提出一种基于resnet18网络和可变形卷积(deformable convolutional networks,dcn)融合的运动想象脑电信号分类方法，解决了传统的卷积由于存在硬性的规则，即卷积核形状只能为方形或矩形核，不能根据识别目标动态的变化，导致特征不明显时识别率不高、扩充数据集对图片缩放或旋转时不能作出适应性的改变等问题，使网络更加充分提取隐藏特征，提高分类正确率。
3.脑—机接口(brain-computer interface，bci)技术能够将人的意图转换为脑电信号(electroencephalo-gram，eeg)，不依赖肌肉和外周神经，在外部设备与人脑之间建立起通道，直接进行信息交流，使得人们可以通过大脑直接控制智能设备。因此，近些年脑机接口技术在很多领域崭露头角，不仅在医用领域具有显著的优势，其在教育、军事、娱乐、智能家居等方面的发展潜力也不言而喻。
4.脑电信号具备随机性大、稳定性差、幅度微弱等特点，且包含大量时间和空间的信息，所以很难实现可靠的识别。因此脑电信号识别分类一直是非常重要的课题，如何对脑电信号准确可靠地识别是提升系统的准确率和可靠性的基础和关键。作为脑电信号分析的关键问题，左右手二分类更是该领域的研究热点。目前，特征提取在图像、视频、语音、文本等方面有很多的应用，而基于深度学习的网络框架被广泛应用，且性能优于传统的算法。基于以上领域的成功应用，深度学习技术开始被研究者应用于脑电信号的识别分析。目前，国内外研究者提出了各种eeg信号的特征提取和分类方法。
5.baoguo,xu等人[1]构建一个2层卷积神经网络作为分类器，将经过小波变换得到的c3、cz和c4三个通道的时频图像作为输入进行识别以提高分类精度。刘宝等[2]提出了一种基于ps0-csp-svm的运动想象脑电信号特征提取与分类方法，首先依靠粒子群优化算法获得不同个体的最佳频段及时间段，然后采用支持向量机进行分类。汲继跃等[3]针对不同对象提出了一种基于最优区域共空间模式(optimal region csp，orcsp)的特征提取方法，基于欧拉距离和方差比选出可分性最高的区域，最后支持向量机充当分类器进行分类。单海军等[4]结合relief的统计相关性原理和顺序后向选择算法的迭代思想对eeg通道进行选择，并使用相关系数法进行分类，取得最优分类准确率的通道即认定为最优通道。feng等人[5]提出了基于多频带的共空间模式滤波器排序进行通道选择的方法(common space pattern-rank channel selection for multi-frequency band,csp-r-mf)，结合多频带信号分解滤波和csp-rank方法选择通道；jin等人[6]提出了基于皮尔逊相关系数进行通道
选择的方法(correlation based channel selection,ccs)，ccs利用皮尔逊相关系数选择与mi任务相关的通道，之后对这些通道进行正则化共空间模式(regularized csp,rcsp)[7]特征提取。这些模型提供了运动想象脑电信号特征提取及分类的理论和思路，且效果可观，但对信号的时频域、空域特征提取不够充分，特别是在特征不明显的受试者身上准确率提高不够。
[0006]
参考文献
[0007]
[1]xu b,zhang l,song a,et al.wavelet transform time-frequency image and convolutional network-based motor imagery eeg classification[j].ieee access,2018,7:6084-6093.
[0008]
[2]刘宝,蔡梦迪,薄迎春,张欣.一种基于pso-csp-svm的运动想象脑电信号特征提取及分类算法[j].中南大学学报(自然科学版),2020,51(10):2855-2866.
[0009]
[3]汲继跃,佘青山,张启忠,孟明.最优区域共空间模式的运动想象脑电信号分类方法[j].传感技术学报,2020,33(01):34-39.
[0010]
[4]单海军,朱善安.基于relief-sbs的脑机接口通道选择[j].生物医学工程学杂志,2016,33(02):350-356.
[0011]
[5]feng jiankui,jin jing,daly i,et al.an optimized channel selection method based on multifrequency csp-rank for motor imagery-based bci system[j].computational intelligence and neuroscience,2019,2019:8068357.doi:10.1155/2019/8068357.
[0012]
[6]jin j,miao y,daly i,et al.correlation-based channel selection and regularized feature optimization for mi-based bci.neural networks,2019,118(10):262
–
270.
[0013]
[7]varsehi h and firoozabadi s m p.an eeg channel selection method for motor imagery based brain
–
computer interface and neurofeedback using granger causality[j].neural networks,2021,133:193
–
206.doi:10.1016/j.neunet.2020.11.002.


技术实现要素：

[0014]
为了解决上述存在的问题，本发明提出：一种基于改进resnet18的运动想象脑电信号识别方法，包括如下步骤：
[0015]
s1、通过共空间模式增强原始信号的空域局部特征、利用短时傅里叶变换显现时频域特征，最终将信号转换成时频图，作为dcn-resnet18神经网络的输入，最终进行识别分类；
[0016]
s2、将可变形卷积与残差网络resnet18结合为dcn-resnet18神经网络，作为脑电信号识别的模型。
[0017]
本发明的有益效果为：dcn-resnet18网络通过可变形卷积充分捕捉时频图的轮廓特征，很好解决了传统的卷积由于存在硬性的规则，即卷积核形状只能为方形或矩形核，不能根据识别目标动态的变化，导致特征不明显时识别率不高、扩充数据集对图片缩放或旋转时不能作出适应性的改变等问题，使网络更加充分提取隐藏特征。基于传统的卷积存在
硬性的规则，可变形卷积的网络结构增加了偏移量这一部分，加上该偏移量的学习之后，可变形卷积核的大小和位置可以根据当前需要识别的图像内容进行动态调整，其直观效果就是不同位置的卷积核采样点位置会根据图像内容发生自适应的变化，从而适应因扩充数据集或者不同个体差异而导致的时频图形状、大小等几何形变，在提取图像特征方面取得了良好的效果；resnet18通过引入残差块，解决了增加网络深度带来的性能的退化问题，确保了网络的性能。通过将可变形卷积与残差网络resnet18结合进行脑电信号识别，以提升识别的正确率。
附图说明
[0018]
图1为本发明的3
×
3标准和可变形卷积中采样位置的图示注：(a)图为采样点排列规则(绿点)的标准卷积。(b)图为可变形卷积加上偏移量后的感受野采样位置。(c)和(d)是(b)的特例，表明可变形卷积可以应对诸如尺度和旋转等各种情况；
[0019]
图2为本发明的标准卷积与可变形卷积方式对比图；
[0020]
图3为本发明的dcn-resnet18神经网络结构；
[0021]
图4为本发明的3
×
3可变形卷积运行机制图解；
[0022]
图5为本发明的resnet18结构图；
[0023]
图6为本发明的运动想象脑电信号识别框图；
[0024]
图7为本发明的数据集时频图；(a)数据集2b左手运动想象时频图，(b)数据集2b右手运动想象时频图，(c)数据集3a脑电信号时频图，(d)数据集2a脑电信号时频图。
具体实施方式
[0025]
提出一种基于改进resnet18的运动想象脑电信号识别方法，该算法使用改进后的残差网络模型，包括如下步骤：
[0026]
s1、通过共空间模式增强原始信号的空域局部特征、利用短时傅里叶变换显现时频域特征，最终将信号转换成时频图，作为dcn-resnet18神经网络的输入，最终进行识别分类；
[0027]
s2、将可变形卷积与残差网络resnet18结合为dcn-resnet18神经网络，作为脑电信号识别的模型。
[0028]
如图5所示，为resnet18的基本结构图，方便与图3dcn-resnet18神经网络结构进行对比，体现出创新点。
[0029]
本发明提出的改进resnet18网络是通过对resnet18网络的部分传统卷积替换为可变形卷积。经典深度卷积神经网络在卷积计算过程中仅将目标中心像素点与其卷积核矩阵范围内的像素点加入计算，随着卷积深度增加映射出的感受野始终为矩形，无法与多变的实际时频图轮廓特征充分吻合，导致目标识别效果不佳问题，而可变形卷积网络，在卷积计算过程中给每个采样点增加一个偏移参数和一个系数，通过调节偏移参数及系数以实现有效感受野，提升感受野与实际目标形状的匹配度，这可以有效提升在特征不明显、扩充数据集的前提下的分类精度。相比传统卷积，可变形卷积可在不影响分类精度的前提下提高网络效率。
[0030]
其中，如图3所示，所述resnet18网络结构由以下7大模块组成：输入层、卷积层、最
大池化层、归一化层、4个残差块、全连接层、softmax分类层。
[0031]
其中，第一部分：用来输入预处理后的图像信息的输入层，输入为224
×
224的二维时频图，因此输入部分为3
×
224
×
224。
[0032]
其中，第二部分：第一层为卷积层，使用卷积核大小为3
×7×
7，步长stride＝2，填充padding＝3，输出通道channel＝64，进行卷积操作，得到64
×
112
×
112的输出，再进行最大池化层maxpool(2，2)，stride＝2，padding＝3的运算，得到64
×
56
×
56的输出。
[0033]
其中，可变形卷积是dai等人在2017年提出的一种新型卷积方式，标准卷积中的规则格点采样导致网络难以自适应几何形变，可变形卷积在普通卷积核中的每个采样点的位置增加了一个偏移的变量，通过这些变量，卷积核就可以在当前位置附近随意的采样，不受固定形状的限制，从而大大增加卷积操作的感受野，来增强卷积神经网络对不规则目标的建模能力。
[0034]
可变形卷积网络模型使用大小为3
×
3卷积核，定义r为卷积核采样区域，此时r的区域可以描述为：
[0035]
r＝{(-1,-1),(-1,0),....(0,1),(1,1)}
[0036]
对于传统卷积操作，输出特征图y上的每个位置p0，有:
[0037][0038]
其中pn枚举r中的位置；
[0039]
而对于可变形卷积操作，输出特征图y上的每个位置p0，其计算公式为：
[0040][0041]
现在，采样在不规则和偏移位置pn δpn上，由于矢量通常为小数，公式(2)通过双线性插值实现为
[0042][0043]
式中：q为采样点的偏移后的位置；p为整数网格点；g(q,p)为双线性插值操作得到的整数形式的采样点；
[0044]
双线性插值公式为：g(q,p)＝g(q
x
,p
x
).g(qy,py)，
[0045]
其中g(a,b)＝max(0,1-|a-b|)。
[0046]
可变形卷积对输入图像进行特征提取操作克服了传统的卷积操作的硬性的规则，其通过引入偏移量以及不同的权重改变了感受野固定的模式，从而大大增加了感受野范围，使感受野更加充分的汇聚在表征性区域，提升了网络对于图像轮廓特征变化的自适应能力，捕获的特征不掺杂冗余信息。脑电信号原数据转换为二维时频图后，时频图轮廓特征较为突出，因此使得对于脑电信号的特征提取更加全面准确。图1、图2分别是在采样方式以及学习方式上传统卷积与可变形卷积的的对比，其中可变形卷积包含尺度变化、伸缩及旋转等变形方式。
[0047]
如图4所示，解释了可变形卷积的运行机制，它首先通过一个作用在输入feature map的卷积操作得到一组卷积核偏移的预测结果。这个偏移feature map的尺寸和输入feature map保持相同。偏移feature map的通道数为2n，其中2是指每个偏移是(x,y)两个
值，n是卷积核的像素个数，例如当卷积核的大小是3
×
3时，这里n＝9。可以看出可变形卷积是为输入feature map的每个像素点学习一组偏移，同一个feature map的不同通道数使用相同的预测偏移。
[0048]
其中，第三部分：残差结构层包括如下：第一个残差块使用的卷积核大小为3
×
3，输出通道是channel＝64，步长stride＝1，填充padding＝1，得到的输出是64
×
56
×
56；每个残差块有四次卷积，第二个残差块和第三个残差块的前两次卷积是两层普通卷积，第二个残差块和第三个残差块的后两次卷积是两层可变形卷积层，使用的基础卷积核大小均为3
×
3，输出通道分别是channel＝128、channel＝256,步长stride＝1，填充padding＝1，最终的输出是256
×
14
×
14；第四个残差块使用的卷积核大小为3
×
3,输出通道channel＝512,步长stride＝1，填充padding＝1,最终的输出是512
×7×
7；
[0049]
最后经过平均池化、全连接层，softmax分类层实现最后的分类结果。
[0050]
归一化每两层之间都有，归一化(又叫规范化)有两个作用：
[0051]
防止梯度爆炸和梯度消失。
[0052]
神经网络在反向传播的过程中，每一层的梯度的计算都要用本层的数据(特征图)乘以上层传过来的梯度得到本层的梯度，要是每一层的梯度值都比较小，那么在反向传播的过程中越传播梯度越小，就会导致梯度消失，
[0053]
另一方面，本层的数据若被归一化限制在均值为零，那么相乘的时候就不会发生梯度爆炸。
[0054]
softmax层是对神经网络的输出结果进行一次换算，将输出结果用概率的形式表现出来。
[0055]
平均池化层功能在于减少特征图大小，也就是可以减少计算量和所需显存，直接实现了降维、极大地减少了网络的参数。
[0056]
1.训练策略
[0057]
如图7所示，是选用的公开数据集经过预处理后，将脑电信号转换为时频图，作为神经网络的输入。对于二分类数据集2b，当受试者在进行左手和右手运动想象任务时，大脑对侧的相关运动感觉区节律(8～13hz)和节律(17～30hz)能量会减少，而同侧的相关运动感觉区的节律和节律能量会增加，这种现象被称为事件相关同步erd和事件相关去同步ers,因此对于每个电极采集到的2s长度脑电信号，首先经过共空间模式，再利用stft得到257
×
32的时频图，其中stft采用长度为64的汉明窗，时间间隔为14，其次对得到的时频图提取8～13hz频带和17～30hz频带，分别得到12
×
32和29
×
32的左右手二维时频图。此外，为了保证两个频带的一致性，通过立方插值法将17～30hz频带的时频图调整为12
×
32。最后，本文将三个电极的所有频带进行组合构成(3
×2×
12)
×
32大小的时频图(即72
×
32)，再利用图像增广技术将时频图转换大小为224
×
224，作为本网络的输入样本大小。
[0058]
对于四分类数据集2a以及3a，采集到的脑电信号与运动想象相关的eeg频段主要集中在8～30hz，因此在对原始数据进行分段处理后，采用matlab中eeglab工具箱内置fir filter算法进行滤波处理，其次通过一对多共空间模式，以最大程度区分不同的类别，最后采用短时傅里叶变换将原信号转换为二维时频图以作为网络的输入。
[0059]
2.验证过程
[0060]
实验验证阶段逐层递进，首先验证了resnet18网络应用于脑电信号识别的有效
性，其次验证了dcn-resnet18网络和resnet18网络在脑电信号识别方面的性能对比，结果表明，本文提出的dcn-resnet18网络精度高于resnet18网络。最后将所提方案与同类型前沿研究方法对比，结果表明dcn-resnet18网络在识别准确率上都表现出同类研究中最先进的性能。
[0061]
3.实验结果
[0062]
对于神经网络来说，不同的参数设置就对应了不同的网络结构，进而可影响神经网络的性能。本文通过改变参数的大小，在数据集2b上验证可变形卷积层不同大小卷积核对网络分类效果的影响，实验结果如表1所示。
[0063]
表1不同网络结构的识别准确率
[0064][0065][0066]
其中n代表卷积核的大小。
[0067]
通过表1中实验结果可知，当残差结构2、3的可变形卷积核大小均为3
×
3时，模型的识别准确率最高。
[0068]
基于上步比较分析确定网络参数后，将确定后的模型和resnet18神经网络在二分类数据集2b九个受试者上进行性能的比较，对比在测试集上的分类准确率，进一步证明本文模型的性能，实验结果如表2所示。
[0069]
表2不同网络结构识别准确率
[0070][0071]
将本文提出的神经网络识别方法与其它二分类mi-eeg识别方法在数据集2b上进行了对比，受试者的平均识别准确率由表3给出。由表3可以直观地发现，本文方法平均识别率为89.3％，优于其他方法，说明可变形卷积在充分挖掘脑电信号的时频信息方面有巨大的优势。对于单个受试者，本文方法识别率最高可达98.4％。本文方法得到的全部受试者的平均识别准确率相比于其他算法结果有较大提高，特别是在分类准确率较低的受试者身上提高效果显著，总体来说，本文提出的基于resnet18神经网络和可变形卷积融合得的识别方法在二分类运动想象脑电信号识别中具有良好的性能。
[0072]
表3本文模型与不同模型在bcic iv dataset 2b上的识别准确率比较
[0073][0074]
进一步将本文提出的神经网络识别方法与其它四分类mi-eeg识别方法在数据集2a上进行了对比，受试者的平均识别准确率由表4。本文方法得到的全部受试者的平均识别准确率为86.50％，相比于其他算法结果有较大提高，特别是在分类准确率较低的受试者身上提高效果显著，总体来说，本文提出的基于可变形卷积的resnet18神经网络在多类别脑电信号识别中具有良好的性能。
[0075]
表4本文模型与不同模型在bcic iv dataset 2a上的识别准确率比较
[0076][0077]
为了进一步验证本文方法的有效性，在公开四分类脑电信号数据集bcic iii dataset3a上与现存的模型进行了识别准确率对比，实验结果如表5。从实验结果来看，在数据集bcic iii dataset 3a上，有效验证了本文模型在多分类运动想象脑电信号识别分类上的效果。
[0078]
表5本文模型与不同模型在bcic iii dataset3a上的识别准确率比较
[0079][0080]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。