一种基于深度学习及图像特征的脑电数据分类方法与流程

1.本发明涉及生物特征领域中的脑电信号，具体涉及一种基于脑电数据中图像特征提取及脑电数据分类的方法。


背景技术：

2.脑电图(eeg)是通过精密的电子设备，从头皮上将脑部的自发性生物电位加以放大记录得到的数据转换的图形。脑电图中有大量的大脑神经元活动的信息，可以利用这些信息获取人的精神状态。通常，脑电数据经过特征提取后用于各种模型做状态、情绪、图像刺激等的分类。然而对于从脑电数据中提取额外的成分特征的工作很少。卷积神经网络(cnn)是一种常用的特征提取方法，能够有效的提取数据中的特征。
3.深度学习是机器学习的一个重要分支，它学习样本数据的内在规律和表示层次。其最终目标是为了让机器通过学习某项任务后，能够达到超越人的执行任务能力。它与以往的机器学习不同的地方在于通过多层自编码神经网络处理，逐渐将底层特征转化为高层特征，使模型拥有更强的分类效果。
4.基于以上技术特点，通过本发明的图像特征提取器提取脑电数据中所隐含的可视化图像特征，并将此特征放入深度学习网络训练的可视化图像分类器中进行有效分类。


技术实现要素：

5.本发明的目的是提供一种基于深度学习及图像特征的脑电数据分类方法，实现本发明所采用的技术方案是：
6.一种基于深度学习及图像特征的脑电数据分类方法，包括如下步骤：
7.步骤s1.原始数据采集：
8.用脑电范式设计平台openvibe与脚本语言python搭建数据范式平台，设计图片刺激范式；同时选取n名健康且视力正常或矫正至正常水平的被试青年，观看不同类型的可视化图片，每500毫秒切换一次可视化图像的画面；采集其在可视化图片刺激下的长度为t的脑电数据；
9.步骤s2.数据处理：
10.步骤s2-1：数据预处理：对采集到的原始脑电数据进行预处理，采用高通滤波和低通滤波消除噪音干扰；用独立成分分析消除眼电干扰；再去除干扰的伪记，得到有效的脑电数据；
11.步骤s2-2：时间片划分：用预处理后得到的脑电数据，按500毫秒一个时间片对其做切分，得到n个大小为500毫秒的时间片数据，用于后续的模型训练；
12.步骤s3.网络image-eegnet模型的构建与训练：
13.步骤s3-1：初始化：网络image-eegnet模型包括：循环特征提取器rf和深度学习网络分类器eegnet，初始化rf的参数和eegnet的参数；
14.步骤s3-2：训练eegnet分类器：将图像数据作为训练集输入，然后用eegnet训练输
入的脑电数据，更新eegnet的参数，获得一次参数模型；
15.步骤s3-3：训练循环特征提取器：将脑电数据作为训练集输入，然后用循环特征提取器训练输入的脑电数据，更新循环特征提取器参数，获得二次参数模型；
16.步骤s3-4：测试及反馈结果：输入测试的脑电数据，经过循环特征提取器的作用，得到图像特征，然后用图像特征分类器eegnet对其做分类，得到分类结果；
17.步骤s4.评估结果：用eegnet训练可视化图像得到的图像特征分类器对脑电数据中提取的图像特征做分类，来评估该模型的特征提取效果。
18.作为优选，所述的步骤s3具体实现如下：
19.步骤s3-1：初始化：
20.网络image-eegnet模型包括循环特征提取器rf和深度学习网络分类器eegnet，分别将初始化rf的参数μ
rf
和eegnet的参数μ
eegnet
进行初始化；
21.循环特征提取器rf网络各层的激活函数为relu函数，其中x代表样本，其公式如下：
22.relu(x)＝max(0，x)
23.循环特征提取器rf训练时使用mesloss平均平方误差函数与crossentropyloss交叉熵函数相结合作为损失函数；平均平方误差函数中x代表输入的数据样本，y代表训练模型产生的样品，i代表样本矩阵中的每个值，其公式如下：
24.mse(xi，yi)＝(x
i-y)2ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
25.交叉熵函数中i代表当前标签状态下的分类情况，k代表总共的分类数量，y代表标签的值，p代表当前标签值状态下的分类概率，其公式如下：
[0026][0027]
深度学习网络分类器eegnet网络最后一层，使用的激活函数是sigmoid函数，其公式如下：
[0028][0029]
其他各层使用的激活函数为elu函数，其中β是一个可调整的参数，控制着elu负值部分在何时饱和，其公式如下：
[0030][0031]
步骤s3-2：训练eegnet分类器：
[0032]
读取文件夹里的图像数据，导入eegnet中；然后开始如下工作：
[0033]
eegnet图像特征分类器总共有四层网络，依以下步骤执行：
[0034]
a1，数据进入第一层网络，使用一维线性卷积对数据做卷积处理，卷积采用长度为32的卷积核kernel滑动窗口，并设置步长stride为1，填充padding值为0，输出通道数为16，处理完后用激活函数elu激活数据；
[0035]
a2，数据进入第二层网络层，用二维线性卷积对数据做卷积处理，卷积采用长度为2*32的卷积核kernel滑动窗口，并设置步长stride为1，填充padding值为0，输出通道数为8；卷积完后对数据做池化操作，采用的卷积核为2*4，池化操作结束后用激活函数elu激活
数据；
[0036]
a3，数据进入第三层网络层，用二维线性卷积对数据做卷积处理，卷积采用长度为8*4的卷积核kernel滑动窗口，并设置步长stride为1，填充padding值为0，输出通道数为4；卷积完后对数据做池化操作，采用的卷积核为2*4，池化操作结束后用激活函数elu激活数据；
[0037]
a4，数据进入第四层网络，用全联接卷积将数据转为大小为4的张量矩阵，并用sigmoid函数激活数据；
[0038]
a5，训练的过程中采用的损失函数是crossentropy交叉熵函数，训练完后保存图像特征分类器eegnet的参数；
[0039]
步骤s3-3：训练循环特征提取器
[0040]
构建的循环特征提取器主要由卷积网络和循环神经网络组成rnn；具体执行结构如下：
[0041]
b1，数据进入第一层网络，用conv卷积，卷积的参数为输入1，输出4，卷积核大小为7；卷积操作结束后用relu激活函数激活数据；
[0042]
b2，数据进入第二层网络，用conv卷积，卷积的参数为输入4，输出8，卷积核大小为5；卷积操作结束后用relu激活函数激活数据；
[0043]
b3，数据进入第三层网络，用最大池化maxpool，池化核为3；池化操作结束后用relu激活函数激活数据；
[0044]
b4，数据进入第四层网络，第四层网络有三个分支网络，皆为conv卷积网络：第四层网络第一个分支网络的参数输入8，输出16，核大小为3，卷积操作结束后用relu激活函数激活数据；第四层网络第二个分支网络的参数输入8，输出16，核大小为5，卷积操作结束后用relu激活函数激活数据；第四层网络第三个分支网络的参数输入8，输出16，核大小为7；卷积操作结束后用relu激活函数激活数据；
[0045]
b5，数据进入第五层网络，用concat函数将，第四层网络三个分支网络的数据合并，得到通道数为48的数据；然后进入conv卷积层，参数输入48，输出1，核大小为1；
[0046]
b6，数据进入第六层网络，第六层网络有两个分支网络，皆为全联接网络：第六层网络第一个分支网络输入参数为32，输出为32，卷积操作结束后用relu激活函数激活数据；第六层网络第二个分支网络输入参数为64，输出为64，卷积操作结束后用relu激活函数激活数据；然后将两个分支网络得到的向量做累加操作；
[0047]
b7，数据进入第七层网络，用循环神经网络lstm对数据做处理，lstm的处理层参数设为1层，lstm内部用到了激活函数sigmoid及tanh，其中tanh的公式如下：
[0048][0049]
然后用激活函数得到的结果向量与第六层网络得到的结果向量做向量累加操作，得到最终的图像特征数据；
[0050]
b8，读取文件夹里的被试观看的图像所对应的脑电数据，导入循环特征提取器中；
[0051]
进入特征提取器中，对脑电数据进行训练，训练时使用的损失函数loss为循环特征提取器的损失函数，其中a为影响因子，其值介于0到1之间，其公式如下：
[0052][0053]
训练完后保存循环特征提取器rf的参数；
[0054]
步骤s3-4：反馈结果：得到训练完的模型；输入脑电测试数据集到训练完的循环特征提取模型中，得到电脑数据中的图像特征向量，再将图像特征向量放入到图像特征向量分类器eegnet中，得到最终的分类结果。
[0055]
本发明的有益效果是：本发明image-eegnet从脑电数据提取图像特征进行分类。解决了常规机器学习及深度学习方法只用于脑电特征分类的单工作问题，使脑电数据与图像数据相关联。并且本发明的循环特征提取器可用于大多数图像特征分类模型上，具有良好的泛化性能。
[0056]
本发明在脑电的图像特征提取及分类方面取得了较好的效果，期待未来能用本发明的模型将脑电数据还原为被试看到的可视化图形，同时也期待在实际脑机交互中拥有更加广泛的应用前景。
附图说明
[0057]
图1是本发明流程图；
[0058]
图2是本发明采用的网络框架图；
[0059]
图3是本发明采用的循环特征提取器的算法结构图；
[0060]
图4是本发明方法的发明效果对比图。
具体实施方式
[0061]
下面结合附图和实施例对本发明作进一步说明，以使本发明的优点和特征能够更加容易的被本领域技术人员理解，从而对本发明的保护范围做出更加清楚的明确界定。
[0062]
如图1所示，本发明以深度学习模型eegnet作为图像特征分类方法，通过训练图像数据得到图像特征分类器；然后，用我们设计发明的循环特征提取器提取脑电数据的图像特征；最后通过图像特征分类器对脑电中提取的图像特征进行分类。
[0063]
步骤s1.原始数据采集:
[0064]
用脑电范式设计平台openvibe与脚本语言python搭建模拟平台，设计模拟图像刺激范式。本次模拟系统的数据由采集设备对应的数据接收软件easycap记录并转发至openvibe，openvibe再将数据保存至csv格式文件中，采样频率为128hz,所有32个eeg通道均参考接地到fcz通道的两个耳垂，并且保持其阻抗在10kq以下。
[0065]
基于此系统，选取了n名健康且视力正常或矫正至正常水平的青年作为被试，采集脑电信号。任务是在一个绝对安静且无外界干扰的环境中，被试坐在椅子上，然后戴上脑电数据采集设备，再去观看电脑屏幕上出现的范式图像。每间隔500毫秒切换一次范式图像，从而达到在图像切换的过程中给被试一种事件相关电位刺激的效果。当图像切换界面消失时，任务即结束。该实验包含多组实验采集(不少于15次)。
[0066]
步骤s2.数据处理:
[0067]
利用eeglab脚本将获取到的原始数据进行处理。
[0068]
s2-1：数据预处理
[0069]
将数据导入eeglab脚本中，用高通滤波与低通滤波算法将50赫兹的市电及高频噪声滤波，再用ica去除眼电干扰，最后去除伪迹。
[0070]
s2-2：时间片划分
[0071]
将数据切分成若干个时间t等长的序列，存放在格式为mat的文件中，用于后续模型训练。
[0072]
如图2和图3所示，步骤s3.根据eegnet网络和提取电脑数据中的图像特征分类思想，设计训练相应的，取名为image-eegnet网络模型，如图2所示。具体实现如下：
[0073]
s3-1：初始化
[0074]
网络image-eegnet模型包括循环特征提取器(rf)和深度学习网络分类器(eegnet)，分别将初始化rf的参数μ
rf
和eegnet的参数μ
eegnet
进行初始化；
[0075]
循环特征提取器rf网络各层的激活函数为relu函数，其中x代表样本，其公式如下：
[0076]
relu(x)＝max(0,x)
[0077]
循环特征提取器(rf)训练时使用mesloss平均平方误差函数与crossentropyloss交叉熵函数相结合作为损失函数。平均平方误差函数中x代表输入的数据样本，y代表训练模型产生的样品，i代表样本矩阵中的每个值，其公式如下：
[0078]
mse(xi,yi)＝(x
i-y)2ꢀꢀ
#(2)
[0079]
交叉熵函数中i代表当前标签状态下的分类情况，k代表总共的分类数量，y代表标签的值，p代表当前标签值状态下的分类概率，其公式如下：
[0080][0081]
深度学习网络分类器eegnet网络最后一层，使用的激活函数是sigmoid函数,其公式如下:
[0082][0083]
其他各层使用的激活函数为elu函数，其中β是一个可调整的参数，控制着elu负值部分在何时饱和，其公式如下：
[0084][0085]
s3-2：训练eegnet分类器
[0086]
读取文件夹里的图像数据，导入eegnet中。然后开始如下工作：
[0087]
eegnet图像特征分类器总共有四层网络：
[0088]
1.数据首先进入第一层网络，首先用一维线性卷积对数据做卷积处理，卷积采用长度为32的卷积核(kernel)滑动窗口，并设置步长(stride)为1，填充(padding)值为0，输出通道数为16，处理完后用激活函数elu激活数据；
[0089]
2.数据进入第二层网络层，用二维线性卷积对数据做卷积处理，卷积采用长度为2*32的卷积核(kernel)滑动窗口，并设置步长(stride)为1，填充(padding)值为0，输出通道数为8；卷积完后对数据做池化操作，采用的卷积核为2*4，池化操作结束后用激活函数
elu激活数据；
[0090]
3.数据进入第三层网络层，用二维线性卷积对数据做卷积处理，卷积采用长度为8*4的卷积核(kernel)滑动窗口，并设置步长(stride)为1，填充(padding)值为0，输出通道数为4；卷积完后对数据做池化操作，采用的卷积核为2*4，池化操作结束后用激活函数elu激活数据；
[0091]
4.数据进入第四层网络，用全联接卷积将数据转为大小为4的张量矩阵，并用sigmoid函数激活数据。
[0092]
训练的过程中采用的损失函数是crossentropy交叉熵函数，训练完后保存图像特征分类器eegnet的参数。
[0093]
s3-3：训练循环特征提取器
[0094]
本发明构建的循环特征提取器主要由卷积网络和循环神经网络组成rnn。具体结构如下：
[0095]
1.数据进入第一层网络，用conv卷积，卷积的参数为输入1，输出4，卷积核大小为7。卷积操作结束后用relu激活函数激活数据；
[0096]
2.数据进入第二层网络，用conv卷积，卷积的参数为输入4，输出8，卷积核大小为5。卷积操作结束后用relu激活函数激活数据；
[0097]
3.数据进入第三层网络，用最大池化maxpool，池化核为3。池化操作结束后用relu激活函数激活数据；
[0098]
4.数据进入第四层网络，第四层网络有三个分支网络，皆为conv卷积网络：第一个分支网络的参数输入8，输出16，核大小为3，卷积操作结束后用relu激活函数激活数据；第二个分支网络的参数输入8，输出16，核大小为5，卷积操作结束后用relu激活函数激活数据；第三个分支网络的参数输入8，输出16，核大小为7；卷积操作结束后用relu激活函数激活数据；
[0099]
5.数据进入第五层网络，用concat函数将三个分支网络的数据合并，得到通道数为48的数据；然后进入conv卷积层，参数输入48，输出1，核大小为1；
[0100]
6.数据进入第六层网络，第六层网络有两个分支网络，皆为全联接网络：第一个分支网络输入参数为32，输出为32，卷积操作结束后用relu激活函数激活数据；第一个分支网络输入参数为64，输出为64，卷积操作结束后用relu激活函数激活数据；然后将两个分支网络得到的向量做累加操作。
[0101]
7.数据进入第七层网络，用循环神经网络lstm对数据做处理，lstm的处理层参数设为1层，lstm内部用到了激活函数sigmoid及tanh，其中tanh的公式如下：
[0102][0103]
然后用激活函数得到的结果向量与第六层网络得到的结果向量做向量累加操作，得到最终的图像特征数据。
[0104]
读取文件夹里的被试观看的图像所对应的脑电数据，导入循环特征提取器中。然后开始如下工作：首先进入特征提取器中，然后对脑电数据进行训练，训练时使用的损失函数loss为本发明为循环特征提取器设立的损失函数，其中a为影响因子，其值介于0到1之间，其公式如下：
[0105][0106]
训练完后保存循环特征提取器rf的参数。
[0107]
s3-4：测试及反馈结果
[0108]
经过上面的步骤，得到训练完的模型；用输入脑电测试数据集到训练完的循环特征提取模型中，得到电脑数据中的图像特征向量，再将图像特征向量放入到图像特征向量分类器eegnet中，得到最终的分类结果。
[0109]
步骤s4.评估结果：
[0110]
为了验证本发明的有效性，选取15名被试数据，用eegnet训练可视化图像得到的图像特征分类器对脑电数据中提取的图像特征做分类，来评估该模型的特征提取效果。经实验验证，附图4所示，通过本发明方法与其他方法相比，本发明对脑电数据中的图像特征提取拥有更好且泛化性更强的的效果，在图像特征分类器上的准确率也明显高于其他方法。