一种基于深度学习及图像特征的脑电数据分类方法与流程

技术特征：
1.一种基于深度学习及图像特征的脑电数据分类方法，其特征在于，包括如下步骤：步骤s1.原始数据采集：用脑电范式设计平台openvibe与脚本语言python搭建数据范式平台，设计图片刺激范式；同时选取n名健康且视力正常或矫正至正常水平的被试青年，观看不同类型的可视化图片，每500毫秒切换一次可视化图像的画面；采集其在可视化图片刺激下的长度为t的脑电数据；步骤s2.数据处理：步骤s2-1：数据预处理：对采集到的原始脑电数据进行预处理，采用高通滤波和低通滤波消除噪音干扰；用独立成分分析消除眼电干扰；再去除干扰的伪记，得到有效的脑电数据；步骤s2-2：时间片划分：用预处理后得到的脑电数据，按500毫秒一个时间片对其做切分，得到n个大小为500毫秒的时间片数据，用于后续的模型训练；步骤s3.网络image-eegnet模型的构建与训练：步骤s3-1：初始化：网络image-eegnet模型包括：循环特征提取器rf和深度学习网络分类器eegnet，初始化rf的参数和eegnet的参数；步骤s3-2：训练eegnet分类器：将图像数据作为训练集输入，然后用eegnet训练输入的脑电数据，更新eegnet的参数，获得一次参数模型；步骤s3-3：训练循环特征提取器：将脑电数据作为训练集输入，然后用循环特征提取器训练输入的脑电数据，更新循环特征提取器参数，获得二次参数模型；步骤s3-4：测试及反馈结果：输入测试的脑电数据，经过循环特征提取器的作用，得到图像特征，然后用图像特征分类器eegnet对其做分类，得到分类结果；步骤s4.评估结果：用eegnet训练可视化图像得到的图像特征分类器对脑电数据中提取的图像特征做分类，来评估该模型的特征提取效果。2.根据权利要求1所述的一种基于深度学习及图像特征的脑电数据分类方法，其特征在于，所述的步骤s3具体实现如下：步骤s3-1：初始化：网络image-eegnet模型包括循环特征提取器rf和深度学习网络分类器eegnet，分别将初始化rf的参数μ
rf
和eegnet的参数μ
eegnet
进行初始化；循环特征提取器rf网络各层的激活函数为relu函数，其中x代表样本，其公式如下：relu(x)＝max(0，x)循环特征提取器rf训练时使用mesloss平均平方误差函数与crossentropyloss交叉熵函数相结合作为损失函数；平均平方误差函数中x代表输入的数据样本，y代表训练模型产生的样品，i代表样本矩阵中的每个值，其公式如下：mse(x
i
，y
i
)＝(x
i-y)2ꢀꢀꢀꢀꢀꢀꢀ
(2)交叉熵函数中i代表当前标签状态下的分类情况，k代表总共的分类数量，y代表标签的值，p代表当前标签值状态下的分类概率，其公式如下：
深度学习网络分类器eegnet网络最后一层，使用的激活函数是sigmoid函数，其公式如下：其他各层使用的激活函数为elu函数，其中β是一个可调整的参数，控制着elu负值部分在何时饱和，其公式如下：步骤s3-2：训练eegnet分类器：读取文件夹里的图像数据，导入eegnet中；然后开始如下工作：eegnet图像特征分类器总共有四层网络，依以下步骤执行：a1，数据进入第一层网络，使用一维线性卷积对数据做卷积处理，卷积采用长度为32的卷积核kernel滑动窗口，并设置步长stride为1，填充padding值为0，输出通道数为16，处理完后用激活函数elu激活数据；a2，数据进入第二层网络层，用二维线性卷积对数据做卷积处理，卷积采用长度为2*32的卷积核kernel滑动窗口，并设置步长stride为1，填充padding值为0，输出通道数为8；卷积完后对数据做池化操作，采用的卷积核为2*4，池化操作结束后用激活函数elu激活数据；a3，数据进入第三层网络层，用二维线性卷积对数据做卷积处理，卷积采用长度为8*4的卷积核kernel滑动窗口，并设置步长stride为1，填充padding值为0，输出通道数为4；卷积完后对数据做池化操作，采用的卷积核为2*4，池化操作结束后用激活函数elu激活数据；a4，数据进入第四层网络，用全联接卷积将数据转为大小为4的张量矩阵，并用sigmoid函数激活数据；a5，训练的过程中采用的损失函数是crossentropy交叉熵函数，训练完后保存图像特征分类器eegnet的参数；步骤s3-3：训练循环特征提取器构建的循环特征提取器主要由卷积网络和循环神经网络组成rnn；具体执行结构如下：b1，数据进入第一层网络，用conv卷积，卷积的参数为输入1，输出4，卷积核大小为7；卷积操作结束后用relu激活函数激活数据；b2，数据进入第二层网络，用conv卷积，卷积的参数为输入4，输出8，卷积核大小为5；卷积操作结束后用relu激活函数激活数据；b3，数据进入第三层网络，用最大池化maxpool，池化核为3；池化操作结束后用relu激活函数激活数据；b4，数据进入第四层网络，第四层网络有三个分支网络，皆为conv卷积网络：第四层网络第一个分支网络的参数输入8，输出16，核大小为3，卷积操作结束后用relu激活函数激活数据；第四层网络第二个分支网络的参数输入8，输出16，核大小为5，卷积操作结束后用relu激活函数激活数据；第四层网络第三个分支网络的参数输入8，输出16，核大小为7；卷积操作结束后用relu激活函数激活数据；b5，数据进入第五层网络，用concat函数将，第四层网络三个分支网络的数据合并，得到通道数为48的数据；然后进入conv卷积层，参数输入48，输出1，核大小为1；
b6，数据进入第六层网络，第六层网络有两个分支网络，皆为全联接网络：第六层网络第一个分支网络输入参数为32，输出为32，卷积操作结束后用relu激活函数激活数据；第六层网络第二个分支网络输入参数为64，输出为64，卷积操作结束后用relu激活函数激活数据；然后将两个分支网络得到的向量做累加操作；b7，数据进入第七层网络，用循环神经网络lstm对数据做处理，lstm的处理层参数设为1层，lstm内部用到了激活函数sigmoid及tanh，其中tanh的公式如下：然后用激活函数得到的结果向量与第六层网络得到的结果向量做向量累加操作，得到最终的图像特征数据；b8，读取文件夹里的被试观看的图像所对应的脑电数据，导入循环特征提取器中；进入特征提取器中，对脑电数据进行训练，训练时使用的损失函数loss为循环特征提取器的损失函数，其中a为影响因子，其值介于0到1之间，其公式如下：训练完后保存循环特征提取器rf的参数；步骤s3-4：反馈结果：得到训练完的模型；输入脑电测试数据集到训练完的循环特征提取模型中，得到电脑数据中的图像特征向量，再将图像特征向量放入到图像特征向量分类器eegnet中，得到最终的分类结果。

技术总结
本发明公开了一种基于深度学习及图像特征的脑电数据分类方法。使用EEGnet作为特征分类的方法，图像特征学习网络作为重要处理方式，通过对EEG信号进行图像特征提取及学习,对特征进行分类。获取EEG数据并预处理；用被试观看的图片做数据预处理，并用EEGnet对图像数据做训练，得到图像特征分类器；用特征学习方法从脑电数据中得到图像特征向量；将EEG信号提取出的图像特征向量放入特征分类器中分类。在EEG数据的图像特征分类领域中，与传统的机器学习、深度学习方法相比，本发明特征提取方法拥有更好的提取效果，图像特征分类的准确率得到了显著提升。到了显著提升。到了显著提升。


技术研发人员：曾虹 夏念章 刘洋 吴琪 金燕萍 张振炎
受保护的技术使用者：杭州电子科技大学
技术研发日：2021.10.19
技术公布日：2022/1/28