基于多任务深度学习的稳态视觉诱发电位目标识别方法

1.本发明属于脑机接口技术领域，涉及一种基于深度学习的多任务的稳态视觉诱发电位目标识别方法。


背景技术：

2.稳态视觉诱发电位(ssvep)是视觉系统对外部视觉刺激的响应，经过最近几十年的蓬勃发展，不仅在视觉注意、双眼竞争、大脑基本节律活动等认知过程的机制研究中发挥重要作用,而且在退化性疾病、癫痫、抑郁等临床神经医学疾病方面也被广泛研究。由于稳态视觉诱发电位具有操作简单、记录电极少、训练时间短、信息传输率高及抗干扰能力强等优点，近年来被广泛应用于脑-机接口(bci)系统的研究中。目前，众多研究学者对稳态视觉诱发电位从形成机理和功能应用方面进行了深入研究。详细总结了国内外稳态视觉诱发电位的研究概况，着重分析了稳态视觉诱发电位在脑-机接口系统中的应用概况，并展望了稳态视觉诱发电位研究发展趋势。
3.ssvep信号是与频率高度相关的信号，因此最初的研究采用多变量统计分析，包括典型相关分析(cca)，通过探索两组变量之间的相关性，基于cca的方法已经证明了其在基于多通道应用的情况下的强大性能。在这些工作之后有学者通过改善个体参考信号使分类性能得到了显着提高。
4.传统的机器学习算法在ssvep识别上虽然已经取得了很好的效果，但是传统机器学习算法并不能提取ssvep信号中更复杂的非线性特征。深度学习是机器学习中一种基于对数据进行表征学习的算法，可以有效的提取数据中的非线性特征。观测值(例如一幅图像)可以使用多种方式来表示，如每个像素强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务(例如，人脸识别或面部表情识别)。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。很多研究人员已经将深度学习应用到ssvep解码与识别上并取得了不错的效果。但是由于这些ssvep数据集数量往往很少，因此这些深度学习模型的某些层不能够充分的提取数据的特征。因此需要可以在小数据集上有效提升模型中间层的特征提取能力的深度学习模型。
5.经过检索，申请公开号cn111460200a，一种基于多任务深度学习的图像检索方法、模型及其构建方法，依据标签与标签的关系，以及标签与图像视觉内容的关系，设计损失函数指导标签的优化，在去除噪声标签，补全缺失标签，减少语义模糊标签的同时，并进一步精确地匹配每个图像区域的对应标签，从而用这些标签为哈希学习提供更精确地语义指导。为了高效地进行标签优化学习和哈希学习，提出一个端到端的联合学习框架，在标签学习的同时也进行哈希学习，两种学习相互受益；设计最终损失函数来共同指导标签学习和哈希学习，并使用动量的随机梯度下降法优化模型参数从而得到图像检索模型以及图像中的每个目标精细化的哈希表达。本发明的模型通过对模型1和模型2设置相同的分类任务并添加了模型3来限制模型1和模型2的相关系数，其目的是为了强化模型1的分类性能，进而
使得前两层隐藏层的特征提取能力尽可能的强，并且在分析验证的时候采取了两个模型的输出进行加权来得到最终的结果，并不是只采用单个任务的结果。


技术实现要素：

6.本发明旨在解决以上现有技术的问题。提出了一种基于深度学习的多任务稳态视觉诱发电位目标识别方法。本发明的技术方案如下：
7.一种基于深度学习的多任务稳态视觉诱发电位目标识别方法，其包括以下步骤：
8.通过脑电采集系统采集ssvep稳态视觉诱发电位信号；
9.将采集的ssvep稳态视觉诱发电位信号进行降采样、滤波在内的预处理；
10.将预处理好的ssvep稳态视觉诱发电位信号按照窗口大小划分；
11.将按照窗口大小划分好的信号传入到多任务模型中训练；
12.使用训练好的多任务模型对被试者的ssvep信号进行验证；
13.将预测出来的结果与实际结果进行对比，完成目标识别。
14.进一步的，所述通过脑电采集系统采集ssvep稳态视觉诱发电位信号，具体包括：被试者根据提示注视ssvep刺激界面，其产生的ssvep信号通过脑电采集系统进行采集，采集步骤如下:
15.(1)被试者在坐在刺激界面屏幕正前方60cm；
16.(2)被试者被要求在数据采集过程中不要有动作；
17.(3)被试者根据刺激界面的提示来注视刺激目标，刺激界面显示在14寸的屏幕上，共有9个刺激目标，显示为数字1到9；刺激目标为10cm
×
10cm的方块，每个刺激目标之间的距离为20cm，刺激目标在闪烁前会有0.5s的变红提示。
18.进一步的，所述采集的ssvep稳态视觉诱发电位信号进行包括带通滤波，陷波滤波等在内预处理，信号预处理步骤如下:
19.(1)将采集到的信号进行降采样到250hz，降采样的公式如下:
[0020][0021]
其中n表示第n个降采样点，序列h[*]是数位滤波器的脉冲响应，k是它的长度列，x[*]为要被降采样的原始讯号的取样点，m表示取样点间隔数，y[n]表示降采样后的数据的第n个点。
[0022]
(2)将降采样后的信号使用巴特沃夫滤波器进行带通滤波；
[0023]
(3)将带通滤波后的信号使用巴特沃夫滤波器进行陷波滤波。
[0024]
进一步的，所述巴特沃夫滤波器指的是一种通频带之频率响应曲线平坦无纹波的信号处理滤波器；
[0025]
带通滤波指的是允许特定频率信号通过的滤波器，降低或消除该频带上下频率的信号；
[0026]
陷波滤波指的是可以在某一个频率点迅速衰减输入信号，以达到阻碍此频率信号通过的滤波效果；
[0027]
进一步的，将预处理好的ssvep稳态视觉诱发电位信号按照窗口大小划分；按照窗
口大小划分指的是将时域的信号按照一定时间长度来划分后划分出来的信号。
[0028]
进一步的，所述将按照窗口大小划分好的信号传入到多任务模型中训练，具体包括：
[0029]
模型的架构由三个子网络组成:网络1，网络2，网络3，三个子网络分别对应三个输出；图二中前两层卷积神经网络属于网络1、网络2、网络3共享的隐藏层，第三层卷积神经网络以及后面紧接着的全连接层为网络2的独享结构，网络1的特征层输出后接一个全连接层输出为网络1的独享结构，网络1的特征层与网络2的特征层进行相关系数计算为网络3的独享结构。
[0030]
将划分后的数据打乱顺序后输入到所述的深度学习模型中，使用adam优化器对所述的深度学习检测模型进行训练，批大小设置为每批32段信号，初始的学习率设置为0.005；
[0031]
训练中网络1和网络2使用的损失函数为交叉熵，公式如下:
[0032][0033]
其中p表示真实标记的分布，q则为训练后的模型的预测标记分布，h(p,q) 表示交叉熵。
[0034]
训练中网络3使用的损失函数为corr_loss,公式如下:
[0035][0036]
其中，r(x,y)表示x，y之间的相关系数。x为网络1的特征层进行加权通道融合后的特征，表达式为:
[0037]
x＝w1·
f1[0038]
w1为通道融合权重，f1为网络1的特征层；
[0039]
y为网络2的特征层进行加权通道融合后的特征，表达式为:
[0040]
y＝w2·
f2[0041]
w2为通道融合权重，f2为网络2的特征层；
[0042]
cov(x,y)为x与y的协方差，var[x]为x的方差，var[y]为y的方差。
[0043]
在训练300次迭代后得到训练好的深度学习多任务模型。
[0044]
进一步的，所述使用训练好的多任务模型对被试者的ssvep信号进行验证，具体包括：
[0045]
(1)采集被试者新的数据，通过预处理方法后进行离线验证；
[0046]
(2)被试者通过脑电采集系统采集ssvep稳态视觉诱发电位信号的方法采集新的数据，在采集过程中实时的处理数据，并且传入到深度学习模型中进行在线验证。
[0047]
进一步的，所述将模型的验证结果进行对比，得到最终分类结果，具体比较方法的步骤如下:
[0048]
(1)观察网络1和网络2的输出并且进行加权后求和，网络1的输出权重为1，网络2的输出权重为0.5；
[0049]
(2)将加权后的向量进行sigmoid处理，得到一个值得大小在0-1范围的 1
×
n的向
量，n为刺激目标数；
[0050]
(3)遍历softmax处理后的向量，找到最大值，最大值对应的位置就是刺激目标的序号。
[0051]
本发明的优点及有益效果如下：
[0052]
本发明的创新主要是：权利要求的步骤6中的多任务模型的设计，创新点主要是通过模型1对前两层卷积神经网络隐藏层进行了强化训练，加强了前两层卷积神经网络的特征提取能力。并且设定模型1和模型2训练相同的任务，并且由模型3对模型1和模型2进行相关系数的限制，因此进一步增强了模型1 的效果，增强了模型1中与模型2中共享的两层卷积神经网络隐藏层的特征提取能力。权利要求的步骤8中的验证过程，不仅仅通过单个模型来确认ssvep 识别的目标，而是通过模型1和模型2的输出加权后，来识别最终的结果。
附图说明
[0053]
图1是本发明提供优选实施例基于深度学习的多任务稳态视觉诱发电位目标识别方法步骤；
[0054]
图2是多任务模型架构。
具体实施方式
[0055]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。
[0056]
本发明解决上述技术问题的技术方案是：
[0057]
如图1所示，本发明的基于深度学习的多任务的ssvep识别方法，包括如下步骤:1)ssvep信号的采集，被试者根据提示注视ssvep刺激界面，其产生的ssvep信号通过脑电采集系统进行采集，采集步骤如下:
[0058]
(1)被试者在坐在刺激界面屏幕正前方60cm。
[0059]
(2)被试者被要求在数据采集过程中尽量不要有动作。
[0060]
(3)被试者根据刺激界面的提示来注视刺激目标。刺激界面显示在14寸的屏幕上，共有9个刺激目标，显示为数字1到9。刺激目标为10cm
×
10cm的方块，每个刺激目标之间的距离为20cm。刺激目标在闪烁前会有0.5s的变红提示。
[0061]
2)将采集到的信号进行预处理，信号的预处理步骤如下:
[0062]
(1)将采集到的信号进行降采样到250hz，降采样的公式如下:
[0063][0064]
其中n表示第n个降采样点，序列h[*]是数位滤波器的脉冲相应，k是它的长度列，x[*]为要被降采样的原始讯号的取样点。
[0065]
(2)将降采样后的信号使用巴特沃夫带通滤波器进行滤波。
[0066]
(3)将带通滤波后的信号使用巴特沃夫陷波滤波器进行滤波。
[0067]
3)将预处理好的信号按照窗口大小划分。
[0068]
4)将划分好的信号与步骤对应传入到模型中训练，模型的架构如图2所示。该模型
由三个子网络组成:网络1，网络2，网络3，三个子网络分别对应三个输出。
[0069]
具体训练步骤为:使用图2所示作为深度学习模型，将划分后的数据打乱顺序后输入到所述的深度学习模型中，使用adam优化器对所述的深度学习检测模型进行训练，批大小设置为每批32段信号，初始的学习率设置为0.005。
[0070]
训练中网络1和网络2使用的损失函数为交叉熵,公式如下:
[0071][0072]
其中p表示真实标记的分布，q则为训练后的模型的预测标记分布。
[0073]
训练中网络3使用的损失函数为corr_loss,公式如下:
[0074][0075]
其中，x为网络1的特征层进行加权通道融合后的特征，表达式为:
[0076]
x＝w1·
f1[0077]
w1为通道融合权重，f1为网络1的特征层。
[0078]
y为网络2的特征层进行加权通道融合后的特征，表达式为:
[0079]
y＝w2·
f2[0080]
w2为通道融合权重，f2为网络2的特征层。
[0081]
cov(x,y)为x与y的协方差，var[x]为x的方差，var[y]为y的方差。
[0082]
在训练300次迭代后得到训练好的深度学习多任务模型。
[0083]
5)使用训练好的多任务模型对被试者的ssvep信号进行验证，具体由以下步骤组成:
[0084]
(1)被试者通过说明书步骤1)中说明的方法采集新的数据，通过步骤2)的方法预处理后进行离线验证。
[0085]
(2)被试者通过说明书步骤1)的方法采集新的数据，在采集过程中实时的处理数据，并且通过程序传入到模型中进行在线验证。
[0086]
6)将模型的验证结果进行对比，得到最终分类结果，具体比较方法的步骤如下:
[0087]
(1)观察网络1和网络2的输出并且进行加权后求和，网络1的输出权重为1，网络2的输出权重为0.5。
[0088]
(2)将加权后的向量进行softmax处理，得到一个值得大小在0-1范围的 1
×
n的向量，n为刺激目标数。
[0089]
(3)遍历softmax处理后的向量，找到最大值，最大值对应的位置就是刺激目标的序号。
[0090]
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
[0091]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的
包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0092]
以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。