一种考虑个体差异的跨模式脑电信号识别方法与流程

技术特征：
1.一种考虑个体差异的跨模式脑电信号识别方法，其特征在于具体包括如下步骤：步骤(1)、脑电信号预处理，并打上被试id标签以及任务类别标签，构建成数据集；步骤2、搭建多分支网络mbn；所述多分支网络模型包括主干网络，分别用于提取背景特征和任务特征的两个分支网络b1、b2；以预处理后的脑电信号作为输入，以任务类别标签作为输出；所述主干网络包括依次级联的四个串联的卷积层、最大池化层、第一全连接层、第一dropout层、第二全连接层、第二dropout层、第三全连接层；所述分支网络b1、b2采用相同结构，均包括四个串联的卷积层；主干网络和分支网络的前三层卷积层均采用将主干网络和分支网络的同一层卷积层输出的特征向量进行拼接后输入到主干网络的下一层卷积层，主干网络和分支网络的最后一层卷积层采用将主干网络和分支网络的同一层卷积层输出的特征向量进行拼接后输入到主干网络的最大池化层中；所述分支网络b1、b2训练阶段具体如下：1)构建两个分别用于分类被试id以及任务类别的分类器c1、c2，两个分类器结构相同；并利用数据集进行训练；每个分类器包括两路分支和相似度计算结果模块，每路分支包括依次级联的四个串联的卷积层，一个最大池化层以及一个全连接层；两路分支输入分别为数据集中的脑电信号对，输出均输入至相似度计算结果模块；相似度计算结果模块通过公式(3)计算两路分支输出向量的特征距离，并根据公式(4)输出分类结果；征距离，并根据公式(4)输出分类结果；其中x
′1、x
′2分别表示脑电信号对x1、x2输入对应的分支提取特征后输出特征向量，d(.)为欧几里得距离计算公式；2)将训练好的两个分类器c1、c2中的分支部分去除最大池化层、全连接层，保留四个串联的卷积层，分别作为多分支网络模型中的两个分支网络，即分类器c1中四个串联的卷积层为分支网络b1，分类器c2中四个串联的卷积层为分支网络b2；步骤3、利用训练好的多分支网络模型，实现跨模式脑电信号识别。2.如权利要求1所述的一种考虑个体差异的跨模式脑电信号识别方法，其特征在于步骤(1)具体是：1
‑
1数据格式的统一根据采集信号时的电极位置，将通道维度的特征向量格式转化为2d矩阵格式，同时将每个通道的脑电信号划分为5个频段，最终得到大小为h
×
w
×
5的3d张量数据的脑电数据；其中h为2d矩阵的高，w为2d矩阵的宽；所述的5个频段为delta、theta、alpha、beta、gamma；1
‑
2数据分割及整理对步骤1
‑
1获得的脑电信号进行切片，以t为时间窗口进行滑窗操作，得到一系列大小为l
×
h
×
w
×
5的脑电信号片段，其中l为数据长度，l＝t
×
w，w为采样频率；然后将上述切片后的脑电信号片段打上被试id标签以及任务类别标签，最终构建数据集。
3.如权利要求1所述的一种考虑个体差异的跨模式脑电信号识别方法，其特征在于主干网络和分支网络的四个串联的卷积层中均采用线性整流函数relu作为激活函数以及在卷积前对数据进行边缘填充，卷积核的移动步长为1，卷积核的参数分别为：64个5
×
5卷积核；128个4
×
4卷积核；256个4
×
4卷积核；64个1
×
1卷积核。4.如权利要求1或3所述的一种考虑个体差异的跨模式脑电信号识别方法，其特征在于主干网络中最大池化层的核大小为2
×
2，移动步长为2；第一至第二dropout层的参数均设置为0.5；第一至第三全连接层的神经元个数分别为1024，512和n，其中n为特定任务的分类类别数。5.如权利要求1所述的一种考虑个体差异的跨模式脑电信号识别方法，其特征在于利用不同被试之间的背景特征对数据集中的数据进行筛选，具体操作如下：a)采集一位新被试的r个样本，与另一位已有被试的r个样本组成r个脑电信号对，并均输入至分类器c1中；b)分类器c1将每个脑电信号对映射到同一特征空间，并计算两个特征向量之间的欧几里得距离，最终将r个脑电信号对的输出结果取平均值作为两位被试之间的相似度；计算所有被试之间的相似度后获得被试间相似度矩阵其中k为被试个数；其中i，j＝1，2，...，k，代表被试id；表示第i位被试以及第j位被试的第r个脑电信号对的特征向量。c)根据被试相似度矩阵，删除与新被试差异性过大的被试数据样本。6.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1
‑
6中任一项所述的方法。7.一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1
‑
6中任一项所述的方法。

技术总结
本发明公开一种考虑个体差异的跨模式脑电信号识别方法。将脑电信号数据格式统一为3D张量结构，然后将其划分为数据集输入到由分支网络构成的分类器中进行训练以分别提取背景特征和任务特征；利用上述提取到的背景特征计算不同被试之间的相似度，并对数据集中的数据进行筛选以避免差异程度大于阈值的脑电信号数据在训练过程中带来的模型负提升；最终将筛选后的数据集输入到多分支网络模型中进行训练。本发明在尽可能采集少量新被试数据的同时，能更好地提取不同被试上的特征以提升模型在跨被试任务中的性能。在跨被试任务中的性能。在跨被试任务中的性能。


技术研发人员：林广 任彬 张建海 朱莉
受保护的技术使用者：杭州电子科技大学
技术研发日：2021.08.31
技术公布日：2021/11/8