一种基于迁移学习的脑电情绪分类方法

1.本公开属于生物特征识别、人工智能技术领域，特别涉及一种基于迁移学习的脑电情绪分类方法。


背景技术：

2.情感无论是在人们的日常生活还是科研学习当中都充当着至关重要的角色。脑机接口作为人与机器之间沟通、合作、共融的桥梁，如果能够识别人类的情感，会极大地增强人机合作的安全性和效率。因此，基于脑电信号的情绪识别技术得到了广泛地关注。
3.目前，研究者们利用卷积神经网络对脑电特征进行识别，得到了高于传统的svm的准确率。但是，脑电的非平稳性导致这些为单个被试训练的模型难以为其他被试所用。情绪脑电数据，尤其是带标签的数据收集困难，很难用包含多被试脑电特征的数据直接训练出一个跨被试效果好的模型。这两个问题直接导致了情绪识别模型跨被试应用困难，为情感脑机接口的泛化带来负面影响。为解决模型跨被试应用困难的问题，部分研究者将目光转向域自适应方法。域适应是迁移学习的一个子领域，该研究的目标是在降低不同域之间差异的同时，保持不同类别的判别信息，早期的域适应方法倾向于减小源域和目标域在特定空间的距离。这种方法仅从边缘分布出发进行域适应，存在数据利用率低，效果较差的问题。


技术实现要素：

4.为了解决上述问题，本公开提供了一种基于迁移学习的脑电情绪分类方法，其包括如下步骤：
5.s100：使用62导联脑电数据采集设备采集脑电信号，采集来自源域的有标签情绪脑电数据和来自目标域的无标签情绪脑电数据，作为训练样本；
6.s200：对所述训练样本进行预处理；
7.s300：构建基于深度域适应网络的脑电情绪迁移模型，该模型由一个特征提取器、一个类别预测器、一个域分类器组成；
8.s400：将预处理好的训练样本输入到所述构建好的迁移模型中，混合经过预处理的源域有标签情绪脑电数据和目标域无标签情绪脑电数据共同对迁移模型进行迭代训练；
9.s500：训练后选取准确率最高的一次，作为最终用于识别脑电情绪的迁移模型；
10.s600：使用所述最终用于识别脑电情绪的迁移模型对脑电情绪进行分类。
11.通过上述技术方案，本方法解决脑电情绪跨被试迁移困难的问题，降低脑电情绪识别和训练的难度和训练成本。本方法针对不同个体脑电数据差异性大，导致训练后的模型泛化性低，无法快速部署的问题，通过构建基于深度域适应网络的脑电情绪迁移模型，对脑电原始数据的5个频带分别计算微分熵，并按照电极位置转换为三维矩阵，使用基于注意力机制的densenet网络对脑电数据提取深层的特征，提高对特征的利用率，降低对数据量的需求，减少计算量。将提取到的深层特征输入深度域适应网络，通过梯度反转让网络混淆
源域和目标域，使得两个域的分布更相似，提升迁移模型的性能和情绪识别的准确度。让迁移模型能有效地解决脑电情绪跨被试迁移问题，提升迁移模型在跨被试情绪识别中的应用效果，具有较好的应用前景。
附图说明
12.图1是本公开一个实施例中所提供的一种基于迁移学习的脑电情绪分类方法流程图；
13.图2是本公开一个实施例中所提供的脑电采集设备62通道电极分布示意图；
14.图3是本公开一个实施例中微分熵特征转换为2维矩阵示意图；
15.图4是本公开一个实施例中脑电电极映射至二维平面过程示意图；
16.图5是本公开一个实施例中脑电情绪数据预处理过程示意图；
17.图6是本公开一个实施例中迁移模型结构示意图；
18.图7是本公开一个实施例中特征提取器网络架构参数示意图；
19.图8是本公开一个实施例中特征提取器网络结构结构示意图；
20.图9是本公开一个实施例中密集块(dense block)结构示意图；
21.图10是本公开一个实施例中过渡层模块结构示意图；
22.图11是本公开一个实施例中空间注意力模块结构示意图。
具体实施方式
23.下面将参照附图1至图11更详细地描述本发明的具体实施例。在一个实施例中，如图1所示，本公开提供了一种基于迁移学习的脑电情绪分类方法，其包括如下步骤：
24.s100：使用62导联脑电数据采集设备采集脑电信号，采集来自源域的有标签情绪脑电数据和来自目标域的无标签情绪脑电数据，作为训练样本；
25.s200：对所述训练样本进行预处理；
26.s300：构建基于深度域适应网络的脑电情绪迁移模型，该模型由一个特征提取器、一个类别预测器、一个域分类器组成；
27.s400：将预处理好的训练样本输入到所述构建好的迁移模型中，混合经过预处理的源域有标签情绪脑电数据和目标域无标签情绪脑电数据共同对迁移模型进行迭代训练；
28.s500：训练后选取准确率最高的一次，作为最终用于识别脑电情绪的迁移模型；
29.s600：使用所述最终用于识别脑电情绪的迁移模型对脑电情绪进行分类。
30.就该实施例而言，该方法通过构建基于深度域自适应网络的脑电情绪迁移模型，将从5个频带中提取到的微分熵特征按照电极位置映射到二维平面转化为二维矩阵，将5个二维矩阵叠加为一个三维矩阵。使用基于注意力机制的densenet网络作为特征提取器对脑电数据提取深层的特征，通过梯度反转让网络混淆源域和目标域，使得两个域的分布更相似，提升迁移模型的性能和情绪识别的准确度。
31.使用62导联脑电数据采集设备采集脑电信号，受试者需要佩戴脑电数据采集设备坐在实验室中观看预先准备好的情绪激发材料，产生对应的情绪脑电信号，采样频率设置为1000hz，采集来自源域的有标签情绪脑电数据和来自目标域的无标签情绪脑电数据，作为训练样本。脑电采集设备62通道电极分布如图2所示。
32.模型每经过一个epoch，都会自动记录当前准确率最高的模型参数。当模型完成训练时，就能得到分类准确率最高的模型。
33.在另一个实施例中，所述步骤s200进一步包括：
34.s201：对来自源域的有标签情绪脑电数据和来自目标域的无标签情绪脑电数据做带通滤波，滤除噪音；
35.s202：将滤波后的数据降采样到200hz；
36.s203：将经过滤波和降采样后的数据分割为1秒每段，并对分割后数据的5个频带分别计算微分熵；
37.s204：将所述微分熵按照电极位置映射至二维平面转化为5个二维矩阵；
38.s205：将所述5个二维矩阵叠加为一个三维矩阵。
39.就该实施例而言，脑电数据预处理具体为首先对采集到的数据使用巴特沃斯带通滤波器做一个1-50hz的带通滤波，以滤除噪声。然后通过降采样，将脑电数据降采样到200hz来降低计算量，即将原始脑电数据的采样频率从原来的1000hz降低为200hz。之后将经过滤波和降采样后的数据分割为1秒每段，即每秒数据维度为62x200。对分割后的数据分别在5个频段即delta(1-3hz)，theta(4-7hz)，alpha(8-13hz)，beta(14-30hz)，gamma(31-50hz)，这5个频带上计算微分熵。微分熵的计算公式为：
40.de＝-∫p(x)log(p(x))dx
41.其中，x为随机变量，p(x)表示连续信息的概率密度函数。若对一段特定长度的近似服从高斯分布n(μ，σ2)的脑电数据计算微分熵，则其微分熵为：
[0042][0043]
其中，μ表示平均值，σ2表示方差。而x则为随机变量。然后通过转换函数将得到的微分熵特征按照电极位置映射至二维平面转化为5个二维矩阵，从而得到5个9x9的矩阵，如图3和图4所示。之后使用双三次插值法对得到的矩阵进行插值，得到5个32x32的矩阵，将5个频带的二维矩阵叠加为一个三维矩阵，得到一个32x32x5的三维矩阵，具体过程如图5所示。
[0044]
同时组合5个频带的微分熵特征比单独使用一个频带的微分熵特征，训练效果更好。
[0045]
在另一个实施例中，迁移模型结构如图6所示，所述步骤s300进一步包括：
[0046]
s301：使用基于注意力机制的densenet网络对预处理过后的脑电数据提取深层特征；
[0047]
s302：将提取到的深层特征分别输入到所述类别预测器和所述域分类器中，根据得到的结果计算损失值，其中域分类器与特征提取器之间有一层梯度反转层，在前向传播中实现恒等变换，在反向传播中梯度方向自动取反。
[0048]
就该实施例而言，通过最小化类别分类损失，实现情绪的精准分类，最大化域分类损失，混淆源域数据和目标域数据。
[0049]
在另一个实施例中，所述特征提取器使用的是基于注意力机制的densenet网络，去掉了最后的全连接层。
[0050]
就该实施例而言，特征提取器网络架构参数如图7所示，基于注意力机制的densenet网络由于其采用了密集连接机制，能够充分地利用所有层的特征，对特征的利用率更高，一定程度上减轻了训练数据较少的问题。
[0051]
在另一个实施例中，如图8所示，所述densenet网络由1个输入层、2个密集块、1个过渡层、2个空间注意力模块和一个输出层组成。
[0052]
在另一个实施例中，所述输入层由一个3x3的卷积层组成；所述输出层由一个批量归一化层、一个relu激活函数和一个全局平均池化层组成。
[0053]
在另一个实施例中，如图9和图10所示，所述密集块由一个瓶颈层、一个批量归一化层、一个relu激活函数、一个3x3卷积层组成，其中瓶颈层由一个批量归一化层、一个relu激活函数、一个1x1卷积层组成；所述过渡层由一个批量归一化层、一个relu激活函数、一个1x1卷积层、一个2x2平均池化层组成。
[0054]
就该实施例而言，密集块(dense block)是包含很多层的模块，每个层的特征图大小相同，没有池化层，层与层之间采用密集连接方式。过渡层是用来连接两个相邻的密集块(dense block)的，并且通过池化层使特征图大小降低，减少计算量。
[0055]
在另一个实施例中，如图11所示，所述空间注意力模块由一个全局平均池化层、一个全局最大池化层、一个3x3卷积层和一个sigmoid激活函数组成。
[0056]
就该实施例而言，空间注意力模块负责重新分配权重，让网络更关注贡献程度高的特征。空间注意力模块首先对特征做一个基于通道的全局最大池化和全局平均池化，然后将得到的结果基于通道拼接在一起，然后经过一个3x3卷积层，然后经过sigmoid函数激活得到空间注意力权重，再将该权重与该模块的输入特征相乘就得到了最终的空间注意力特征。
[0057]
在另一个实施例中，所述类别预测器和域分类器使用了两层全连接层，所述两层全连接层的卷积核数量均为50，其中，所述类别预测器的激活函数使用的是softmax函数，所述域分类器的激活函数使用的是sigmoid函数。
[0058]
就该实施例而言，将提取到的深层特征分别输入到类别预测器和域分类器中，根据得到的结果计算损失值，通过最小化类别分类损失，实现情绪的精准分类，最大化域分类损失，混淆源域数据和目标域数据。其中域分类器与特征提取器之间有一层梯度反转层，在前向传播中实现恒等变换，在反向传播中梯度方向自动取反，通过梯度反转让网络混淆源域和目标域，使得两个域的分布更相似。其数学表示如下：
[0059]rλ
(x)＝x
ꢀꢀꢀꢀꢀ
(1)
[0060][0061]
其中r
λ
(x)是梯度反转层的伪函数，x表示梯度更新时传播的参数，参数i则表示一个单位矩阵，λ为一参数。公式(1)是在前向传播中参数恒等变换的公式，公式(2)是在反向传播中梯度自动取反的公式。
[0062]
在梯度反转层中，参数λ并不是固定不变的，而是动态变化的。其变化表达式如下：
[0063][0064]
其中p代表迭代进程相对值，即当前迭代次数与总迭代次数的比率，γ为常数10。
[0065]
在另一个实施例中，所述模型训练过程中采用adam优化器对损失函数进行优化。
[0066]
就该实施例而言，训练过程中，网络采用adam优化器对损失函数进行优化，初始学习率为0.0001。训练的批量大小为64，epoch设置为100。将所有的训练样本完整训练一次称作一个epoch。训练100次后选取准确率最高的一次，作为最终用于识别情绪的迁移模型。最小化类别分类损失，实现情绪的精准分类。最大化域分类损失，进一步混淆源域数据和目标域数据。
[0067]
尽管以上结合附图对本发明的实施方案进行了描述，但本发明并不局限于上述的具体实施方案和应用领域，上述的具体实施方案仅仅是示意性的、指导性的，而不是限制性的。本领域的普通技术人员在本说明书的启示下和在不脱离本发明权利要求所保护的范围的情况下，还可以做出很多种的形式，这些均属于本发明保护之列。