基于生成式对抗网络的情绪脑电数据增强模型及扩充样本的方法与流程

1.本发明属于脑电数据处理技术领域，尤其涉及一种基于生成式对抗网络的情绪脑电数据增强模型及扩充样本的方法。


背景技术：

2.情感计算，即“与情绪有关、产生于情绪或影响情绪的计算”。其在计算机辅助学习、感知信息检索、艺术和娱乐、人类健康和交互、穿戴设备等方面具有广阔的应用场景。有研究表明，一些精神疾病，如抑郁症和自闭症等，与情绪处理的变化有关。情感识别的方法有很多，主要分为两类。一类是利用情绪的行为特征，如面部表情、肢体动作、声音等来识别人类的情绪。另一类是利用生理信号来识别情绪，包括心电、呼吸频率、肌电、眼动信号和脑电信号等。相比于前者而言，生理信号能产生更可靠的识别结果。然而，在生理信号中，eeg信号具有高时间分辨率和高识别精度的优点，且被认为是最可靠的信号之一。
3.近年来，基于脑电信号的情绪识别中的深度学习研究越来越多，但都忽略了一个关键问题：脑电数据的缺乏。众所周知，为了获得良好的性能模型，深层神经网络需要大量的数据进行训练，如经典的图像处理网络resnet18，vgg16和alexnet。它们都需要大量的数据来训练数百万甚至数亿个参数。然而，与图像数据和语音数据相比，脑电数据采集需要昂贵的采集设备、时间和人力。这些都是导致脑电数据缺乏的原因。目前，像imagenet、cifar-10等开放式图像数据集的数量已经达到数万甚至数千万。与图像数据相比，eeg情绪的公共数据集seed、deap、mahnob-hci要小得多。此外，众所周知，由于脑电信号的非平稳性，每个受试者甚至每个环节都会有很大的变化，导致每个个体实验都需要匹配。这个过程需要考虑每个个体实验的差异，造成匹配的困难，这将进一步影响机器学习模型的训练。而且，由于每个被试的数据量太小，训练深层神经网络模型是一个很大的挑战。
4.解决数据匮乏的方法之一是通过对原始数据进行变换后生成新的数据，新生成的数据与原始数据的数据分布相似，这种方法被称为数据扩充。数据扩充方法一般分为传统方法和基于机器学习的方法。传统的数据扩充方法包括几何变换(平移、翻转、旋转等)和加噪。相比图像处理，传统方法对脑电信号并不友好，因为脑电信号是时间序列，无法对脑电信号进行平移、翻转和旋转等操作。如果对脑电信号加噪，则会改变原始信号的幅值和数据分布。在基于脑电情绪识别研究中，有研究者先提取脑电信号的特征，然后在特征上加入高斯噪声，生成新的特征样本，结果发现，扩充样本对传统的分类器的性能几乎没提高，甚至还降低了，但对深度神经网络模型性能有较高的提升。
5.基于机器学习的数据增强方法近年来非常流行，包括生成式对抗网络(gan)和变分自动编码器(vae)。由于gan可以生成与原始数据相似的人工数据，许多研究者利用gan生成人工图像来扩展数据，提高图像的识别率和稳定性。gan能够捕获数据的全局信息，但训练不稳定，且容易出现模式崩溃，导致生成的数据多样性不足。vae由编码器和解码器构成，其目的是对给定的数据重构生成新的数据。vae通过使用编码器生成潜在向量，然后再通过
解码器将潜在向量重构生成新的数据。由于vae可以通过解码器建立潜在向量和真实数据之间的关系，但对复杂的数据分析能力有限，生成的图像模糊。


技术实现要素：

6.本发明针对脑电数据的缺乏的问题，提出了一种基于生成式对抗网络的情绪脑电数据增强模型及扩充样本的方法。
7.为了实现上述目的，本发明采用以下技术方案：
8.本发明一方面提出一种基于生成式对抗网络的情绪脑电数据增强模型，该模型的输入是情绪脑电拓扑图，vae将情绪脑电拓扑图映射到潜在空间，并将潜在向量输入到生成式对抗网络的生成器中，通过潜在向量学习情绪脑电拓扑图的空间分布，该模型对应的生成式对抗网络中有两个鉴别器和一个生成器，两个鉴别器均由神经网络构成，且结构相同但不共享参数；其中一个鉴别器对符合真实数据分布的样本给予高分奖励；另一个鉴别器对生成器生成的样本给予高分奖励；通过生成器和两个鉴别器之间的博弈，使得生成器生成合成样本的分布无限接近真实数据的分布。
9.本发明另一方面提出一种基于数据增强扩充样本的方法，包括：
10.步骤1，对情绪脑电数据进行预处理；
11.步骤2，对预处理后的情绪脑电数据进行基于微分熵的情绪脑电拓扑图特征提取；
12.步骤3，通过步骤2生成的情绪脑电拓扑图对所述情绪脑电数据增强模型进行学习训练，得到各类情绪的情绪脑电数据增强模型；
13.步骤4，将各类情绪的情绪脑电数据增强模型生成的对应情绪的合成样本混合到真实数据中，完成情绪脑电数据样本扩充。
14.进一步地，所述步骤1包括：
15.提取对应视频呈现的情绪脑电信号，对坏的导联用周围导联信号的平均代替，去眼电，使用带通滤波器滤波，并进行重参考和基线校正处理。
16.进一步地，所述步骤2包括：
17.将预处理后的情绪脑电信号划分频段，从各个频段中提取微分熵特征，然后利用clough-tocher scheme插值法将微分熵映射到各个电极中，形成情绪脑电拓扑图。
18.进一步地，在所述步骤4之后，还包括：
19.基于扩充后的情绪脑电数据样本进行分类模型的训练。
20.与现有技术相比，本发明具有的有益效果：
21.本发明提出的情绪脑电数据增强模型通过结合变分自编码器(vae)和生成式对抗网络(gan)，充分发挥各自优势。vae可以通过潜在向量学习拓扑图的空间分布。此外，gan的双鉴别器可以防止生成的合成样本数据分布过于集中而导致模式崩溃。结合这些优势，vae-d2gan更容易训练，生成的样本多样性更好。
22.本发明根据每种类型的情绪训练自己的情绪脑电数据增强模型，这样可以很好的学习相同情绪的特征。通过将每类情绪的情绪脑电数据增强模型生成相应情绪的样本混合到真实数据中对分类模型进行充分训练，提升分类性能。
23.在seed(正性、中性和负性三分类)和seed-iv(高兴、中性、愤怒和悲伤四分类)中，使用了本发明方法的分类准确率分别为92.5％和82.3％。
附图说明
24.图1为本发明实施例一种基于生成式对抗网络的情绪脑电数据增强模型的结构示意图；
25.图2为本发明实施例一种基于数据增强扩充样本的方法中得出的情绪脑电拓扑图；
26.图3为本发明实施例一种基于数据增强扩充样本的方法流程图；
27.图4为深度神经网络(dnn)的结构示意图；
28.图5为本发明的情绪脑电数据增强模型对不同分类模型分类精度的影响；
29.图6为seed数据集中一个被试的真实样本和由不同数据增强模型生成的合成样本的二维可视化结果。
具体实施方式
30.下面结合附图和具体的实施例对本发明做进一步的解释说明：
31.如图1所示，本发明一方面提出一种基于生成式对抗网络的情绪脑电数据增强模型(为表述方便，简称为vae-d2gan)，该模型能充分发挥变分自编码器(vae)和生成式对抗网络(gan)各自的优势，互补各自的缺点。vae的编码器将实际数据映射到特定分布的潜在空间，并将特定分布的潜在向量输入到生成器中，使得生成器更准确有效地学习实际数据的分布，通过两个鉴别器的相互作用，使得合成的样本具有多样性，避免了模式崩塌；该模型的输入是情绪脑电拓扑图，通过潜在向量学习情绪脑电拓扑图的空间分布，该模型对应的生成式对抗网络中有两个鉴别器和一个生成器，两个鉴别器均由神经网络构成，且结构相同但不共享参数；其中一个鉴别器对符合真实数据分布的样本给予高分奖励；另一个鉴别器对生成器生成的样本给予高分奖励；通过生成器和两个鉴别器之间的博弈，使得生成器生成合成样本(合成情绪脑电拓扑图)的分布无限接近真实数据的分布，从而有效地避免了产生的合成样本分布过于集中，导致模式崩溃。
32.vae-d2gan在编码器e、生成器g和两个鉴别器d1,d2进行4者的优化博弈，公式如下所示：
[0033][0034]
其中：
[0035][0036][0037][0038][0039][0040][0041][0042]
这里的x
real
指的是实际数据，z指的是通过编码器e合成的潜在向量，z
p
是随机生成
的服从高斯分布z
p
～n(0,i)的随机变量。α和β是超参数，取值范围为0《α,β≤1。
[0043]
本发明另一方面提出一种基于数据增强扩充样本的方法，包括：
[0044]
步骤1，对情绪脑电数据进行预处理；
[0045]
具体地，所述步骤1包括：
[0046]
首先提取对应视频呈现的情绪脑电信号，对数据差的通道用周围的通道信号进行平均代替。之后使用fastica算法去除眼电伪迹，然后使用带通滤波器进行0.1-64hz的带通滤波滤除脑电信号中的高频干扰，最后进行重参考和基线校正。
[0047]
步骤2，对预处理后的情绪脑电数据进行基于微分熵的情绪脑电拓扑图特征提取；
[0048]
具体地，所述步骤2包括：
[0049]
首先将预处理后的情绪脑电数据脑电信号划分为5个频段即theta(1-3hz)，theta(4-7hz)，alpha(8-13hz)，beta(14-30hz)，gamma(31-50hz)，然后提取5个频带范围内的微分熵特征。最后我们使用clough-tocher scheme插值方法，将5个频带的微分熵特征映射到各个通道中，生成32*32*5的情绪脑电拓扑图，如图2所示，其中拓扑图的长和宽均为32像素，通道为5。
[0050]
步骤3，通过步骤2生成的情绪脑电拓扑图对所述情绪脑电数据增强模型进行学习训练，得到各类情绪的情绪脑电数据增强模型，如图3所示；
[0051]
步骤4，将各类情绪的情绪脑电数据增强模型生成的对应情绪的合成样本混合到真实数据中，完成情绪脑电数据样本扩充。
[0052]
进一步地，在所述步骤4之后，还包括：
[0053]
基于扩充后的情绪脑电数据样本进行分类模型的训练，提升分类性能。
[0054]
为验证本发明效果，进行如下实验：
[0055]
本发明提出的情绪脑电的数据增强模型在两个公开数据集(seed和seed-iv)上进行了实验验证。根据前人对seed和seed-iv数据集的训练集和测试集的划分。在seed数据集中，我们将前9个sessions的数据作为训练集，最后6个sessions的数据作为测试集，其中最后6个sessions包含两个sessions的正性、中性和负性三类情绪。同样地，在seed-iv数据集上，我们将前16个sessions的数据作为训练数据，后8个sessions的数据作为测试集，其中，后8个sessions包含了开心、中性、悲伤和恐惧各2个sessions。
[0056]
首先，我们使用各类情绪的情绪脑电数据增强模型生成各类情绪的合成样本，seed数据集有三类情绪(正性、中性和负性)，seed-iv数据集有四类情绪(快乐、中性、悲伤和愤怒)，每类情绪生成8000个样本。因此，在seed数据上，每名被试使用生成模型生成样本共24000个样本；在seed-iv数据上，每名被试使用生成模型生成样本共32000个样本。
[0057]
同时，本发明对特征拓扑图分类，构建了一个基于神经网络的分类模型dnn，如图4所示，它是由两层卷积层、两层最大池化层和两层全连接层组成。在实验发现，特征拓扑图数据简单图像类，使用浅层的网络分类性能更好。
[0058]
(1)本发明提出的vae-d2gan在两个数据集上的结果分析
[0059]
我们比较了经典的数据增强模型，如vae、wgan、dcgan等。表1、表2中分别展示本发明提出的vae-d2gan在seed数据集和seed-iv数据集上对比其他模型使用dnn分类模型分类的结果。在seed数据集中，根据不同的模型生成样本，并在训练集中增加不同生成样本的数量；利用dnn分类模型得到了分类的平均准确率和标准差；0表示在训练集中不添加生成样
本。在seed-iv数据集中，根据不同的模型生成样本，并在训练集中增加不同生成样本的数量；利用dnn分类模型得到了分类的平均准确率和标准差；0表示在训练集中不添加生成样本。加粗的是每个数据增强模型中分类精度最高和方差最小的。从表1中可以看出，在seed数据集中，vae和wgan这两种模型的数据增强性能没有提升，反而有所下降。dcgan、d2gan和vae-d2gan的识别率分别比无数据增强的识别率高0.6％、0.6％和1.5％。其中，采用vae-d2gan数据增强法的精度最高，为92.5％。由表2可以看出，在seed-iv数据集中，两种数据增强模型vae和wgan并没有提高识别精度，而dcgan、d2gan和vae-d2gan的识别精度分别提高了0.3％、1.2％和3.5％。其中，采用vae-d2gan数据增强法的精度最高，为82.3％。另外，在两个数据集上的实验结果表明，利用数据增强可以提高识别的稳定性。seed-iv数据集的精度提高幅度高于seed数据集。造成这种现象的原因是seed-iv的样本数远远少于seed数据集。因此，利用小样本数据进行数据扩充效果会更好。
[0060]
表1 seed数据集中不同数据增强模型使用dnn分类模型分类的结果
[0061][0062]
表2 seed-iv数据集中不同数据增强模型使用dnn分类模型分类的结果
[0063][0064]
(2)本发明提出的vae-d2gan在不同分类模型的结果分析
[0065]
我们使用不同分类器(包括各种深度网络和传统机器学习)的数据增强模型来分析识别精度的影响。在深度网络中，我们选择了经典的vgg16、resnet18和alexnet；在传统的机器学习中，我们选择了经典的支持向量机(svm)。同时，使用我们的数据增强模型vae-d2gan，结果如图5所示。在不使用数据增强的情况下，不同分类器得到的分类结果是不同的。在seed数据集中，vgg16、resnet18、alexnet、svm和dnn分类器的分类精度分别为83.64％、84.85％、84.89％、76.24％和90.97％。在seed-iv数据集中，vgg16、resnet18、alexnet、svm和dnn分类器的分类精度分别为68.67％、64.23％、72.62％、63.13％和
78.83％。总体而言，深度网络学习优于传统的机器学习。从seed数据集(图5中(a))和seed-iv数据集(图5中(b))的结果来看，dnn的分类精度最高。另外，在基于脑电的情感识别中，数据增强对传统的机器学习影响不大。此外，在深度网络中，使用数据扩充的效果更好，特别是在小数据集上。与更复杂的深度网络vgg16、resnet18和alexnet相比，dnn的网络结构简单，但在识别拓扑图像方面性能最好。因此，网络结构越复杂，其分类性能不一定越好。对于拓扑结构简单的图像分类，简单的网络可以获得良好的分类性能。然而，对于更复杂的分类任务，如seed-iv数据集中的4分类，如图5中(b)所示，resnet18和alexnet的分类性能非常接近dnn。因此，分类任务越复杂，网络越复杂可能有更好的分类效果。
[0066]
(3)使用不同算法对本发明提出的vae-d2gan的性能进行评估分析
[0067]
使用目前比较常用的评估算法incidence score(is),frechet incidence distance(fid)和最大均值差异(mmd)这三种算法对本发明的数据增强模型vae-d2gan进行评估。is值越高，我们认为该模型生成的样本质量高，但不能评估多样性，即当发生模式崩塌时，is值也很高。fid值越小，我们认为该模型生成的样本质量高且多样性好，与is相比，fid对模式崩塌更敏感。mmd计算的是两个数据分布之间的距离，mmd值越小，说明两个数据分布越相似，也可以反映模型生成的样本的质量。我们将本发明提出的模型与其他模型进行了评估，评估的结果如表3所示，加粗的表示得到最佳的结果。由于wgan中is和fid的值高于vae-d2gan，wgan与vae-d2gan相比有模式崩溃。vae产生的样品质量较差，mmd和fid值较高。vae-d2gan的样品质量高，多样性好，因为fid和mmd最低。为了更好地说明vae-d2gan的优点，我们通过t-sne将真实样本和不同模型在不同迭代中生成的样本映射到二维可视化，如图6所示。从图中可以看出，vae-d2gan能有效地学习不同分布的情绪特征。
[0068]
表3 vae-d2gan性能评估结果
[0069][0070]
(4)不同数量的训练样本对本发明提出的vae-d2gan的性能的影响分析
[0071]
在上面的研究分析中，我们发现本发明提出的模型对小样本的数据更友好。为此，我们在seed数据集上进行了不同样本数量作为训练集的分类性能实验。
[0072]
实验1：我们选取每个被试的前3个sessions(正性、中性和负性各1个session)作为训练集，最后6个sessions作为测试集。
[0073]
实验2：我们选取每个被试的前6个sessions(正性、中性和负性各2个sessions)作为训练集，最后6个sessions作为测试集。
[0074]
实验3：我们选取每个被试的前9个sessions(正性、中性和负性各3个sessions)作为训练集，最后6个sessions作为测试集。
[0075]
结果如表4所示，实验1、实验2和实验3的数据增强分类结果分别为79.46％、83.76％和92.46％。与未使用数据增强相比，分别提高了11.29％、8.3％和1.49％。实验1到
实验3的训练样本数逐渐增加，分类的性能也逐渐提高。说明本发明提出的数据增强模型vae-d2gan在小样本数据集中能发挥出优异的性能。
[0076]
表4不同数量的训练样本对vae-d2gan的性能影响
[0077][0078]
综上，本发明提出的情绪脑电数据增强模型通过结合变分自编码器(vae)和生成式对抗网络(gan)，充分发挥各自优势。vae可以通过潜在向量学习拓扑图的空间分布。此外，gan的双鉴别器可以防止生成的合成样本数据分布过于集中而导致模式崩溃。结合这些优势，vae-d2gan更容易训练，生成的样本多样性更好。
[0079]
本发明根据每种类型的情绪训练自己的情绪脑电数据增强模型，这样可以很好的学习相同情绪的特征。通过将每类情绪的情绪脑电数据增强模型生成相应情绪的样本混合到真实数据中对分类模型进行充分训练，提升分类性能。
[0080]
在seed(正性、中性和负性三分类)和seed-iv(高兴、中性、愤怒和悲伤四分类)中，使用了本发明方法的分类准确率分别为92.5％和82.3％。
[0081]
以上所示仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。