基于跨设备前额脑电情绪识别的方法和系统与流程

1.本发明涉及信号处理技术领域，尤其涉及基于跨设备前额脑电情绪识别的方法和系统。


背景技术：

2.情绪是一种自然的表达方式，反映了人的生理或心理状态，已经有大量的研究是分析生理信号与情绪的关联。其中脑电信号可以直接反映大脑的活动，具有良好的时间分辨率和采集成本低、便利性好等优点，基于脑电信号的情绪识别越来越受到人们的重视。随着研究的深入，通过脑电信号来分析个体的情绪状态可以解决工作生活中的各种问题，例如作为可穿戴设备对人体的精神健康状态进行日常监测、在车辆行驶过程中监测司机的疲劳状态、在人机交互(hci)中提高用户的体验度等。
3.目前，大部分研究均是对于多通道脑电的分析，其数据采集过程复杂且不方便，不符合可穿戴的理念。而前额脑电在可穿戴情绪识别中具有非常大的潜力，但却又很少针对前额脑电的算法模型设计。另外，目前由于不同个体采集的脑电信号大不相同引起的个体差异，导致现有算法模型在面临新个体的时候表现很差，消除个体差异已经成为了基于脑电的情绪识别研究的迫切需求。


技术实现要素：

4.为解决现有技术所存在的技术问题，本发明提供基于跨设备前额脑电情绪识别的方法，通过多空间域适应网络细粒化提取前额三导联脑电信号至多通道脑源信号，构造脑电时-空域连通图，并利用图卷积获取非欧式空间的脑电特征，扩大卷积的感受野，以消息传递的方式提取大脑的连通性，可以更加有效地提取到脑电信号中与情绪相关的特征；通过在欧式空间和非欧式空间中对齐源域和目标域的数据，使得多空间域适应网络在不同空间中学习到更多与情绪相关的共性特征，消除了个体差异和设备差异，提高了模型的泛化能力，在跨设备实验中取得了较好的分类效果。
5.基于相同的发明构思，本发明还提供基于跨设备前额脑电情绪识别的系统。
6.本发明采用以下技术方案来实现：
7.基于跨设备前额脑电情绪识别的方法，包括以下步骤：
8.s1、采集受试者的前额脑电数据，将一种脑电采集设备采集到的脑电数据作为源域，将另一种脑电采集设备采集到的脑电数据作为目标域，源域带有情绪标签，目标域不带有情绪标签；
9.s2、对采集到的源域脑电数据、目标域脑电数据进行切分预处理；
10.s3、将预处理后的源域脑电数据、目标域脑电数据一起输入多空间域适应网络模型，通过多空间域适应网络模型提取多空间的脑电信号特征，计算源域脑电数据和目标域脑电数据之间的多空间的域适应损失，计算源域脑电数据的分类损失；
11.s4、最小化多空间域适应网络总损失，直至多空间域适应网络模型收敛；
12.s5、将待分类的目标域脑电数据输入步骤s4收敛的多空间域适应网络模型中进行测试，输出对目标域中脑电数据所属类别的预测情绪标签。
13.根据本发明的基于跨设备前额脑电情绪识别的系统，包括：
14.采集处理模块，用于采集受试者的前额脑电数据，将一种脑电采集设备采集到的脑电数据作为源域，将另一种脑电采集设备采集到的脑电数据作为目标域，源域带有情绪标签，目标域不带有情绪标签；
15.数据预处理模块，用于对采集到的源域脑电数据、目标域脑电数据进行切分预处理；
16.多空间域适应网络模块，用于将预处理后的源域脑电数据、目标域脑电数据一起输入多空间域适应网络模型，通过多空间域适应网络模型提取多空间的脑电信号特征，计算源域脑电数据和目标域脑电数据之间的多空间的域适应损失，计算源域脑电数据的分类损失；
17.模型优化模块，用于最小化多空间域适应网络总损失，直至多空间域适应网络模型收敛；
18.测试输出模块，用于将待分类的目标域脑电数据输入收敛的多空间域适应网络模型中进行测试，输出对目标域中脑电数据所属类别的预测情绪标签。
19.本发明与现有技术相比，具有如下优点和有益效果：
20.1、本发明提出了基于跨设备前额脑电情绪识别的方法和系统，弥补了目前关于前额三导联脑电情绪识别的方法的空缺，可以有效地应用在可穿戴设备中，提供泛化性能高的模型，并且可以有效地与虚拟现实技术、医疗技术、健康监测技术等结合使用，在医疗、康复、健康护理等领域均可利用，应用范围广。
21.2、通过多空间域适应网络细粒化提取前额三导联脑电信号至多通道脑源信号，构造脑电时-空域连通图，并利用图卷积获取非欧式空间的脑电特征，扩大卷积的感受野，以消息传递的方式提取大脑的连通性，可以更加有效地提取到脑电信号中与情绪相关的特征。
22.3、通过在欧式空间和非欧式空间中对齐源域和目标域的数据，使得多空间域适应网络在不同空间中学习到更多与情绪相关的共性特征，消除了个体差异和设备差异，提高了模型的泛化能力，在跨设备实验中取得了较好的分类效果，具有很强的实际应用能力，可以在多种复杂场景保持模型的泛化性能。
附图说明
23.图1是本发明实施例中的可穿戴前额脑电情绪分类方法流程图；
24.图2是本发明实施例中的多空间域适应网络的结构示意图；
25.图3是本发明实施例中的构造脑电时-空域连通图的分解层和构造层的结构示意图；
26.图4是本发明实施例中的源域和目标域数据经过网络后特征聚类的效果示意图。
具体实施方式
27.下面将结合附图和实施例，对本发明技术方案做进一步详细描述，显然所描述的
实施例是本发明一部分实施例，而不是全部的实施例，本发明的实施方式并不限于此。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
28.本发明通过计算最大均值差异来拉近源域和目标域的分布，以此来减少领域差异，提高模型的泛化性能。而在基于脑电的情绪识别问题中，可将源域视为已有个体的数据，目标域视为新个体的数据，通过域适应来消除个体差异。而图卷积可以很好地处理在非传统的非欧式空间的数据，如蛋白质结构，社交网络等。这样的数据通常被称为拓扑图，而人的脑网络也是一种拓扑图，图卷积提供了用另一种方式来探究大脑连通性的重要线索，可以充分利用到大脑的时域、频域、空域和连通性特征。
29.实施例
30.如图1所示，本实施例提供了基于跨设备前额脑电情绪识别的方法，包括以下步骤：
31.s1、采集受试者的前额脑电数据，将一种脑电采集设备采集到的脑电数据作为源域，将另一种脑电采集设备采集到的脑电数据作为目标域，源域带有情绪标签，目标域不带有情绪标签。
32.本实施例中，一种脑电采集设备是多导生理仪，另一种脑电采集设备是优感脑电头戴，使用织物干电极的方式采集前额三导联脑电数据。诱发情绪的方式为佩戴虚拟现实眼镜观看积极和消极的虚拟现实场景，采用自我评估法获取情绪标签，最终获取多人的正负情绪下的前额脑电信号(fp1，fpz，fp2)。将多导生理仪采集到的受试者的前额脑电数据视为源域，优感脑电头戴采集到的受试者的前额脑电数据视为目标域。其中源域带有情绪标签，目标域不带有情绪标签，源域xs包括ns个样本，目标域xt包括nt个样本，xs和xt分别是源域和目标域的前额脑电情绪识别数据的集合。因为其中的受试者和脑电采集设备均不同，需要消除个体差异和设备差异，因此需要进行跨设备前额脑电的情绪识别。
33.s2、对采集到的源域脑电数据、目标域脑电数据进行切分预处理。
34.因不同的脑电采集设备具备不同特性，为了保证划分的脑电数据信息量足够，同时为了保证源域样本量和目标域样本量近似，需要先将源域脑电数据按照4秒的窗口50％重叠方式进行切分，目标域脑电数据按照2秒的窗口50％重叠方式进行切分。对采集到的源域脑电数据、目标域脑电数据进行预处理，便于数据的后续提取使用。
35.s3、将预处理后的源域脑电数据、目标域脑电数据一起输入至预先建立的多空间域适应网络模型，通过多空间域适应网络提取多空间的脑电信号特征，计算源域脑电数据和目标域脑电数据之间的多空间的域适应损失，计算源域脑电数据的分类损失。
36.如图2所示，多空间域适应网络的结构示意图，多空间域适应网络模型包括分解层、构造层、图卷积层、全连接层和分类层，源域、目标域的原始脑电数据依次经过分解层、构造层、图卷积层，最后将输出的两个全连接层拼接在一起输入分类层，得到预测的情绪标签。
37.其中：
38.分解层为一个预训练好的自动编码器，包括一层编码器和一层解码器，输入层维数为3，对应前额三导联脑电信号，隐藏层维数为64，输出层维数为12，对应12道脑源信号，12道脑源信号对应12个脑区。分解层将前额三导联中的十二道脑源信号提取出来，其中依
旧包括了空间域的特征，将分解层提取的特征称为欧式空间中的脑电信号特征。
39.构造层包括一个邻接矩阵，优选地，为12*12大小的邻接矩阵a，表示了十二个脑区之间的连通关系，一个脑区用一个节点来表示，每个节点上都有对应的节点特征，用于将数据格式由欧氏空间数据转化为非欧式空间数据(连通图格式)。其中节点特征为一个特征矩阵，优选地，为12*32大小的特征矩阵w，是对提取到的12通道脑源信号在时序上进行卷积压缩，卷积核大小为(1，15)，无重叠提取脑电信号的时序特征，其中12表示12通道脑源信号，32表示提取到的32个时间片段的时序特征。构造层构造了脑电时-空域连通图，包括了32个连续时间片段的脑电信号特征和12个脑区之间的连通性。如图3所示，展现了脑电时-空域连通图构造的过程。
40.图卷积层包括三层图卷积，其中输入层维数为32，对应映射层输出的特征矩阵w的维度，隐藏层维数为128，输出层维数为16。对构造层得到的脑电时-空域连通图进行图卷积，提取非欧式空间的特征，由于图卷积的特性，可以弥补在欧式空间中无法利用到所有通道相互影响的信息，从而将感受野扩大至整个连通图，获取各通道之间的连通性特征，可以更加有效地提取到脑电信号中与情绪相关的特征。图卷积层通过添加自环，将节点自身特征与相邻节点特征结合更新节点的特征，对邻接矩阵a使用对称归一化，即行和列分别归一化。
41.全连接层包括扁平化处理后的所提取经过分解层后的欧式空间的特征向量fe和经过图卷积层后的非欧式空间的特征向量fn。其中，特征向量fe包括了细粒化为12道的脑源信号中的空间和时间特征，特征向量fn包括了12道的脑源信号中空间、时间特征和各通道之间的连通性特征。多空间域适应网络分别对源域、目标域中的特征向量fe和特征向量fn计算最大均值差异，并将两者之和作为多空间域适应网络的域适应损失，源域脑电数据预测标签与真实标签的交叉熵损失作为分类损失，域适应损失与分类损失之和作为多空间域适应网络总损失，综上，多空间域适应网络总损失函数f为：
[0042][0043]
其中，ns表示源域的总样本数，表示源域中第i个样本，表示第i个样本的预测标签，表示源域中第i个样本对应的真实标签，j(
·
,
·
)表示预测标签和真实标签的交叉熵损失，表示源域和目标域的最大均值差异，γmθ(x)表示源域(xs)和目标域(x
t
)在不同空间中的表示，m＝2；λ是权重系数，是一个均衡的值，λ＞0。
[0044]
分类层的输入为欧式空间全连接层和非欧式空间全连接层的拼接，经过训练，两个空间全连接层中的特征向量fe和fn的分布距离已经拉齐。在欧式空间和非欧式空间中对齐源域和目标域的数据，使得多空间域适应网络在不同空间中学习到更多与情绪相关的共性特征，消除了个体差异和设备差异，包括了各个空间中的脑电共性特征，输出则为预测情绪标签。
[0045]
s4、最小化多空间域适应网络总损失，直至多空间域适应网络模型收敛。
[0046]
具体地，将源域的脑电数据打包为一个epoch输入多空间域适应网络进行训练，为了加快多空间域适应网络的收敛速度，对数据进行批处理，设置batchsize为16，在一个
epoch中分批输入多空间域适应网络训练。通过adam优化器最小化步骤s3中计算的多空间域适应网络总损失函数，其中λ随着多空间域适应网络训练不断变化，最终平衡域适应损失和分类损失，达到一个均衡的值，直至多空间域适应网络最终收敛。
[0047]
s5、将待分类的目标域脑电数据输入收敛的多空间域适应网络模型中进行测试，输出对目标域中脑电数据所属类别的预测情绪标签。
[0048]
具体地，将待分类的目标域脑电数据输入收敛的多空间域适应网络模型，目标域脑电数据经过该模型中的最后一层softmax层并输出类别预测标签。
[0049]
本次实验使用到的数据库为在虚拟现实诱发下的正负情绪脑电数据，使用织物组成的干电极来采集脑电信号，适用于可穿戴设备，并可以与多种技术相结合。实验结果如表1所示：
[0050][0051]
本实例在实施过程中进行了可视化处理，如图4所示，是本实施例中目标域中一个随机个体的脑电数据。可以观察到，通过多空间域适应网络，源域(点)和目标域(交叉点)的所有样本都很好地混合在一起，这表明源域和目标域的分布非常相似。从可视化结果可以看出，本文提出的方法可以弥补传统方法的不足，减少多层约束下源域和目标域之间的分布距离，获得更多的公共特征。
[0052]
基于相同的发明构思，本实施例还提出基于跨设备前额脑电情绪识别的系统，包括：
[0053]
采集处理模块，用于采集受试者的前额脑电数据，将一种脑电采集设备采集到的脑电数据作为源域，将另一种脑电采集设备采集到的脑电数据作为目标域，源域带有情绪标签，目标域不带有情绪标签；
[0054]
数据预处理模块，用于对采集到的源域脑电数据、目标域脑电数据进行切分预处理；
[0055]
多空间域适应网络模块，用于将预处理后的源域脑电数据、目标域脑电数据一起输入多空间域适应网络模型，通过多空间域适应网络模型提取多空间的脑电信号特征，计算源域脑电数据和目标域脑电数据之间的多空间的域适应损失，计算源域脑电数据的分类损失；
[0056]
模型优化模块，用于最小化多空间域适应网络总损失，直至多空间域适应网络模型收敛；
[0057]
测试输出模块，用于将待分类的目标域脑电数据输入收敛的多空间域适应网络模型中进行测试，输出对目标域中脑电数据所属类别的预测情绪标签。
[0058]
本发明提出的基于跨设备前额脑电情绪识别的方法，弥补了目前关于稀疏导联脑电情绪识别方法的空缺，可以有效地应用在可穿戴设备中，提供泛化性能高的模型。并且可以有效地与虚拟现实技术、医疗技术、健康监测技术等结合使用，在医疗、康复、健康护理等领域均可利用，应用范围广。
[0059]
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包括在本发明的保护范围之内。