一种情绪识别系统泛化能力的提高方法与流程

1.本发明涉及脑电情绪识别技术领域，具体地说是一种情绪识别系统泛化能力的提高方法。


背景技术：

2.情绪识别指的是识别人类的情绪状态，在人机交互、健康医疗、安全防控等领域存在广阔应用前景。与传统基于面部表情、肢体动作、语音、文本等情绪识别方法相比，基于非侵入式脑电(electroencephalogram，eeg)的情绪识别方法具备更高的客观性、准确性和稳定性。然而，不同被试者eeg信号差异大，难以获得能够跨被试者使用的eeg情绪识别模型，在实践中只能针对每位被试者分别采集带标签的数据(该过程称为预实验)，使用监督学习(supervised learning)策略获得模型参数，部署在计算机上，进行后续的测试环节。上述操作涉及到带标签样本的采集，费时费力，在一些需要尽快搭建情绪识别模型的场景中难以适用。
3.现有的提高eeg情绪识别模型泛化能力的方法主要包括三类。第一类是使用同一位被试者的过往数据构建模型，将模型应用在该受试者新的数据上，这种方法的出发点在于，同一位被试者在不同时间的eeg信号差异性低于不同被试者eeg之间的差异；该方法的缺点在于，无法处理被试者没有过往数据的情况。第二类是使用风格迁移(style transfer)等方法，提高不同被试者eeg样本之间的相似性，从而达到共用分类器、减少预实验时间的目的；该方法能够做到跨被试者迁移模型，但缺点在于仍然需要预实验。第三类是从领域自适应(domain adaptation)方法出发，提高新采集的数据和过往数据之间的相似程度，以在新数据没有标签的情况下使用过往数据的监督信息；该方法可以提高eeg情绪识别模型的跨被试可用性，但依然需要预实验中采集的样本。因此，现有方法仍需要进一步改进。


技术实现要素：

4.本发明之目的是弥补上述之不足，向社会公开一种情绪识别系统泛化能力的提高方法，能够在不进行预实验的前提下提高模型的跨被试者适应能力，能够有效提高模型的泛化能力。
5.本发明的技术方案是这样实现的：
6.一种情绪识别系统泛化能力的提高方法，包括以下步骤：
7.步骤一、脑电信号的采集：采集脑电信号，制成脑电特征的向量样本；
8.步骤二、建立情绪识别模型：先将脑电特征的向量样本映射为256维的向量，之后映射为128维的向量，再将128维的向量分别输入分支，所述的分支包括：
9.情绪分类分支：128维的向量进一步映射为64维的向量，并进一步映射到情绪标签空间，最后一层神经元个数与要分类的情绪状态数量保持一致，最后一层采用softmax作为激活函数；
10.年龄回归分支：128维的向量进一步映射到32维的向量，并进一步映射到年龄空间，年龄的输出是连续的，仅包括一个神经元，采用relu作为激活函数；
11.性别分类分支：128维的向量进一步映射到32维的向量，并进一步映射到性别空间，在性别空间中完成二分类任务，男性：1，女性：0，仅包括一个神经元，采用sigmoid作为激活函数；
12.编号分类分支：128维向量进一步映射到32维的向量，并进一步映射到编号空间，最后一层神经元个数与被试者数量保持一致，采用softmax作为激活函数；
13.步骤三、模型训练：输入训练者的性别、年龄及其编号信息，通过外部刺激诱发情绪反应，并采集训练者的脑电信号，将脑电信号输入模型，得到性别、年龄及其编号信息，将所得信息与输入的训练者信息进行配对训练；
14.步骤四、将待测样本输入模型，模型输出对应的情绪、年龄、性别和编号。
15.进一步优化本技术方案的措施是：
16.作为改进，所述的脑电信号按照5秒钟的时间窗口切割为片段，并分别在分段频段上计算功率谱密度特征，拼接在一起形成样本。
17.作为改进，所述的分段频段分为delta频段，其频率范围为1hz-3hz；theta频段，其频率范围为4hz-7hz；alpha频段，其频率范围为8hz-13hz；beta频段，其频率范围为13hz-30hz；gamma频段，其频率范围为30hz-51hz。
18.作为改进，所述的步骤二中，模型框架搭建完成后，对脑电信号数据、年龄数据和编号数据进行归一化，统一放缩到0-1空间内：
[0019][0020]
其中，x
scaled
为放缩后的特征，x为放缩前的特征，x
min
为特征的最小值，x
max
为特征的最大值。
[0021]
作为改进，数据归一化处理后，使用adam优化器进行参数寻优，代价函数如下：
[0022][0023]
其中，为情绪分类代价函数，形式为交叉熵，为年龄回归代价函数，形式为均方误差，为性别分类代价函数，形式为二值交叉熵，为编号分类代价函数，形式为交叉熵，α，β，γ为权重因子，l2为二范数约束，ε为二范数参数。
[0024]
作为改进，所述的ε的取值为1e-3或1e-4。
[0025]
作为改进，所述的步骤三中，所述的信息以文本形式保存。
[0026]
作为改进，所述的步骤三中，脑电信号的采集的具体过程为：受试者头戴脑电采集设备，观看能够引起不同的情绪的视频，观看视频时采集对应的脑电信号。
[0027]
作为改进，所述的步骤一中，所采集的脑电信号制成310维的向量样本。
[0028]
本发明与现有技术相比的优点是：
[0029]
本发明从机器学习角度出发，在情绪识别中引入多种辅助性任务，使模型挖掘不同被试者个体之间的差异模式，提高模型的泛化能力，能够在不进行预实验的前提下提高模型的跨被试者适应能力。
[0030]
本发明从多任务学习角度出发，在情绪识别过程中加入多种辅助性文本信息，不需要额外的实验环节或记录环节，提高模型的泛化能力，能够直接基于大量被试者数据训
练的脑电信号情绪识别模型迁移到新的被试者身上。
附图说明
[0031]
图1是本发明的框架图；
[0032]
图2是脑电电极分布图。
具体实施方式
[0033]
如图1所示，一种情绪识别系统泛化能力的提高方法，包括以下步骤：
[0034]
步骤一、脑电信号的采集：采集脑电信号(eeg)，制成310维的向量样本。脑电信号采集设备采用neuroscan公司的64导脑电采集设备，由于部分电极所采集的数据不用于实验，所以64导的采集设备只使用了62个电极的数据，电极摆放按照international 10-20system标准，62个电极的分布如图2所示。采集的脑电信号按照5秒钟的时间窗口切割为片段，并分别在分段频段上计算功率谱密度特征，拼接在一起形成样本，分段频段分别为delta频段1hz-3hz，theta频段4hz-7hz，alpha频段8hz-13hz，beta频段13hz-30hz和gamma频段30hz-51hz。
[0035]
每个eeg样本是310维的向量，情绪识别模型使用神经网络实现，其参数是权重，具体计算的载体既可以使用计算机，又可以集成在fpga上。输入包含310个输入单元，第一个隐藏层包括256个神经元，第二个隐藏层包括128个神经元，从而将eeg特征压缩映射到128维空间中。即先将310维的脑电特征映射为256维，之后映射为128维。
[0036]
步骤二、建立情绪识别模型：将脑电样本压缩映射到128维空间中，模型框架搭建完成后，为保证优化过程顺利进行，对脑电信号数据、年龄数据和编号数据进行归一化，统一放缩到0-1空间内：
[0037][0038]
其中，x
scaled
为放缩后的特征，x为放缩前的特征，x
min
为特征的最小值，x
max
为特征的最大值。
[0039]
作为改进，数据归一化处理后，使用adam优化器进行参数寻优，代价函数如下：
[0040][0041]
其中，为情绪分类代价函数，形式为交叉熵(cross-entropy)；为年龄回归代价函数，形式为均方误差(mean square error，mse)；为性别分类代价函数，形式为二值交叉熵；为编号分类代价函数，形式为交叉熵；α，β，γ为权重因子，负责平衡各个代价函数的配比，在实际中采用交叉验证方法确定；l2为二范数约束，起到平滑作用，降低过拟合带来的负面影响；ε为二范数参数，一般ε的取值为1e-3(1
×
10-3
)或1e-4(1
×
10-4
)。优化过程使用adam优化器，提供稳定的梯度信息。
[0042]
所述的脑电样本进入四个分支：
[0043]
情绪分类分支：128维的向量进一步映射为64维的向量，并进一步映射到情绪标签空间，最后一层神经元个数与要分类的情绪状态数量保持一致，最后一层激活函数为softmax；
[0044]
年龄回归分支：128维向量进一步映射到32维的向量，并进一步映射到年龄空间，年龄的输出是连续的，仅包括一个神经元，激活函数选择为relu；
[0045]
性别分类分支：128维向量进一步映射到32维的向量，并进一步映射到性别空间，在性别空间中完成二分类任务，男性：1，女性：0，仅包括一个神经元，激活函数选择为sigmoid；
[0046]
编号分类分支：128维向量进一步映射到32维的向量，并进一步映射到编号空间，最后一层神经元个数与被试者数量保持一致，激活函数选择为softmax；
[0047]
步骤三、模型训练：输入训练者的性别、年龄及其编号信息，输入信息以文本形式保存，通过外部刺激诱发情绪反应，并采集脑电信号，将脑电信号输入模型，得到性别、年龄及其编号信息，将所得信息与输入的训练者信息进行配对训练。训练过程中，所采集的脑电信号处理方法同上。本实施例中，受试者头戴脑电采集设备，观看能够引起不同情绪(正面、中性和负面情绪)的视频，观看视频时采集对应的脑电信号，并对获得的脑电信息进行降噪、预处理，提取特征数据。
[0048]
步骤四、将待测样本输入模型，模型输出对应的情绪、年龄、性别和编号。
[0049]
在测试过程，新被试者的eeg数据(不输入年龄、性别、编号信息)直接可以进行测试，eeg特征输入神经网络模型，先将310维的脑电特征映射为256维，之后映射为128维，并进一步进行情绪分类、年龄回归、性别分类和编号分类，其中，
[0050]
(1)情绪分类结果为新被试者eeg数据所包含的情绪状态信息；
[0051]
(2)年龄回归结果为基于eeg数据对新被试者年龄的预测结果；
[0052]
(3)性别分类为基于新被试者eeg对其做出的性别判断；
[0053]
(4)编号分类结果无直接的实际意义，但其结果可表明，新被试者eeg与训练集中哪一位过往被试者的数据相似。
[0054]
本发明通过多任务学习方式提高脑电信号情绪识别系统跨被试者泛化能力的方法，以情绪识别为主任务，通过引入辅助性任务，提高模型对不同被试者个体特征的辨识能力，使得模型学习不同被试者个体之间的差异性表示，本发明方法不要求采集新被试者的预实验数据，仅使用基于众多过往被试者的数据训练出的情绪识别模型。
[0055]
辅助性任务包括性别、年龄和被试者编号，性别、被试者编号分别为二分类、多分类任务，年龄为回归任务，上述辅助性任务与主任务(情绪识别)以不同的任务分支存在于同一个模型内。
[0056]
本发明的多任务学习模型，不仅可以输出新被试者(无需预实验)的情绪状态，还可以输出其性别、预测其年龄，并衡量其与训练集中所有过往被试者之间的相似程度。
[0057]
本发明的最佳实施例已被阐明，由本领域普通技术人员做出的各种变化或改型都不会脱离本发明的范围。