一种基于脑机跨模态迁移的情绪识别方法与流程

1.本发明属于脑机协同与情绪识别的交叉领域，具体涉及一种基于脑机跨模态迁移的技术用于情绪识别的方法。


背景技术：

2.脑机协同是人工时代实现更强大的智能形态的重要途径。情绪识别是涉及神经科学、心理学、认知科学、计算机科学和人工智能等领域的一项重要的交叉学科研究课题。迁移学习是一种机器学习方法，就是把为任务a开发的模型作为初始点，重新使用在为任务b开发模型的过程中。迁移学习强调知识由一个领域迁移到另一个领域的过程。
3.基于机器学习的情绪识别技术。近年来，应用于计算机视觉领域的深度学习算法取得了突破，包括卷积神经网络(convolutional neural network，cnn)和递归神经网络(recursive neural network，rnn)等。这些基于深度学习的算法已用于特征提取、分类和识别任务。其中，cnn的主要优点是通过直接从输入图像进行“端到端”学习，完全消除或高度减少对基于物理的模型和其他预处理技术的依赖。基于深度学习的方法可以使用深度卷积神经网络直接从数据中提取具有期望特征的最佳特征。但是，在面部情绪训练数据较少的情况下，不足以深度神经网络学习形式表征；在面部情绪训练数据较多的情况下，基于深度学习的方法需要更高级别和更大规模的计算设备。
4.基于脑电信号的情绪识别技术。尽管人工神经网络在很多领域取得不错的成就，但其相比于人类来说，更容易出现误判，而且误判的成本和代价更大。例如，情绪图像中的某一些情绪类别之间存在模糊的界限，机器就可能会将此类情绪的形式表征识别为其它类情绪的形式表征，进而出现情绪误判的情况。这是因为机器无法利用形式表征以外的线索或者其他知识造成的。基于脑电信号的情绪识别技术将脑电信号运用于情绪识别工作中，获得了人脑所具备的对情绪的认知表征能力。鉴于人脑对情绪的识别优势，基于脑电图(electroencephalogram，eeg)信号做情绪识别任务可以取得高准确率、高稳定性的效果。但是，基于脑电图信号做情绪识别任务需要人脑参与，每次进行识别任务需要重新采集脑电图信号，涉及多次复杂烦琐的数据预处理过程。


技术实现要素：

5.本发明的一个目的是针对现有技术的不足，提出一种基于脑机跨模态迁移的情绪识别方法。采用脑机协同这一强大的智能形态，不仅可以保留人脑和机器的优点，还可以解决前者存在的数据采集不便和后者数据量要求较大的问题，实现脑机协同工作。针对情绪识别任务，人脑处理信息后得到的是具有情感的认知表征，而机器学习得到的仅仅是图像的形式表征，如果能够建立两者之间的迁移关系，通过“人脑”引导“机器”学习，将人脑的情感认知能力赋予机器。为了将人脑感知的信息赋予机器，需要建立图像模态与脑电模态的跨模态迁移模型，从而获取形式表征和认知表征之间的迁移关系。本发明将探索脑电模态与图像模态之间的迁移关系，建立形式表征与认知表征之间的联系，实现脑机协同智能。为
了减少认知表征与形式表征间的差异，使得形式表征无限逼近认知表征。
6.本发明提供一种基于脑机跨模态迁移的情绪识别方法，其具体步骤如下：
7.步骤1、获取数据，采集不同情绪类别的图像模态数据，并针对所有图像模态数据采集人观察图像后获得脑电模态数据。
8.步骤2、针对图像模态数据提取图像视觉特征。
9.步骤3、针对脑电模态数据提取脑电情感特征。
10.步骤4、构建将图像模态向量投影至脑电模态向量空间的特征转换器f。
11.将图像视觉特征和脑电情感特征分别作为特征x和特征y。针对特征x和特征y，使用编码函数学习隐藏的图像模态向量h
x
、脑电模态向量hy。编码函数使用全连接神经层实现。
12.使用特征转换器f对图像模态向量h
x
进行空间转换，得到学习图像跨模态特征t
x
；通过调整特征转换器f，使得所得的图像跨模态特征t
x
与脑电模态向量hy的空间分布不断接近，直到满足相似要求。
13.步骤5、情绪识别
14.针对被识别图像，使用编码函数学习隐藏的图像模态向量，并利用步骤4所得的特征转换器f对所得的图像模态向量进行转化；将转化得到的学习图像跨模态特征输入线性分类层，将输出信息与情绪类别标签进行对比，得到被识别图像对应的情绪类别。
15.作为优选，步骤4中，通过最小化t
x
与hy在空间分布上的总误差l来实现t
x
与hy的空间分布的不断接近；总误差l表现为l＝l
task
αl
sim
；其中，α是决定正则化组件对整体误差l贡献的作用权值；l
sim
为相似性误差；l
task
为任务误差。
16.相似性误差l
sim
估计了两个模态的空间表示之间的差异；具体使用coral度量来实现这一目标；以t
x
与hy的公共表示之间的coral损失作为相似性误差l
sim
。
17.任务误差l
task
估计了训练过程中的预测质量；具体使用标准的交叉熵损失来表达任务误差l
task
，如下式所示：
[0018][0019]
其中，nb训练过程中使用的数据数量；r
xi
是第i个数据的预测结果，是第i个数据的真实结果。
[0020]
作为优选，步骤4中，处理特征x和特征y的编码函数共享参数θ。
[0021]
作为优选，步骤2中通过图像视觉特征提取器g
x
提取特征；图像视觉特征提取器g
x
由三个卷积模块组成，每个卷积模块由卷积层、归一化层、非线性激活层、最大池化层组成。
[0022]
作为优选，步骤3中通过脑电情感特征提取器gy提取特征；脑电情感特征提取器gy由三个卷积模块构成，分别为普通卷积模块、深度卷积模块和可分离卷积模块。
[0023]
作为优选，步骤1中所述图像模态数据的图像尺寸为32
×
32；脑电模态数据的通道数量为62，每个通道单位时间的记录数为500。
[0024]
作为优选，被识别的情绪类别共有七类，分别为愤怒、厌恶、恐惧、悲伤、惊奇、中立、快乐。
[0025]
本发明的有益效果如下：
[0026]
1.本发明充分利用人脑对情绪识别的优越性，将图像模态的数据转化到脑电模态
空间中，从而将基于脑电信号的情绪识别技术运用于情绪识别工作中，获得了人脑所具备的对情绪的认知表征能力。鉴于人脑对情绪的识别优势，可以取得高准确率、高稳定性的效果。
[0027]
2.本发明结合光学图像数据采集方便的优势，不需要大量的面部情绪训练数据参与训练，避免基于深度学习的方法需要更高级别和更大规模的计算设备。
[0028]
3.本发明针对面部情绪训练数据较少的情况下，基于小样本学习的脑机协同工作方法可以取得高准确率、高稳定性的情绪识别效果。
[0029]
4.本发明摒弃脑电数据采集复杂的缺点，可在模型训练完成后避免多次脑电信号的采集，真正做到脑电图参与一次却全程有效，从而具有独特的优越性。
[0030]
5.本发明在机器的识别系统中引入了人脑情感认知表征知识，采用模仿人脑学习方式来获得实时可靠的情绪识别结果，提高在情绪类别之间存在界限模糊的情绪识别任务中的识别效果。
[0031]
6.本发明通过“人脑”引导“机器”学习，将人脑的情感认知能力赋予机器，减少机器出现“误判”的概率与成本，并增强其情感学习能力。
[0032]
7.本发明将图像模态迁移到eeg模态空间中。迁移模型充当两个模态之间的桥梁，实现eeg模态到图像模态的知识迁移，从而在eeg模态这个空间实现下游分类、回归等任务。
附图说明
[0033]
图1为本发明的流程图；
[0034]
图2为本发明的总体目标图；
[0035]
图3为本发明的整体架构图；
[0036]
图4为本发明步骤4中脑机协同智能方法的示意图；
[0037]
图5为本发明步骤4中跨模态迁移模型的示意图。
具体实施方式
[0038]
如图1、2和3所示，一种基于脑机跨模态迁移的情绪识别方法，具体过程如下：
[0039]
步骤1、获取数据
[0040]
该实验涉及的所有面部情感图像来源于中国面孔表情图片系统(chinese facial affective picture system，cfaps)，系统中的情感图片主要包含7类基础表情，共收集了870张情感面孔图片。其中，74张表示愤怒、47张表示厌恶、64张表示恐惧、95张表示悲伤、120张表示惊奇、222张表示中立、248张表示快乐。
[0041]
为了引入人的认知能力，在传统机器进行图像识别的基础上增加了图像诱发的脑电图特征，以此获得高级的情绪表示。由于获取脑电数据需要对受试者进行情绪图像的刺激实验，实验设计在e-pirme完成，图像按类别顺序显示，每个图像以类别为顺序显示0.5s，然后在不同的情绪之间显示10s的黑色图像。受试者需要头戴脑电图信号记录设备观看屏幕上依据实验设计展现的情感图像。实验中的脑电图信号记录设备使用的是由德国brain products生产的68通道采集系统，具有62个eeg通道。通过设置参数，消除51hz的外围干扰，采样率为1000hz。
[0042]
该实验记录了6个受试者通过观察情绪图像产生的eeg数据，他们具有相同的教育
背景，年龄为23～25岁，男女比例为1:1。因为进行eeg数据采集实验需要受试者具有相关的知识背景，所以本发明选取的受试者均为脑机接口与情绪识别领域的研究和学习人员。为了避免实验引入负样本而影响实验结果，本发明尽可能选取对情绪图像肉眼分类准确的受试者参与实验。在实验之前，本发明进行离线调查，检验受试者对情绪图像肉眼分类的准确率，方法如下：受试者直接观看电脑显示出的情绪图像，根据他们的判断勾选情绪所属类别，将他们的答案与真实标签进行对比并计算准确率，根据结果选出情绪图像肉眼分类准确的6名受试者作为本次实验的受试对象。
[0043]
最终得到870段62通道脑电图信号。在获得脑电图信号后，本实验对脑电图信号进行了预处理操作，以提高脑电图信号的信噪比并消除伪迹。预处理操作主要包括从原始数据中去除无效片段，去除由眼球运动、眨眼和肌肉抖动引起的一些伪像，并使用butterworth滤波器对信号的频率进行1～75hz滤波处理。
[0044]
多模态数据表示多种类型模态数据，图像对应图像模态、eeg对应eeg模态。两种模态表示形式分别为：
[0045]
x∈rc×h×w,y∈r
t
×d(c＝1,h＝w＝32,t＝62,d＝500)
[0046]
其中，c是图像通道数量、h和w分别为图像的高和宽、t是eeg的通道数量、d是eeg的每个通道单位时间的记录数。
[0047]
步骤2、获取图像模态初级表征
[0048]
获取图像模态初级表征即获取机器学习到的形式表征。本发明构建了一个图像模态初级表征提取器g
x
。图像模态x提供训练样本其中，m为图像训练样本的数量。被输入到g
x
，用以获得图像模态初级表征
[0049][0050][0051]
本发明采用一个改进的卷积神经网络cnnnet作为图像模态初级表征提取器g
x
。cnnnet，它由三个卷积模块组成，每个卷积模块由卷积层、归一化层、非线性激活层、最大池化层组成。本发明将第三个卷积模块的输出作为获取的图像模态初级表征。
[0052]
步骤3、获取eeg模态初级表征
[0053]
获取eeg模态初级表征即获取人脑得到的认知表征。本发明构建了一个eeg模态初级表征提取器gy。eeg模态y提供训练样本其中，n为eeg训练样本的数量。被输入到gy，用以获得eeg模态初级表征
[0054][0055][0056]
本发明采用卷积神经网络eegnet作为eeg模态初级表征提取器gy。eegnet，一个用于解决基于脑电图的bci范式的紧凑的卷积神经网络。它由三个卷积模块构成，分别为普通卷积模块、深度卷积模块和可分离卷积模块。第一个模块使用普通的卷积层，第二个模块使用深度卷积层，第三个模块采用可分离卷积层。本发明将第三个模块的输出作为获取的eeg模态初级表征。
[0057]
步骤4、脑机协同智能方法
[0058]
如同4和5所示，脑机协同智能方法即寻找从机器学习到的形式表征和人脑得到的认知表征之间的迁移关系。本发明构建了一个跨模态迁移模型。模型通过映射将图像模态空间中的特征变换到eeg模态空间中，然后在该特征上使用机器学习的算法进行分类预测任务。图像模态经过训练好的跨模态迁移模型可以得到在eeg模态空间中的跨模态特征。跨模态特征不需要采取新的脑电数据的支持，但是具备接近人脑认知能力的情绪识别效果，真正实现了脑机协同智能方法的目标，使得机器智能体具备人脑智能体的情绪识别能力。
[0059]
我们将图像模态初级表征和eeg模态初级表征简化表示为x和y。我们的目标是学习x和y的迁移关系。x和y分别提供训练样本和其中，m和n为x训练样本的数量和y训练样本的数量，在本方法中，m＝n。编码函数e，预测函数r＝g(h)。
[0060]
我们现在将x投射到y空间表示中。采用具有分布相似性约束的跨空间中学习模态的表示。这种约束有助于最小化异质性差距，这是迁移学习的一个理想特性和工具。
[0061]
给定x，我们使用编码函数学习隐藏的图像模态向量(h
x
)表示：
[0062]hx
＝e(x；θ)
[0063]
给定y，我们使用编码函数学习隐藏的eeg模态向量(hy)表示：
[0064]hy
＝e(y；θ)
[0065]
编码函数使用简单的全连接神经层实现，其中e在训练过程中共享参数θ。
[0066]
对于隐藏的图像模态向量，我们使用特征转换器f来学习图像跨模态特征t
x
:
[0067]
t
x
＝f(h
x
)
[0068]
特征转换器使用简单的全连接神经层实现；对于特征转换器f，它的目标是：h
x
→
f(h
x
)≈hy，我们通过相似性误差实现这一任务。这个编码过程生成隐藏向量h
x
，通过特征转换器f，它与hy的空间分布不断相似。
[0069]
将最终的t
x
输入线性分类层，将输出信息与情绪类别标签进行对比，得到最终的分类结果，实现情绪识别任务。预测任务由函数r＝g(t)完成，r
x
是对t
x
的预测结果。
[0070]rx
＝g
x
(t
x
)
[0071]
学习这些表现形式是我们工作的主要目标。我们的学习目标包括两个方面：1)相似性误差；2)任务误差。我们将整个模型的学习表示为最小化：l＝l
task
αl
sim
。其中，α是决定正则化组件对整体误差l贡献的作用权值。正则化组件的误差是为了实现跨空间属性。
[0072]
相似性误差l
sim
。最小化相似性误差可以减少两个模态的空间表示之间的差异。这有助于在跨空间过程中对齐两个模态特性，从而获得eeg模态空间下的图像跨模态特征。我们使用coral度量来实现这一目标。coral是一种先进的距离度量，coral方法用线性变换方法将源域和目标域分布的二阶统计特征进行对齐。coral距离随着两个分布变得更加相似而减小。
[0073]
设x和y是目标域和源域的训练样本，则其coral距离是：
[0074][0075]
其中，弗罗贝尼乌斯范数(frobenius norm)，c
x
是目标域特征协方差矩阵，cy是源域特征协方差矩阵，d是样本数量。
[0076]
在我们的模型中，我们计算两个模态的公共表示之间的coral损失：
[0077]
l
sim
＝l
coral
(t
x
,hy)
[0078]
任务误差l
task
。任务的误差估计了训练过程中的预测质量。对于分类任务，我们使用标准的交叉熵损失。对于一批nb数量的数据，r
xi
是第i个数据的预测结果，是第i个数据的真实结果，任务误差表示为：
[0079][0080]
为了减小脑电实验中的个体差异性的影响，对6名受试者得到的脑电数据的值取平均，得到平均脑电数据。在6名受试者中，第5名受试者的脑电数据用于情绪识别的效果最好，本发明单独将第5名受试者的脑电数据称为最佳脑电数据。在本发明的实验中，图像跨模态特征h
x
是图像模态分别与平均脑电数据和最佳脑电数据对应的eeg模态在脑机跨模态迁移模型中产生的。
[0081]
表1展示了实验结果的总体分析，即图像跨模态特征h
x
对7种情绪图像进行分类的准确率(accuracy)、精确率(precision)、召回率(recall)和f1分数(f1score)。
[0082]
表1
[0083][0084]
表2展示了cnnnet提取的图像视觉特征，与平均脑电数据和最佳脑电数据对应的图像跨模态特征h
x
以及eegnet提取的脑电情感特征分类准确率对比。图像跨模态特征h
x
分类准确率明显比单纯图像视觉特征分类准确率提高约9％，而且非常接近单纯脑电情感特征的分类准确率。
[0085]
表2
[0086]