模态间密集交互深度神经网络情绪识别方法与流程

1.本发明涉及的是一种脑电信号领域的技术，具体是一种支持任意模态数的多模态数据融合的模态间密集交互深度神经网络情绪识别方法。


背景技术：

2.近年来，对于情绪识别问题，研究人员采用了各种各样的数据源进行识别，包括脑电，眼动追踪、面部表情及语言等信号。各种模态数据在构建情感模型中各有特点。其中，使用脑电信号构建情感模型，准确率高、稳定性好，已经得到国内外科研人员的广泛认可，并开展了深入的研究。但在实际应用中，采集脑电信号的过程繁琐且成本高。使用其他信号，如面部表情或语言对话等，采集便利，但区分能力弱容易伪装。使用多个模态数据融合的情绪识别研究正越来越得到关注。国际上不同实验室的研究结果表明，同时采集的不同模态的信号反映了情绪的不同侧面。因此，使用多模态数据融合的方法进行情绪识别，可以大大提高情绪识别系统的准确率。
3.目前，多模态数据融合的情绪识别方法，针对采用的各种模态的数据，设计了各式各样的多模态数据融合情绪识别模型。然而，尽管目前有很多种多模态数据融合的情绪识别神经网络模型，但大多模型的设计依赖于某个模态数据本身，无法变更为其他模态。此外，大多数模型的设计依赖于模态数量，无法根据实际情况增减模态数量。


技术实现要素：

1.本发明针对现有技术使用的情感模型依赖与某些特定模态数据且不支持增删模态数量的瓶颈问题，提出一种模态间密集交互深度神经网络情绪识别方法，使用脑电信号、眼动追踪信号和眼部图像信号作为输入，通过独创的密集交互神经网络设计，能够根据实际应用中的情况，不需改变模型结构，不依赖于某些模态或模态数量，可以在实际使用的过程中，根据实际情况调整具体模态种类和数量。
2.本发明是通过以下技术方案实现的：
3.本发明涉及一种模态间密集交互深度神经网络情绪识别方法，对各个模态的数据的预处理后，通过密集交互神经网络对各个模态数据进行密集交互处理得到特征矩阵；再通过识别情绪神经网络对每一个模态的数据矩阵进行拼接，即对最后一个交互层的输出数据进行拼接，最后分类并得到情绪类别，即分类结果。
4.所述的各个模态的数据，包括：脑电信号、眼动特征信号和眼部图像。
5.所述的预处理，包括：对于脑电信号，提取其微分熵(differential entropy)特征，得到模态a的输入矩阵；对于眼动特征信号，利用smi眼动仪的输出数据，按照表1的条目进行归类，得到模态b的输入矩阵；对于眼部图像，将眼动图像传入resnet卷积神经网络，此后使用lstm网络进一步提取特征，最后使用全连接层输出模态c的输入矩阵。
6.表1
7.所述的密集交互神经网络，通过机器学习方法对其中的计算参数进行优化，即训练。在实际应用中，首先针对某个被试进行训练，通过观看相关视频素材(喜剧、悲剧、恐怖片、纪录片等)达到诱发情绪的效果，同时采集其各模态数据，传入模型，通过已知的情绪状态优化训练模型，此为训练阶段。在测试或投入使用阶段，使用优化过的模型，采集被试相同模态的数据，采用同样的计算流程，实现情绪状态的识别。
8.所述的密集交互神经网络包括多个堆叠的交互层，将预处理得到的每个模态的数据矩阵作为输入，输出同样大小的矩阵其中堆叠的第i个密集交互层以作为输入，输出同样形状的矩阵每个交互层包括：融合单元、若干并联的mlp层及其softmax层以及输出单元，其中：融合单元计算融合矩阵元计算融合矩阵若干并联的mlp层及其softmax层计算各模态权重联的mlp层及其softmax层计算各模态权重输出单元计算输出矩阵
9.所述的密集交互神经网络中，各个模态在计算融合矩阵时链接操作融合，再通过神经网络的softmax函数求出模态间相互影响的权重，最后对输入数据根据其他模态的影响因素进行加权，故称此计算流程为交互层，其通过巧妙利用矩阵计算规律与设计计算流程，使得交互层并不改变输入矩阵的形状，从而可以堆叠多个交互层，使得模态交互更加密集，以进一步提高准确率。
10.优选地，实际应用中也可对输入进行k-augmentation，即在第二维度拼接k列零矩阵，并在输出前截断该k列，此方法可以将一些无用信息存入该k列，并在输出前截断，以达到过滤效果。
11.所述的识别情绪神经网络对每一个模态的特征矩阵进行拼接，即对最后一个交互层的输出数据进行拼接，最后传入神经网络的softmax分类器输出情绪类别，具体包括：
12.1)融合各模态数据得到其中：concatenate是指将多个矩阵按照某一维度拼接，本方法中为第二维度。
13.2)计算情绪类别result＝softmax(mlp(all))，其中：mlp是指神经网络中的多层感知器，由若干个全联接层后接非线性激活函数组成，本方法中，为三个。其中上述的relu与softmax皆为非线性激活函数。
14.所述的优化/训练是指：采集训练数据，该数据由已知的情绪状态(模型输出数据)和三种模态(脑电信号，眼部图像及眼动特征)的输入数据组成，使用训练数据中已知的情绪状态，逐步修正计算模型中的参数，以达到输入数据通过模型的计算，输出数据逼近已知的真实情绪状态的目的。修正方式为：通过反向梯度传播算法，即根据已知情绪状态与计算流程，从后向前逐步计算倒数，得出计算模型中某个计算参数距离该参数最优值的梯度值，并将该参数依照所得的梯度修正。通过大量数据的迭代计算，逐步修正模型参数，直到模型参数趋向于平稳，即参数的梯度值趋向于0。技术效果
4.相比现有技术中，模型的设计强依赖于所选用的模态种类与数量，一旦发生变更，模型的识别准确率则大打折扣。本发明通过密集交互神经网络，不依赖于某些模态或模态数量，可以在实际使用的过程中，根据实际情况调整具体模态种类和数量。
附图说明
5.图1为本发明使用流程示意图；
6.图2为本发明中密集交互式多模态情绪识别网络中的密集交互层示意图；
7.图3为本发明中密集交互式多模态情绪识别网络结构示意图；
具体实施方式
15.图1为本实施例涉及一种支持任意模态数的多模态数据融合的模态间密集交互深度神经网络情绪识别方法。本实施例在实际应用时包含模型训练阶段与实际应用阶段。两阶段的计算流程基本一致，对各个模态的数据的预处理后，通过密集交互神经网络对各个模态数据进行密集交互处理，得到特征矩阵；再通过识别情绪神经网络对每一个模态的数据矩阵进行拼接，即对最后一个交互层的输出数据进行拼接，最后分类并得到情绪类别，即分类结果。
16.模型训练阶段包括：
17.步骤一：对于某位被试，首先采集训练数据，采集方式为，观看高兴、悲伤、恐惧、厌恶及中性五种类型情绪刺激素材视频，以达到诱发被试相应的情绪的目的(该情绪作为已知输出)，采集过程中佩戴smi眼动仪，通过smi眼动仪拍摄眼部图像与采集眼动数据作为输入信号。
18.步骤二：将训练数据进行数据预处理并输入到神经网络，并依据已知的情绪状态修正模型内参数，即模型训练，待神经网络参数稳定后，保存该网络，待实际使用。
19.实际应用阶段为：被试采集与训练相同的模态数据，将输入信号传入训练阶段修正完成的模型，以完全相同的方式计算后输出情绪状态。
20.实验过程中的具体实施过程为：给定16名健康被试(10男性，6女性)，分三次参与
实验，各次相距时间约为三至四日，每次观看高兴、悲伤、恐惧、厌恶及中性五种类型情绪刺激素材视频，以达到诱发被试相应的情绪的目的，每种情绪共三个片段，每个片段约为2-4分钟。在观看的过程中佩戴62导脑电帽以及smi眼动仪。根据10-20国际标准电位分布采集被试脑电数据，通过smi眼动仪拍摄眼部图像与采集眼动数据。
21.实验设置为四组，分别为：使用了脑电信号、眼动信号和眼部图像的三模态情绪识别；使用了脑电信号和眼动信号的两模态情绪识别；使用了脑电信号和眼部图像的两模态情绪识别；使用了眼动信号和眼部图像的两模态情绪识别。
22.实验数据的使用与性能评估方式为：对16位中每位被试三次参加实验的数据，按照2:1的比例划分为训练集和测试集，训练集用于优化计算模型，测试集用于模拟实际应用，结果指标为对于测试集的识别准确率与方差。被试在每次参加实验的识别准确率为对训练集和测试集的划分方式采取三折交叉验证的结果的平均值，对于该被试的识别准确率，为该被试三次参加实验的结果的平均值。
23.实验采取的调参方式为adam梯度下降法。
24.实验调参的对象有，在第二步中，k-augmentation方法中的参数k，密集交互神经网络中的交互层数l。在第三步中，识别情绪的神经网络的三层mlp中各层宽度，m1，m2，m3。其中，参数k的范围为1-6，参数数l的范围为1-6，参数m1，m2的范围为1024，2048，3072，参数m3的范围为64，128，256。
25.经过具体实际实验，在依照上述实验参数设置下得到的结果包括：
26.1)对于使用了脑电信号、眼动信号和眼部图像的三模态情绪识别实验，其平均准确率为82.04％，标准差为6.03。
27.2)对于使用了脑电信号和眼动信号的两模态情绪识别实验，其平均准确率为80.79％，标准差为5.34。
28.3)对于使用了脑电信号和眼部图像的两模态情绪识别实验，其平均准确率为74.44％，标准差为7.15。
29.4)对于使用了眼动信号和眼部图像的两模态情绪识别实验，其平均准确率为69.95％，方差为7.13。
30.与现有技术相比，本发明在有限的，可使用的数据条件下，依然能够达到较高的准确率。
31.上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。