基于残差宽度网络的情感识别方法、装置、介质及设备

1.本发明涉及脑电情感识别技术领域，更具体地说，涉及一种基于残差宽度网络的情感识别方法、装置、介质及设备。


背景技术：

2.脑电信号(eeg)是一种常用的用于情绪识别的一种生理信号，它具有准确率高，难以伪装的特点。根据脑电的频域分析研究，发现δ(1-4hz)、θ(4-8hz)、α(8-12hz)、β(13-30hz)、γ(31-45hz)五个子频段与人的心理活动联系密切。根据频段特征与情绪的联系，脑电信号分析可以作为一种有效的识别人类情绪的方式。
3.随着深度学习的发展，脑电硬件的便携化，以及干电极算法加强，脑电识别情绪的精度和实时识别的应用得到很大发展，在医疗、教育、经济等各领域都已有涉足且前景广阔。
4.目前脑电识别情绪的常用方法是：首先将采集到的原始eeg信号中从时域、频域、时频域、多电极特征或连通性特征多角度来提取具有代表性的特征，然后基于一定的分类准则构建情绪识别计算模型，对情绪信息进行分类。
5.也有采用图卷积网络对脑电信号进行特征提取，而后使用不同的深度网络进行进一步的情感分类。主要分为以下步骤：1)情绪诱导和同步脑电记录：诱发材料的选择将直接影响情绪能否被有效诱发以及采集到的同步脑电信号的质量。通常，视频的情绪诱导能够达到最佳的触发快速准确情绪反应的效果；2)脑电信号预处理：成人头皮测得的脑电信号幅度在10-100μv范围内，对心电、肌电、eog等生理信号非常敏感；此外，轻微的身体运动、电力线干扰和基线漂移会给记录的脑电图信号带来严重的伪迹，导致信噪比差；因此，需对采集的信号进行预处理，以消除伪迹；3)情感识别的分类器构建：经过特征提取和选择，基于脑电特征建立情感分类器；不同结构的深度网络对脑电信号分类的精度有较明显的影响；深度网络的方法包括动态图卷积网络(dgcnn)，宽度图卷积网络(gcb)等。但是该情感分类方法存在以下缺点：
6.(1)由于图卷积网络的浅层结构无法提取到全局特征；网络的更新速度较慢；此外，深度网络的计算成本较高，需要更长的训练时间以及更高性能的计算集群；
7.(2)现阶段的宽度图卷积网络在深度提升后性能出现了明显的下降问题；深度网络在层数提升较多时会出现网络退化问题以及梯度弥散/爆炸问题。


技术实现要素：

8.为克服现有技术中的缺点与不足，本发明的目的在于提供一种基于残差宽度网络的情感识别方法、装置、介质及设备；该方法保留所有层次结构的多层特征，提升分类任务的准确率和精度，计算成本低。
9.为了达到上述目的，本发明通过下述技术方案予以实现：一种基于残差宽度网络的情感识别方法，包括如下步骤：
10.对输入的脑电信号数据进行预处理；
11.将预处理后的数据输入到残差宽度图卷积网络中；残差宽度图卷积网络包括图卷积网络和残差深度网络；残差深度网络设置有若干依次连接的残差块；图卷积网络将不规则的数据提取特征处理为规则的结构化数据；之后将结构化数据送入残差深度网络的各个残差块中进行特征提取；图卷积网络的输出与残差深度网络的每个残差块的输出均并列连接作为残差宽度图卷积网络的输出数据；
12.将残差宽度图卷积网络的输出数据作为宽度学习系统的输入；宽度学习系统将特征映射到宽度空间，经过特征节点和强化节点的联合求解实现最终的情感分类；
13.所述残差宽度图卷积网络和宽度学习系统分别是指对初始化的残差宽度图卷积网络和宽度学习系统进行训练和测试得到的残差宽度图卷积网络和宽度学习系统。
14.本发明不仅利用图卷积网络将图数据提取为规则的结构化数据，还使用残差深度网络进一步学习特征并增加了网络的深度，使用宽度网络强化特征实现了脑电情感分类任务。宽深结合思想的并列连接保留了多层次的特征信息。残差深度网络解决了深度网络在层数提升后的网络退化问题，进一步提升了分类任务的准确率。
15.优选地，所述对初始化的残差宽度图卷积网络进行训练和测试，是指：
16.根据残差宽度图卷积网络的交叉熵损失函数定义为：
[0017][0018]
其中，r和r
′
分别表示真实标签与预测标签；θ代表残差宽度图卷积网络学到的特征，α则是正则系数；
[0019]
损失函数与邻接矩阵m的偏导数表示为：
[0020][0021]
其中，表示特征矩阵；
[0022]
邻接矩阵m由如下方法更新：
[0023][0024]
其中，δ表示模型的学习率。
[0025]
残差宽度图卷积网络可以通过动态的提取图结构数据的邻接矩阵m，来实现提取更有区分力的特征。
[0026]
优选地，每个残差块均包括：依次连接的第一卷积层、第一relu层、第二卷积层、第二relu层、第三卷积层、第三relu层和池化层，以及第四卷积层；第一卷积层和图卷积网络的连接处通过第四卷积层跳接至第三卷积层和第三relu层的连接处。
[0027]
优选地，所述对初始化的宽度学习系统进行训练和测试，是指：
[0028]
将输入的特征与标签分别定义为x∈rn×m与其中n表示样本数量，m为特征维数，n
class
为类的数量；宽度学习系统的特征节点数量为n，强化节点数量为m；
[0029]
特征节点表示为：
[0030]
[0031]
其中，为权重，为偏置，均是随机生成的；nf为特征节点的数量；
[0032]
定义特征层为强化节点表示为：
[0033][0034]
其中，为权重，为偏置；ξ为激活函数；
[0035]
宽度学习系统的输出y为：
[0036]
y＝[z1,
…
,zn|h1,
…
,hm]w
[0037] ＝[zn|hm]w
[0038]
其中，w为权重。
[0039]
优选地，所述对输入的脑电信号数据进行预处理，是指：对各个频率的脑电信号进行筛选并提取保存。
[0040]
一种基于残差宽度网络的情感识别装置，包括：
[0041]
预处理模块，用于对输入的脑电信号数据进行预处理；
[0042]
残差宽度图卷积网络，包括图卷积网络和残差深度网络；残差深度网络设置有若干依次连接的残差块；图卷积网络用于将不规则的数据提取特征处理为规则的结构化数据；残差深度网络的各个残差块用于进行特征提取；图卷积网络的输出与残差深度网络的每个残差块的输出均并列连接作为残差宽度图卷积网络的输出数据；
[0043]
宽度学习系统，将特征映射到宽度空间，经过特征节点和强化节点的联合求解实现最终的情感分类。
[0044]
一种存储介质，其中所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述基于残差宽度网络的情感识别方法。
[0045]
一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现上述基于残差宽度网络的情感识别方法。
[0046]
与现有技术相比，本发明具有如下优点与有益效果：
[0047]
1、本发明提出了一种深度网络与宽度网络结合的算法；采用深度网络以解决全局特征的问题，提取高层次特征；使用宽度思想的并列连接，保留所有层次结构的多层特征，从而进一步提升分类任务的准确率和精度，计算成本低；
[0048]
2、本发明在深度网络加入了残差结构；残差结构可以解决现有宽度图卷积网络在深度提升后性能出现了明显下降的问题、层数提升较多时出现网络退化问题和梯度弥散/爆炸问题；同时进一步将深度网络的深度提升。相比于平原网络，残差网络可以提取更高层次的信息，从而提升了分类任务的准确率。
附图说明
[0049]
图1是本发明基于残差宽度网络的情感识别方法的流程图；
[0050]
图2是本发明基于残差宽度网络的情感识别方法的原理结构图；
[0051]
图3是本发明基于残差宽度网络的情感识别方法中残差宽度图卷积网络的结构图；
[0052]
图4是本发明基于残差宽度网络的情感识别方法中宽度学习系统的训练流程图；
[0053]
图5是本发明基于残差宽度网络的情感识别方法中宽度学习系统的网络结构图。
具体实施方式
[0054]
下面结合附图与具体实施方式对本发明作进一步详细的描述。
[0055]
实施例一
[0056]
本实施例一种基于残差宽度网络的情感识别方法，其流程如图1所示，原理结构如图2所示，包括如下步骤：
[0057]
对输入的脑电信号数据进行预处理；对各个频率的脑电信号进行筛选并提取保存。
[0058]
将预处理后的数据输入到残差宽度图卷积网络中；残差宽度图卷积网络包括依次连接的图卷积网络和残差深度网络；残差深度网络设置有若干依次连接的残差块。图卷积网络将不规则的数据提取特征处理为规则的结构化数据，以使结构化数据可被残差深度网络训练；之后将结构化数据送入残差深度网络的各个残差块中进行特征提取，以进一步对高层次信息进行提取；通过反向传播的方法，修正网络的权重；图卷积网络的输出与残差深度网络的每个残差块的输出均并列连接作为残差宽度图卷积网络的输出数据，使信息的层次得到最大化的保留。
[0059]
如图3所示，本实施例中残差块为三个；实际应用中，残差块的数量可以是二、三、四、五，甚至更多。每个残差块均包括：依次连接的7
×
1第一卷积层、第一relu层、7
×
1第二卷积层、第二relu层、7
×
1第三卷积层、第三relu层和池化层，以及7
×
1第四卷积层；第一卷积层和图卷积网络的连接处通过第四卷积层跳接至第三卷积层和第三relu层的连接处。relu为激活函数。
[0060]
图卷积网络和残差块的输出均作为并列连接的输入。具体的网络结构为：图卷积网络
→
残差块
→
残差块
→
残差块
→
图卷积与残差块并列连接
→
全连接层
→
softmax层分类。
[0061]
将残差宽度图卷积网络的输出数据作为宽度学习系统的输入；宽度学习系统将特征映射到宽度空间，经过特征节点和强化节点的联合求解实现最终的情感分类。
[0062]
残差宽度图卷积网络可以通过动态的提取图结构数据的邻接矩阵m，来实现提取更有区分力的特征。根据残差宽度图卷积网络的交叉熵损失函数定义为：
[0063][0064]
其中，r和r
′
分别表示真实标签与预测标签；θ代表残差宽度图卷积网络学到的特征，α则是正则系数；
[0065]
损失函数与邻接矩阵m的偏导数表示为：
[0066][0067]
其中，表示图的拉普拉斯矩阵，即特征矩阵；
[0068]
邻接矩阵m由如下方法更新：
[0069][0070]
其中，δ表示模型的学习率。
[0071]
宽度学习系统的训练流程如图4所示，网络结构如图5所示。残差宽度图卷积网络得到的特征作为宽度学习系统的输入。宽度学习系统是一个扁平结构的网络，旨在通过随机方法将特征映射到宽度空间。它主要包括特征层与强化层。将输入的特征与标签分别定义为x∈rn×m与其中n表示样本数量，m为特征维数，n
class
为类的数量；宽度学习系统的特征节点数量为n，强化节点数量为m；
[0072]
特征节点表示为：
[0073][0074]
其中，为权重，为偏置，均是随机生成的；nf为特征节点的数量；
[0075]
由此，定义特征层为则强化节点表示为：
[0076][0077]
其中，为权重，为偏置；ξ为激活函数；
[0078]
宽度学习系统的输出y为：
[0079]
y＝[z1,
…
,zn|h1,
…
,hm]w
[0080] ＝[zn|hm]w
[0081]
其中，w为权重。
[0082]
本发明方法在seed与dreamer脑电信号数据集上进行了实验。seed数据集选取了15名受试者(8名女性与7名男性)，在一周内令其观看3组(积极，一般和消极)影片3次，每组影片有5个不同的影片选段。通过该种方式来唤醒受试者对应的情绪，并进行特征的记录。seed数据集在不同的频率(δ,θ,α,β,γbands)记录了5组脑电的特征，分别为动力谱密度(psd)，微分熵(de)，差异因果(dcau)，差异不对称(dasm)和理性不对称(rasm)。dreamer数据集选取了23名受试者(9名女性与14名男性)，采用类似的方法，记录了18支影片中受试者的9种情绪(快乐，愉悦，兴奋，惊讶，平静，厌恶，恐惧，悲伤和愤怒)下的动力谱密度(psd)特征(δ,θ,α)。
[0083]
本专利算法在seed和dreamer数据集上对相应的特征进行了分类。将残差宽度图卷积网络的输出与经过宽度学习系统强化后的输出均保留并对比。在seed数据集中，在de的all-band特征上使用残差宽度图卷积网络的准确率可以达到92.86％；与宽度学习系统结合后，可以取到最高的准确率94.56％。残差宽度图卷积网络与宽度系统结合的模型在seed数据集上所有特征均取得了比之前的模型(svm，gcnn，dgcnn和gcb等)更高的准确率。
[0084]
在dreamer数据集上，残差宽度图卷积网络分别在唤醒性，支配性和持续性特征上取得了91.55％,89.47％和87.43％。然而，残差宽度图卷积网络在该数据集的方法较大，与之前的模型相比没有更好的稳定性。
[0085]
实验结果表明，相比于只采用深度网络，本专利提出的深度与宽度结合的模型能够进一步提升分类任务的准确率。相比于不使用残差结构的深度网络，本专利提出的使用残差连接的模型能够进一步提升深度且解决了深度网络的退化问题。
[0086]
本发明在训练残差宽度图卷积网络时，使用了不同的损失函数；在实验过程中，依次在seed数据集上进行了6-layer，9-layer，9-full-concat,12-layer和15-layer的模型，并对实验结果进行了记录和比对。从实验结果可以得出，不同结构与损失函数的宽度图卷积网络的准确率有所差别，且不同结构的网络在不同特征上的表现亦有差别。在9-layer与9-full-concat消融实验中，9-layer模型在绝大多数的特征上准确率高于9-full-concat模型，这也说明了对于所有卷积层并列连接的方式并不会提升模型的准确率。从网络的稳定性与准确率考虑，本专利最终选取了9-layer模型作为宽度图卷积网络的模型。
[0087]
为实现实施例一所述的基于残差宽度网络的情感识别方法，本实施例提供一种基于残差宽度网络的情感识别装置，包括：
[0088]
预处理模块，用于对输入的脑电信号数据进行预处理；
[0089]
残差宽度图卷积网络，包括图卷积网络和残差深度网络；残差深度网络设置有若干依次连接的残差块；图卷积网络用于将不规则的数据提取特征处理为规则的结构化数据；残差深度网络的各个残差块用于进行特征提取；图卷积网络的输出与残差深度网络的每个残差块的输出均并列连接作为残差宽度图卷积网络的输出数据；
[0090]
宽度学习系统，将特征映射到宽度空间，经过特征节点和强化节点的联合求解实现最终的情感分类。
[0091]
实施例二
[0092]
本实施例一种存储介质，其特征在于，其中所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行实施例一所述的基于残差宽度网络的情感识别方法。
[0093]
实施例三
[0094]
本实施例一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现实施例一所述的基于残差宽度网络的情感识别方法。
[0095]
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。