基于脑网络和多尺度排列熵的脑电信号情绪识别方法

1.本发明涉及情绪识别技术领域，特别涉及一种基于脑网络和多尺度排列熵的脑电信号情绪识别方法。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术，并不必然构成现有技术。
3.情绪与人们生活息息相关，一直是心理学、生理学和认知科学等学科的研究重点。情绪的产生是一个非常复杂的过程，受到认知水平和周围环境的影响，同时，情绪反过来又会影响人们的认知和决策。近年来，情绪识别方法相继出现，例如：面部表情识别、语音语调识别、行为识别、文本识别和脑电(electroencephalogram，eeg)信号识别。eeg是一种检测大脑内部电信号的技术，可以直接反映中枢神经系统的动态变化。与其它非生理信号相比，eeg信号分辨率高并且难以被隐藏，因此逐渐成为情绪识别领域的研究热点。
4.情绪识别的研究目标之一是通过提取表征相关情绪的特征，训练分类器以获得更高的情绪识别准确率；目标之二是分析情绪产生的相关脑区以及脑区之间信息交互的特点。
5.发明人发现现有技术中存在以下技术问题：
6.(1)一些研究者结合大脑不同脑区的相关理论研究，开始从多个通道的相互协同关系中入手构建脑网络，并结合图论相关知识，进而提取出脑网络相关特征用于识别情绪。然而，目前的脑网络在构建过程中存在大量的信息冗余，这一方面会增加整体的计算复杂度，另一方面会对情绪识别的准确率产生一定的影响。
7.(2)对于脑电信号的分解，dragomiretskiy等人提出变分模态分解(variational mode decomposition，vmd)能够自适应地处理非线性的信号，然而，信号模态分解的速度可以进一步提升。多尺度排列熵(multi-scale permutation entropy，mpe)是一种非线性动力学特征，能够较好地反映脑电信号的变化，但是mpe具有多个参数，在实际的应用过程中，调参的好坏影响最终的情绪识别的准确率，并且繁琐的调参过程严重影响效率。


技术实现要素：

8.为了解决现有技术的不足，本发明提供了一种基于脑网络和多尺度排列熵的脑电信号情绪识别方法，结合脑网络特征与多尺度排列熵的融合，提高了脑电信号情绪识别的速度和精度。
9.为了实现上述目的，本发明采用如下技术方案：
10.本发明第一方面提供了一种基于脑网络和多尺度排列熵的脑电信号情绪识别方法。
11.一种基于脑网络和多尺度排列熵的脑电信号情绪识别方法，包括以下过程：
12.对获取的脑电信号去除伪迹并进行降采样；
13.对降采样的脑电信号利用小波包变换进行分解，根据分解结果，采用互信息与最
小生成树构建脑网络，提取脑网络特征；
14.对降采样的脑电信号采用快速变分模态分解与小波包变换进行模态和频带分解，利用遗传算法优化多尺度排列熵的参数选择，得到非线性多尺度排列熵特征；
15.将提取出的脑网络特征与非线性多尺度排列熵特征进行特征的融合，得到融合后的特征向量；
16.根据融合后的特征向量和随机森林分类模型，得到情绪状态识别结果。
17.本发明第二方面提供了一种基于脑网络和多尺度排列熵的脑电信号情绪识别系统。
18.一种基于脑网络和多尺度排列熵的脑电信号情绪识别系统，包括：
19.数据获取模块，被配置为：对获取的脑电信号去除伪迹并进行降采样；
20.脑网络特征提取模块，被配置为：对降采样的脑电信号利用小波包变换进行分解，根据分解结果，采用互信息与最小生成树构建脑网络，提取脑网络特征；
21.非线性多尺度排列熵提取模块，被配置为：对降采样的脑电信号采用快速变分模态分解与小波包变换进行模态和频带分解，利用遗传算法优化多尺度排列熵的参数选择，得到非线性多尺度排列熵特征；
22.特征融合模块，被配置为：将提取出的脑网络特征与非线性多尺度排列熵特征进行特征的融合，得到融合后的特征向量；
23.情绪识别模块，被配置为：根据融合后的特征向量和随机森林分类模型，得到情绪状态识别结果。
24.本发明第三方面提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本发明第一方面所述的基于脑网络和多尺度排列熵的脑电信号情绪识别方法中的步骤。
25.本发明第四方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明第一方面所述的基于脑网络和多尺度排列熵的脑电信号情绪识别方法中的步骤。
26.与现有技术相比，本发明的有益效果是：
27.1、本发明所述的方法包括五个部分：脑电信号预处理部分、脑网络特征提取部分、非线性mpe特征提取部分、特征融合部分和情绪识别部分，通过分析发现，脑网络在构建过程中存在大量的信息冗余，会增加整体的计算复杂度，本发明采用最小生成的方法去除冗余信息并构建脑网络，提出基于最小生成树脑网络的构建与特征提取方法，自动地提取叶分数、中介核心性、树的层次、特征路径长度、度、全局效率、离心率七个情绪相关的脑网络特征；针对传统变分模态分解计算时间较长、非线性mpe特征参数优化问题，提出基于快速变分模态分解与遗传算法优化mpe参数相结合的特征提取方法，加快了模态分解的速度，更加方便高效地优化参数并提取非线性mpe特征。
28.2、本发明根据伪迹去除相关标准，对提取的脑电信号去除眼动等伪迹并进行降采样至128hz；脑网络特征提取是将预处理后的信号构建最小生成树脑网络，提取出叶分数、中介核心性、树的层次、特征路径长度、度、全局效率、离心率七个脑网络特征；mpe特征提取是采用快速变分模态分解和小波包变换对脑电信号进行模态和频带的分解，并利用遗传算法优化mpe的参数选择过程，进而提取出情绪相关的非线性mpe特征；特征融合部分是将最
小生成树脑网络提取的七个特征与mpe特征进行融合，得到融合后的特征向量；情绪识别部分是根据融合后的特征向量和随机森林分类模型，得到情绪状态识别结果，提高了识别的准确度和速度。
附图说明
29.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
30.图1为本发明实施例1提供的基于脑网络和多尺度排列熵的情绪识别方法流程图。
31.图2为本发明实施例1提供的采样频率128hz的六层小波包变换示意图。
32.图3为本发明实施例1提供的基于最小生成树的脑网络示意图。
33.图4为本发明实施例1提供的随机森林示意图。
具体实施方式
34.下面结合附图与实施例对本发明作进一步说明。
35.应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
36.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
37.在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
38.实施例1：
39.如图1所示，本发明实施例1提供了一种基于脑网络和多尺度排列熵的脑电信号情绪识别方法，包括以下过程：
40.对获取的脑电信号去除伪迹并进行降采样；
41.对降采样的脑电信号利用小波包变换进行分解，根据分解结果，采用互信息与最小生成树构建脑网络，提取脑网络特征；
42.对降采样的脑电信号采用快速变分模态分解与小波包变换进行模态和频带分解，利用遗传算法优化多尺度排列熵的参数选择，得到非线性多尺度排列熵特征；
43.将提取出的脑网络特征与非线性多尺度排列熵特征进行特征的融合，得到融合后的特征向量；
44.根据融合后的特征向量和随机森林分类模型，得到情绪状态识别结果。
45.具体的，包括：
46.s1：对原始脑电信号去除眼动等伪迹并进行降采样；
47.s2：对预处理后的信号进行小波包变换分解为theta、alpha、beta、gamma四个频带，在每个频带上进行最小生成树脑网络的构建和脑网络特征的提取，得到叶分数、中介核心性、树的层次、特征路径长度、度、全局效率、离心率七个脑网络特征，形成特征向量x1；
48.s3：采用快速变分模态分解和小波包变换对脑电信号进行模态和频带的分解，并
利用遗传算法优化mpe的参数选择过程，进而提取出非线性mpe特征，形成特征向量x2；
49.s4：将脑网络特征的特征向量x1与非线性mpe特征的特征向量x2进行线性融合得到特征向量x，即x＝(x1,x2)；
50.s5：将融合后的特征向量x输入到随机森林分类器中识别情绪状态。
51.s1中，本实施例使用公开的多模态情绪数据集deap。deap数据集包含32名被试的每人40次实验的数据，每一次实验的脑电信号的采集时间是63秒，其中前3秒是静息状态数据，后60秒是情感相关数据。为了获取情绪最相关的数据段，把后60秒情感数据三等分，并截取出第二段20秒数据。截取的20秒脑电数据再平分成两份，前10秒和后10秒在步骤s2分别构建基于最小生成树的脑网络。
52.s2中，采用小波包变换将预处理后的脑电数据分解为theta、alpha、beta、gamma四个频带，6层小波包分解的过程如图2所示。在四个频带上分别采用互信息构建连通性矩阵，互信息的计算公式如下：
[0053][0054]
其中，p
ij
表示两个脑电数据的联合概率密度，pi表示概率密度。
[0055]
为了去除连通性矩阵中的冗余信息，首先对连通性矩阵中的每一个值取倒数，进一步采用prim最小生成树算法保留连接所有32个通道节点的最大权值边，即构建出基于最小生成树的脑网络如图3所示。由最小生成树脑网络提取出叶分数、中介核心性、树的层次、特征路径长度、度、全局效率、离心率七个脑网络特征。
[0056]
基于最小生成树的脑网络能够衡量脑电通道对之间的耦合关系，同时在脑网络上提取的特征能够衡量脑网络的拓扑结构。
[0057]
s3中，采用快速变分模态分解和小波包变换对脑电信号进行模态和频带的分解，快速变分模态分解具有比变分模态分解更快的速度，其具体步骤如下：
[0058]
s3.1：初始化单分量调幅调频信号中心频率{ωk},拉格朗日乘数迭代次数n，t0为1；
[0059]
s3.2：更新
[0060][0061]
s3.3：更新ωk；
[0062][0063]
s3.4：第一次更新
[0064]
[0065]
s3.5：更新迭代算子t：
[0066][0067]
s3.6：第二次更新
[0068][0069]
s3.7：重复s3.2到s3.6，直到满足如下终止条件。
[0070][0071]
遗传算法是一种最优解自适应搜索算法，它借鉴了自然界中生物自然选择和遗传的过程，具有较好的寻参能力。利用遗传算法优化mpe的参数选择过程，进而提取出非线性mpe特征。遗传算法的适应度函数设置如下：
[0072][0073]
其中，ske表示偏度，其计算公式如下：
[0074][0075]
其中，序列h
p
(x)＝{h
p
(1),h
p
(2),
…
,h
p
(s)}是由脑电信号序列x＝{x(i),i＝1,2,
…
,n}的mpe组成。
[0076]
s4中，将脑网络特征的特征向量x1与非线性mpe特征的特征向量x2进行线性融合得到特征向量x，即x＝(x1,x2)；
[0077]
s5中，将融合后的特征向量x输入到随机森林分类器中识别情绪状态。如图4所示，在随机森林分类器中，通过重采样从原始样本中抽取多个训练样本，所以仅需要较少的训练样本就能获得较高的准确率。
[0078]
实施例2：
[0079]
本发明实施例2提供了一种基于脑网络和多尺度排列熵的脑电信号情绪识别系统，包括：
[0080]
数据获取模块，被配置为：对获取的脑电信号去除伪迹并进行降采样；
[0081]
脑网络特征提取模块，被配置为：对降采样的脑电信号利用小波包变换进行分解，根据分解结果，采用互信息与最小生成树构建脑网络，提取脑网络特征；
[0082]
非线性多尺度排列熵提取模块，被配置为：对降采样的脑电信号采用快速变分模态分解与小波包变换进行模态和频带分解，利用遗传算法优化多尺度排列熵的参数选择，得到非线性多尺度排列熵特征；
[0083]
特征融合模块，被配置为：将提取出的脑网络特征与非线性多尺度排列熵特征进行特征的融合，得到融合后的特征向量；
[0084]
情绪识别模块，被配置为：根据融合后的特征向量和随机森林分类模型，得到情绪状态识别结果。
[0085]
所述系统的工作方法与实施例1提供的基于脑网络和多尺度排列熵的脑电信号情绪识别方法相同，这里不再赘述。
[0086]
实施例3：
[0087]
本发明实施例3提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本发明实施例1所述的基于脑网络和多尺度排列熵的脑电信号情绪识别方法中的步骤。
[0088]
实施例4：
[0089]
本发明实施例4提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本发明实施例1所述的基于脑网络和多尺度排列熵的脑电信号情绪识别方法中的步骤。
[0090]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
[0091]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0092]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0093]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0094]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)或随机存储记忆体(random accessmemory，ram)等。
[0095]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。