基于TSM-ResNet模型的脑电信号情感识别方法

基于tsm-resnet模型的脑电信号情感识别方法
技术领域：
1.本发明涉及脑电情感识别领域，尤其涉及一种基于tsm-resnet模型的脑电信号情感识别方法。


背景技术：

2.人类情感的定义以及产生的原因是复杂的，涉及诸多学科，但为了大多数实际目的，可以把情感简单地看作是由生理(内部)和外部影响相互作用而产生的可识别的精神状态。人类的情绪可以通过面部表情、言语、行为或生理信号来识别。然而，前三种情绪识别方法在某种程度上是主观的。例如，被研究对象可能会故意隐藏他们的真实感受，这可能与他们的表现不一致。相比之下，利用生理信号进行情绪识别更为可靠和客观。其中脑电图信号由中枢神经系统(cns)产生，比其他外围神经信号对情绪变化的反应更快。脑电信号已被证明为情绪识别提供了重要特征，这表明基于脑电信号的情感识别的可行性。
3.以往的脑电情绪识别技术大多集中在两个基本问题上：1)如何提取判别性脑电情绪特征，2)如何建立更有效的情绪识别模型。为了减少不确定性的影响，脑电图信号分析往往涉及特征选择过程或手工制作的信号表示技术，如pca和fisher投影。但由于忽略了通道等原始信息，无法挖掘脑电信号中的模式。另一方面，传统的机器学习方法随着数据量的指数式增加代价越来越高。因此，脑电情绪识别的主流方法正在逐渐向基于深度学习的方法发展。
4.虽然现有的深度学习方法能够自动提取特征，并普遍有着比浅层机器学习模型更优的性能。但这些深度学习模型像黑匣子，它们的特征提取方法具有盲目性，缺乏模型的可解释性。同时，现有研究中所提取的脑电信号特征类别有限、特征往往只是包含脑电信号在时域、频域或空间域单一领域的信息，反映的情感信息不够全面等问题的客观存在。因此，需要更强大的模型来学习基于脑电图的大脑解码的有效表示。受特征矩阵spd组合多种特征的优势和视频分类任务模型的启发，我们提出了一种多域信息3d表示输入到充分考虑时间序列信息的tsm-resnet网络进行情感识别的模型。该方法综合考虑脑电信号在时域、频域、空间域和双半球差异在内的特征信息，构造包含多域特征信息的特征图谱，多频段特征图进行通道合并，并考虑时间维度的变化信息，共同保存脑电数据在空间、时间和频率上的结构，以增强情感相关度。


技术实现要素：

5.本发明为了克服现有方法的不足和缺点，提出了一种基于深度卷积神经网络的脑电情感识别方法，特别是涉及一种基于tsm-resnet模型的脑电信号情感识别模型，以此从脑电数据中提取鲁棒表征和充分利用不同的脑电特征提高情感识别精度。
6.一种基于tsm-resnet模型的脑电信号情感识别方法，其特征在于，包括如下步骤：
7.步骤1：对原始脑电信号进行预处理和时间分段，利用小波变换进行时频转换和de特征提取；
8.步骤2：利用clough-tocher对皮层扩散de值进行插值，并根据de值计算脑电信号的lasm和rasm值，之后使用aep进行拓扑保持的特征降维映射，得到多通道特征图像序列；
9.步骤3：利用迁移学习预训练resnet50模型权重，在模型上添加tsm模块得到tsm-resnet，并针对数据集微调，之后进行情绪的分类识别。
10.步骤1的实现包括：
11.步骤1.1：对脑电信号进行去伪迹、下采样、标准化等预处理；
12.步骤1.2：去除脑电信号的基线数据，对剩余脑电信号在时间维度进行切片；
13.步骤1.3：使用改进的小波变换将每个脑电片段转换到delta、theta、alpha、beta和gamma五个频段：
[0014][0015]
其中参数a和b都是连续变化的参数，a为尺度参数，b是时间参数或平移参数，ω0为中心频率，然后在各个频段x上提取脑电信号的微分熵特征de；
[0016]
步骤2的实现包括：
[0017]
步骤2.1：使用方位角等距投影aep投影每个电极位置到二维网格中，采用clough-tocher对头皮上的分散de特征值进行插值，并估计网格上电极之间的值：
[0018][0019][0020]
在这里，是球坐标，c(x,y)是笛卡尔坐标，r是球面的半径，α是从球体中心到电极位置和切极之间距离的角度；
[0021]
步骤2.2：在网格上计算左右半球的不对称特征lasm和rasm，即计算左右半球对称电极de值的差值：
[0022][0023][0024]
其中，x
left
和x
right
分别表示左半球和右半球相对称的电极，表示信号方差，lasm和rasm值分别替代网格左右部分的de值，这样就得到了一张单通道特征图像；
[0025]
步骤2.3：将五个频段上得到的单通道特征图像进行通道叠加，获得多通道特征图，再将每个时间片段得到的多通道图像按时间顺序排列，就得到了特征图像序列；
[0026]
步骤3的实现包括：
[0027]
步骤3.1：设置情绪状态的唤醒和效价两个维度的阀值来划定标签，即分别为高唤醒(ha)和低唤醒(la)、高效价(hv)和低效价(lv)；
[0028]
步骤3.2：利用迁移学习在imagenet自然图像数据集上预训练resnet50模型权重，
为中心频率，然后在各个频段x上提取脑电信号的微分熵特征de；
[0045]
步骤2的实现包括：
[0046]
步骤2.1：使用方位角等距投影aep投影每个电极位置到32
×
32二维网格中，采用clough-tocher对头皮上的分散de特征值进行插值，并估计网格上电极之间的值：
[0047][0048][0049]
在这里，是球坐标，c(x,y)是笛卡尔坐标，r是球面的半径，α是从球体中心到电极位置和切极之间距离的角度；
[0050]
步骤2.2：在网格上计算左右半球的不对称特征lasm和rasm，具体是以大脑中线电极为轴，计算左右半球对称电极de值的差值：
[0051][0052][0053]
其中，x
left
和x
right
分别表示左半球和右半球相对称的电极，表示信号方差，lasm和rasm值分别替代网格左右部分的de值，这样就得到了一张单通道特征图像；
[0054]
步骤2.3：将五个频段上得到的单通道特征图像进行通道叠加，获得多通道特征图，再将每个时间片段得到的多通道图像按时间顺序排列，就得到了特征图像序列；
[0055]
步骤3的实现包括：
[0056]
步骤3.1：将情绪状态的唤醒和效价两个维度的阀值都设置为5来划定标签，即大于等于5为高、小于5位低，分别为高唤醒(ha)和低唤醒(la)、高效价(hv)和低效价(lv)；
[0057]
步骤3.2：利用迁移学习在imagenet自然图像数据集上预训练resnet50模型权重，之后在模型上添加时间移位模块tsm得到tsm-resnet模型，并针对数据集进行微调，tsm的主要实现原理是沿时间维度转移部分通道，从而促进相邻帧之间的信息交换；
[0058]
步骤3.3：对于获取到的脑电信号图像序列的特征“帧”fi,tsm-resnet分别对每一帧进行处理，并对输出的对数取平均值，以得出最终的分类结果。
[0059]
表1和表2分别是本发明方法与其它先进方法在主体内和跨主体实验上的对比情况，结果充分表明本发明方法在脑电信号情感识别任务上的优越性。
[0060]
表1提出的方法与以往先进研究的比较(被试者依赖实验)
[0061][0062]
表2提出的方法与以往先进研究的比较(被试者独立实验)
[0063][0064]
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
[0065]
以上结合附图所述，仅为本发明的具体实施方式及流程，但本发明的保护范围并不局限于此，任何熟悉本领域的技术人员应当理解，此仅为举例说明，可以对此实施方式做出多种变化和替换，而不背离本发明的实质内容。本发明的范围仅由所附权利要求书限定。
[0066]
本发明通过参考附图描述的实施方式是示例性的，仅用于对本发明进行解释，不能理解为对本发明的限制，本发明的实施例具体范围不受此限制，相反，本发明的所有实施例包括落入所附权利要求书的精神和内涵范围内的所有变化和修改。