基于TSM-ResNet模型的脑电信号情感识别方法

技术特征：
1.基于tsm-resnet模型的脑电信号情感识别方法，其特征在于：包括如下步骤：步骤1：对原始脑电信号进行预处理和时间分段，利用小波变换进行时频转换和de特征提取；步骤2：利用clough-tocher对皮层扩散de值进行插值，并根据de值计算脑电信号的lasm和rasm值，之后使用aep进行拓扑保持的特征降维映射，得到多通道特征图像序列；步骤3：利用迁移学习预训练resnet50模型权重，在模型上添加tsm模块得到tsm-resnet，并针对数据集微调，之后进行情绪的分类识别；步骤1具体包括如下步骤：步骤1.1：对脑电信号进行去伪迹、下采样、标准化等预处理；步骤1.2：去除脑电信号的基线数据，对剩余脑电信号在时间维度进行切片；步骤1.3：使用改进的小波变换将每个脑电片段转换到delta、theta、alpha、beta和gamma五个频段：其中参数a和b都是连续变化的参数，a为尺度参数，b是时间参数或平移参数，ω0为中心频率，然后在各个频段x上提取脑电信号的微分熵特征de；步骤2具体包括如下步骤：步骤2.1：使用方位角等距投影aep投影每个电极位置到二维网格中，采用clough-tocher对头皮上的分散de特征值进行插值，并估计网格上电极之间的值；her对头皮上的分散de特征值进行插值，并估计网格上电极之间的值；在这里，是球坐标，c(x,y)是笛卡尔坐标，r是球面的半径，α是从球体中心到电极位置和切极之间距离的角度；步骤2.2：在网格上计算左右半球的不对称特征lasm和rasm，即计算左右半球对称电极de值的差值：de值的差值：其中，x
left
和x
right
分别表示左半球和右半球相对称的电极，表示信号方差，lasm和rasm值分别替代网格左右部分的de值，这样就得到了一张单通道特征图像；步骤2.3：将五个频段上得到的单通道特征图像进行通道叠加，获得多通道特征图，再将每个时间片段得到的多通道图像按时间顺序排列，就得到了特征图像序列；步骤3具体包括如下步骤：
步骤3.1：设置情绪状态的唤醒和效价两个维度的阀值来划定标签，即分别为高唤醒(ha)和低唤醒(la)、高效价(hv)和低效价(lv)；步骤3.2：利用迁移学习在imagenet自然图像数据集上预训练resnet50模型权重，之后在模型上添加时间移位模块tsm得到tsm-resnet模型，并针对数据集进行微调，tsm的主要实现原理是沿时间维度转移部分通道，从而促进相邻帧之间的信息交换；步骤3.3：对于获取到的脑电信号图像序列的特征“帧”f
i
,tsm-resnet分别对每一帧进行处理，并对输出的对数取平均值，以得出最终的分类结果。

技术总结
本发明涉及一种基于TSM-ResNet模型的脑电信号情感识别方法。包括如下步骤：1：对原始脑电信号进行预处理和时间分段，利用小波变换进行时频转换和DE特征提取；2：利用Clough-Tocher对皮层扩散DE值进行插值，并根据DE值计算脑电信号的LASM和RASM值，之后使用AEP进行拓扑保持的特征降维映射，得到多通道特征图像序列；3：利用迁移学习预训练ResNet50模型权重，在模型上添加TSM模块得到TSM-ResNet，并针对数据集微调，之后进行情绪的分类识别。本发明在一个统一的网络框架内同时集成空间特征和光谱特征，同时在不增加计算成本情况下充分考虑时间序列特征，最终提升了在跨主体和主体内情感分类任务上的性能。内情感分类任务上的性能。内情感分类任务上的性能。


技术研发人员：陈宇 张浩鹏
受保护的技术使用者：东北林业大学
技术研发日：2022.10.21
技术公布日：2023/1/31