基于多模态时空特征融合的情绪识别方法及系统

技术特征：
1.一种基于多模态时空特征融合的情绪识别方法，其特征在于，包括以下步骤：获取原始生理数据；对所获取的原始生理数据进行预处理，得到多模态生理数据；基于所得到的多模态生理数据分别提取多模态数据的空间特性和时间特性；对所提取到的多模态数据的空间特性和时间特性进行特征级融合，得到融合特征；根据所得到的融合特征进行分类，得到情绪识别的结果。2.如权利要求1中所述的一种基于多模态时空特征融合的情绪识别方法，其特征在于，原始的情绪数据集中包含情感刺激阶段和自我评估阶段，对原始的情绪数据集中的生理信号进行裁剪，截取情感刺激阶段数据；对截断后的数据进行线性插值，消除数据采集和处理过程中缺失值的影响；使用小波降噪法对数据进行降噪处理，消除噪声对识别效果的影响。3.如权利要求1中所述的一种基于多模态时空特征融合的情绪识别方法，其特征在于，所述预处理包括：原始的情绪数据集中包含情感刺激阶段和自我评估截断，对原始的情绪数据集中的生理信号进行裁剪，截取情感刺激阶段数据；对截断后的数据进行线性插值，消除数据采集和处理过程中的缺失值影响；使用小波降噪法对数据进行降噪处理，消除噪声对识别效果的影。4.如权利要求3中所述的一种基于多模态时空特征融合的情绪识别方法，其特征在于，将预处理后的多模态生理数据转换成灰度图像输入到神经网络中，从灰度图像中提取多模态数据的空间特征。5.如权利要求3中所述的一种基于多模态时空特征融合的情绪识别方法，其特征在于，将预处理后的多模态生理数据分别输入到神经网络中，提取多模态生理数据的时间特征。6.如权利要求1中所述的一种基于多模态时空特征融合的情绪识别方法，其特征在于，对神经网络中提取的多模态生理数据的时间特征和空间特征进行特征级融合，得到融合特征，用于情感识别任务，具体过程为：使用countsktech算法统计各个元素出现的频率，实现从高维到低维的映射；通过双线性池化方法对降维后的特征进行融合，得到融合特征。7.如权利要求1中所述的一种基于多模态时空特征融合的情绪识别方法，其特征在于，根据得到的融合特征，进行分类任务，得到最终情绪识别结果，具体过程为：训练svm分类器；将融合特征输入到分类器中，得到最终识别结果。8.一种基于多模态时空特征融合的情绪识别系统，其特征在于，包括以下步骤：获取模块，被配置为获取原始生理数据，对所获取的原始生理数据进行预处理，得到多模态生理数据；融合模块，被配置为基于所得到的多模态生理数据分别提取多模态数据的空间特性和时间特性，对所提取到的多模态数据的空间特性和时间特性进行特征级融合，得到融合特征；识别模块，被配置为根据所得到的融合特征进行分类，得到情绪识别的结果。9.一种计算机可读存储介质，其上存储有程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的基于多模态时空特征融合的情绪识别方法中的步骤。10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一项所述的基于多模
态时空特征融合的情绪识别方法中的步骤。

技术总结
本公开属于情绪识别技术领域，提供了一种基于多模态时空特征融合的情绪识别方法及系统，包括以下步骤：获取原始生理数据；对所获取的原始生理数据进行预处理，得到多模态生理数据；基于所得到的多模态生理数据分别提取多模态数据的空间特性和时间特性；对所提取到的多模态数据的空间特性和时间特性进行特征级融合，得到融合特征；根据所得到的融合特征进行分类，得到情绪识别的结果。得到情绪识别的结果。得到情绪识别的结果。


技术研发人员：郑向伟 郭鲠源 张利峰 郑法 高鹏志 嵇存 李淑芹
受保护的技术使用者：山东师范大学
技术研发日：2022.01.27
技术公布日：2022/5/5