基于EEG的音乐诱发情绪识别方法及系统

基于eeg的音乐诱发情绪识别方法及系统
技术领域
1.本发明涉及情绪识别技术领域，具体为基于eeg的音乐诱发情绪识别方法及系统。


背景技术：

2.情绪脑机接口在很大程度上反映了人类的认知和态度，随着脑科学和心理学的发展，情绪识别已经逐渐被人们所重视，成为该领域的研究重点之一。在临床上得知某些病人的情绪尤为重要，如抑郁症患者、情绪障碍的患者。同时对于丧失语言能力的病人，利用探测其情绪状态也是一条重要的渠道。事实上关于情绪研究的应用范围远不止这些，情绪任务研究可以用于特殊童的教育、了解孤独症儿童的心理。在商业生活中，如软件产品的开发，用户对于软件产品的满意度至关重要，传统的市场调研是向大量用户发放问卷，而往往用户并不能认真对待，因而得到的结果大都不能真实反映出产品的质量。利用脑电图机采集用户使用产品时的脑电数据，进而分析得出情绪状态，更加客观真实。同样，对于一些从业人员的情绪评估也是情绪研究领域的重要应用，如军人、飞行员、长途司机等。
3.现有情绪诱发方式包括自发回忆法、图片情绪诱发法、视频片段诱发法。自发回忆法在在进行情绪诱发时，被试者闭上眼睛，在回忆当下被试会因为沉浸在事件中而自主的产生情绪，而单一靠受试者自身回忆会比较困难。图片情绪诱发法主要是让被试观看具有强烈情绪色彩的图片来诱发所需要的目标情绪状态，相对于图片诱发情绪实验，每张图片的展示时间只有几秒，情绪诱发的时间很短，因而诱发的情绪短暂，很难获取被试某种持续稳定的情绪，存在一定局限性。


技术实现要素：

4.(一)解决的技术问题
5.针对现有技术的不足，本发明提供了基于eeg的音乐诱发情绪识别方法及系统，设计了一种音乐刺激情绪的脑机接口实验范式，相对于其他刺激情绪方式来说，音乐刺激更加能使受试者处于一个轻松稳定的状态，更利于情绪治疗，对抑郁症治疗来说有很好的前景，被试者通过不同类型的音乐联想到自身关于愉悦或悲伤的经历来增强情感，受试者听音乐时，处于全身心放松的状态，会减少眼动带来的干扰。
6.(二)技术方案
7.本发明提供如下技术方案：基于eeg的音乐诱发情绪识别方法及系统，包括以下步骤：
8.s1、设计实验范式以及采集脑电数据
9.s11、设计一种基于音乐刺激情绪的bci实验范式，音乐刺激包括两种类型，愉悦快乐型和悲伤沉痛型。
10.s12、利用e-prime设计实验任务界面，包括注视界面、音乐刺激界面、反馈界面、休息界面。
11.s13、实验开始之前，屏幕中央会显示指导语，让被试充分了解实验规则，正式采集
数据前受试者调整好情绪并处于身心放松的状态，带好耳机做好实验准备。
12.s14、实验开始时，屏幕中央会出现一个持续3秒的加号“ ”，提示受试者做好准备进入情绪，接着出现音乐符号时开始播放音乐，音乐播放60秒，然后屏幕提示5秒“请受试者对音乐类型进行评价”，受试者认为该音乐为正性则按“9”键，认为该音乐为负性按“1”键，若判断不出则按“5”键，最后屏幕中央显示一个持续时间为2秒的星号“*”，在此期间受试者休息并调整好情绪。
13.s2、对采集的eeg信号进行预处理
14.s21、通过测量电极获得受试者进行的三组脑电数据，基于时刻标签数据将愉悦欢快的音乐和悲伤沉痛型音乐整理成两类数据集，首先利用50hz陷波器对原始eeg信号进行处理。
15.s22、利用一个6阶的巴特沃斯滤波器在1-50hz范围内对eeg信号进行滤波，依据测量电极的时刻标签，对脑电数据进行分段处理，取音乐播放60 秒时间段进行处理，然后对所有电极进行时频分析，画出两类数据16个电极的功率谱密度图以及两类音乐数据的功率谱密度差值图。
16.s23、根据功率谱密度图以及两类情绪功率谱差值图，得到电极p4在 15-25hz频段内两类情绪的差异变化，取第p4电极的9次积极情绪实验数据和9次消极情绪实验数据在15-25hz的叠加频率作为两个样本，对两个样本进行配对t检验，得出p《0.05，证明两类情绪差异。
17.s24、考虑带通滤波器滤波范围调整为15-25hz，确定能量变化的频率范围后，将滤波后的60秒音乐播放内的数据能量设为a，提示发生前参考时间段能量设为r，60秒数据内能量相对于提示发生前的能量波动百分数d为
[0018][0019]
s3、取音乐播放期间的60秒进行特征提取
[0020]
s31、将时域信息转换为时频信息，对每一组每一导信号做短时傅里叶变换，采用汉宁窗作为窗函数，并将窗口大小设为1秒，时域采样频率为250hz，频域采样频率为512hz，每个频段的特征中含有的情绪信息又有所差别如此一来，每1秒内的时域信息会做一个傅里叶变换转换到频域上去，这样对于每一类情绪数据，得到9*60*250＝135000个采样点。
[0021]
s32、取出delta频段(1—4hz)、theta频段(4—8hz)、alpha频段 (8—13hz)、beta频段(13—30hz)和gamma频段(30—50hz)这五个和生理心理活动密切相关的频段，对单一频段提取差分熵频域特征得到16个de 特征，对五个频段提取差分熵特征，每组数据提取到了16*5＝80个de特征。
[0022]
s4、利用pca方法对特征进行降维
[0023]
s41、先对数据进行去中心化的规范处理，每个变量减去各自的平均值，这样可以将数据的中心归到零点位置，即均值为0。
[0024]
s42、计算中心化后的样本x的协方差矩阵。
[0025]
s43、计算协方差矩阵的特征值并按照从大到小的顺序排列。
[0026]
s44、计算特征值对应的特征向量，取前p个特征值对应的特征向量构成投影矩阵。
[0027]
s45、将数据转换到上述投影矩阵构建的新空间中，从而达到降维的目的。
[0028]
s5、对降维后的数据按照十折交叉验证划分训练集和测试集，对数据进行svm二分类得到6位被试分别在delta、theta、alpha、beta、gamma以及五个频段的平均分类准确率。
[0029]
优选的，所述步骤s1,eeg信号采集设备包含16个电极：f3、fz、f4、 fc1、fc2、fc5、fc6、c3、cz、c4、cp1、cp2、cp5、cp6、p3、p4，采样率为250hz。遵照国际标准导联10/20系统设置，在被试头皮上放置待测量电极，参考电极和接地电极位于耳垂和前额位置，电极输出端连接无线脑电采集系统。
[0030]
优选的，所述步骤s1,每类情绪的音乐在一组实验中各随机出现三次，每位受试者一共完成三组实验，并在每组实验之间休息二十分钟。
[0031]
优选的，所述步骤s1，使用6段1分钟的音乐作为刺激材料，其中，3 段音乐反应愉悦快乐情绪，3段反应悲伤沉痛的情绪，音乐随机播放，每段音乐60s播放完毕后有5秒反馈时间，受试者认为该音乐为积极欢快的正兴音乐则按“9”键，认为该音乐为悲伤沉痛的负性音乐按“1”键，若判断不出音乐类型则按5键。每位受试者被要求做3组实验，每组实验间隔二十分钟。
[0032]
基于eeg的音乐诱发情绪识别系统，包括数据采集单元1，所述数据采集单元1的输出端信号连接有系统控制单元2，所述系统控制单元2的输出端信号连接有数据处理单元3。
[0033]
优选的，所述数据采集单元1包括采集模块11，所述采集模块11的输出端信号连接有接收模块12，所述接收模块12的输出端信号连接有上传模块 13，所述上传模块13的输出端信号连接有存储模块14。
[0034]
优选的，所述系统控制单元2包括触碰模块21，所述触碰模块21的输出端信号连接有传感模块22，所述传感模块22的输出端信号连接有反馈模块 23，所述反馈模块23的输出端信号连接有输出模块24。
[0035]
优选的，所述数据处理单元3包括调用模块31，所述调用模块31的输出端信号连接有分析模块32，所述分析模块32的输出端信号连接有处理模块 33，所述处理模块33的输出端信号连接有显示模块34。
[0036]
(三)有益效果
[0037]
与现有技术相比，本发明提供了基于eeg的音乐诱发情绪识别方法及系统，具备以下有益效果：
[0038]
1、该基于eeg的音乐诱发情绪识别方法及系统，设计了一种音乐刺激情绪的脑机接口实验范式，相对于其他刺激情绪方式来说，音乐刺激更加能使受试者处于一个轻松稳定的状态，更利于情绪治疗，对抑郁症治疗来说有很好的前景，被试者通过不同类型的音乐联想到自身关于愉悦或悲伤的经历来增强情感。
[0039]
2、该基于eeg的音乐诱发情绪识别方法及系统，受试者听音乐时，处于全身心放松的状态，会减少眼动带来的干扰。
附图说明
[0040]
图1为本发明基于eeg的情绪识别系统实验范式图；
[0041]
图2为本发明16个电极位置分布图；
[0042]
图3为本发明正性音乐和负性音乐的功率谱密度图；
[0043]
图4为本发明正性音乐和负性音乐的功率谱密度差值图；
[0044]
图5为本发明正性音乐和负性音乐的能量波动图；
[0045]
图6为本发明6名被试在不同频段的平均分类准确率统计图；
[0046]
图7为本发明系统原理图；
[0047]
图8为本发明数据采集单元示意图；
[0048]
图9为本发明系统控制单元示意图；
[0049]
图10为本发明数据处理单元示意图。
[0050]
附图中：1、数据采集单元；11、采集模块；12、接收模块；13、上传模块；14、存储模块；2、系统控制单元；21、触碰模块；22、传感模块；23、反馈模块；24、输出模块；3、数据处理单元；31、调用模块；32、分析模块； 33、处理模块；34、显示模块。
具体实施方式
[0051]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0052]
实施例一：
[0053]
请参阅图1-6，本发明提供一种技术方案：基于eeg的音乐诱发情绪识别方法及系统，包括以下步骤：
[0054]
s1、设计实验范式以及采集脑电数据
[0055]
s11、设计一种基于音乐刺激情绪的bci实验范式，音乐刺激包括两种类型，愉悦快乐型和悲伤沉痛型。
[0056]
s12、利用e-prime设计实验任务界面，包括注视界面、音乐刺激界面、反馈界面、休息界面。
[0057]
s13、实验开始之前，屏幕中央会显示指导语，让被试充分了解实验规则，正式采集数据前受试者调整好情绪并处于身心放松的状态，带好耳机做好实验准备。
[0058]
s14、实验开始时，屏幕中央会出现一个持续3秒的加号“ ”，提示受试者做好准备进入情绪，接着出现音乐符号时开始播放音乐，音乐播放60秒，然后屏幕提示5秒“请受试者对音乐类型进行评价”，受试者认为该音乐为正性则按“9”键，认为该音乐为负性按“1”键，若判断不出则按“5”键，最后屏幕中央显示一个持续时间为2秒的星号“*”，在此期间受试者休息并调整好情绪。
[0059]
eeg信号采集设备包含16个电极：f3、fz、f4、fc1、fc2、fc5、fc6、 c3、cz、c4、cp1、cp2、cp5、cp6、p3、p4，采样率为250hz。遵照国际标准导联10/20系统设置，在被试头皮上放置待测量电极，参考电极和接地电极位于耳垂和前额位置，电极输出端连接无线脑电采集系统。、每类情绪的音乐在一组实验中各随机出现三次，每位受试者一共完成三组实验，并在每组实验之间休息二十分钟。
[0060]
使用6段1分钟的音乐作为刺激材料，其中，3段音乐反应愉悦快乐情绪， 3段反应悲伤沉痛的情绪，音乐随机播放，每段音乐60s播放完毕后有5秒反馈时间，受试者认为该音乐为积极欢快的正兴音乐则按“9”键，认为该音乐为悲伤沉痛的负性音乐按“1”键，若判断不出音乐类型则按5键。每位受试者被要求做3组实验，每组实验间隔二十分钟。
[0061]
s2、对采集的eeg信号进行预处理
[0062]
s21、通过测量电极获得受试者进行的三组脑电数据，基于时刻标签数据将愉悦欢快的音乐和悲伤沉痛型音乐整理成两类数据集，首先利用50hz陷波器对原始eeg信号进行处理。
[0063]
s22、利用一个6阶的巴特沃斯滤波器在1-50hz范围内对eeg信号进行滤波，依据测量电极的时刻标签，对脑电数据进行分段处理，取音乐播放60 秒时间段进行处理，然后对所有电极进行时频分析，画出两类数据16个电极的功率谱密度图以及两类音乐数据的功率谱密度差值图。
[0064]
s23、根据功率谱密度图以及两类情绪功率谱差值图，得到电极p4在 15-25hz频段内两类情绪的差异变化，取第p4电极的9次积极情绪实验数据和9次消极情绪实验数据在15-25hz的叠加频率作为两个样本，对两个样本进行配对t检验，得出p《0.05，证明两类情绪差异。
[0065]
s24、考虑带通滤波器滤波范围调整为15-25hz，确定能量变化的频率范围后，将滤波后的60秒音乐播放内的数据能量设为a，提示发生前参考时间段能量设为r，60秒数据内能量相对于提示发生前的能量波动百分数d为
[0066][0067]
s3、取音乐播放期间的60秒进行特征提取
[0068]
s31、将时域信息转换为时频信息，对每一组每一导信号做短时傅里叶变换，采用汉宁窗作为窗函数，并将窗口大小设为1秒，时域采样频率为250hz，频域采样频率为512hz，每个频段的特征中含有的情绪信息又有所差别如此一来，每1秒内的时域信息会做一个傅里叶变换转换到频域上去，这样对于每一类情绪数据，得到9*60*250＝135000个采样点。
[0069]
s32、取出delta频段(1—4hz)、theta频段(4—8hz)、alpha频段 (8—13hz)、beta频段(13—30hz)和gamma频段(30—50hz)这五个和生理心理活动密切相关的频段，对单一频段提取差分熵频域特征得到16个de 特征，对五个频段提取差分熵特征，每组数据提取到了16*5＝80个de特征。
[0070]
s4、利用pca方法对特征进行降维
[0071]
s41、先对数据进行去中心化的规范处理，每个变量减去各自的平均值，这样可以将数据的中心归到零点位置，即均值为0。
[0072]
s42、计算中心化后的样本x的协方差矩阵。
[0073]
s43、计算协方差矩阵的特征值并按照从大到小的顺序排列。
[0074]
s44、计算特征值对应的特征向量，取前p个特征值对应的特征向量构成投影矩阵。
[0075]
s45、将数据转换到上述投影矩阵构建的新空间中，从而达到降维的目的。
[0076]
s5、对降维后的数据按照十折交叉验证划分训练集和测试集，对数据进行svm二分类得到6位被试分别在delta、theta、alpha、beta、gamma以及五个频段的平均分类准确率。
[0077]
实施例二：
[0078]
请参阅图7-10，基于eeg的音乐诱发情绪识别系统，包括数据采集单元 1，数据采集单元1的输出端信号连接有系统控制单元2，系统控制单元2的输出端信号连接有数据处理单元3。
[0079]
进一步的，数据采集单元1包括采集模块11，采集模块11的输出端信号连接有接收模块12，接收模块12的输出端信号连接有上传模块13，上传模块13的输出端信号连接有存储模块14。
[0080]
进一步的，系统控制单元2包括触碰模块21，触碰模块21的输出端信号连接有传感模块22，传感模块22的输出端信号连接有反馈模块23，反馈模块23的输出端信号连接有输出模块24。
[0081]
进一步的，数据处理单元3包括调用模块31，调用模块31的输出端信号连接有分析模块32，分析模块32的输出端信号连接有处理模块33，处理模块33的输出端信号连接有显示模块34。
[0082]
该基于eeg的音乐诱发情绪识别方法及系统，采用功率谱密度作为特征的分类结果虽然和采用微分熵作为特征的分类结果互有高低，但是，在belta 频段、gamma频段和所有频段上，差分熵特征的分类效果会更好。情绪特征大多数存在于较为高频的脑电信号中，因此采用gamma频段特征的识别准确率最高，beta频段其次，而alpha、theta和delta频段的特征则无法正确识别出情绪。基于脑电信号的情绪识别，是一种对个性化很敏感的方法，对于不同的被试，他们的生理心理状况的不同，对刺激材料感受的不同等，都会引起较大的效果差异。
[0083]
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。