基于脑机接口的虚拟现实可交互式情绪检测与调控系统的制作方法

1.本发明涉及脑机接口技术、虚拟现实技术与情绪诱发、检测与调控的技术领域，尤其是指一种基于脑机接口的虚拟现实可交互式情绪检测与调控系统。


背景技术：

2.从定义上讲，情绪是一系列主观认知体验的总称，包括但不限于人对客观事物的态度、体验和相应的行为反应。脑电是了解人脑无害、无痛和可操作性如何工作的有效方法之一，因此我们希望通过脑电了解一个人的情绪状态。在算法上，情绪识别是关键任务，但对于实际应用，情绪调控更为关键。然而，有些人很难根据自己的想法调控自己的情绪。我们的重点在于提出一个益于诱发情绪和调控情绪的系统。


技术实现要素：

3.本发明的目的在于针对目前的脑电情绪检测系统反馈形式单一，无法实现交互等问题，提出了一种基于脑机接口的虚拟现实可交互式情绪检测与调控系统，将脑机接口技术与虚拟现实技术结合，创建了一个基于虚拟人的可交互式情绪检测和调控系统，该系统用虚拟人的表情展示用户的情绪状态，并反馈给用户，实现情绪检测与情绪调控，在获得不错的分类准确率的同时获得良好的使用体验。
4.为实现上述目的，本发明所提供的技术方案为：基于脑机接口的虚拟现实可交互式情绪检测与调控系统，包括：
5.刺激模块，用于传递刺激信息，通过视频或三维场景播放表达不同情绪的音视频以及虚拟人的动作调动用户的情绪；
6.反馈模块，用于传递反馈数据处理模块处理后的结果，通过视频或三维场景反馈用户的实时情绪状态，帮助用户调节实时情绪；
7.数据采集模块，用于采集并记录用户的脑电信号；
8.数据处理模块，用于对采集的脑电信号进行处理，包括对脑电数据进行状态标记，并根据标记进行训练数据和在线测试数据的分割和特征提取，训练数据对应的特征将用于在线检测与调控中使用的分类器模型的计算，而在线测试数据对应的特征将通过分类器模型计算实时情绪状态并根据其与反馈模块连接产生相应的反馈命令。
9.进一步，所述刺激模块在开始刺激前，首先提示用户即将呈现的刺激情绪类型，有正性、中性或负性，刺激开始后将持续一段时间，刺激将通过视频或三维场景呈现；每个刺激结束后，用户将短暂休息；刺激模块由与数据处理模块相同或不同的计算机驱动。
10.进一步，所述反馈模块包括两个部分，一是虚拟人的表情，二是情绪坐标；其中虚拟人的表情根据用户的情绪变化，能做出大笑、微笑、无表情、叹气表情，用户观看虚拟人表情状态并对自身情绪状态进行调整；情绪坐标是精确反应用户情绪状态的指标，用户能根据情绪坐标的位置，对自己的情绪状态进行调整。
11.进一步，所述数据采集模块采集用户的脑电信号，并通过串口连接线和并口连接
线与安装有数据处理模块的计算机连接。
12.进一步，所述数据采集模块采用脑电放大器和30通道的eeg电极帽来记录头皮脑电信号，并将脑电信号传输给数据处理模块；其中，所有通道的脑电信号均以右耳突为参照，在脑电采集过程中，所有电极的阻抗值皆为5kω以下，以保证数据良好的质量，且脑电信号以250hz的频率采样，并在0.1至48hz的范围内进行带通滤波。
13.进一步，所述数据采集模块采集信号时，用户坐在距离3d屏幕中央3米处，头戴同步式3d眼镜，3d屏幕用作场景的播放，音乐播放依靠立体声环绕音响；开始前，用户会观看一个测试歌曲视频，能够根据自己的喜好，将音量和屏幕亮度调整到合适的大小，以保证在使用过程中，用户能准确接受刺激；每个用户需要进行两段脑电数据的采集，一段是训练数据采集，另一段是在线测试数据采集。
14.进一步，在所述数据处理模块中，对训练数据根据标记分为正性、中性、负性情绪状态的数据，形成训练数据集，在对训练数据集进行滤波预处理后，计算脑电频率段微分熵，结果作为特征向量，完成特征提取，而后将这些特征向量根据标记送入基于线性核的支持向量机训练生成用于情绪的在线检测与调控阶段的分类器模型；在情绪的在线检测与调控阶段，对实时数据使用与处理训练数据集时完全相同的方法和参数进行预处理、特征提取后，将特征向量输入训练好的分类器模型，得到正性—中性、中性—负性、负性—正性三组情绪对的预测可能性值，并基于这三个值进行线性变换，得到实时情绪坐标，基于这个坐标的位置判定用户情绪状态，并调整虚拟人的表情，用户根据坐标和虚拟人的表情改变自己的情绪调节策略，进一步提升情绪调节效果。
15.进一步，在所述数据处理模块中，对标记好的训练数据和在线测试数据进行滤波预处理和微分熵特征提取的操作如下：
16.对于训练数据和在线测试数据，经过带通滤波器滤波，滤波带宽为0.1
–
48hz；对于训练数据和在线测试数据的每一个数据段，采用滑动窗口的方式将其切割成时间窗口为5秒的小窗，滑动间隔为1秒；对于每一个小窗，提取30个通道在6个频率段：
①
delta频段：0.1-4hz，
②
theta频段：4-8hz，
③
alpha频段：8-14hz，
④
low beta频段：14-21.5hz，
⑤
high beta频段：21.5-30hz，
⑥
gamma频段：30-48hz内的微分熵特征，得到30
×
6的特征向量，通过变化转化为180
×
1的特征向量；其中，微分熵特征的具体计算方法如下：
17.对于每个数据通道，使用短时傅里叶变化(stft)将信号变化到时频域，随后按照下列公式：
18.de＝log(|x(m，fk)|2)
19.式中，de为微分熵特征，x为通道数据，m为对应时间段序号，fk为对应频率的组合；在频率域上分别计算每个频段的信号能量，并将对应的能量值取对数之后就得到了相应的微分熵特征。
20.进一步，在所述数据处理模块中，对于分类器模型的训练，是将特征向量送入基于线性核的支持向量机svm构建情绪分类的分类器，将训练中的正性、中性、负性情绪状态下对应的情绪特征数据构成一个训练集，并将正性、中性、负性情绪状态下对应的特征向量送入上述分类器进行训练，得到基于情绪的分类器模型。
21.进一步，在所述数据处理模块中，对于实时情绪坐标的计算，假设一个边长为1的等边三角形，三角形的三个顶点为三种情绪的原点，其中左下角为正性，上方为中性，右下
角为负性，三条边上为三个两两情绪对的预测可能性所对应的小球，将三个小球的重心定义为情绪坐标，通过情绪坐标的反馈，用户能够更加准确获取自己当前的情绪状态。
22.本发明与现有技术相比，具有如下优点与有益效果：
23.1、基于脑机接口的方式进行情绪检测与调控调节，相较于其它情绪识别方式例如面部表情识别、肌电信号识别更加准确有效，利用脑电信号识别能够更加真实地反映用户的情绪状态，可以避免用户刻意做表情或肌肉动作带来的干扰。
24.2、将虚拟现实技术引入脑机接口的情绪检测与调控系统解决了目前的脑电情绪检测系统反馈和交互形式比较单一的问题，创建了一个基于虚拟人的可交互式情绪检测和调控系统。通过虚拟人的表情和情绪坐标反馈，用户可以了解当前自己的情绪状态，若反馈和预期不符，用户可根据反馈调整自己的情绪和调控方法。
25.3、虚拟现实技术带来的娱乐效果极大地拓展了基于脑机接口的情绪检测与调控的应用范围，在游戏娱乐和医疗康复领域具有广阔的应用前景。
附图说明
26.图1是本发明系统的架构图。
27.图2是刺激/反馈模块的场景图。
28.图3是数据处理模块的架构图。
具体实施方式
29.下面结合实施例及附图对本发明者作进一步详细的描述，但本发明的实施方式不限于此。
30.参见图1所示，本实施例提供了一种基于脑机接口的虚拟现实可交互式情绪检测与调控系统，包括：刺激模块、反馈模块、数据采集模块、数据处理模块。
31.刺激模块，用于传递刺激信息，通过视频或三维场景播放表达不同情绪的音视频以及虚拟人的动作调动用户的情绪；
32.反馈模块，用于传递反馈信息，信息是数据处理模块处理后的结果，通过视频或三维场景反馈用户的实时情绪状态，帮助用户调节实时情绪。
33.数据采集模块，用于采集并记录用户的脑电信号；
34.数据处理模块，用于对采集的脑电信号进行处理，包括对脑电数据进行状态标记，并根据标记进行训练数据和在线测试数据的分割和特征提取，训练数据对应的特征将用于在线检测与调控中使用的分类器模型的计算，而在线测试数据对应的特征将通过分类器模型计算实时情绪状态并根据其与反馈模块连接产生相应的反馈命令。
35.刺激模块在开始刺激前，首先提示用户即将呈现的刺激情绪类型(正性、中性或负性)，刺激开始后将持续一段不定长时间，刺激将通过视频或三维场景呈现；每个刺激结束后，用户将短暂休息；刺激模块由与数据处理模块相同或不同的计算机驱动。
36.参见图2所示，反馈模块包括两个部分，一是虚拟人的表情，二是情绪坐标；其中虚拟人的表情根据用户的情绪变化，可做出大笑、微笑、无表情、叹气等表情，用户观看虚拟人表情状态并对自身情绪状态进行调整；情绪坐标是精确反应用户情绪状态的指标，用户可根据情绪坐标的位置，对自己的情绪状态进行调整。
37.数据采集模块采集用户的脑电信号，并通过串口连接线和并口连接线与安装有数据处理模块的计算机连接。数据采集模块采用脑电放大器和30通道的eeg电极帽来记录头皮脑电信号，并将脑电信号传输给数据处理模块；其中，所有通道的脑电信号均以右耳突为参照，在脑电采集过程中，所有电极的阻抗值皆为5kω以下，以保证数据良好的质量，且脑电信号以250hz的频率采样，并在0.1至48hz的范围内进行带通滤波。数据采集模块采集信号时，用户坐在距离3d屏幕中央3米处，头戴同步式3d眼镜，3d屏幕用作场景的播放，音乐播放依靠立体声环绕音响。开始前，用户会观看一个测试歌曲视频，可以根据自己的喜好，将音量和屏幕亮度调整到合适的大小，以保证在使用过程中，用户能准确接受刺激。每个用户需要进行两段脑电数据的采集，一段是训练数据采集，另一段是在线测试数据采集。
38.参见图3所示，数据处理模块工作原理如下：
39.首先，对训练数据根据标记分为正性、中性、负性情绪状态的数据，形成训练数据集，在对训练数据集进行滤波预处理后，计算脑电频率段微分熵，结果作为特征向量，完成特征提取，后将这些特征向量根据标记送入基于线性核的支持向量机训练生成用于情绪的在线检测与调控阶段的分类器模型；在情绪的在线检测与调控阶段，对实时数据使用与处理训练数据集时完全相同的方法和参数进行预处理、特征提取后，将特征向量输入训练好的分类器模型，得到正性—中性、中性—负性、负性—正性三组情绪对的预测可能性值，并基于这三个值进行线性变换，得到实时情绪坐标，基于这个坐标的位置判定用户情绪状态，并调整虚拟人的表情，用户根据坐标和虚拟人的表情改变自己的情绪调节策略，进一步提升情绪调节效果。
40.对标记好的训练数据和在线测试数据进行滤波预处理和微分熵特征提取的操作如下：
41.对于训练数据和在线测试数据，经过带通滤波器滤波，滤波带宽为0.1
–
48hz；对于训练数据和在线测试数据的每一个数据段，采用滑动窗口的方式将其切割成时间窗口为5秒的小窗，滑动间隔为1秒；对于每一个小窗，提取30个通道在6个频率段：
①
delta频段：0.1-4hz，
②
theta频段：4-8hz，
③
alpha频段：8-14hz，
④
low beta频段：14-21.5hz，
⑤
high beta频段：21.5-30hz，
⑥
gamma频段：30-48hz内的微分熵特征，得到30
×
6的特征向量，通过变化转化为180
×
1的特征向量；其中，微分熵特征的具体计算方法如下：
42.对于每个数据通道，使用短时傅里叶变化(stft)将信号变化到时频域，随后按照下列公式：
43.de＝log(|x(m，fk)|2)
44.式中，de为微分熵特征，x为通道数据，m为对应时间段序号，fk为对应频率的组合；在频率域上分别计算每个频段的信号能量，并将对应的能量值取对数之后就得到了相应的微分熵特征。
45.对于分类器模型的训练，我们将特征向量送入基于线性核的支持向量机svm构建情绪分类的分类器，将训练中的正性、中性、负性情绪状态下对应的情绪特征数据构成一个训练集，并将正性、中性、负性情绪状态下对应的特征向量送入上述分类器进行训练，得到基于情绪的分类器模型；
46.对于实时情绪坐标的计算，我们假设一个边长为1的等边三角形，三角形的三个顶点为三种情绪的原点，其中左下角为正性，上方为中性，右下角为负性，三条边上为三个两
两情绪对的预测可能性所对应的小球。我们将三个小球的重心定义为情绪坐标。通过情绪坐标的反馈，用户能够更加准确获取自己当前的情绪状态。
47.下面介绍该系统使用的具体流程：
48.1)打开数据采集模块、数据处理模块、刺激模块和反馈模块，开始采集脑电信号。具体为：用户坐在刺激模块和反馈模块前，距离3d屏幕中央3米处，头戴同步式3d眼镜，3d屏幕用作场景的播放，音乐播放依靠立体声环绕音响。开始前，用户会观看一个测试歌曲视频，可以根据自己的喜好，将音量和屏幕亮度调整到合适的大小，以保证在使用过程中，用户能准确接受刺激。随后给用户戴上数据采集模块的脑电电极帽，电极帽使用符合国际10-20标准的30通道脑电电极帽，所有通道的脑电信号均以右耳突为参照，在电极和头皮见用平口针筒注入导电胶。在脑电采集过程中，我们使用neuroscan公司的32通道脑袋放大器，所有电极的阻抗值皆为5kω以下，且脑电信号以250hz的频率采样。
49.2)将数据采集模块、数据处理模块、刺激模块和反馈模块建立通信关系，具体的连接方式如下：
50.2.1)打开刺激模块和反馈模块的场景程序，在3d屏幕中播放，并开放连接；
51.2.2)打开数据采集模块相关程序并和刺激模块和反馈模块建立连接，随后可实时接收脑电数据，在窗口中显示接收到的脑电波形；
52.2.3)打开数据处理模块相关程序并和刺激模块和反馈模块建立连接，随后可实时接收脑电标记，在窗口中显示接收到的标记，并实时接收刺激模块和反馈模块的状态。
53.3)采集训练数据和生成模型：
54.3.1)在数据处理模块打开数据记录功能后，在界面选择“训练模式”，并点击“连接”将传递给刺激模块和反馈模块后，点击“开始”，场景便会播放采集训练数据的视频；
55.3.2)视频开始前，屏幕弹出提示告知用户即将播放视频的类型(正性、中性、负性)，并让他们保持相应的情绪状态。每个视频播放完成后，屏幕弹出提示告知用户进行短暂休息。所有视频播放完后，停止保存记录，关闭相应程序；
56.3.3)数据处理模块将自动将刚保存的训练数据放入预定的脚本中生成在线检测与调控中需要的分类器模型。
57.4)进行在线情绪检测与调控：
58.4.1)在数据处理模块打开数据记录功能后，在界面选择“测试模式”，并点击“连接”将传递给刺激模块和反馈模块后，点击“开始”，场景便会播放采集训练数据的视频；
59.4.2)歌曲开始前，屏幕弹出提示告知用户即将播放歌曲的类型(正性、中性、负性)，并让他们保持相应的情绪状态。反馈模块会实时产生反馈信息，用户根据虚拟人表情和情绪坐标的反馈调节自己的情绪和情绪调节方法，使得反馈尽可能符合歌曲的情绪类型。每首歌曲播放完成后，屏幕弹出提示告知用户进行短暂休息。所有歌曲播放完后，停止保存记录，关闭相应程序；
60.4.3)数据处理模块将自动输出用户在训练和测试阶段的准确率表现。
61.综上所述，本发明针对目前的脑电情绪检测系统反馈形式单一，无法实现交互等问题，提出了一种基于脑机接口的虚拟现实可交互式情绪检测与调控系统。本发明将脑机接口技术与虚拟现实技术结合，创建了一个基于虚拟人的可交互式情绪检测和调控系统。该系统用虚拟人的表情展示用户的情绪状态，并反馈给用户，实现情绪检测与情绪调控，在
获得不错的分类准确率的同时获得良好的使用体验。本发明系统为健康人和各类情感障碍患者开法一种检测和调控情绪的系统，拓展了基于脑机接口的情绪检测与调控的应用范围，在游戏娱乐和医疗康复领域具有广阔的应用前景。
62.以上所述之实施例子只为本发明之较佳实施例，并非以此限制本发明的实施范围，故凡依本发明之形状、原理所作的变化，均应涵盖在本发明的保护范围内。