一种基于多模态脑功能信号识别的系统及方法与流程

设备中。
9.优选的，所述的硬件模块包括无线通信、摄像头、主板、电源、vr头显、脑电仪、近 红外脑功能成像仪、眼动追踪仪、指示灯；
10.所述的软件模块包括语音提示模板、自动校准模板、app安装卸载模板、用户信息登录模板； 所述的app控制模块包括指令控制模块、用户信息登录模块、实时语音传输模块、一键启 停模块、紧急制动模块。
11.优选的，所述的脑电仪采用脑功能状态认知识别方法，具体包括基于多级集成学习和多 模态生理信号的脑功能状态认知识别。
12.优选的，所述的头戴式vr设备具有自动收缩与一键暂停功能，用以固定被测试者的头 部位置，同时防止被测试者在实验中发生意外情况，同时被测试者通过app控制模块发出 传输指令至沉浸式头盔，用以实现沉浸式头盔中各项目的完成。
13.一种基于多模态脑功能信号识别方法，其特征在于，基于多级集成学习和多模态生理信 号的脑功能状态认知识别具体步骤为：
14.s1、获取被测试对象的个人信息，按语音提示佩戴头戴式vr设备；
15.s2、通过app控制模块，使得头戴式vr设备中播放vr影像，用以通过眼动追踪与近红外 获取被测试者的心理负荷与情绪转换，进行数据采集；
16.s3、获取被测试者在实验过程中，不同情绪状态对应不同颜色指示灯，对采集到的被测试者 的生理状态的多模态数据进行数据预处理，所述的多模态数据包括脑电数据，眼电数据，心 电数据，近红外数据，眼动数据；
17.s4、获取被测试者的脑电数据，进行相应的特征提取；
18.s5、对特征提取后得到的数据进行认知识别与分类性能评估。
19.优选的，在所述步骤s2中，所述的数据采集通过头戴式vr设备所建立的人机系统交 互，进行8通道eeg采集。
20.优选的，在所述步骤s3中，对所述的数据预处理包括巴特沃斯滤波，眼电、肌肉噪声 移除，独立变量分析。
21.优选的，在所述步骤s4中，对所述的特征提取包括非重叠片段选择，fft变换；所述 的fft变换具体包括频域特征变换，时域特征变换域psd差变换，其中所述的频域特征包含delta、theta、alpha、beta、gamma频带，时域特征包含过零点、香农熵、峰度、偏斜度、 峰度、标准偏差、均方根、波形因子、波峰因子、脉冲指数，并对所述的频域特征绘制出8 通道delta、theta、alpha、beta、gamma脑电波变化趋势，其中所述的delta波在0.5-4hz， theta波在4-8hz，alpha波在8-13hz，beta波在14-30hz，gamma波在31-40hz。
22.优选的，在所述步骤s5中，所述的分类性能评估通过使用crbfs分类器，用以对特征 提取得到的数据进行分析并评估被试者的脑功能状态，具体评估方式如下：
23.所述的crbfs分类器，首先确定度量指标，并建立评估模型，如下：
24.accuracy＝(tp tn)/(tp fp fn tn)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
25.sensitivity＝tp/(tp fn)(2)
26.specificity＝tn/(fp tn)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
27.pr ecision＝tp/(tp fp)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
28.npv＝tn/(fn tn)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
29.f1-score＝(2
×
tp)/(2
×
tp fp fn)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
30.使用基学习器sdae，其输入层和第一隐层间的权重由lpp映射层计算得到，并给出 n1个d维脑电样例，将其映射到低维特征表示，如公式(7)，用来评估两个样例间的相似性 (s＝1，相似；s＝0，不相似)，转换矩阵由最小化目标函数计算得到：
31.zi＝a
t
xiꢀꢀꢀ
(7)
[0032][0033]
s.t.a
t
xdx
τ
a＝1
[0034]
在下列方程中，d是s的对角矩阵，a为对应的特征向量，
[0035]
l＝d-s
ꢀꢀ
(9)
[0036]
xlx
t
a＝λxdx
taꢀꢀ
(10)
[0037]
sdae的深度结构通过堆叠ae而构成，为了消除噪声抽象，添加去噪层，第h隐层高 水平特征表示被计算为，
[0038][0039][0040]
被试的cw水平由监督层计算如下，
[0041][0042]
其中，v和bv表示输出权重和偏置，sdae的最优参数基于反向传播算法实现。
[0043]
引入q-statistics来评估基学习器的多样性，例如，一对学习器ei和ej的q值为，
[0044][0045]nij
表示样例正确或错误分类的个数，对于n个sdae，平均值为，
[0046][0047]
从而得到新的特征子集s
tr
，见公式(16)-(17)，
[0048][0049][0050][0051]
其中基学习器的输出表示为e(k)，
[0052]
训练elm分类器，目的是最小化正则化误差，
[0053][0054]
其中g表示激活函数，v表示输出权重，常量c用来平衡拟合误差，因此，最终的集成 输出为：
[0055][0056]
考虑到elm的岭回归问题，将向量i/c添加到ggt的对角线上。
[0057]
优选的，所述的crbfs分类器，首先建立混合矩阵，用以计算分类性能评估的性能指标， 并在此基础上建立基于crbfs分类器的后验概率估计模型，用以得到评价脑功能状态的最优 参数，根据最优参数来确定是否患有相应的脑部疾病。
[0058]
本发明具有一下有益效果：
[0059]
(1)通过将多级集成学习和多模态生理信号的脑功能状态认知识别，采集人脑电信号， 并对脑电波的变化趋势进行分析用以预测热的脑健康状态与心理状态。
[0060]
(2)本发明所述的头戴式vr设备通过结构改进，可适应人脑的结构，并更好的固定 在被试头上，若中途出现不适应状态，可立即按下一键暂停按钮，立即停止实验。
[0061]
(3)本发明在传统算法上运行，得出一些基本结果，然后在改进后的深度学习算法上 运行，得出结果与传统的算法结果做对比，通过大量的数据训练，使匹配得到的数据更准确， 更针对性的分析出客户的脑部状态，避免误诊出现的概率。
附图说明
[0062]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术 描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实 施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附 图获得其他的附图。
[0063]
其中图3-7为某位被试者在执行实验时，头戴式vr设备采集到信号后显示的8通道频 率波，横轴表示时间。
[0064]
附图1为基于多级集成学习和多模态生理信号的脑功能状态认知识别具体步骤；
[0065]
附图2为头戴式vr设备实验流程图；
[0066]
附图3为频域结果图_delta；
[0067]
附图4为频域结果图_theta；
[0068]
附图5为频域结果图_alpha；
[0069]
附图6为频域结果图_beta；
[0070]
附图7为频域结果图_gamma；
[0071]
附图8为模型的平均测试精度。
具体实施方式
[0072]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描 述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明 中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例， 都属于本发明保护的范围。
[0073]
本发明中的词语“优选的”、“优选地”、“进一步地”等是指，在某些情况下可提供某些 有益效果的本发明实施方案。然而，在相同的情况下或其他情况下，其他实施方案也可能是 优选的。此外，对一个或多个优选实施方案的表述并不暗示其他实施方案不可用，也
并非旨 在将其他实施方案排除在本发明的范围之外。
[0074]
本发明所述的一种基于多模态脑功能信号识别系统，具体包括硬件模块，软件模块，算 法控制模块，app控制模块，所述硬件模块，软件模块，算法控制模块，app控制模块集成 于头戴式vr设备中。
[0075]
在一种实施方式中，所述的硬件模块包括无线通信、摄像头、主板、电源、vr头显、 脑电仪、近红外脑功能成像仪、眼动追踪仪、指示灯；所述的软件模块包括语音提示模板、 自动校准模板、app安装卸载模板、用户信息登录模板；所述的app控制模块包括指令控制 模块、用户信息登录模块、实时语音传输模块、一键启停模块、紧急制动模块。
[0076]
在一种实施方式中，所述的脑电仪采用脑功能状态认知识别方法，具体包括基于多级集 成学习和多模态生理信号的脑功能状态认知识别。
[0077]
在一种实施方式中，所述的头戴式vr设备具有自动收缩与一键暂停功能，用以固定被 测试者的头部位置，同时防止被测试者在实验中发生意外情况，同时被测试者通过app控 制模块发出传输指令至头戴式vr设备，用以实现头戴式vr设备中各项目的完成。
[0078]
在一种优选的实施方式中，所述的头戴式vr设备通过登录被试者个人信息，按语音提 示佩戴头盔，通过采集生理数据，不同的情绪状态对应不同颜色的指示灯。
[0079]
本发明所述的一种基于多模态脑功能信号识别方法，其特征在于，基于多级集成学习和 多模态生理信号的脑功能状态认知识别具体步骤为：
[0080]
s1、获取被测试对象的个人信息，按语音提示佩戴头戴式vr设备；
[0081]
s2、通过app控制模块，使得头戴式vr设备中播放vr影像，用以通过眼动追踪与近红外 获取被测试者的心理负荷与情绪转换，进行数据采集；
[0082]
s3、获取被测试者在实验过程中，不同情绪状态对应不同颜色指示灯，对采集到的被测试者 的生理状态的多模态数据进行数据预处理，所述的多模态数据包括脑电数据，眼电数据，心 电数据，近红外数据，眼动数据；
[0083]
s4、获取被测试者的脑电数据，进行相应的特征提取；
[0084]
s5、对特征提取后得到的数据进行认知识别与分类性能评估。
[0085]
在一种实施方式中，在所述步骤s2中，所述的数据采集通过头戴式vr设备所建立的 人机系统交互，进行8通道eeg采集。
[0086]
在一种实施方式中，在所述步骤s3中，对所述的数据预处理包括巴特沃斯滤波，眼电、 肌肉噪声移除，独立变量分析。
[0087]
在一种实施方式中，在所述步骤s4中，对所述的特征提取包括非重叠片段选择，fft 变换；所述的fft变换具体包括频域特征变换，时域特征变换域psd差变换，其中所述的频 域特征包含delta、theta、alpha、beta、gamma频带，时域特征包含过零点、香农熵、峰 度、偏斜度、峰度、标准偏差、均方根、波形因子、波峰因子、脉冲指数，并对所述的频域 特征绘制出8通道delta、theta、alpha、beta、gamma脑电波变化趋势，如附图(3-7)所 述，其中所述的delta波在0.5-4hz，theta波在4-8hz，alpha波在8-13hz，beta波在14-30hz， gamma波在31-40hz。
[0088]
在一种实施方式中，在所述步骤s5中，所述的分类性能评估通过使用crbfs分类器， 用以对特征提取得到的数据进行分析并评估被试者的脑功能状态，其中评估所涉及的性能指 标为：精度(accuracy)、灵敏度(sensitivity)、特异度(specificity)、查准率
(precision)、 阴性预测值(negative predicting value，npv)、f1分数(f1-score)。以上这些指标都是基 于混淆矩阵计算得到的，其中tp指真正例，tn指真反例，fn指假反例，fp指假正例。
[0089]
具体评估方式如下：
[0090]
所述的crbfs分类器，首先确定度量指标，并建立评估模型，如下：
[0091]
accuracy＝(tp tn)/(tp fp fn tn)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0092]
sensitivity＝tp/(tp fn)(2)
[0093]
specificity＝tn/(fp tn)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0094]
precision＝tp/(tp fp)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0095]
npv＝tn/(fn tn)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0096]
f1-score＝(2
×
tp)/(2
×
tp fp fn)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)
[0097]
使用基学习器sdae，其输入层和第一隐层间的权重由lpp映射层计算得到，并给出 n1个d维脑电样例，将其映射到低维特征表示，如公式(7)，用来评估两个样例间的相似性 (s＝1，相似；s＝0，不相似)，转换矩阵由最小化目标函数计算得到：
[0098]
zi＝a
t
xiꢀꢀ
(7)
[0099][0100]
s.t.a
t
xdx
τ
a＝1
[0101]
在下列方程中，d是s的对角矩阵，a为对应的特征向量，
[0102]
l＝d-s
ꢀꢀ
(9)
[0103]
xlx
t
a＝λxdx
taꢀꢀ
(10)
[0104]
sdae的深度结构通过堆叠ae而构成，为了消除噪声抽象，添加去噪层，第h隐层高 水平特征表示被计算为，
[0105][0106][0107]
被试的cw水平由监督层计算如下，
[0108][0109]
其中，v和bv表示输出权重和偏置，sdae的最优参数基于反向传播算法实现。
[0110]
引入q-statistics来评估基学习器的多样性，例如，一对学习器ei和ej的q值为，
[0111][0112]nij
表示样例正确或错误分类的个数，对于n个sdae，平均值为，
[0113][0114]
从而得到新的特征子集s
tr
，见公式(16)-(17)，
[0115]
[0116][0117][0118]
其中基学习器的输出表示为e(k)，
[0119]
训练elm分类器，目的是最小化正则化误差，
[0120][0121]
其中g表示激活函数，v表示输出权重，常量c用来平衡拟合误差，因此，最终的集成 输出为：
[0122][0123]
考虑到elm的岭回归问题，将向量i/c添加到ggt的对角线上。
[0124]
在一种实施方式中，所述的crbfs分类器，首先建立混合矩阵，用以计算分类性能评估 的性能指标，并在此基础上建立基于crbfs分类器的后验概率估计模型，用以得到评价脑功 能状态的最优参数，根据最优参数来确定是否患有相应的脑部疾病。
[0125]
在一种优选的实施方式中：
[0126]
根据实验设置，每位被试包含相同个数的三种脑疾病样本个数，原始数据包含450000 个时间节点数据，经500hz采样后，单个被试共包含2700个样例。采用n折交叉验证，扩 充可训练的数据，n指被试的个数，这里n指8。如附图8所示，通过随机搜索法、穷举法， 得到一些基本分类器和提出分类器的最优超参数，根据最优参数来得出最终的结果。其中 elm指超限学习机，lssvm指最小二乘支持向量机，knn指最近邻，ann指人工神经网络， lr指对数几率回归。可见最优三分类精度，本发明提出算法crbfs取得最大值。
[0127]
以上所述仅是本发明的较佳实施例而已，并非是对发明作其他形式的限制，任何熟悉本 专业的技术人员可能利用上述揭示的技术内容加以变更或更改为等同变化的等效实施例，但 凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改， 等同变化与改型，仍属于本发明技术方案的保护范围。