基于EEG脑电多维特征的数字化人机界面认知负荷评估方法

基于eeg脑电多维特征的数字化人机界面认知负荷评估方法
技术领域
1.本发明属于计算机视觉、模式识别及人工智能领域，具体涉及基于eeg脑电多维特征的数字化人机界面认知负荷评估方法。


背景技术：

2.在人机交互过程中，操作员需要接触大量的信息并需要快速做出反应决策，这往往会消耗注意力与记忆力等认知资源，操作界面复杂多变、界面信息呈现过多及不合理设计非常容易造成认知过载，高cl严重影响了人机系统交互的效率和可靠性，严重可能会导致安全事故的发生。因此，如何准确的评估在人机交互过程中的认知负荷，对界面进行科学、合理的设计指导，成为人机交互过程中要致力解决的问题。
3.近几年,基于生理信号的界面认知负荷评估成为该领域的研究热点,其中，脑电具有高时间分辨率、非侵入式等优点，所以成为认知负荷评估的主要技术手段。
4.随着深度学习在eeg脑电信号处理中也应用广泛：例如，将不同时间窗口内的功率谱信息(时频域信息)输入到由cnn与lstm混合的模型中实现了cl的分类；又如，利用att-blstm提取eeg的时域特征,最后通过多特征融合构建cl评价方法；还如，lstm适于处理和预测时间序列中间隔和延迟非常长的重要事件,适合用来表达eeg信号中的时域信息。但是目前算法并未同时对脑电数据的时域、频域、时频域信息进行提取，从而进行界面认知负荷分类。


技术实现要素：

5.本发明旨在提供基于eeg脑电多维特征的数字化人机界面认知负荷评估方法，用于解决以上问题。
6.本发明的技术方案是：
7.基于eeg脑电多维特征的数字化人机界面认知负荷评估方法，其特征在于，包括以下步骤：
8.s1，基于cnn-lstm的eeg脑电时域特征提取；
9.s2，基于深度置信网络的eeg脑电频域特征提取；
10.s3，基于multi-cnn的eeg脑电时频域特征提取；
11.s4，基于支持向量机的界面认知负荷分类。
12.优选地，步骤s1具体包括以下步骤：
13.s1.1，对采集到的脑电数据进行预处理；
14.具体的预处理流程包括以下步骤：
15.s1.1.1，通道定位与删除；具体为：使用基于国际10-20系统的标准通道位置，将脑电设备通道与头皮上的具体位置对应，删除后期不会用到的通道；
16.s1.1.2，信号滤波；具体为：使用带通滤波器滤除50hz工频干扰，并使用0.1～30hz的带通滤波器滤除高频段噪声；
17.s1.1.3，分段和基线校正；具体为：根据数据标签信息将数据分段，每段信号仅保留刺激发生前后一定范围内的数据，然后对数据进行基线校正去除数据漂移的影响；
18.s1.1.4，重参考与降采样；具体为：选择双侧乳突作为重参考通道，根据参考电极对数据进行重参考，得到每个电极和参考电极间的电位差；同时为了提高计算速度，进行降采样操作；
19.s1.1.5，剔除坏段，去除由其它动作引起的波幅过大的数据段；
20.s1.2，通过原始eeg时间序列得到时域特征，采用cnn-lstms获取脑电空间连续信息与时间依赖信息；具体包括以下步骤：
21.s1.2.1，确定cnn卷积网络类型与参数；cnn网络主要由一维卷积层(convolutional layer)和池化层(pooling layer)组成；
22.其中，一维卷积神经网络也被称为时间延迟神经网络，可以保留eeg脑电信号的空域特征与空间连续性；一维卷积公式为：
23.y(n)＝∑x(i)h(n-i)＝x(n)*h(n)
24.池化层采用最大池化(max-pooling)与平均池化(mean-pooling)，池化层能降低中间隐含层的维度，减少接下来各层的运算量，并提供了旋转不变性；
25.cnn卷积网络共有5层：第一层采用1x5的一维卷积conv1d，步长为5，滤波器个数128个，不包含扩展；第二层采用1x3的一维卷积conv1d，步长为3，滤波器个数256个，不包含扩展；第三层采用1x2的最大池化；第四层采用8x1的一维卷积conv1d，步长为1，滤波器个数128个，不包含扩展；第五层采用1x2的平均池化；
26.s1.2.2，确定lstm网络参数；
27.在lstm网络的纵向方向采用两层的lstm结构，增加网络的纵向深度，使之捕获时间序列的高层次抽象时间特征，并且隐层神经元个数分别为64与16；
28.s1.3，对cnn-lstms网络属于监督式神经网络进行初始化与训练；具体包括以下步骤：
29.(1)初始化；采用he initialization权值初始化方式，即任意层的权重w
l
，按照均值为0，且方差为的高斯分布进行初始化，保证信息在前向传播和反向传播过程中能够有效流动，使不同层的输入信号的方差大致相等；
30.(2)训练；训练策略选择自适应学习率的adam优化方法，初始学习率为0.0001，对cnn-lstm网络的参数进行优化，并计算交叉嫡损失误差值，计算公式如下：
[0031][0032]
其中，y表示测试数据经过预测得到的结果，t表示测试数据的正确结果，k表示数据的维度。
[0033]
优选地，步骤s2具体包括以下步骤：
[0034]
s2.1，频域变换；
[0035]
采用快速傅里叶变换(fft)，将原始dft的计算公式根据奇偶分为两部分计算,由于dft的计算复杂度是o(n2)，快速fft的计算复杂度是o(n
·
logn)，此时单个的dft变换变成了2个规模更小的dft，对于每个子问题又可以按照这种方式分解得到更小的子问题，直
到分解出的子问题无法继续提高效率为止；
[0036]
上述计算方式的时间复杂度为o(n
·
logn)，计算公式如下：
[0037][0038]
其中，是eeg脑电序列的偶数列，是eeg脑电序列的奇数列，n表示脑电序列的长度，为单位根，计算方法为：
[0039][0040]
s2.2，归一化；
[0041]
引入了min-max归一化模块，对后续数据的输入范围进行约束，解决多次试验中噪声干扰可能带来的数据漂移的问题，其计算方式如下：
[0042][0043]
其中，x表示当前eeg信号的频率序列值，minx表示当前频率序列中的最小值，maxx表示当前频率序列中的最大值；
[0044]
s2.3，基于深度置信网络的eeg脑电频域特征提取；
[0045]
使用由两层rbm(restricted boltzmann machine,受限玻尔兹曼机，简称rbm)构成的深度置信网络(deep belief network，简称dbn)提取输入的脑电频域特征，具体的网络训练过程如下：
[0046]
(1)首先充分训练第一个rbm；首先对变量进行初始化，可见层神经元1000个，隐层神经元500个，可见层偏执向量a、隐层偏执向量b、权值矩阵w均为0，训练周期100，学习率0.01，对比散度(contrastive divergence)参数k为1，训练集s为单一通道fft变换后的频率输入值；其次调用对比散度函数，计算偏执向量与权值矩阵的偏移量，对偏执向量与权值矩阵进行刷新，满足训练周期之后，固定第一个rbm的权重和偏移量；
[0047]
(2)充分训练第二个rbm；首先对变量进行初始化，可见层神经元500个，隐层神经元100个，可见层偏执向量a、隐层偏执向量b、权值矩阵w均为0，训练周期100，学习率0.01，对比散度(contrastive divergence)参数k为1，训练集s为第一个rbm隐层神经元的输出向量；其次调用对比散度函数，计算偏执向量与权值矩阵的偏移量，对偏执向量与权值矩阵进行刷新，满足训练周期之后，固定第二个rbm的权重和偏移量；
[0048]
(3)将第二个rbm堆叠在第一个rbm的上方，即第二个rbm的可见层输入向量是第一个rbm隐层神经元的输出向量，由此完成对提取eeg脑电频域特征的非监督式深度置信网络的训练。
[0049]
优选地，步骤s3具体包括以下步骤：
[0050]
s3.1，时频域变换；
[0051]
选择连续小波变换(continuous wavelet transform简称cwt)对脑电信号进行时频分解，其中小波采用morlet，该小波是一个平方可积函数，通过在时域上缩放和位移
建立一个小波基其中α是控制小波在时域上尺度的缩放因子，τ是控制小波时域位移的平移因子，其表达式如下：
[0052][0053]
其中ω是morlet小波的中心频率，σ是控制高斯核尺度的参数；
[0054]
一个信号的cwt计算为该型号与小波基函数的卷积，计算公式如下：
[0055][0056]
其中x(t，α)幅度的平方|x(t，α)|2称为尺度图；
[0057]
在matlab中，通过picture函数对|x(t，α)|2尺度图进行可视化，得到脑电信号的时频域图片；
[0058]
s3.2，时频域特征提取；具体包括以下步骤：
[0059]
s3.2.1，时频域特征提取网络结构与参数设置；具体为：
[0060]
将s3.1输出的时频域图片作为卷积网络的输入层，输入图片大小为650x488；设置卷积网络的结构为六层结构，其中，第一层为卷积层，通过128个5x5的卷积核连接到输入层，其中激活函数为线性修正单元(rectified linear unit,relu)，为了避免过拟合与梯度消失，在卷积网络后面添加batch normalization(bn),另外添加senet，使有效的feature map权重变大，无效或效果小的feature map权重变小；第二层包括内核大小为2x2的最大池化层，主要用于缩小尺寸和加快运行速度；第三层为卷积层，通过256个5x5的卷积核连接到上一层，其中激活函数为relu，同样为了避免网络过拟合与梯度消失，在卷积网络后面添加bn与senet；第四层包括内核大小为2x2的最大池化层，可以有效地缩小参数矩阵的尺寸；第五层为卷积层，包含128个5x5的卷积核，激活函数为relu，后面添加bn单元；第六层为全局平均池化；
[0061]
s3.2.2，对multi-cnn网络属于监督式神经网络进行初始化与训练；具体包括以下步骤：
[0062]
(1)初始化；采用he initialization权值初始化方式，即任意层的权重w
l
，按照均值为0，且方差为的高斯分布进行初始化，保证信息在前向传播和反向传播过程中能够有效流动，使不同层的输入信号的方差大致相等；
[0063]
(2)训练；训练策略选择自适应学习率的adam优化方法，初始学习率为0.0001，对multi-cnn网络的参数进行优化，并计算交叉嫡损失误差值，计算公式如下：
[0064][0065]
其中，y表示测试数据经过预测得到的结果，t表示测试数据的正确结果，k表示数据的维度。
[0066]
优选地，步骤s4具体包括以下步骤：
[0067]
s4.1，认知负荷分类；具体包括以下步骤：
[0068]
s4.1.1，将时域、频域、时频域特征模块的输出结果拼接在一起得到一个融合的向量；
[0069]
s4.1.2，将s4.1.1的向量输入到一个全连接层中(节点数为2048,激活函数为relu)；
[0070]
s4.1.3，使用dropout技术,丢弃率均设置为0.15，并通过一个支持向量机svm(c＝8,gamma＝0.5,kernel＝rbf)输出最后的预测结果。
[0071]
本发明的有益效果在于：
[0072]
本发明与其他应用单一的界面认知负荷评估模型相比,能更准确提取eeg的时域特征与频域特征以及时频域特征,具有更强的鲁棒性，并且有助于指导数字界面优化并最终提高人机工效。
附图说明
[0073]
图1为本发明实施例提供的基于eeg脑电多维特征的数字化人机界面认知负荷评估方法的流程图；
[0074]
图2为本发明实施例提供的基于eeg脑电多维特征的数字化人机界面认知负荷评估方法中的提取eeg脑电时域特征的cnn-lstm网络结构图；
[0075]
图3为本发明实施例提供的基于eeg脑电多维特征的数字化人机界面认知负荷评估方法中的基于深度置信网络的8通道eeg脑电频域特征提取网络结构图；
[0076]
图4为本发明实施例提供的基于eeg脑电多维特征的数字化人机界面认知负荷评估方法中的eeg脑电频域特征提取子模块深度置信网络与受限玻尔兹曼机网络结构；
[0077]
图5为本发明实施例提供的基于eeg脑电多维特征的数字化人机界面认知负荷评估方法中的基于multi-cnn的8通道eeg脑电时频域特征提取网络结构图；
[0078]
图6为本发明实施例提供的基于eeg脑电多维特征的数字化人机界面认知负荷评估方法中的提取eeg脑电时频域特征的子模块connet网络结构图；
[0079]
图7为本发明实施例提供的基于eeg脑电多维特征的数字化人机界面认知负荷评估方法中的基于eeg脑电多维度数据的数字化界面认知负荷分类整体结构图；
具体实施方式
[0080]
下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好的理解本发明并能予以实施，本发明的实施方式不限于此。
[0081]
实施例1
[0082]
如图1所示，基于eeg脑电多维特征的数字化人机界面认知负荷评估方法，包括以下步骤：
[0083]
s1，基于cnn-lstm的eeg脑电时域特征提取；
[0084]
s2，基于深度置信网络的eeg脑电频域特征提取；
[0085]
s3，基于multi-cnn的eeg脑电时频域特征提取；
[0086]
s4，基于支持向量机的界面认知负荷分类。
[0087]
其中，步骤s1具体包括以下步骤：
[0088]
s1.1，对采集到的脑电数据进行预处理；
[0089]
具体的预处理流程包括以下步骤：
[0090]
s1.1.1，通道定位与删除；具体为：使用基于国际10-20系统的标准通道位置，将脑
电设备通道与头皮上的具体位置对应，删除后期不会用到的通道；
[0091]
s1.1.2，信号滤波；具体为：使用带通滤波器滤除50hz工频干扰，并使用0.1～30hz的带通滤波器滤除高频段噪声；
[0092]
s1.1.3，分段和基线校正；具体为：根据数据标签信息将数据分段，每段信号仅保留刺激发生前后一定范围内的数据，然后对数据进行基线校正去除数据漂移的影响；
[0093]
s1.1.4，重参考与降采样；具体为：选择双侧乳突作为重参考通道，根据参考电极对数据进行重参考，得到每个电极和参考电极间的电位差；同时为了提高计算速度，进行降采样操作；
[0094]
s1.1.5，剔除坏段，去除由其它动作引起的波幅过大的数据段；
[0095]
s1.2，通过原始eeg时间序列得到时域特征，采用cnn-lstms获取脑电空间连续信息与时间依赖信息；如图2所示，提取eeg脑电时域特征的cnn-lstm网络结构图，具体包括以下步骤：
[0096]
s1.2.1，确定cnn卷积网络类型与参数；cnn网络主要由一维卷积层(convolutional layer)和池化层(pooling layer)组成；
[0097]
其中，一维卷积神经网络也被称为时间延迟神经网络，可以保留eeg脑电信号的空域特征与空间连续性；一维卷积公式为：
[0098]
y(n)＝∑x(i)h(n-i)＝x(n)*h(n)
[0099]
池化层采用最大池化(max-pooling)与平均池化(mean-pooling)，池化层能降低中间隐含层的维度，减少接下来各层的运算量，并提供了旋转不变性；
[0100]
cnn卷积网络共有5层：第一层采用1x5的一维卷积conv1d，步长为5，滤波器个数128个，不包含扩展；第二层采用1x3的一维卷积conv1d，步长为3，滤波器个数256个，不包含扩展；第三层采用1x2的最大池化；第四层采用8x1的一维卷积conv1d，步长为1，滤波器个数128个，不包含扩展；第五层采用1x2的平均池化；
[0101]
s1.2.2，确定lstm网络参数；对于eeg信号分类问题而言，一层lstm神经网络往往不易捕捉数据内部的隐藏信息。因此在lstm网络的纵向方向继续展开lstm单元，增加网络的纵向深度，使之捕获时间序列的高层次抽象时间特征。有文献表明，当lstm网络层数大于等于3的时候不仅网络复杂，消耗时间长，而且交叉嫡损失误差很大；其中当神经单元为8,16,64和lstm网络层数为2的时候，交叉嫡损失误差值最小，所以本文采用两层的lstm网络，且隐层神经元个数分别为64与16。
[0102]
因此在lstm网络的纵向方向采用两层的lstm结构，增加网络的纵向深度，且隐层神经元个数分别为64与16；使之捕获时间序列的高层次抽象时间特征；
[0103]
s1.3，因为cnn-lstms网络属于监督式神经网络，需要对其进行初始化与训练；具体包括以下步骤：
[0104]
(1)初始化；采用he initialization权值初始化方式，即任意层的权重w
l
，按照均值为0，且方差为的高斯分布进行初始化，保证信息在前向传播和反向传播过程中能够有效流动，使不同层的输入信号的方差大致相等；
[0105]
(2)训练；训练策略选择自适应学习率的adam优化方法，初始学习率为0.0001，对cnn-lstm网络的参数进行优化。并计算交叉嫡损失误差值，计算公式如下：
[0106][0107]
其中，y表示测试数据经过预测得到的结果，t表示测试数据的正确结果，k表示数据的维度；
[0108]
如图3所示，基于深度置信网络的8通道eeg脑电频域特征提取网络结构图；即步骤s2具体包括以下步骤：
[0109]
s2.1，频域变换；
[0110]
采用快速傅里叶变换(fft)，将原始dft的计算公式根据奇偶分为两部分计算,由于dft的计算复杂度是o(n2)，快速fft的计算复杂度是o(n
·
logn)，此时单个的dft变换变成了2个规模更小的dft，对于每个子问题又可以按照这种方式分解得到更小的子问题，直到分解出的子问题无法继续提高效率为止；
[0111]
上述计算方式的时间复杂度为o(n
·
logn)，计算公式如下：
[0112][0113]
其中，是eeg脑电序列的偶数列，是eeg脑电序列的奇数列，n表示脑电序列的长度，为单位根，计算方法为：
[0114][0115]
s2.2，归一化；
[0116]
引入了min-max归一化模块，对后续数据的输入范围进行约束，解决多次试验中噪声干扰可能带来的数据漂移的问题，其计算方式如下：
[0117][0118]
其中，x表示当前eeg信号的频率序列值，minx表示当前频率序列中的最小值，maxx表示当前频率序列中的最大值；
[0119]
s2.3，基于深度置信网络的eeg脑电频域特征提取；如图4所示，使用两层rbm提取输入的脑电频域特征；其中，(a)表示深度置信网络dbn网络结构，(b)表示受限玻尔兹曼机rbm网络结构；
[0120]
使用由两层rbm(restricted boltzmann machine,受限玻尔兹曼机，简称rbm)构成的深度置信网络(deep belief network，简称dbn)提取输入的脑电频域特征，具体的网络训练过程如下：
[0121]
(1)首先充分训练第一个rbm；首先对变量进行初始化，可见层神经元1000个，隐层神经元500个，可见层偏执向量a、隐层偏执向量b、权值矩阵w均为0，训练周期100，学习率0.01，对比散度(contrastive divergence)参数k为1，训练集s为单一通道fft变换后的频率输入值；其次调用对比散度函数，计算偏执向量与权值矩阵的偏移量，对偏执向量与权值矩阵进行刷新，满足训练周期之后，固定第一个rbm的权重和偏移量；
[0122]
(2)充分训练第二个rbm；首先对变量进行初始化，可见层神经元500个，隐层神经元100个，可见层偏执向量a、隐层偏执向量b、权值矩阵w均为0，训练周期100，学习率0.01，对比散度(contrastive divergence)参数k为1，训练集s为第一个rbm隐层神经元的输出向量；其次调用对比散度函数，计算偏执向量与权值矩阵的偏移量，对偏执向量与权值矩阵进行刷新，满足训练周期之后，固定第二个rbm的权重和偏移量；
[0123]
(3)将第二个rbm堆叠在第一个rbm的上方，即第二个rbm的可见层输入向量是第一个rbm隐层神经元的输出向量，由此完成对提取eeg脑电频域特征的非监督式深度置信网络的训练。
[0124]
详细训练过程如下表：
[0125][0126]
如图5所示，基于multi-cnn的8通道eeg脑电时频域特征提取网络结构图，即步骤s3具体包括以下步骤：
[0127]
s3.1，时频域变换；
[0128]
选择连续小波变换(continuous wavelet transform简称cwt)对脑电信号进行时频分解，其中小波采用morlet，该小波是一个平方可积函数，通过在时域上缩放和位移建立一个小波基其中α是控制小波在时域上尺度的缩放因子，τ是控制小波时域位移的平移因子，其表达式如下：
[0129][0130]
其中ω是morlet小波的中心频率，σ是控制高斯核尺度的参数；
[0131]
一个信号的cwt计算为该型号与小波基函数的卷积，计算公式如下：
[0132][0133]
其中x(t，α)幅度的平方|x(t，α)|2称为尺度图；
[0134]
在matlab中，通过picture函数对|x(t，α)|2尺度图进行可视化，得到脑电信号的时频域图片；
[0135]
s3.2，时频域特征提取；具体包括以下步骤：
[0136]
s3.2.1，时频域特征提取网络结构与参数设置；具体为：
[0137]
将s3.1输出的时频域图片作为卷积网络的输入层，输入图片大小为650x488；设置卷积网络的结构为connet网络结构，如图6所示；
[0138]
其中，第一层为卷积层，通过128个5x5的卷积核连接到输入层，其中激活函数为线性修正单元(rectified linear unit,relu)，为了避免过拟合与梯度消失，在卷积网络后面添加batch normalization(bn),另外添加senet，使有效的feature map权重变大，无效或效果小的feature map权重变小；
[0139]
第二层包括内核大小为2x2的最大池化层，主要用于缩小尺寸和加快运行速度；
[0140]
第三层为卷积层，通过256个5x5的卷积核连接到上一层，其中激活函数为relu，同样为了避免网络过拟合与梯度消失，在卷积网络后面添加bn与senet；
[0141]
第四层包括内核大小为2x2的最大池化层，可以有效地缩小参数矩阵的尺寸；
[0142]
第五层为卷积层，包含128个5x5的卷积核，激活函数为relu，后面添加bn单元；
[0143]
第六层为全局平均池化；
[0144]
s3.2.2，因为multi-cnn网络属于监督式神经网络，需要对其进行初始化与训练；具体包括以下步骤：
[0145]
(1)初始化；采用he initialization权值初始化方式，即任意层的权重w
l
，按照均值为0，且方差为的高斯分布进行初始化，保证信息在前向传播和反向传播过程中能够有效流动，使不同层的输入信号的方差大致相等；
[0146]
(2)训练；训练策略选择自适应学习率的adam优化方法，初始学习率为0.0001，对multi-cnn网络的参数进行优化。
[0147]
如图7所示，基于eeg脑电多维度数据的数字化界面认知负荷分类总体结构图，即步骤s4具体包括以下步骤：
[0148]
s4.1，认知负荷分类；具体包括以下步骤：
[0149]
s4.1.1，将时域、频域、时频域特征模块的输出结果拼接在一起得到一个融合的向量,
[0150]
s4.1.2，将s4.1.1的向量输入到一个全连接层中(节点数为2048,激活函数为relu)；
[0151]
s4.1.3，使用dropout技术,丢弃率均设置为0.15，并通过一个支持向量机svm(c＝8,gamma＝0.5,kernel＝rbf)输出最后的预测结果。
[0152]
实施例2
[0153]
以收集到的16个被试1120组(3000*8)有效eeg脑电数据作为示例(低负荷数据560组，高负荷数据560组)，进一步说明本发明方法。
[0154]
由于脑电信号个体差异性和时间上的非平稳性，已有研究发现基于脑电信号的跨个体和跨时间的认知负荷评估不能得到满意的结果，所以本文采用经过改进的“留一法”测试模型跨被试的准确性，即每次测试时都会将当前被试的所有数据作为测试集；然后从剩余数据中选取与测试集大小相同数据作为验证集；最后将剩余的数据作为训练集，共测试16次.s1表示将被试1的数据作为测试集来训练模型得到的结果。
[0155]
本发明方法的具体实施流程，包括如下步骤：
[0156]
步骤s1：基于cnn-lstm的eeg脑电时域特征提取模块。
[0157]
通过8通道的脑电采集硬件设备，获取实验分析数据；然后通过matlab中带的eeglab软件包对数据进行预处理，包括通道定位与删除、信号滤波、分段和基线校正、重参考与降采样、剔除坏段。经过预处理的脑电数据为3000*8维度的矩阵，通过cnn-lstm网络，获取100*128维特征。
[0158]
步骤s2：基于深度置信网络的eeg脑电频域特征提取模块。具体实施步骤如下：
[0159]
s2.1：对预处理之后的每个通道的离散数据(每个通道3000个数据)进行快速傅里叶变换，得到3000维度的向量。
[0160]
s2.1：对经过fft的3000维数据进行归一化处理，归一化处理不改变数据的维度。
[0161]
s2.3：对每个通道经过归一化处理的数据输入到深度置信网络中，本发明中的深度置信网络采取两层受限玻尔兹曼机，第一层隐层个数为500，第二层隐层个数为100，所以最后每个通道输出的特征为100维度的向量，8个通道的特征维度为100*8。
[0162]
步骤s3：基于multi-cnn的eeg脑电时频域特征提取模块，具体步骤如下：
[0163]
s3.1：时频域变换，将经过预处理的每个通道的3000*1维度的数据经过由matlab编写的基于morlet小波的连续小波变换(cwt)，输出该通道的时频图(尺度图)，并将输出尺度图的大小限制为650*488个像素。
[0164]
s3.2：将像素为650*488的尺度图作为connet网络的输入，经过connet网络处理，每个通道获取128维度特征，8个通道则获取128*8维度特征。
[0165]
步骤s4：基于支持向量机的界面认知负荷分类。将步骤s1中获取的100*128维特征、步骤s2中获取的100*8维度特征、步骤s3中获取的128*8维度特征融合为一维向量，在通过全连接层与svm，得到界面认知负荷的分类结果。分类结果准确度如下表所示：
[0166][0167]
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的流程并不一定是实施本发明所必须的。