基于EEG信号的在线学习认知负荷指数的获取方法

基于eeg信号的在线学习认知负荷指数的获取方法
技术领域
1.本发明涉及学习认知技术领域，具体涉及一种基于eeg信号的在线学习认知负荷指数的获取方法。


背景技术：

2.认知负荷理论(clt)已经被广泛用于解释学习过程。由于人类工作记忆的局限性，学习材料的添加可能会引起认知负荷。mayer将clt引入多媒体学习，建立了多媒体学习认知理论(ctml)，但该理论只关注认知过程，忽视了情绪对学习的影响。随后，moreno通过添加动机和情感因素扩展了多媒体学习认知理论，并建立了多媒体学习认知-情感理论(catlm)，从而开始研究情感和认知如何在多媒体学习过程中相互影响。这就提出了情感如何影响多媒体教学的问题。
3.认知负荷是学习材料引起的认知过程对工作记忆产生的负荷，可以在不同的水平上进行评估。学习过程中的情绪和认知负荷可以通过主观(评分量表)和客观技术(生理参数)来衡量。评估认知负荷最常用的方法是主观测量。主观测量包括间接类型，如自我报告的心理努力程度，以及直接类型，如学习材料难度评分。aeq、sam以及panas问卷是情绪研究中最常用的问卷。主观测量有一些局限性，如信度和效度。被试可能无法准确回答自己的感受，或者他们会以他人的感受回答。
4.使用生理信号作为客观数据，可以更好地了解参与者在学习过程中的潜在反应。客观测量，如脑电图(eeg)，可以连续测量瞬时认知负荷和情绪状态，从而更详细、准确地解释教学干预对认知负荷和情绪状态的影响。eeg是一种神经成像技术，可以通过放置在头皮上的电极在真实环境中无创地测量大脑活动。这些测量值随认知刺激水平的不同而不同，eeg是教育心理学中测量认知负荷常用的客观测量技术。eeg信号中的θ和α频段对任务难度更敏感。一些研究人员已经证明，α和θ频段的活动与各种任务要求中的任务难度或认知负荷有关。β频段已被证明与感知和认知有关。与手势和面部表情等其他外部线索相比，eeg具有更高的准确度和客观评价，是一种更可靠的情感识别技术。各种心理生理学研究证明了情绪和eeg信号之间的相关性。此外，随着可穿戴设备和干电极技术的快速发展，基于eeg的情绪识别有可能在真实的应用中实现，如精神状态监测。此外，eeg信号已被证明能够提供对情绪状态做出反应的信息特征。因此如何准确的获取认知负荷指数，用于监测学习者的情绪状态成为了申请人亟待解决的技术问题。


技术实现要素：

5.本发明的目的在于，提供一种基于eeg信号的在线学习认知负荷指数的获取方法。本发明可以获取认知负荷指数，具有快速准确的优点。
6.为解决上述技术问题，本发明提供的技术方案如下：基于eeg信号的在线学习认知负荷指数的获取方法，包括如下步骤：
7.s1、在学习者进行在线学习时,采集学习过程中学习者脑电信号，并对脑电信号进
行预处理，获得预处理完毕的eeg信号；
8.s2、通过hht方法来识别eeg信号的局部特征，通过小波包分解计算eeg信号的小波特征；
9.s3、将eeg信号的局部特征和小波特征进行降维，获得学习者的情绪变化的轨迹，将情绪变化的轨迹定量表征为一维线性曲线的高阶过零率；
10.s4、通过高阶过零率构建线性回归模型量化认知负荷指数。
11.上述的基于eeg信号的在先学习认知负荷指数的获取方法，所述脑电信号的预处理包括以下步骤：
12.s1.1、通过有限脉冲响应高通滤波器去除脑电信号中1hz的直流分量，使用fir低通滤波器去除脑电信号中50hz高频处的其他伪影噪声；
13.s1.2、在脑电信号采集用的电极中，通过每个电极中减去所有采集电极的平均值来对eeg数据进行重参考；
14.s1.3、通过独立成分分析以去除眼电信号引起的伪影；
15.s1.4、使用hht方法计算频率分辨率为0.1hz的每个eeg片段的功率谱；
16.s1.5、将0-3.9hz、3.9-7.8hz、7.8-13.7hz、13.7-29.3hz和29.3-46.9hz频段对应的各个通道的能量值进行平均，来依次获得δ、θ、α、β和γ频段的能量值。
17.前述的基于eeg信号的在先学习认知负荷指数的获取方法，步骤s2中，通过hht方法来识别eeg信号的局部特征是将数据分解为有限个本征模态函数分量，然后对每个本征模态函数分量应用希尔伯特变换：
[0018][0019]
式中：x(t)是最终变换的功率谱；aj为第j个本征模态函数分量；t为时间；ωj为角频率；n为分解的本征模态函数分量的标号；
[0020]
根据上式计算瞬时频率，从而将eeg信号的振幅或能量的视频分布指定为希尔伯特谱，从而识别得到eeg信号的局部特征。
[0021]
前述的基于eeg信号的在先学习认知负荷指数的获取方法，通过六阶daubechies小波包分解计算eeg信号的小波特征，所述小波特征包括用小波能量比ri来表示的第i个脑电节律能量ej：
[0022][0023]
式中：e
total
为频谱总能量；
[0024]
以及小波熵特征：
[0025][0026]
前述的基于eeg信号的在先学习认知负荷指数的获取方法，步骤s3中，情绪变化的轨迹的获取是通过isomap方法计算，具体步骤如下：
[0027]
s3.1、构造邻域连接图：对于每个采样点，搜索k个最近邻，在原始空间中，通过计算每对点的距离作为边权值来构造邻域连接图；
[0028]
s3.2、计算最短路径：用d
ij
表示每对点i，j的路径，再用dijkstra方法结合邻域图计算最短路径；
[0029]
s3.3、构造d维嵌入:对于最短路径，将数据表示为矩阵d＝{d
ij
2}，表示点对的测地距离，然后将多维尺度分析应用于该矩阵，以构建数据的嵌入，从而保持流形估计的内部几何结构，获得isomap模型；
[0030]
s3.4、将eeg信号的局部特征和小波特征输入到isomap模型中，并降维到一维，从而获得学习者的情绪变化的轨迹。
[0031]
前述的基于eeg信号的在先学习认知负荷指数的获取方法，将情绪变化的轨迹定量表征为一维线性曲线的高阶过零率，具体步骤是：
[0032]
将情绪变化的轨迹的时间序列s(n)，n＝1，2，
···
，n转换为零均值序列z(n)，n＝1，2，
···
，n；
[0033]
对零均值序列z(n)，n＝1，2，
···
，n引用m个高通滤波器：
[0034][0035]
式中：k表示高通滤波器的阶数，k＝1，2，
···
，m；
[0036]
基于lk{z(n)}构造二进制时间序列xn(k)：
[0037][0038]
通过计算xn(k)中的符号变化来估计高阶过零率：
[0039][0040]
前述的基于eeg信号的在先学习认知负荷指数的获取方法，所述的线性回归模型为：
[0041]
cli＝(hoc-β)/α；
[0042]
式中:hoc是高阶过零率，α为-0.0124，β为0.066，cli为认知负荷指数。
[0043]
与现有技术相比，本发明通过在学习者进行在线学习时,采集学习过程中学习者脑电信号，并对脑电信号进行预处理，获得预处理完毕的eeg信号；通过hht方法来识别eeg信号的局部特征，通过小波包分解计算eeg信号的小波特征；将eeg信号的局部特征和小波特征进行降维，获得学习者的情绪变化的轨迹，将情绪变化的轨迹定量表征为一维线性曲线的高阶过零率；最后通过高阶过零率构建线性回归模型量化认知负荷指数。由此，本发明可以快速准确的获取在线学习过程中学习者的认知负荷指数，方便观察并掌握学习者的情绪，为后续的课程设计等方面提供量化依据。此外，本发明进一步地优化了脑电信号的处理
过程，方便获取脑电信号中的各类情绪表达，以及便于准确的计算认知负荷指数。本发明通过hht变换(hilbert-huang希尔伯特-黄变换)给出了eeg信号的非线性和非平稳数据的完整信息表示，尤其是时频信息表示。它可以识别非线性系统中经常发生的固有振幅和频率调制，同时本发明采用小波变换进行eeg信号的小波特征提取，其包含了短时傅立叶变换(stft)局部信号处理的思想，同时克服了窗口大小不能改变的缺点。再进一步地，本发明通过高阶过零率能够更好地表征eeg信号的振荡特征，更好地识别情绪，最后通过构建线性回归模型进行量化认知负荷指数，方便进行认知负荷指数的观察和获取。
附图说明
[0044]
图1是本发明的流程步骤示意图；
[0045]
图2显示了本发明实施例中积极情绪设计组(图2中的b)和中性情绪设计组(图2中的a)的通道-频率分布图；
[0046]
图3是本发明实施例中获取的情绪变化轨迹曲线图；
[0047]
图4是根据线性回归模型量化认知负荷指数得到所有学习者的hoc-cli拟合曲线图。
具体实施方式
[0048]
下面就实施例对本发明作进一步的说明，但并不作为对本发明限制的依据。
[0049]
实施例：基于eeg信号的在线学习认知负荷指数的获取方法，包括如下步骤：
[0050]
s1、在学习者进行在线学习时,采集学习过程中学习者脑电信号，并对脑电信号进行预处理，获得预处理完毕的eeg信号；
[0051]
本实施例中，学习者为浙江科技学院42名本科生，所有参与者都超过18岁。首先评估被试关于程序学习的先验知识，以确保这些参与者具有相同的先验知识。在线学习的课程包括中性情感设计视频课程(以下可简称为ned)和积极情感设计视频课程(以下可简称为ped)。其中ned的视频课程是无色的，视频讲座的背景为黑色，文本为白色。采用ped的视频讲座是彩色的。两类视频课程包含相同的powerpoint课件，由一位对授课经验丰富的教师进行讲解。视频课程在速度、声音和光线方面都是相同的。视频内容为介绍“python中的列表表达式”主题。学习者被随机分配到观看以下两种视频课程之一，一组被试观看中性情绪设计的视频课程学习材料，另一组被试观看积极情绪设计的视频课程学习材料。在开始实验之前，所有被试都洗头发以降低阻抗。然后学习者闭上眼睛3分钟，这样可以进行基线测量。最后，学习者观看视频课程，学习者的脑电信号在观看视频时同时采集，学习时间大约需要20分钟。
[0052]
由于eeg不仅能反映情绪状态，而且能反应大脑的其他认知活动，因此有必要选择与情绪最相关的eeg频段和通道。目前证明最能够反映情绪变化的特征主要存在于右侧枕叶和顶叶的α频段，顶叶和颞叶的β频段，以及左侧额叶和右侧颞叶的γ频段。因此本发明选择fp1、f7、t7、cz、t8、p8和o2这七个主要与情绪活动相关的脑区通道。脑电信号的获取是根据国际10/20系统定位的15个电极位置(fp1、fp2、f7、f3、fz、f4、f8、t7、cz、t8、p7、pz、p8、o1、o2)记录脑电信号。记录期间，cpz用作参考点位。数据参考点位获得所有电极的平均值。afz为接地电极。使用有源电极以125hz采样率(openbci，inc.)记录eeg数据(openbci)。使
用钝针头注射器将导电凝胶插入每个电极，以将阻抗降低至《5kω。
[0053]
其中，所述脑电信号的预处理包括以下步骤：
[0054]
s1.1、通过有限脉冲响应(fir)高通滤波器去除脑电信号中1hz的直流分量，使用fir低通滤波器去除脑电信号中50hz高频处的其他伪影噪声；
[0055]
s1.2、在脑电信号采集用的电极中，通过每个电极中减去所有采集电极的平均值来对eeg数据进行重参考；
[0056]
s1.3、通过独立成分分析(ica)以去除以去除眼电信号引起的伪影；
[0057]
s1.4、使用hht方法(hilbert-huang变换，希尔伯特-黄变换，norden e.huang等人提出了经验模态分解方法，并引入了hilbert谱的概念和hilbert谱分析的方法)计算频率分辨率为0.1hz的每个eeg片段的功率谱；在某时刻的功率谱的频谱上划分不同的频段，用以作为特征；
[0058]
s1.5、将0-3.9hz、3.9-7.8hz、7.8-13.7hz、13.7-29.3hz和29.3-46.9hz频段对应的各个通道的能量值进行平均，来依次获得δ、θ、α、β和γ频段的能量值。
[0059]
本实施例中，图2显示了积极情绪设计组(图2中的b)和中性情绪设计组(图2中的a)的通道-频率分布图。根据图2所示两组在θ、α和β频段之间有明显差异。单因素方差分析结果显示，在实验条件下，两组被试在θ频段、α频段、β频段和γ频段存在显著性差异((f(1,37)＝9.36，p＝0.004，f(1,37)＝4.43，p＝0.042，f(1,37)＝4.89，p＝0.034，f(1,37)＝4.40，p＝0.043,)。δ频段的能量在两组间没有显著性差异(f(1,37)＝0.233，p＝0.632，)。
[0060]
s2、通过hht方法来识别eeg信号的局部特征，通过小波包分解计算eeg信号的小波特征；本实施例中，通过hht方法(hilbert-huang变换给出了非线性和非平稳数据的完整信息表示，尤其是时频信息表示。它可以识别非线性系统中经常发生的固有振幅和频率调制。hht的基本思想是结合经验模态分解(emd)和希尔伯特变换(ht)。hht可以保持频域变化的特性。这是hht的一个重要优势，因为现实世界中的信号通常发生在多个不同的时间间隔)来识别eeg信号的局部特征是将数据分解为有限个本征模态函数分量，然后对每个本征模态函数分量应用希尔伯特变换：
[0061][0062]
式中：x(t)是最终变换的功率谱；aj为第j个本征模态函数分量；t为时间；ωj为角频率；n为分解的本征模态函数分量的标号；
[0063]
根据上式计算瞬时频率，从而将eeg信号的振幅或能量的视频分布指定为希尔伯特谱，从而识别得到eeg信号的局部特征。
[0064]
小波特征是用于eeg信号分析的一种时频特征。由于认知负荷的变化与脑电信号通道的功率谱密度密切相关，而小波变换是一种典型的时频分析方法，它包含了短时傅立叶变换(stft)局部信号处理的思想，同时克服了窗口大小不能改变的缺点。本实施例中，通
过六阶daubechies小波包分解，将脑电信号分解为24个分量，分解这些成分来计算经典eeg频段的能量，如表1所示：
[0065][0066]
表1
[0067]
所述小波特征包括用小波能量比ri来表示的第i个脑电节律能量ej：
[0068][0069]
式中：e
total
为频谱总能量；
[0070]
以及小波熵特征：
[0071][0072]
s3、将eeg信号的局部特征和小波特征进行降维，获得学习者的情绪变化的轨迹，将情绪变化的轨迹定量表征为一维线性曲线的高阶过零率；
[0073]
本实施例中，步骤s3中，情绪变化的轨迹的获取是通过isomap方法计算，isomap方法通过使用数据点之间的测地流形距离来保持非线性数据的内部几何结构，具体步骤如下：
[0074]
s3.1、构造邻域连接图：对于每个采样点，搜索k个最近邻，在原始空间中，通过计算每对点的距离作为边权值来构造邻域连接图；
[0075]
s3.2、计算最短路径：用d
ij
表示每对点i，j的路径，再用dijkstra方法结合邻域图计算最短路径；
[0076]
s3.3、构造d维嵌入:对于最短路径，将数据表示为矩阵表示点对的测地距离，然后将多维尺度分析应用于该矩阵，以构建数据的嵌入，从而保持流形估计的内部几何结构，获得isomap模型；
[0077]
s3.4、将eeg信号的局部特征和小波特征输入到isomap模型中，并降维到一维，从而获得学习者的情绪变化的轨迹。
[0078]
再将情绪变化的轨迹定量表征为一维线性曲线的高阶过零率，具体步骤是：
[0079]
将情绪变化的轨迹的时间序列s(n)，n＝1，2，
···
，n转换为零均值序列z(n)，n＝1，2，
···
，n；
[0080]
对零均值序列z(n)，n＝1，2，
···
，n引用m个高通滤波器：
[0081][0082]
式中：k表示高通滤波器的阶数，k＝1，2，
···
，m；
[0083]
基于lk{z(n)}构造二进制时间序列xn(k)：
[0084][0085]
通过计算xn(k)中的符号变化来估计高阶过零率：
[0086][0087]
由于不同情绪下eeg信号的振荡模式和特征不同，为此本发明采用的hoc能够更好地表征脑电信号的振荡特征，更好地识别情绪。
[0088]
本实施例中，对于两组被试，经过isomap流形模型降维后，情绪变化轨迹曲线如图3所示。可以看出，ped状态下的情绪轨迹变化比ned状态下的情绪轨迹变化更明显。由于isomap方法的输出曲线均值为零，因此本发明使用hoc来对情感变化率进行定量表示。
[0089]
s4、通过高阶过零率构建线性回归模型量化认知负荷指数，所述的线性回归模型为：
[0090]
cli＝(hoc-β)/α；
[0091]
式中:hoc是高阶过零率，α和β待确定的线性参数，经过各种测量线性拟合而来，cli为认知负荷指数。
[0092]
本实施例中，根据线性回归模型量化认知负荷指数，可以得到所有学习者的hoc-cli拟合曲线，如图4所示，其中调制参数α＝-0.0124，β＝0.066(在其他实施例中，调整参数α和β可以根据实际需要进行调整)。图4可以表明较高的cli导致较慢的情绪变化，可见较大的α值反映cli对hoc调制较强。从图4还可以看出，接受ped的学习者经历了积极情绪，认知负荷较低，情绪轨迹变化更明显，也就是说，低认知负荷状态下的情绪变化比高认知负荷状态下更剧烈。
[0093]
综上所述，本发明通过在学习者进行在线学习时,采集学习过程中学习者脑电信号，并对脑电信号进行预处理，获得预处理完毕的eeg信号；通过hht方法来识别eeg信号的局部特征，通过小波包分解计算eeg信号的小波特征；将eeg信号的局部特征和小波特征进行降维，获得学习者的情绪变化的轨迹，将情绪变化的轨迹定量表征为一维线性曲线的高阶过零率；最后通过高阶过零率构建线性回归模型量化认知负荷指数。由此，本发明可以快速准确的获取在线学习过程中学习者的认知负荷指数，方便观察并掌握学习者的情绪，为后续的课程设计等方面提供量化依据。