一种基于变参递归神经网络对脑电信号分类方法

1.本发明属于运动想象脑电信号分类领域，特别是一种基于变参递归神经网络对脑电信号分类方法。


背景技术：

2.运动意象脑电图(eeg)解码是脑机接口(bci)的重要组成部分，可帮助运动障碍患者通过外部设备与外界进行交流。运动想象脑电信号相比p300脑电信号在采集用户信号时不需要用户专注于如屏幕字符等强刺激信息，使用负担较低，但是这也使得运动想象脑电信号的信噪比低，不利于对脑电信号进行分析分类，因此对于运动想象脑电信号分类一直是国内外研究的热门领域(s.chaudhary,s.taran,v.bajaj,a.sengur.convolutional neural network based approach towards motor imagery tasks eeg signals classification[j].ieee sensors journal,2019,19(12):4494-4500.)。而传统的运动想象脑电信号分类器一般基于支持向量机算法以及相应的改进分类算法进行设计的(a.jiang,j.shang,x.liu,y.tang,h.k.kwan,y.zhu.efficient csp algorithm with spatio-temporal filtering for motor imagery classification[j].ieee transactions on neural systems and rehabilitation engineering,2020,28(4):1006-1016.)。由于支持向量机分类器设计简单，且已经具备较好的分类效果，在运动想象脑电信号分类器设计上被广泛利用。尽管支持向量机使用简便，但传统的参数求解方法是串行求解算法，求解速度慢。


技术实现要素：

[0003]
本发明的目的在于克服现有技术的不足，提供一种基于变参递归神经网络对脑电信号分类方法。
[0004]
本发明至少通过如下技术方案之一实现。
[0005]
一种基于变参递归神经网络对脑电信号分类方法，包括以下步骤：
[0006]
1)采集用户脑电信号数据，对数据进行预处理；
[0007]
2)基于预处理数据，构建运动想象脑电信号分类器的凸二次规划问题；
[0008]
3)将凸二次规划问题引入罚函数以消除不等式约束；
[0009]
4)将带等式约束的凸二次规划问题通过变参递归神经网络进行求解；
[0010]
5)将凸二次规划问题的最优解代入分类器决策函数中，得到分类器决策函数；
[0011]
6)通过分类器决策函数判断新输入的运动想象脑电信号的类别，并将结果进行输出。
[0012]
优选地，采集用户脑电信号数据具体包括：通过电脑显示屏提示用户想象做出某一动作，利用电极帽采集用户接受提示后的脑电信号数据，并对数据进行预处理。
[0013]
优选地，所述预处理包括确定数据样本采集的时间窗口大小，选择电极通道，将用户脑电信号数据进行连续小波变换以及归一化处理。
[0014]
优选地，所述预处理包括：
[0015]
先采用morlet小波：
[0016][0017]
其中ψ(t)表示小波变换的尺度函数，exp(
·
)表示指数函数，t表示时间，然后对数据进行连续小波变换：
[0018][0019]
其中表示小波函数，s是缩放单位，用来对小波进行缩放，τ表示中心频率，x(t)为输入信号；
[0020]
归一化处理使用最大-最小归一化方法，表示为：
[0021][0022]
其中x表示数据样本，min表示信号的最小值，max表示信号的最大值。
[0023]
优选地，所述步骤2)具体包括：
[0024]
基于步骤1)中的预处理数据，定义数据集s：
[0025][0026]
其中xm表示第m个数据样本的标签，ym表示第m个数据样本的标签；
[0027]
基于软间支持向量机理论，根据分类间隔最大化原理，将分类问题转化为一个凸二次规划问题，表示为：
[0028][0029][0030]
0≤α1，α2，
…
，αm≤c
[0031]
其中i、j表示第i、j数据样本，αi和αj表示第i个和第j个拉格朗日算子，是该凸二次规划问题要求解的变量，yi和yj对应第i个和第j个数据样本的标签，xi和xj对应第i个和第j个数据样本，c表示惩罚因子，i、j∈m，m表示数量；
[0032]
将式(2)写为标准矩阵形式：
[0033][0034]
s.t.kα＝0
ꢀꢀꢀ
(3)
[0035]
jα≤d
[0036]
其中
[0037][0038][0039][0040]
k＝[y
1 y2ꢀ…ꢀ
ym]
[0041][0042][0043]
其中e为m维的单位矩阵，h为数据样本和数据样本标签组成的矩阵，q是m维的列向量，其数据元素均为-1，k是由数据样本标签组成的矩阵，j是由单位矩阵e组成的，d是由惩罚因子c和0组成的列向量，α表示拉格朗日算子。
[0044]
优选地，惩罚函数为：
[0045][0046]
ni＝d
i-jiα，m(
·
)＝exp(-σni)，σ＞0，p＞0，ni的特性为：
[0047][0048]
其中α表示拉格朗日算子，di表示矩阵d的第i个元素，ji表示矩阵j的第i个元素，m表示数据样本的数量，σ、p均表示罚函数的参数，ni表示第i个不等式约束输入罚函数的形式，m(
·
)表示第i个罚函数的表达式。
[0049]
优选地，所述惩罚函数能代替不等式约束，将参数限制在设置的范围，将惩罚函数代入式(3)得到只带等式约束的凸二次规划问题：
[0050][0051]
s.t.kα＝0。
[0052]
优选地，所述步骤4)具体包括：
[0053]
根据拉格朗日理论，引入拉格朗日乘子λ，将凸二次规划问题改为：
[0054][0055]
其中l(α，λ)表示凸二次规划问题引入拉格朗日理论后的凸二次规划问题；h为数据样本和数据样本标签组成的矩阵，p(α)是m维的列向量，k是由数据样本标签组成的矩阵，λ为拉格朗日乘子，α表示由拉格朗日算子组成的向量；
[0056]
式(6)的最优解等价于l(α，λ)分别对α和λ进行求导并使其为零时的解，具体表示为：
[0057][0058]
定义
[0059][0060][0061][0062]
其中u表示式(7)转化得到的参数矩阵，r表示式(7)转化得到的待求解的向量，o表示式(7)转化得到的常数项向量；σ、p均表示罚函数的参数，ni表示第i个不等式约束输入罚函数的形式，ji表示矩阵j的第i个元素，m表示数据样本的数量，q是m维的列向量；
[0063]
将式(7)写成矩阵表达式，并假设r和o随时间t的变化而变化：
[0064]
ur(t)＝o(t)
ꢀꢀꢀ
(8)
[0065]
根据式(8)，定义误差函数为：
[0066]
e(t)＝ur(t)-o(t)
ꢀꢀꢀ
(9)
[0067]
基于神经动力学理论，根据式(9)定义：
[0068][0069]
其中g
t
表示指数收敛系数，式(9)代入得：
[0070][0071]
其中表示r(t)和o(t)对时间t进行求导；
[0072]
将式(11)写成标准形式，得到：
[0073][0074][0075]
其中m为将式(11)写成标准矩阵形式，表示由式(11)转化得到的对应的参数矩阵。
[0076]
优选地，所述决策函数表示为：
[0077]
f(x)＝w
t
x b
ꢀꢀꢀ
(13)
[0078][0079][0080]
其中x表示数据样本，m表示数据样本的数量，w表示决策函数f(x)的权重因子，b表示决策函数f(x)的偏移量，αi表示第i个拉格朗日乘子，xi表示第i个数据样本，yi表示第i个数据样本标签，h(xi，xj)表示第i个数据样本和第j个数据样本的核函数计算值，式(15)为变参递归神经网络求解器。
[0081]
优选地，所述步骤6)具体包括：将步骤1)得到新输入的运动想象脑电信号代入步骤5)得到的分类决策函数f(x)，根据分类决策函数f(x)正负号判断输入的脑电信号的对应类别并将结果进行输出。
[0082]
与现有的技术相比，本发明的有益效果为：本发明首先利用小波变换对输入的脑电信号进行预处理以提高数据的信噪比，另一方面利用基于神经动力学的变参递归神经网络求解支持向量机分类问题转化而来的凸二次规划问题。相较于传统串行求解算法，神经网络求解器具有并行性，指数收敛性强、鲁棒性高、分类准确率和精度更高等优点。
附图说明
[0083]
图1为本发明一种基于变参递归神经网络对脑电信号分类方法的流程图；
[0084]
图2为本发明的第3通道的电极帽电极图；
[0085]
图3为本发明的运动想象脑电信号采集周期示意图；
[0086]
图4为本发明的第22通道的电极帽电极图。
具体实施方式
[0087]
为了使本技术领域的人员更好地理解本发明方案，以下将结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0088]
实施例1
[0089]
图1为本实施例一种基于变参递归神经网络对脑电信号分类方法流程图，通过图示步骤能够完成基于小波变换支持向量递归神经网络的运动想象脑电信号分类。
[0090]
一种基于变参递归神经网络对脑电信号分类方法与系统实现，包括如下步骤：
[0091]
1)通过电极帽采集用户脑电信号，然后对数据进行预处理，包括时间窗口的确定，电极通道的选择，连续小波变换以及归一化处理；
[0092]
2)基于步骤1)中的预处理数据，利用软间隔支持向量机原理，构建运动想象脑电信号分类器的凸二次规划问题；
[0093]
3)将步骤2)中的凸二次规划问题引入罚函数以消除不等式约束；
[0094]
4)将步骤3)中的带等式约束的凸二次规划问题通过变参递归神经网络进行求解；
[0095]
5)将步骤4)中凸二次规划问题的最优解代入分类器决策函数中，得到分类器决策
函数；
[0096]
6)通过步骤5)得到分类器决策函数判断新输入的运动想象脑电信号的类别，并将结果进行输出。
[0097]
图2为本发明的3通道电极帽电极图。图中5cm表示电极固定卡位之间相隔5厘米，
①
、
②
、
③
表示c3、cz、c4三个电极对应在脑电极帽上的位置。
[0098]
图3为本发明的运动想象脑电信号采集周期示意图，可以看出一个采集周期在2-3s时屏幕出现提示信号，然后3-9s为刺激反馈周期。根据设计流程图的相关步骤，针对本发明进行详细的算法解析。
[0099]
通过电脑显示屏提示用户想象做出某一动作(想象左手和想象右手)，然后利用电极帽采集用户接受提示后3-9s的脑电信号，然后对数据进行预处理，包括确定数据样本采集的时间窗口大小3.75-6.75s，电极通道的选择c3、c4通道，连续小波变换以及归一化处理。其中，连续小波变换使用的是morlet小波，表示为：
[0100][0101]
其中exp(
·
)表示指数函数，t表示时间，然后对数据进行连续小波变换，具体可以表示为：
[0102][0103]
其中s是一个缩放单位，s选择7-30hz，用来对小波进行缩放，τ表示中心频率，x(t)为输入信号。然后使用最大-最小归一化方法，具体表示为：
[0104][0105]
其中x表示数据样本，min表示信号的最小值，max表示信号的最大值；
[0106]
基于步骤1)中的预处理数据，定义数据集s，具体表示为：
[0107][0108]
其中xm表示第m个数据样本的标签，ym表示第m个数据样本的标签；m表示数据样本的数量。
[0109]
基于支持向量机理论，根据分类间隔最大化原理，可以将分类问题转化为一个凸二次规划问题，表示为
[0110][0111][0112]
0≤α1，α2，
…
，αm≤c
[0113]
其中i，j表示第i，j数据样本，αi和αj表示第i个和第j个拉格朗日算子，是该凸二次
规划问题要求解的变量，yi和yj对应第i个和第j个数据样本的标签，xi和xj对应第i个和第j个数据样本，c表示惩罚因子，i、j∈m，m表示数量；
[0114]
将式(2)写为标准矩阵形式
[0115][0116]
s.t.kα＝0
ꢀꢀꢀ
(3)
[0117]
jα≤d
[0118]
其中
[0119][0120][0121][0122]
k＝[y
1 y2ꢀ…ꢀ
ym]
[0123][0124][0125]
e为m维的单位矩阵，h为数据样本和数据样本标签组成的矩阵，q是m维的列向量，其数据元素均为-1，k是由数据样本标签组成的矩阵，j是由单位矩阵e组成的，d是由惩罚因子和0组成的列向量，α表示拉格朗日算子。
[0126]
步骤2)中给出一个带不等式和等式约束的凸二次规划问题，需要将其转化为不带不等式约束的问题使其可解。可以定义惩罚函数
[0127][0128]
其中ni＝d
i-jiα，m(
·
)＝exp(-σni)，σ＞0，p＞0。其特性为其特性为
[0129][0130]di
表示矩阵d的第i个元素，ji表示矩阵j的第i个元素，m表示数据样本的数量总共有m个，σ、p都表示罚函数的参数，ni表示第i个不等式约束输入罚函数的形式，m(
·
)表示第i个罚函数的表达式。
[0131]
该惩罚函数能代替不等式约束将参数限制在零到正无穷之间，将惩罚函数代入式(3)得到只带等式约束的凸二次规划问题
[0132][0133]
s.t.kα＝0
[0134]
根据拉格朗日理论，可以引入拉格朗日乘子λ，将式(5)表示的凸二次规划问题改写为
[0135][0136]
式(6)的最优解等价于l(α，λ)分别对α和λ进行求导并使其为零时的解，具体表示为
[0137][0138]
定义
[0139][0140][0141][0142]
将式(7)写成矩阵表达式，并假设r和o随时间t的变化而变化
[0143]
ur(t)＝o(t)
ꢀꢀꢀ
(8)
[0144]
根据式(8)，定义误差函数为
[0145]
e(t)＝ur(t)-o(t)
ꢀꢀꢀ
(9)
[0146]
基于神经动力学理论，根据式(9)可以定义
[0147][0148]
其中g
t
表示指数收敛系数，将g设置为2，式(9)代入得
[0149][0150]
其中表示r(t)和o(t)对时间t进行求导。
[0151]
将式(11)写成标准形式，可以得到
[0152][0153]
其中
[0154][0155]
式(15)即为变参递归神经网络求解器，使用matlab2016b的ode库构建神经网络进行求解。
[0156]
根据步骤4)求解得到的拉格朗日算子α，可以得到对应的分类器决策函数，决策函数具体表示为
[0157]
f(x)＝w
t
x b
ꢀꢀꢀ
(13)
[0158][0159][0160]
其中w表示决策函数f(x)的权重因子，b表示决策函数f(x)的偏移量，αi表示第i个拉格朗日乘子，xi表示第i个数据样本，yi表示第i个数据样本标签，h(xi，xj)表示第i个数据样本和第j个数据样本的核函数计算值。
[0161]
通过步骤1)得到新输入的运动想象脑电信号，将其代入步骤5)得到的分类决策函数f(x)，根据的f(x)正负号判断其对应类别并将结果进行输出，如果结果为正则输出想象左手类别，而结果为负则输出想象右手类别。
[0162]
实施例2
[0163]
通过电脑显示屏提示用户想象做出某一动作(想象左脚和想象右脚)，然后利用3通道电极帽采集用户接受提示后3-9s的脑电信号，然后对数据进行预处理，包括确定数据样本采集的时间窗口大小3.25-6.25s，电极通道的选择通道c3、通道c4，连续小波变换以及归一化处理。其中，连续小波变换使用的是morlet小波，表示为：
[0164][0165]
其中exp(
·
)表示指数函数，t表示时间，然后对数据进行连续小波变换，具体可以表示为：
[0166][0167]
其中s是一个缩放单位，s选择7-30hz，用来对小波进行缩放，τ表示中心频率，x(t)为输入信号。然后使用最大-最小归一化方法，具体表示为：
[0168][0169]
其中x表示数据样本，min表示信号的最小值，max表示信号的最大值；
[0170]
基于步骤1)中的预处理数据，定义数据集s，具体表示为：
[0171][0172]
其中x表示一个数据样本，y表示对应数据样本的标签，m表示数据样本的数量。
[0173]
基于支持向量机理论，根据分类间隔最大化原理，可以将分类问题转化为一个凸二次规划问题，表示为
[0174][0175][0176]
0≤α1，α2，
…
，αm≤c
[0177]
其中i，j表示第i，j数据样本，αi和αj表示第i个和第j个拉格朗日算子，是该凸二次规划问题要求解的变量，，yi和yj对应第i个和第j个数据样本的标签，xi和xj对应第i个和第j个数据样本，c表示惩罚因子；
[0178]
将式(2)写为标准矩阵形式
[0179][0180]
s.t.kα＝0
ꢀꢀꢀ
(3)
[0181]
jα≤d
[0182]
其中
[0183][0184][0185][0186]
k＝[y
1 y2ꢀ…ꢀ
ym]
[0187][0188][0189]
e为m维的单位矩阵，h为数据样本和数据样本标签组成的矩阵，q是m维的列向量，其数据元素均为-1，k是由数据样本标签组成的矩阵，j是由单位矩阵e组成的，d是由惩罚因子和0组成的列向量。
[0190]
步骤2)中给出一个带不等式和等式约束的凸二次规划问题，需要将其转化为不带不等式约束的问题使其可解。可以定义惩罚函数
[0191][0192]
其中ni＝d
i-jiα，m(
·
)＝exp(-σni)，σ＞0，p＞0。其特性为其特性为
[0193][0194]di
表示矩阵d的第i个元素，ji表示矩阵j的第i个元素，m表示数据样本的数量总共有m个，σ、p都表示罚函数的参数，ni表示第i个不等式约束输入罚函数的形式，m(
·
)表示第i个罚函数的表达式。
[0195]
该惩罚函数能代替不等式约束将参数限制在特定的范围。将惩罚函数代入式(3)得到只带等式约束的凸二次规划问题
[0196][0197]
s.t.kα＝0
[0198]
根据拉格朗日理论，可以引入拉格朗日乘子λ，将式(5)表示的凸二次规划问题改写为
[0199][0200]
式(6)的最优解等价于l(α，λ)分别对α和λ进行求导并使其为零时的解，具体表示为
[0201][0202]
定义
[0203][0204][0205][0206]
将式(7)写成矩阵表达式，并假设r和o随时间t的变化而变化
[0207]
ur(t)＝o(t)
ꢀꢀꢀ
(8)
[0208]
根据式(8)，定义误差函数为
[0209]
e(t)＝ur(t)-o(t)
ꢀꢀꢀ
(9)
[0210]
基于神经动力学理论，根据式(9)可以定义
[0211][0212]
其中g
t
表示指数收敛系数，将g设置为2，式(9)代入得
[0213][0214]
其中表示r(t)和o(t)对时间t进行求导。
[0215]
将式(11)写成标准形式，可以得到
[0216][0217]
其中
[0218][0219]
式(15)即为变参递归神经网络求解器，使用python的odeint库构建神经网络进行求解。
[0220]
根据步骤4)求解得到的拉格朗日算子α，可以得到对应的分类器决策函数，决策函数具体表示为
[0221]
f(x)＝w
t
x b
ꢀꢀꢀ
(13)
[0222][0223][0224]
其中w表示决策函数f(x)的权重因子，b表示决策函数f(x)的偏移量，αi表示第i个拉格朗日乘子，xi表示第i个数据样本，yi表示第i个数据样本标签，h(xi，xj)表示第i个数据样本和第j个数据样本的核函数计算值。
[0225]
通过步骤1)得到新输入的运动想象脑电信号，将其代入步骤5)得到的分类决策函数f(x)，根据的f(x)正负号判断其对应类别并将结果进行输出，如果结果为正则输出想象左脚类别，而结果为负则输出想象右脚类别。
[0226]
实施例3
[0227]
通过电脑显示屏提示用户想象做出某一动作(想象左脚和想象右脚)，然后利用图4的22通道电极帽采集用户接受提示后3-9s的脑电信号，然后对数据进行预处理，包括确定数据样本采集的时间窗口大小3.25-6.25s，电极通道，连续小波变换以及归一化处理。其中，连续小波变换使用的是morlet小波，表示为：
[0228][0229]
其中exp(
·
)表示指数函数，t表示时间，然后对数据进行连续小波变换，具体可以表示为：
[0230][0231]
其中s是一个缩放单位，s选择7-30hz，用来对小波进行缩放，τ表示中心频率，x(t)为输入信号。然后使用最大-最小归一化方法，具体表示为：
[0232][0233]
其中x表示数据样本，min表示信号的最小值，max表示信号的最大值；
[0234]
基于步骤1)中的预处理数据，定义数据集s，具体表示为：
[0235][0236]
其中x表示一个数据样本，y表示对应数据样本的标签，m表示数据样本的数量。
[0237]
基于支持向量机理论，根据分类间隔最大化原理，可以将分类问题转化为一个凸二次规划问题，表示为
[0238][0239][0240]
0≤α1，α2，
…
，αm≤c
[0241]
其中i，j表示第i，j数据样本，αi和αj表示第i个和第j个拉格朗日算子，是该凸二次规划问题要求解的变量，，yi和yj对应第i个和第j个数据样本的标签，xi和xj对应第i个和第j个数据样本，c表示惩罚因子；
[0242]
将式(2)写为标准矩阵形式
[0243][0244]
s.t.kα＝0
ꢀꢀꢀ
(3)
[0245]
jα≤d
[0246]
其中
[0247][0248][0249][0250]
k＝[y
1 y2ꢀ…ꢀ
ym]
[0251][0252][0253]
e为m维的单位矩阵，h为数据样本和数据样本标签组成的矩阵，q是m维的列向量，其数据元素均为-1，k是由数据样本标签组成的矩阵，j是由单位矩阵e组成的，d是由惩罚因子和0组成的列向量。
[0254]
步骤2)中给出一个带不等式和等式约束的凸二次规划问题，需要将其转化为不带不等式约束的问题使其可解。可以定义惩罚函数
[0255][0256]
其中ni＝d
i-jiα，m(
·
)＝exp(-σni)，σ＞0，p＞0。其特性为其特性为
[0257][0258]di
表示矩阵d的第i个元素，ji表示矩阵j的第i个元素，m表示数据样本的数量总共有m个，σ、p都表示罚函数的参数，ni表示第i个不等式约束输入罚函数的形式，m(
·
)表示第i个罚函数的表达式。
[0259]
该惩罚函数能代替不等式约束将参数限制在特定的范围。将惩罚函数代入式(3)得到只带等式约束的凸二次规划问题
[0260][0261]
s.t.kα＝0
[0262]
根据拉格朗日理论，可以引入拉格朗日乘子λ，将式(5)表示的凸二次规划问题改写为
[0263][0264]
式(6)的最优解等价于l(α，λ)分别对α和λ进行求导并使其为零时的解，具体表示为
[0265][0266]
定义
[0267][0268][0269][0270]
将式(7)写成矩阵表达式，并假设r和o随时间t的变化而变化
[0271]
ur(t)＝o(t)
ꢀꢀꢀ
(8)
[0272]
根据式(8)，定义误差函数为
[0273]
e(t)＝ur(t)-o(t)
ꢀꢀꢀ
(9)
[0274]
基于神经动力学理论，根据式(9)可以定义
[0275][0276]
其中g
t
表示指数收敛系数，将g设置为2，式(9)代入得
[0277][0278]
其中表示r(t)和o(t)对时间t进行求导。
[0279]
将式(11)写成标准形式，可以得到
[0280][0281]
其中
[0282][0283]
式(15)即为变参递归神经网络求解器，使用matlab的ode库构建神经网络进行求解。
[0284]
根据步骤4)求解得到的拉格朗日算子α，可以得到对应的分类器决策函数，决策函数具体表示为
[0285]
f(x)＝w
t
x b
ꢀꢀꢀ
(13)
[0286][0287][0288]
其中w表示决策函数f(x)的权重因子，b表示决策函数f(x)的偏移量，αi表示第i个拉格朗日乘子，xi表示第i个数据样本，yi表示第i个数据样本标签，h(xi，xj)表示第i个数据样本和第j个数据样本的核函数计算值。
[0289]
通过步骤1)得到新输入的运动想象脑电信号，将其代入步骤5)得到的分类决策函数f(x)，根据的f(x)正负号判断其对应类别并将结果进行输出，如果结果为正则输出想象左脚类别，而结果为负则输出想象右脚类别。
[0290]
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。