一种基于Transformer时空特征学习的运动想象脑电解码方法

技术特征：
1.一种基于transformer时空特征学习的运动想象脑电解码方法，其特征在于：step1：构建预处理模块，对原始的运动想象脑电信号进行滤波处理；step2：构建空间变换模块，所述空间变换模块的输入数据为step1输出的预处理后的运动想象脑电数据，所述空间变换模块的输出是提取后的空间特征；step3：构建时间变换模块，所述时间变换模块的输入数据为step2输出的空间特征，所述时间变换模块的输出是运动想象脑电数据的时间特征；step4：构建分类模块；所述分类模块的输入为step2和step3学习到的时空特征输入到分类器得到运动想象分类结果。2.根据权利要求1所述的基于transformer时空特征学习的运动想象脑电解码方法，其特征在于：所述的预处理为根据fbcsp的思想对原始的运动想象脑电信号进行滤波处理，并将多个ovr的输出进行叠加作为空间变换模块的输入。3.根据权利要求1所述的基于transformer时空特征学习的运动想象脑电解码方法，其特征在于：所述的空间变换模块为采用缩放点积注意力机制对特征通道进行加权，以获取通道之间的相关性；所述加权具体为：先将输入数据分别与三个不同的权重矩阵相乘得到查询向量q、键向量k和值向量v，然后按公式(1)计算加权值，得到最后的加权结果，即通道加权的表示，矩阵q代表将用于匹配的每个通道，矩阵k代表使用点积的所有其他通道；其中，attention(q,k,v)是加权表示，查询向量q、键向量k和值向量v是由向量打包的矩阵，作为缩放点积注意力模块的输入。4.根据权利要求1所述的基于transformer时空特征学习的运动想象脑电解码方法，其特征在于：所述时间变换模块采用多头注意力机制模块，从不同的角度感知脑电信号的全局时间依赖关系，对经过空间模块压缩的数据进行切片，然后分成5个更小的部分，即头部，将各部分的输出线性变换并进行串联连接，最后将得到的注意力向量作为输出，具体如公式(2)-(3)所示：mutihead(q,k,v)＝concat(head1,
…
,head
h
)w0ꢀꢀꢀꢀ
(2)head
i
＝attention(qw
iq
,kw
ik
,vw
iv
)
ꢀꢀꢀꢀꢀ
(3)其中，concat是矩阵拼接函数，head
i
是第i个head的输出结果，h是head的个数，w0是最终输出的线性变换，w
iq
,w
ik
,w
iv
分别为q,k,v在第i个head上的线性变换。5.根据权利要求1所述的基于transformer时空特征学习的运动想象脑电解码方法，其特征在于：对所述提取的时空特征进行层归一化和平均池化，再输入到一个完全连接层进行分类，经过分类模块输出对应的分类标签，通过与真实标签比对计算损失函数，所述损失函数为交叉熵损失函数，具体如下所示：其中，m是试验次数，n是类别数，第m次试验的真实标签，表示类别n第m次试验的预
测概率。

技术总结
本发明涉及一种基于Transformer时空特征学习的运动想象脑电解码方法，属于运动想象脑电技术领域。首先对原始的运动想象脑电数据进行滤波处理，再构建空间模块，该模块使用点积注意力机制对数据的特征通道进行加权，以获取各个通道之间的相互关联程度，然后构建时间模块，对数据采用多头注意力机制，从不同的角度感知脑电信号的全局时间依赖关系，最后利用建立好的模型实现运动想象脑电信号的分类。通过在数据集BCICompetitionIVDataset 2a上进行验证，并与近年来具有良好表现的运动想象脑电信号分类方法进行比较，实验结果表明，本发明有更好的分类性能。有更好的分类性能。有更好的分类性能。


技术研发人员：杨俊 殷喜喆 沈韬 宋耀莲 刘培 冯泽林
受保护的技术使用者：昆明理工大学
技术研发日：2022.09.02
技术公布日：2022/12/19