脑电信号解码模型的训练方法、脑电信号解码方法、设备及存储介质
本技术涉及脑机接口,尤其涉及一种脑电信号解码模型的训练方法、脑电信号解码方法、设备及存储介质。
背景技术:
1、脑机接口(brain-computer interface,bci)通过采集和分析大脑活动,在不依赖常规外周神经肌肉通路的情况下建立大脑与外部设备之间的信息交互通道。脑电图(electroencephalography,eeg)具有非侵入、时间分辨率高和使用成本相对较低等特点,是脑机接口中常用的神经信号。将运动相关脑电信号转换为机器可执行指令,可用于辅助控制、智能人机交互及机器人操作等场景。
2、现有运动脑电解码多集中于手部、上肢等较粗粒度运动类别。对于手指级细粒度运动意图,不同手指尤其相邻手指在感觉运动皮层中的神经激活区域高度重叠,头皮脑电又受到容积传导、低信噪比及非平稳性的影响,使不同类别之间可分辨差异更加细微。因此,手指级运动脑电信号需要同时保留通道空间差异、频率特征和较长时间范围内的上下文依赖。
3、深度学习方法能够直接从脑电时序中进行端到端表征学习。卷积神经网络擅长提取局部时空模式,但其感受野扩展依赖层级堆叠,对长程时序依赖的建模能力受到限制;基于自注意力的模型能够建立全局联系,但随序列长度增加会产生较高的计算与存储开销。选择性状态空间模型 mamba 具有近似线性的序列建模复杂度,适合处理长脑电序列,但标准 mamba 按因果顺序建模,主要利用单向上下文,且现有方法通常将其作为单一时序模块使用。
4、另一方面,现有空间滤波往往学习一组跨试次共享的固定空间参数,难以显式适应每个试次中不同脑电通道响应的变化,容易在空间聚合过程中损失细微的通道特异性信息。空间、频谱和时间特征在运动脑电中具有互补作用,如果分别建模后仅进行简单拼接或固定比例融合,则难以针对不同试次自适应选择有效信息。
5、此外,手指级运动脑电类别之间的神经响应高度相似,单独采用常规分类损失主要约束预测结果,难以充分限制潜在特征空间的类内分布和类间边界。由此,需要一种能够在统一框架中对试次依赖空间信息、频率变化、局部时间模式及双向长程依赖进行协调建模,并进一步增强特征判别性的脑电解码方法。
技术实现思路
1、本技术实施例公开了一种脑电信号解码模型的训练方法、脑电信号解码方法、设备及存储介质,可以解决手指级运动脑电信号解码精度不高的问题。
2、第一方面,本技术实施例提供一种脑电信号解码模型的训练方法,所述方法包括:
3、获取多通道脑电信号;
4、对所述多通道脑电信号进行预处理,得到脑电样本;
5、通过时空编码器对所述脑电样本进行编码处理,得到时空表征;
6、通过至少一个特征融合模块对所述时空表征进行融合处理,得到用于解码的特征表征;
7、通过分类器对所述特征表征进行分类处理,得到手指运动类别的分类预测结果,并基于所述分类预测结果确定分类损失;
8、通过投影模块对所述特征表征进行投影处理,得到投影特征,并基于所述投影特征确定监督对比损失;
9、基于所述分类损失和所述监督对比损失构建联合损失,并基于所述联合损失对所述时空编码器、所述特征融合模块、所述分类器和所述投影模块的参数进行迭代更新,直至满足预设训练结束条件,得到训练好的脑电信号解码模型。
10、在本技术一些可能的实施方式中,所述通过时空编码器对所述脑电样本进行编码处理,得到时空表征包括:
11、通过所述时空编码器中的时域卷积对所述脑电样本进行卷积变换,得到局部时间表征;
12、通过所述时空编码器中的动态空间自适应滤波器对所述局部时间表征进行处理,确定所述局部时间表征对应的通道响应,并根据所述通道响应生成通道重标定权重;
13、通过逐元素加权方式对所述通道重标定权重与所述局部时间表征进行加权处理,得到重标定后的特征;
14、通过层次化通道空间建模对所述重标定后的特征进行处理,得到跨通道表征;
15、对所述跨通道表征进行最大池化时间下采样,并通过维度变换分别得到卷积表征和序列表征,其中,所述时空表征包括所述卷积表征和所述序列表征。
16、在本技术一些可能的实施方式中,通过至少一个特征融合模块对所述时空表征进行融合处理,得到用于解码的特征表征包括:
17、对所述卷积表征进行局部卷积,得到局部卷积特征;
18、对所述序列表征进行双向mamba选择性状态空间建模,得到双向时序特征;
19、对所述序列表征进行可学习频谱门控调制,得到频谱调制特征;
20、将所述双向时序特征和所述频谱调制特征进行聚合,得到频谱-时序特征;
21、根据所述局部卷积特征和所述频谱-时序特征生成门控权重;
22、按照所述门控权重对所述局部卷积特征和所述频谱-时序特征进行加权融合,得到所述特征表征。
23、在本技术一些可能的实施方式中,所述对所述序列表征进行双向mamba选择性状态空间建模,得到双向时序特征包括:
24、对所述序列表征进行归一化,得到归一化序列表征;
25、根据第一时间顺序对所述归一化序列表征执行mamba序列建模,得到第一时序特征;
26、根据第二时间顺序对所述归一化序列表征进行重排序,得到重排序后的序列表征,其中所述第二时间顺序与所述第一时间顺序相反;
27、对所述重排序后的序列表征执行mamba序列建模,得到建模输出;
28、根据所述第一时间顺序对所述建模输出进行重排序,得到第二时序特征;
29、将所述第一时序特征和所述第二时序特征进行拼接和线性投影,得到所述双向时序特征。
30、在本技术一些可能的实施方式中,所述对所述序列表征进行可学习频谱门控调制,得到频谱调制特征包括:
31、对所述序列表征进行归一化,得到归一化序列表征;
32、对所述归一化序列表征进行快速傅里叶变换,得到频率域表征;
33、通过所述可学习频谱门控对所述频率域表征中不同频率成分进行自适应调制,得到调制后的频率域表征;
34、对所述调制后的频率域表征进行逆快速傅里叶变换,得到所述频谱调制特征。
35、在本技术一些可能的实施方式中,所述将所述双向时序特征和所述频谱调制特征进行聚合,得到频谱-时序特征包括:
36、将所述频谱调制特征与可训练系数相乘,得到加权频谱调制特征;
37、将所述归一化序列表征、所述双向时序特征和所述加权频谱调制特征进行聚合,得到聚合特征;
38、对所述聚合特征进行下采样,得到与所述局部卷积分支相匹配的频谱-时序特征。
39、在本技术一些可能的实施方式中,所述通过分类器对所述特征表征进行分类处理,得到手指运动类别的分类预测结果,并基于所述分类预测结果确定分类损失,包括:
40、通过所述分类器接收所述特征表征,将所述特征表征映射至手指运动类别空间,得到手指运动类别的分类预测结果,并采用交叉熵分类损失确定所述分类损失;
41、所述通过投影模块对所述特征表征进行投影处理,得到投影特征,并基于所述投影特征确定监督对比损失,包括:
42、通过所述投影模块接收所述特征表征,将所述特征表征映射至归一化潜在空间,得到投影特征,并采用监督对比损失确定所述监督对比损失;
43、所述基于所述分类损失和所述监督对比损失构建联合损失,包括:
44、将所述分类损失与所述监督对比损失进行加权求和,得到所述联合损失,其中监督对比损失权重在训练过程中从初始权重值增大至目标权重值。
45、第二方面,本技术实施例提供一种脑电信号解码方法,所述方法包括:
46、获取目标多通道脑电信号;
47、对所述目标多通道脑电信号进行预处理,得到的目标脑电样本;
48、将所述目标脑电样本输入训练好的脑电信号解码模型,所述训练好的脑电信号解码模型包括训练完成的时空编码器、特征融合模块和分类器;
49、由所述分类器输出对应的手指运动类别;
50、其中,所述训练好的脑电信号解码模型由所述的脑电信号解码模型的训练方法训练得到。
51、第三方面,本技术实施例提供一种电子设备,所述电子设备包括处理器和存储器,所述处理器执行所述存储器中存储的计算机程序时实现所述的脑电信号解码模型的训练方法和所述的脑电信号解码方法。
52、第四方面,本技术实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储有至少一个指令,所述至少一个指令被处理器执行时实现所述的脑电信号解码模型的训练方法和所述的脑电信号解码方法。
53、本技术实施例提供的一种脑电信号解码模型的训练方法、脑电信号解码方法、设备及存储介质,该方法通过获取多通道脑电信号并预处理得到脑电样本,通过时空编码器对脑电样本进行编码处理得到时空表征,通过至少一个特征融合模块对时空表征进行融合处理得到特征表征,通过分类器对特征表征进行分类处理得到手指运动类别的分类预测结果并确定分类损失,通过投影模块对特征表征进行投影处理得到投影特征并确定监督对比损失,基于分类损失和监督对比损失构建联合损失并迭代更新参数直至满足预设训练结束条件,得到训练好的脑电信号解码模型。通过上述技术方案,能够利用动态空间自适应滤波器保留手指级运动相关的细微空间差异,利用特征融合模块协同提取局部时间细节、频率变化和双向长程上下文,利用监督对比损失增强同类脑电特征的紧凑性和不同类别之间的分离性,从而提高手指级运动脑电信号解码精度。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com