脑电数据增强方法和装置、电子设备及存储介质
本发明实施例涉及脑机接口,尤其涉及一种脑电数据增强方法和装置、电子设备及存储介质。
背景技术:
1、在脑机接口和脑电智能分析领域中,脑电信号(electroencephalography,eeg)是一种能够反映大脑神经电活动的重要生理信号,已广泛应用于情绪识别、警觉度监测、运动想象识别、康复辅助训练及认知状态评估等任务。随着深度学习模型在脑电解码任务中的应用,模型训练通常依赖较大规模的标注脑电样本。然而,脑电数据采集成本较高,且易受个体差异、跨会话分布变化、电极位置、采集噪声等因素影响,导致实际应用中经常存在训练样本不足、跨被试泛化能力弱、模型性能不稳定等问题。
2、为缓解脑电样本不足,现有研究通常采用数据增强方法扩充训练集。传统增强方法多通过加入高斯噪声、随机抖动、时间平移、幅值缩放、频率扰动或通道变换等方式产生新样本。该类方法实现简单、计算成本较低,但本质上多是对原始信号进行局部扰动,不能充分学习脑电信号的潜在分布,也难以保证增强样本同时保持脑电的时间波形结构、频段节律结构、通道空间拓扑结构和任务相关信息。因此,简单扰动方法在不同数据集、不同任务和不同下游模型中的增强效果往往不够稳定。
3、在现有脑电数据增强与重构方法中,尽管人工扰动、生成模型、自编码器及向量量化方法均已被用于扩充脑电训练样本,但在技术和应用层面仍存在若干局限。对于加噪、时间平移、幅值缩放、频率扰动等传统增强方法而言,其主要依赖人工设定的信号变换规则,本质上只是对原始脑电信号进行局部扰动,未能充分学习脑电信号的潜在分布。因此,增强样本可能只是在数值层面区别于原始样本,而难以稳定保持与下游解码任务相关的频段节律特征和通道空间特征。对于生成对抗网络、扩散模型等生成式方法而言,其通常更关注生成样本的波形真实性、整体分布相似性或类别可控性,但脑电信号具有明显的通道-时间非对称结构,且不同频段节律与情绪、警觉度、运动想象等任务密切相关。若缺少对脑电通道空间关系、时间连续性和频段节律结构的显式约束,生成或重构样本可能难以作为有效的下游训练辅助样本。对于自编码器或普通向量量化方法而言,其虽然能够学习脑电信号的潜在表示,但连续潜空间可解释性较弱,普通码本量化也可能存在特征冗余、码本利用不均衡或离散表示不稳定等问题。同时,重构式增强若过度追求与原始训练样本的时域相似性,可能导致重构样本退化为原始样本的近似复制,虽然重构误差较小,但为下游模型训练提供的新信息有限。
4、因此,如何能够生成既保持脑电生理结构,又能用于下游脑机接口解码训练的重构脑电样本成为亟待解决的技术问题。
技术实现思路
1、本发明实施例提供了一种脑电数据增强方法和装置、电子设备及存储介质,能够生成既保持脑电生理结构,又能用于下游脑机接口解码训练的重构脑电样本,从而在脑电样本有限、个体差异明显和跨会话分布变化的情况下,提高样本利用率和模型泛化能力。
2、第一方面,本发明实施例提供了一种脑电数据增强方法,包括:
3、获取待增强的原始脑电信号;
4、对所述原始脑电信号进行预处理,得到预处理后的脑电信号,其中,所述预处理包括陷波滤波、带通滤波、重参考、伪迹去除、分段处理和通道级标准化处理;
5、将所述预处理后的脑电信号输入至预先训练好的脑电信号重构模型进行脑电信号重构,得到与所述原始脑电信号具有相同通道数和时间长度的重构脑电信号,其中,所述脑电信号重构模型包括时空解耦分词器、编码器、离散码本量化模块和解码器,所述时空解耦分词器用于对预处理后的脑电信号进行通道保持型时间投影及解耦时空位置编码,生成初始时空令牌;所述编码器用于对所述初始时空令牌进行编码,得到编码表示;所述离散码本量化模块用于将所述编码表示映射为量化表示,并采用直通估计器ste、指数移动平均ema更新和死码重启机制维护码本;所述解码器用于将所述量化表示恢复为重构脑电信号;
6、根据所述重构脑电信号和所述原始脑电信号得到增强训练集,所述增强训练集用于训练脑电解码模型。
7、在一些实施例中,所述将所述预处理后的脑电信号输入至预先训练好的脑电信号重构模型进行脑电信号重构,得到与所述原始脑电信号具有相同通道数和时间长度的重构脑电信号,包括:
8、将所述预处理后的脑电信号输入至所述时空解耦分词器,得到输入编码特征、空间位置向量和时间位置向量;
9、将所述输入编码特征、所述空间位置向量和所述时间位置向量相加,得到初始时空令牌;
10、将所述初始时空令牌输入至所述编码器,得到编码表示;
11、将所述编码表示输入至所述离散码本量化模块,得到量化表示;
12、将所述量化表示输入至所述解码器,得到所述重构脑电信号。
13、在一些实施例中,所述时空解耦分词器包括输入编码层和解耦时空位置编码单元,所述将所述预处理后的脑电信号输入至所述时空解耦分词器,得到输入编码特征、空间位置向量和时间位置向量,包括:
14、通过所述输入编码层采用沿时间轴的卷积操作对所述预处理后的脑电信号进行时间投影,得到输入编码特征;
15、通过所述解耦时空位置编码单元处理所述预处理后的脑电信号,分别构造空间位置向量和时间位置向量,其中,所述空间位置向量用于表示不同脑电通道或空间位置之间的关系,所述时间位置向量用于表示不同时间片段之间的顺序关系。
16、在一些实施例中,所述编码器由多个频率感知门控注意力faga模块堆叠形成,所述faga模块设置有低频导向缩放分支和高频导向残差分支,所述将所述初始时空令牌输入至所述编码器,得到编码表示,包括:
17、对所述初始时空令牌通过线性映射得到查询向量、键向量、值向量和门控向量;
18、对所述查询向量和所述键向量进行归一化和旋转位置编码处理,计算自注意力权重矩阵并对所述值向量进行加权求和,得到注意力输出,利用sigmoid函数激活所述门控向量,对所述注意力输出进行逐元素调制,得到门控注意力输出;
19、所述低频导向缩放分支通过非线性变换生成低频调制权重,对所述门控注意力输出进行缩放,得到低频导向输出;
20、所述高频导向残差分支计算高频残差信息,通过softplus激活函数生成高频调制权重,对高频残差进行调制,得到高频导向输出;
21、将所述门控注意力输出、所述低频导向输出和所述高频导向输出进行融合,得到所述编码表示。
22、在一些实施例中,所述离散码本量化模块包括量化前映射单元、码本查找单元和量化后映射单元,所述将所述编码表示输入至所述离散码本量化模块,得到量化表示,包括:
23、通过所述量化前映射单元将所述编码表示投影到低维量化空间,得到待量化向量;
24、通过所述码本查找单元对所述待量化向量和预设码本中的码字分别进行l2归一化处理,计算待量化向量与每个码字之间的欧氏距离,选取距离最近的码字索引对应的码字作为离散表示,且通过指数移动平均ema更新和死码重启机制维护码本;
25、通过所述量化后映射单元对所述离散表示进行离散码本量化,得到所述量化表示,且在离散量化过程中,采用直通估计器ste传递梯度。
26、在一些实施例中,所述脑电信号重构模型的训练方法包括:
27、确定时域重构损失、码本约束损失、动态频段校准损失和对抗判别损失,其中,所述时域重构损失用于约束所述重构脑电信号与所述原始脑电信号在时间波形上的一致性,所述动态频段校准损失用于约束所述原始脑电信号与所述重构脑电信号在不同频段上的一致性,所述对抗判别损失用于约束重构脑电信号的整体分布合理性;
28、根据所述时域重构损失、所述码本约束损失、所述动态频段校准损失和所述对抗判别损失构建得到复合训练目标函数;
29、基于所述复合训练目标函数对所述脑电信号重构模型进行训练,得到训练好的所述脑电信号重构模型。
30、在一些实施例中,所述动态频段校准损失的构建方法包括:
31、将所述原始脑电信号和所述重构脑电信号分别进行实数快速傅里叶变换,得到频域幅值谱;
32、对所述频域幅值谱进行归一化处理,得到归一化幅值谱;
33、计算脑电信号各频段内归一化幅值谱的对数误差,得到各频段的频谱残差,其中,所述脑电信号各频段包括delta频段、theta频段、alpha频段、beta频段和gamma频段;
34、根据各频段的所述频谱残差动态计算频段权重,其中,残差越大的频段,频段权重越高;
35、将各频段的所述频谱残差和所述频段权重进行加权求和,得到动态频段校准损失。
36、第二方面,本发明实施例还提供了一种脑电数据增强装置,所述装置包括:
37、获取模块,用于获取待增强的原始脑电信号;
38、预处理模块,用于对所述原始脑电信号进行预处理,得到预处理后的脑电信号,其中,所述预处理包括陷波滤波、带通滤波、重参考、伪迹去除、分段处理和通道级标准化处理;
39、重构模块,用于将所述预处理后的脑电信号输入至预先训练好的脑电信号重构模型进行脑电信号重构,得到与所述原始脑电信号具有相同通道数和时间长度的重构脑电信号,其中,所述脑电信号重构模型包括时空解耦分词器、编码器、离散码本量化模块和解码器,所述时空解耦分词器用于对预处理后的脑电信号进行通道保持型时间投影及解耦时空位置编码,生成初始时空令牌;所述编码器用于对所述初始时空令牌进行编码,得到编码表示;所述离散码本量化模块用于将所述编码表示映射为量化表示,并采用直通估计器ste、指数移动平均ema更新和死码重启机制维护码本;所述解码器用于将所述量化表示恢复为重构脑电信号;
40、增强模块,用于根据所述重构脑电信号和所述原始脑电信号得到增强训练集,所述增强训练集用于训练脑电解码模型。
41、第三方面,本发明实施例还提供了一种电子设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如第一方面所述的脑电数据增强方法。
42、第四方面,本发明实施例还提供了一种计算机可读存储介质,存储有计算机可执行指令,所述计算机可执行指令用于执行如第一方面所述的脑电数据增强方法。
43、根据本发明实施例提供的脑电数据增强方法和装置、电子设备及存储介质,其中,脑电数据增强方法包括:获取待增强的原始脑电信号;对原始脑电信号进行预处理,得到预处理后的脑电信号,其中,预处理包括陷波滤波、带通滤波、重参考、伪迹去除、分段处理和通道级标准化处理;将预处理后的脑电信号输入至预先训练好的脑电信号重构模型进行脑电信号重构,得到与原始脑电信号具有相同通道数和时间长度的重构脑电信号,其中,脑电信号重构模型包括时空解耦分词器、编码器、离散码本量化模块和解码器,时空解耦分词器用于对预处理后的脑电信号进行通道保持型时间投影及解耦时空位置编码,生成初始时空令牌;编码器用于对初始时空令牌进行编码,得到编码表示;离散码本量化模块用于将编码表示映射为量化表示,并采用直通估计器ste、指数移动平均ema更新和死码重启机制维护码本;解码器用于将量化表示恢复为重构脑电信号;根据重构脑电信号和原始脑电信号得到增强训练集,增强训练集用于训练脑电解码模型。本发明实施例通过离散码本量化将连续编码特征映射为可复用的脑电原型表示,并结合ste直通估计、ema更新和死码重启机制,提高码本利用稳定性,降低潜在特征冗余和普通连续潜空间可解释性不足的问题。生成的重构脑电样本可与原始样本共同构成增强训练集,用于下游脑机接口解码模型训练,从而在脑电样本有限、个体差异明显和跨会话分布变化的情况下,提高样本利用率和模型泛化能力,因此,本发明实施例能够生成既保持脑电生理结构,又能用于下游脑机接口解码训练的重构脑电样本,提高样本利用率和模型泛化能力。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com