一种基于类特质和类状态双流框架的脑电补全方法及系统

摘要: 本发明属于脑电信号处理与人工智能,涉及一种基于类特质和类状态双流框架的脑电补全方法及系统。背景技术:1、脑电图作为一种无创、低成本且具有高时间分辨率的神经活动测...
一种基于类特质和类状态双流框架的脑电补全方法及系统

本发明属于脑电信号处理与人工智能,涉及一种基于类特质和类状态双流框架的脑电补全方法及系统。

背景技术:

1、脑电图作为一种无创、低成本且具有高时间分辨率的神经活动测量手段,在脑机接口、神经科学研究、临床神经疾病诊断等领域有着广泛的应用。通过对头皮表面分布的多个电极记录的电位变化进行分析,可以识别出与认知、运动或病理状态密切相关的特定脑电模式。然而,在实际的脑电信号采集过程中,由于电极接触不良、被试者运动伪迹、电磁干扰以及无线传输中可能出现的数据丢包等问题,采集到的脑电数据中时常出现不同程度的信号缺失现象。这种缺失会破坏脑电信号在时间和空间维度上的连续性,对后续的溯源分析、功能连接计算以及基于深度学习的模式识别任务造成严重影响。

2、目前,用于处理脑电信号缺失的常见方法包括基于插值的方法、基于矩阵分解的方法以及基于深度学习的方法等。基于插值的方法如线性插值或样条插值等,主要利用同一通道相邻时间点的数值进行填补,但未考虑不同通道之间的空间关联性,在处理连续块状缺失时往往效果不佳。基于矩阵分解的方法将脑电数据视为一个低秩矩阵,利用观测到的部分值对缺失部分进行估计,然而这类方法在处理复杂的非线性动态时能力有限。近年来,一些基于深度学习的生成式模型或端到端的补全网络被提出,它们通过学习大量完整脑电数据的分布来实现缺失补全。然而,这类方法往往侧重于从缺失样本本身提取特征进行重建,忽略了脑电信号中本应长期保持稳定的类特质信息,例如特定脑区在一定时间段内的典型节律模式或不同个体所共有的某种空间活动模式,也未充分考虑到时间序列数据中普遍存在的均值与方差在时间维度上的非平稳特性,使得模型在面对训练阶段未曾出现过的缺失模式时,泛化能力受到制约。

技术实现思路

1、本发明的目的在于提供一种基于类特质和类状态双流框架的脑电补全方法及系统,以解决上述问题。

2、为实现上述目的,本发明采用以下技术方案:

3、第一方面,本发明提供一种基于类特质和类状态双流框架的脑电补全方法,包括以下步骤:

4、获取含缺失脑电样本、缺失掩码和观测脑电矩阵;训练阶段还获取未引入缺失的完整脑电矩阵作为完整参考样本;对含缺失脑电样本沿时间维度进行滑动窗口归一化,得到归一化含缺失样本,并保存均值统计量和标准差统计量;对完整参考样本相同归一化得到归一化完整参考样本;

5、构建时间特质码本、空间特质码本和时空特质码本,得到时间特质嵌入、空间特质嵌入和时空特质嵌入;

6、在类特质流中,将时间特质嵌入、空间特质嵌入和时空特质嵌入拼接并进行压缩激励融合,生成融合类特质先验;在类状态流中,将归一化完整参考样本和归一化含缺失样本输入脑电信号特征提取器,得到完整参考特征和含缺失特征,基于二者差异确定特征补偿向量并进行特征空间插补,得到状态补全偏特征;

7、将状态补全偏特征与融合类特质先验融合,生成双流融合表示;将双流融合表示输入去平稳注意力重建模块,由均值统计量、标准差统计量和输入序列生成缩放因子和偏移向量并执行去平稳注意力重建,输出归一化尺度下的重建序列;

8、利用均值统计量和标准差统计量对重建序列反归一化,得到模型重建序列,根据缺失掩码保留观测脑电矩阵并在缺失位置填入模型重建序列的对应值,输出最终补全脑电序列。

9、进一步的,所述获取含缺失脑电样本、缺失掩码和观测脑电矩阵;训练阶段还获取未引入缺失的完整脑电矩阵作为完整参考样本,包括:

10、所述脑电样本表示为,其中表示实数域,表示脑电电极数量,表示时间采样点数,根据缺失掩码m确定观测脑电矩阵和含缺失脑电输入;在训练阶段,将未引入缺失的完整脑电矩阵记为完整参考样本;

11、表示第i个脑电电极在第t个时间采样点处的脑电值为已观测值,表示对应脑电值缺失;观测脑电矩阵记为,含缺失脑电样本由和缺失位置处的预设填充值组成;在训练阶段,以未引入缺失的脑电样本作为完整参考样本,并根据预设点状缺失、连续块状缺失或通道缺失模式生成m和。

12、进一步的,所述对含缺失脑电样本沿时间维度进行滑动窗口归一化,得到归一化含缺失样本,并保存均值统计量和标准差统计量;对完整参考样本相同归一化得到归一化完整参考样本,包括:

13、所述时间归一化按照下式进行:,,;其中,,⊙表示逐元素乘法,表示逐元素除法。

14、进一步的,所述构建时间特质码本、空间特质码本和时空特质码本,得到时间特质嵌入、空间特质嵌入和时空特质嵌入,包括:

15、所述时间类特质码本用于表示跨时间段保持稳定的持久时间模式,所述空间类特质码本用于表示不同脑区之间保持稳定的持久空间模式,所述时空类特质码本用于表示由时间位置和脑电电极位置共同确定的持久时空模式。

16、可学习码本的一般映射为;所述时间类特质码本表示为;所述空间类特质码本表示为;所述时空类特质码本中的每一时空标识对应可学习值。

17、进一步的,所述在类特质流中,将时间特质嵌入、空间特质嵌入和时空特质嵌入拼接并进行压缩激励融合,生成融合类特质先验,包括:

18、在类特质流中,将、和拼接为多视角类特质嵌入,并通过压缩激励融合得到融合类特质先验;

19、,,;其中,和为可学习权重,表示 sigmoid 函数。

20、进一步的,所述在类状态流中,将归一化完整参考样本和归一化含缺失样本输入脑电信号特征提取器,得到完整参考特征和含缺失特征,基于二者差异确定特征补偿向量并进行特征空间插补,得到状态补全偏特征,包括:

21、建立与类特质流并行的类状态流,将归一化完整参考样本和归一化含缺失样本输入脑电信号特征提取器φ,得到完整参考特征和含缺失特征,根据与之间的特征差异确定特征补偿的向量,再利用所述特征补偿向量对确实脑电状态特征进行特征空间插补,得到状态补全偏特征;

22、eeg 特征提取器 φ 为基于动态图卷积神经网络的编码器,;和分别为和的均值特征嵌入,。

23、进一步的,所述将状态补全偏特征与融合类特质先验融合,生成双流融合表示;将双流融合表示输入去平稳注意力重建模块,由均值统计量、标准差统计量和输入序列生成缩放因子和偏移向量并执行去平稳注意力重建,输出归一化尺度下的重建序列,包括:

24、将类状态流输出的插值特征与类特质流输出的融合类特质先验进行融合,得到双流融合表示;所述融合表示按照

25、获得,其中表示 eeg 特征空间中的插补特征,表示融合类特质先验。

26、所述正缩放标量和偏移向量按照获得;去平稳注意力按照计算;其中,1 表示全一向量,表示键矩阵的特征维度。

27、进一步的,所述利用均值统计量和标准差统计量对重建序列反归一化,得到模型重建序列,根据缺失掩码保留观测脑电矩阵并在缺失位置填入模型重建序列的对应值,输出最终补全脑电序列,包括:

28、反归一化按照进行;其中,终补全矩阵按照获得,且对应模型输出的;

29、训练阶段采用均方误差损失:;其中,和分别表示真实脑电值和重建脑电值;

30、训练完成后保存时间类特质码本、空间类特质码本和时空类特质码本,在补全阶段通过码本查找获得、和。

31、第二方面,本发明提供一种基于类特质和类状态双流框架的脑电补全系统,包括:

32、样本获取模块,用于获取含缺失脑电样本、缺失掩码和观测脑电矩阵;训练阶段还获取未引入缺失的完整脑电矩阵作为完整参考样本;对含缺失脑电样本沿时间维度进行滑动窗口归一化,得到归一化含缺失样本,并保存均值统计量和标准差统计量;对完整参考样本相同归一化得到归一化完整参考样本;

33、嵌入模块,用于构建时间特质码本、空间特质码本和时空特质码本,得到时间特质嵌入、空间特质嵌入和时空特质嵌入;

34、处理模块,用于在类特质流中,将时间特质嵌入、空间特质嵌入和时空特质嵌入拼接并进行压缩激励融合,生成融合类特质先验;在类状态流中,将归一化完整参考样本和归一化含缺失样本输入脑电信号特征提取器,得到完整参考特征和含缺失特征,基于二者差异确定特征补偿向量并进行特征空间插补,得到状态补全偏特征;

35、融合模块,用于将状态补全偏特征与融合类特质先验融合,生成双流融合表示;将双流融合表示输入去平稳注意力重建模块,由均值统计量、标准差统计量和输入序列生成缩放因子和偏移向量并执行去平稳注意力重建,输出归一化尺度下的重建序列;

36、输出模块,用于利用均值统计量和标准差统计量对重建序列反归一化,得到模型重建序列,根据缺失掩码保留观测脑电矩阵并在缺失位置填入模型重建序列的对应值,输出最终补全脑电序列。

37、第三方面,本发明提供一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现所述一种基于类特质和类状态双流框架的脑电补全方法的步骤。

38、与现有技术相比,本发明有以下技术效果:

39、本发明通过采用滑动窗口归一化对脑电样本沿时间维度进行处理并保存均值统计量和标准差统计量,能够有效减轻脑电信号在时间维度上存在的非平稳特性对模型训练的干扰,使得后续模块可以在平稳尺度下更稳定地学习信号内在的动态模式;通过构建时间特质码本、空间特质码本和时空特质码本,能够分别从时间、空间以及时空联合三个视角显式地捕获并存储脑电信号中跨样本广泛存在的稳定类特质信息,为缺失补全提供了强有力的先验知识;

40、通过在类特质流中将上述三类嵌入压缩激励融合,能够动态地对不同来源的类特质信息进行加权,突出对当前重建任务最有用的先验,避免简单拼接带来的冗余;通过在类状态流中利用脑电信号特征提取器提取完整参考特征与含缺失特征并计算特征补偿向量进行插补,能够利用完整数据的分布信息对缺失样本的特征空间进行有引导的矫正,弥补缺失带来的特征分布偏移;

41、通过将状态补全偏特征与融合类特质先验融合生成双流融合表示,实现了当前实例的动态变化信息与该类别的稳定模式知识两者的深度结合,使得重建过程既尊重个体的实际状态,又能遵循普遍的模式规律;通过将双流融合表示输入去平稳注意力重建模块,并由保存的均值和标准差统计量生成缩放因子和偏移向量去调控注意力机制,能够有意识地将归一化后削弱的非平稳信息恢复回来,使重建序列更贴合真实脑电信号所具有的非平稳波动特性;最终,通过反归一化和基于缺失掩码的局部替换,保证了已观测区域真实值不被修改,仅对缺失区域进行高精度的补全,整体方案显著提升了在点状缺失、连续块状缺失乃至通道缺失等多种复杂缺失模式下的补全精度和模型鲁棒性,适用于需要高质量脑电信号的脑机接口、神经反馈训练及临床辅助诊断等应用场景。