一种可靠性驱动的动态EEG-fNIRS融合方法与系统与流程

摘要: 本发明属于脑机接口,具体涉及一种混合脑机接口中eeg(脑电图)和fnirs(功能性近红外光谱)多模态融合的方法,特别是涉及一种可靠性驱动的动态eeg-fnirs...
一种可靠性驱动的动态EEG-fNIRS融合方法与系统与流程

本发明属于脑机接口,具体涉及一种混合脑机接口中eeg(脑电图)和fnirs(功能性近红外光谱)多模态融合的方法,特别是涉及一种可靠性驱动的动态eeg-fnirs融合方法与系统。

背景技术:

1、脑机接口(bci)技术旨在通过解码与任务相关的神经活动,在人脑与外部设备之间建立直接的通信通路。在众多非侵入式神经传感技术中,脑电图(eeg)和功能性近红外光谱(fnirs)凭借其便携性、安全性以及互补的生理特性,已被广泛应用于bci系统中。

2、eeg以毫秒级的时间分辨率记录头皮电活动,对与运动想象、脑力负荷和认知状态变化相关的快速神经动态高度敏感。然而,eeg信号容易受到眼电伪影、肌电活动、环境噪声和容积传导效应的影响,可能会损害其空间特异性和鲁棒性。相比之下,fnirs通过氧合血红蛋白和脱氧血红蛋白浓度的变化来测量与任务相关的血流动力学响应,能够提供相对稳定且具有空间定位特性的皮层信息,且对电磁干扰的敏感度较低。但由于fnirs响应反映的是神经血管耦合而非瞬时的神经电活动,因此其本质上存在延迟,且时间响应较为迟缓。

3、现有技术中,eeg与fnirs的互补特性激发了针对混合eeg-fnirs bci的广泛研究。现有研究探索了不同的融合策略,包括特征级拼接、中间表示交互、基于注意力的跨模态融合以及决策级集成方法。然而,这些方法仍然依赖于几个隐含假设:

4、1、假设两种模态充分同步:但eeg和fnirs本质上是异步的,eeg直接反映快速的神经电活动,而fnirs捕获的是神经激活后数秒才出现的延迟血流动力学响应。

5、2、假设信息质量相对稳定:但每种模态的可靠性是依赖于样本的,eeg可能受到瞬态伪影或环境干扰的破坏,而fnirs可能遭受运动伪影、通道丢失、生理波动或血流动力学激活不足的影响。

6、3、假设贡献可通过固定或全局学习的融合规则确定:但多模态信息并非在所有表示层级上都具有同等效用,部分信息在eeg和fnirs之间共享,而另一部分信息则是模态特有的。

7、这些假设在现实世界的bci场景中很难成立,导致现有融合方法在面临模态缺失、噪声观测、通道缺失等非理想现实条件下性能显著下降。

技术实现思路

1、本发明的目的在于克服现有技术中的不足之处,提供一种可靠性驱动的动态融合方法与系统。

2、为了实现本发明的目的,本发明采用如下技术方案:

3、一种可靠性驱动的动态融合方法,包括以下步骤:

4、步骤s1:模态特异性时空编码

5、将获得的信号格式化为五维时空张量,通过感受野模块()提取多尺度时空上下文特征;

6、将获得的信号格式化为五维时空张量,通过感受野模块提取多尺度时空上下文特征;

7、通过时空注意力()模块对编码特征进行重新校准,得到高级语义特征和高级语义特征。

8、步骤s2:共享-私有表示分解

9、对高级语义特征执行分解,得到共享表示和私有表示;

10、对高级语义特征执行分解,得到共享表示和私有表示;

11、其中,共享表示捕获跨模态一致的任务相关信息,私有表示保留模态特异性的判别线索;

12、对共享表示进行时间投影映射,使其与共享表示具有相同的时间长度。

13、步骤s3:条件延迟证据选择

14、基于时间对齐的共享表示建立基线判别分支,生成基线预测和基线置信度;

15、构建离散延迟候选集,从原始信号中提取对应不同延迟的片段;

16、对每个延迟候选,评估其表示兼容性和基线条件证据增益;

17、根据评估结果生成归一化权重,加权聚合延迟候选表示,得到最终共享表示。

18、步骤s4:可靠性驱动动态融合

19、为私有表示和私有表示分别设计可靠性估计器,输出样本级的模态可靠性得分;

20、将时间对齐的共享表示和最终共享表示沿通道维度拼接,通过共享融合块生成融合共享表示;

21、基于私有表示、私有表示和融合共享表示,分别输出单模态预测和联合预测;

22、根据模态可靠性得分、预测置信度和跨模态分歧,生成动态门控权重,加权聚合各分支预测得到最终决策。

23、进一步的,所述步骤s1中:

24、输入被格式化为五维时空张量,其中,是批次大小,360是时间长度,16×16代表空间拓扑映射维度;

25、编码分支的感受野模块具有四条并行路径,通过不同的感受野和膨胀率捕获局部细节和全局神经活动模式;

26、三个连续的模块对深层特征进行细化,并将通道维度扩展至128;

27、最终的编码输出表示为;

28、输入被格式化为五维时空张量;

29、四个连续的模块将通道深度从64逐步增加至128;

30、最终的编码输出表示为。

31、进一步的,所述步骤s2中:

32、使用两个独立的1×1×1三维卷积投影头对每种模态执行分解:

33、;

34、;

35、对eeg 共享表示应用了时间投影映射:

36、;

37、其中:表示仅压缩时间维度的三维卷积操作;()和分别表示fnirs 分支和eeg 分支的分解投影头,各自由一个 1×1×1 三维卷积构成;和为共享表示;和为私有表示;时间投影映射使用大小为(12,1,1)且步幅相同、无填充的卷积核,对每12个连续的时间步执行局部可学习聚合,使共享表示的时间长度从360压缩至30。所得特征  与共享表示具有相同的时间长度,从而支持后续的特征级交互。

38、进一步的,所述步骤s3中:

39、基线判别分支包含全局平均池化和两层全连接网络,基线置信度定义为基线预测的最大后验概率;

40、离散延迟候选集d = {0, 2, 4, 6}秒,以覆盖典型血流动力学响应的上升期、峰值期和峰后过渡期;

41、对于每个候选表示,构建配对的跨模态特征:;

42、其中,为第 d 个延迟候选的配对跨模态特征向量;为 eeg 共享表示经全局平均池化后得到的特征向量;为第 d 个延迟候选的 fnirs 共享表示经全局平均池化后得到的特征向量;concat(·) 表示沿通道维度的拼接操作;|·| 表示逐元素取绝对值;⊙ 表示逐元素乘积;表示相似度分数。

43、表示匹配得分和基线条件证据增益得分通过多层感知机计算;

44、总体得分,其中α是可学习参数;

45、通过带有可学习温度参数的函数生成归一化权重;

46、通过残差混合机制在原始表示和选择结果之间进行插值,保持延迟建模的灵活性。

47、进一步的,所述步骤s4中:

48、可靠性估计器利用全局平均池化、两个全连接层和激活输出连续的可靠性得分;

49、共享融合块包含1×1×1卷积、3×3×3卷积和sta模块;跨模态不一致性标量定义为:;

50、其中,为第i个样本的跨模态不一致性标量;c为任务类别数;和分别为第i个样本在第j个类别上 fnirs 分支和 eeg 分支输出的后验概率;i为样本索引,j为类别索引。

51、动态门控输入向量拼接了预测、置信度、跨模态分歧和可靠性得分;

52、通过生成归一化门控权重,;

53、最终决策计算为:。

54、其中,为第i个样本的最终预测结果;、、分别为第i个样本分配给 fnirs 私有分支、eeg 私有分支和共享融合分支的门控权重,三者之和为 1;、、分别为三个分支输出的预测结果。

55、本发明还提出了一种可靠性驱动的动态eeg-fnirs融合系统,包括:

56、模态特异性时空编码模块,用于对eeg信号和fnirs信号分别进行时空编码,提取高级语义特征;

57、共享-私有表示分解模块,用于将高级语义特征分解为共享表示和私有表示,其中共享表示捕获跨模态一致的任务相关信息,私有表示保留模态特异性的判别线索;

58、条件延迟证据选择模块,用于评估延迟的fnirs证据何时值得集成,根据表示兼容性和基线条件证据增益选择延迟fnirs窗口;

59、可靠性驱动动态融合模块,用于根据样本级模态可靠性、预测置信度和跨模态分歧,自适应地聚合eeg私有分支、fnirs私有分支和共享融合分支的预测。

60、本发明具有以下有益效果:

61、1、提高了融合鲁棒性:本发明摒弃了静态的"融合与否"范式,转而自适应地决定集成什么、何时集成以及集成多少,能够有效应对模态缺失、通道缺失、噪声污染等非理想条件。实验表明,即使在主要eeg模态完全缺失的情况下,本发明仍能保持高达67.85%和69.36%的准确率。

62、2、提升了解码精度:在标准条件下,本发明在心算(ma)和运动想象(mi)任务上分别取得了94.06%和94.91%的平均准确率,比现有的融合方法高出0.8%至1.1%。

63、3、增强了可解释性:本发明通过共享-私有分解明确区分了跨模态共享信息与模态特有互补信息,通过条件延迟证据选择显式建模了fnirs的生理延迟,通过可靠性驱动动态融合提供了可解释的、可靠性感知的融合指标。

64、4、适应生理特性:本发明充分考虑了eeg和fnirs的异步性、不同的时间尺度和互补的生理特性,通过共享-私有分解避免强制混合异质信息,通过条件延迟证据选择适应血流动力学响应延迟,通过可靠性驱动融合适应样本级的模态可靠性波动。

65、5、提供实用价值:本发明在动态bci和临床神经康复环境中具有重要应用价值,能够减少频繁重新校准的需求,提高对中度信号退化的容忍度,适用于传感器质量因受试者、实验阶段或记录环境而异的场景。