一种多频段时序动态提取与跨频段特征耦合的RSVP脑电信号分类方法

摘要: 本发明涉及脑电信号处理与智能分类,具体涉及一种多频段时序动态提取与跨频段特征耦合的快速序列视觉呈现(rapidserialvisualpresentation,...
一种多频段时序动态提取与跨频段特征耦合的RSVP脑电信号分类方法

本发明涉及脑电信号处理与智能分类,具体涉及一种多频段时序动态提取与跨频段特征耦合的快速序列视觉呈现(rapid serial visual presentation,rsvp)脑电信号分类方法,可用于快速序列视觉呈现任务下的目标/非目标脑电信号解码。

背景技术:

1、脑机接口(brain-computer interface,bci)是一种通过采集脑电信号(electroencephalogram,eeg)等脑活动相关信号,实现人脑与计算机或外部设备之间直接通信的技术。基于快速序列视觉呈现(rapid serial visual presentation,rsvp)的脑机接口是一类典型的事件相关电位脑机接口范式,常用于目标图像快速检测、视觉搜索和人机协同识别等场景。在 rsvp 任务中,受试者面对连续快速呈现的视觉刺激,当目标刺激出现时,脑电信号中通常会产生与刺激时刻相关的事件相关电位成分,例如 p300 等。通过对单试次 rsvp eeg 信号进行分类,可以实现目标刺激与非目标刺激的识别。然而,rsvp eeg信号具有信噪比较低、单试次差异较大、目标样本占比较低以及个体差异明显等特点,导致目标/非目标分类任务具有较高难度。

2、现有 rsvp eeg 分类方法通常关注 erp 时域波形、空间分布特征或类别不平衡问题,常采用 xdawn、线性判别分析、卷积神经网络或注意力机制等方法进行特征提取和分类。上述方法虽然能够在一定程度上提高 rsvp eeg 信号的分类性能,但对不同频段中潜在判别信息的利用仍不充分。从频域角度看,rsvp 任务中的目标诱发响应与低频 eeg 活动密切相关,p300 等事件相关电位成分通常表现为与刺激开始时刻锁定的慢变化波形,其主要判别信息集中在较低频段;同时,中高频段中仍可能包含注意状态变化、瞬时神经活动变化或局部扰动等辅助判别信息。若直接使用全频段 eeg 信号进行统一建模,不同频率成分容易发生混叠,导致频段特异性信息被削弱;若仅关注少数低频成分,又可能忽略中高频段中的辅助判别信息。

3、此外,不同 eeg 频段具有不同的时间变化特性。低频信号变化较慢,需要较长时间感受野以捕获完整的 erp 波形变化;高频信号变化较快,需要较短时间尺度以保留局部瞬时变化。现有深度学习模型通常对不同频段采用相同或近似的时间卷积尺度,难以充分适配各频段的时间特性。同时,rsvp eeg 信号中的 erp 成分在不同被试、不同试次之间可能存在潜伏期、峰值位置和持续时间差异,单一时间尺度建模难以充分刻画频段内的时序动态变化。现有多频段 eeg 模型的频段融合方式通常较为简单,例如直接拼接、求和或单一路径汇聚。简单拼接虽然能够保留各频段特征,但缺乏频段间的耦合交互;直接求和容易混淆不同频段身份,并可能削弱关键频段的判别贡献。标准 transformer 自注意力机制虽然能够建模 token 之间的全局关系,但需要构造 token 两两相似度矩阵,结构相对复杂,在 eeg 数据量有限、信噪比较低或频段 token 数量较少时,可能增加过拟合风险。

4、因此,针对 rsvp eeg 信号分类任务,有必要提出一种能够进行细粒度频段分解、适配不同频段时间尺度、刻画频段内时序动态变化并实现轻量化跨频段特征耦合的脑电信号分类方法,以提高 rsvp 目标刺激与非目标刺激分类识别的稳定性和准确性。

技术实现思路

1、本发明提出了一种面向 rsvp 脑电信号分类的多频段时序动态提取与跨频段特征耦合网络,记为 mtd-cfcnet。所述网络包括多频段固定滤波分解模块、多频段时序动态特征提取模块、跨频段特征耦合模块、双路径频段融合模块和分类器。通过上述模块的协同作用,本发明能够对 rsvp 脑电信号中的频率特异性、频段内时序动态变化、空间相关性以及跨频段耦合关系进行联合建模,从而提高目标与非目标脑电信号的分类性能。

2、为实现上述目的,本发明采用如下技术方案:

3、首先对原始 rsvp 脑电数据集进行预处理,并将数据集划分为训练集和测试集;然后将预处理后的 eeg 信号输入到构建的mtd-cfcnet模型中,通过多频段固定滤波分解模块将eeg信号分解为多个子频段;随后在每个子频段分支中进行深度空间特征学习,并基于频段适配的基准时间尺度进行局部多尺度时间动态细化,得到各频段的时序动态特征token;之后利用跨频段特征耦合模块对不同频段token进行耦合增强,并通过mlp频段评分器生成各频段的重要性权重;最后将原始频段拼接特征与频段加权摘要特征进行双路径频段融合,输入分类器实现 rsvp 目标刺激与非目标刺激的分类识别。

4、本发明技术方案的具体步骤如下:

5、步骤 1,数据预处理和数据集划分:获取rsvp任务下采集的多通道eeg信号,对原始脑电信号进行通道选择、带通滤波、试次分段和标准化处理,得到用于模型训练和测试的rsvp单试次脑电样本,并将处理后的数据划分为训练集和测试集。预处理后的单试次eeg信号可表示为,其中c表示eeg通道数,t表示时间采样点数。

6、步骤 2,构建多频段固定滤波分解模块:将预处理后的 eeg 信号输入 8 频段sinc 固定带通滤波器组,对 eeg 信号进行细粒度频段分解,得到多个子频段 eeg 信号表示。考虑到 rsvp 任务中的目标诱发响应主要表现为时间锁定的事件相关电位(erp)成分,低频段通常包含较明显的慢变化 erp 波形信息,而中高频段可能包含注意状态变化、瞬时神经活动变化和局部扰动等辅助判别信息,因此本发明在低频范围内采用较细粒度划分,并保留中高频子频段。所述 8 个子频段分别为 0.5–2 hz、2–4 hz、4–6 hz、6–8 hz、8–10hz、10–12 hz、12–20 hz 和 20–30 hz。通过该频段分解过程,模型能够减少全频段统一建模带来的频率混叠,并增强对不同频率成分中目标相关信息的利用能力。

7、步骤 3,构建多频段时序动态特征提取模块:将各子频段eeg信号分别输入对应的频段分支中。对于第i个子频段 eeg 信号,首先采用深度空间卷积沿eeg通道维度进行空间特征学习,以提取不同 eeg 电极通道之间的空间分布特征;随后,以第i个子频段对应的基准时间尺度为参考,构造0.75、1.0和1.25三个局部多尺度时间卷积核,对空间增强后的中间特征进行时间动态细化。三个尺度卷积得到的特征在通道维度上进行拼接,并通过 卷积进行融合,再经池化和投影操作得到第i个子频段对应的频段特征token。

8、步骤 4,构建跨频段特征耦合模块:将多个频段分支输出的频段特征token构成频段 token 序列,并输入跨频段特征耦合模块。需要说明的是,所述频段特征 token 已经包含对应子频段内的时间模式和空间分布信息,因此本步骤主要面向不同频段 token 之间的耦合关系进行建模,而不是再次进行单一时间特征或空间特征提取。该模块将频段token 序列映射为查询矩阵q和键矩阵k,通过对查询矩阵q进行均值聚合生成全局频段耦合向量q,再利用所述全局频段耦合向量q对各频段对应的键向量 进行逐元素调制,并采用残差增强方式得到耦合增强后的频段 token 序列。该过程不构造标准 self-attention中的token两两相似度矩阵,能够降低跨频段上下文建模的复杂度。

9、步骤 5,构建双路径频段融合与分类模块:一方面,将耦合增强前的各频段特征直接拼接;另一方面,采用mlp频段评分器对耦合增强后的频段 token进行打分,并通过softmax 函数归一化得到各频段权重,再基于频段权重对耦合增强后的频段token 进行加权汇聚,得到频段加权摘要特征。最后,将所述原始频段拼接特征与所述频段加权摘要特征拼接得到最终融合特征,并将其输入分类器,完成rsvp eeg信号的目标/非目标分类识别。

10、本发明具有以下优点:

11、1、本发明采用细粒度8频段sinc滤波器组对rsvp eeg信号进行多频段分解。相比直接对全频段eeg信号进行统一建模的方法,该方式能够更充分地利用不同频段中的目标相关信息,减少不同频率成分之间的混叠,在保留低频 erp 成分的同时引入中高频辅助判别信息,从而提高模型对多频段脑电特征的表征能力。

12、2、本发明构建多频段时序动态特征提取模块,根据不同子频段的时间变化特性设置不同的基准时间尺度,并在各频段分支中构造与该基准时间尺度相对应的局部多尺度时间卷积核。相比对所有频段采用相同时间卷积尺度的方法,该设计能够提高模型对不同频段时间尺度差异的适配能力,增强对rsvp eeg中慢变化erp波形和较快局部变化信息的联合表征能力。

13、3、本发明在深度空间卷积之后,进一步围绕各子频段对应的基准时间尺度构造0.75、1.0和1.25三个局部多尺度时间卷积核,对空间增强特征进行局部多尺度时间细化。该设计在保留各频段通道空间分布特征的基础上,进一步增强了模型对 erp 潜伏期变化、波形持续时间差异和局部时序扰动的捕获能力,从而提高频段内动态特征表达能力。

14、4、本发明在rsvp eeg的频段token建模过程中引入跨频段特征耦合建模机制,该机制通过跨频段全局上下文增强方式,对各频段查询表示进行均值聚合,生成全局频段耦合向量,并利用所述全局频段耦合向量对各频段token进行调制和残差增强。相比标准transformer自注意力,该机制无需构造完整的token两两相似度矩阵,也无需在全局上下文生成阶段额外计算频段注意力系数,结构更简洁稳定,能够以较低的计算复杂度实现跨频段信息交互。

15、5、本发明设计原始频段特征保留与频段加权摘要并行的双路径聚合策略。一方面保留各频段原始特征,避免过早融合导致频段独立判别信息丢失;另一方面通过频段加权摘要引入跨频段全局上下文信息,使最终分类特征同时包含频段独立信息和跨频段交互信息,有利于提高目标与非目标脑电信号的特征表达稳定性和分类性能。