一种基于EEG与fNIRS多模态脑信号融合的握力指令识别方法

本发明涉及脑-机接口领域，尤其涉及一种基于脑电图（electroencephalography,eeg）与功能性近红外光谱（functional near-infraredspectroscopy,fnirs）多模态脑信号融合的握力指令识别方法。

背景技术：

1、脑机接口技术旨在建立人脑与外部设备之间的直接通信与控制通道，在运动功能康复、智能假肢控制、神经疾病诊疗等领域具有广阔的应用前景。准确、鲁棒地从脑信号中解码用户的运动意图，是实现高效脑机接口系统的关键。

2、目前，基于单一模态脑信号的解码方法主要存在下述技术缺陷：

3、1）单一模态信息不完整：

4、eeg信号具有毫秒级的高时间分辨率，能够实时捕捉大脑皮层的快速电生理活动，但其空间分辨率较低，且易受肌电、眼电等噪声干扰。而fnirs信号通过测量大脑皮层的血氧代谢变化（氧合血红蛋白与脱氧血红蛋白浓度）来间接反映神经活动，空间定位相对较好，但其时间分辨率仅为秒级，无法捕捉快速的神经动态变化。即单一模态难以同时兼顾时间与空间维度的互补信息，导致解码精度存在瓶颈。

5、2）传统融合方法效果有限：

6、现有研究中，eeg与fnirs的融合策略主要分为两类：一是早期融合，即在原始信号层面或浅层特征层面直接将两种模态的数据拼接，这种方法容易引入跨模态的噪声干扰，且未能充分考虑两种信号在时间尺度和物理意义上的本质差异；二是晚期融合，即分别训练两个单模态分类器，在决策层对输出概率进行加权平均或投票，这种方法无法在特征层面挖掘模态间的深层交互信息。上述两种方法均未能充分发挥多模态融合的互补优势，分类准确率受限。

7、3）动态任务中的标签构造困难：在连续握力等动态执行任务中，受试者的动作起始与结束时刻存在生理延迟，边界模糊。传统的固定时间窗切割方法无法精确对齐动作阶段，容易产生标签噪声，严重影响深度学习模型的训练稳定性与最终性能。

8、因此，亟需一种能够有效融合eeg与fnirs互补信息、精准构造动态任务标签、并适用于高精度脑机接口指令识别的方案。

技术实现思路

1、本发明提供了一种基于eeg与fnirs多模态脑信号融合的握力指令识别方法，旨在通过构建时空互补的多模态信号采集与融合框架，设计基于神经血管耦合先验的自适应融合策略，并引入动态握力指令标签的精准构造与质量评估机制，以克服单一模态信息不完整、融合策略低效及标签噪声等核心障碍，显著提升动态握力解码的精度与鲁棒性。

2、本发明采用的技术方案为：一种基于eeg与fnirs多模态脑信号融合的握力指令识别方法，其包括下列步骤：

3、步骤1，获取多模态神经行为数据集，并进行数据预处理，以获取样本数据和样本标签；

4、多模态神经行为数据集的原始信号数据包括：同步采集的eeg信号、fnirs信号、事件标记信号及力传感器信号；其中，eeg信号和fnirs信号用于构建样本数据，事件标记信号及力传感器信号用于构建样本标签；eeg信号包括大脑左侧半球组信号，大脑右侧半球组信号和大脑中位线组信号；

5、样本标签包括四类：左手握紧、左手放松、右手握紧、右手放松；

6、步骤2，构建握力指令识别网络，其包括egg信号特征提取分支、fnirs信号特征提取分支、特征融合模块和分类器；

7、其中，egg信号特征提取分支包括三条子分支，其输入分别为大脑左侧半球组信号、大脑右侧半球组信号和大脑中位线组信号，用于输出左半球特征向量fleft、右半球特征向量fright和中线特征向量fmid，并送入特征融合模块；即egg信号特征提取分支与fnirs信号特征提取分支构成本技术的多分支特征提取网络；

8、fnirs信号特征提取分支的输入为fnirs信号，用于提取fnirs信号特征向量并送入特征融合模块；

9、特征融合模块基于左半球特征向量fleft与右半球特征向量fright的逐元素差得到左右差异特征向量fdiff，再拼接左半球特征向量fleft、右半球特征向量fright、左右差异特征向量fdiff、中线特征向量fmid和fnirs信号特征向量进行特征拼接，得到联合特征向量；

10、将联合特征向量送入分类器，以预测握力指令类别；

11、步骤3，基于步骤1得到的样本数据和样本标签对握力指令识别网络进行网络参数训练，将训练好的握力指令识别网络作为握力指令识别器；

12、步骤4,同步采集目标对象的eeg信号与fnirs信号，并对其进行信号预处理以匹配握力指令识别器输入，基于握力指令识别器的输出得到目标对象的握力指令识别结果。

13、进一步的，步骤1中，数据预处理包括：信号滤波、标准化处理、样本切分和标签构造。

14、进一步的，步骤1中，eeg信号的信号滤波包括：对原始信号数据进行带通滤波，并采用陷波滤波器去除工频干扰；再采用独立成分分析识别并去除眼电和肌电伪迹分量。

15、进一步的，步骤1中，fnirs信号的信号滤波包括：对原始信号数据进行带通滤波后，再将光强信号转换为氧合血红蛋白（hbo）和脱氧血红蛋白（hbr）的浓度变化信号。

16、进一步的，步骤1中，标签构造包括：

17、根据事件标记信号获取单次试次对应的动作类型和动作初始时间段；其中，动作类型包括：左手握紧、左手放松、右手握紧、右手放松；

18、根据和力传感器信号确定动作阶段起止边界：在初始时间段内，以力信号上升至其峰值的预设百分比的时刻作为动作起始点，以下降至其峰值的预设百分比的时刻作为动作结束点。

19、进一步的，egg信号特征提取分支包括三条子分支：左侧半球子分支、右侧半球子分支和中线子分支；其中，左、右侧半球子分支的网络结构相同，依次包括：第一卷积网络、第二卷积网络、bilstm层、展平层和丢弃层；

20、其中，第一卷积网络与第二卷积网络的结构相同，依次包括：一维卷积层、批归一化层、relu激活函数和最大池化层；

21、中线子分支依次包括：一维卷积层、批归一化层、relu激活函数、最大池化层、展平层和丢弃层。

22、进一步的，fnirs信号特征提取分支依次包括：一维卷积层、relu激活函数、bilstm层、展平层和丢弃层。

23、进一步的，分类器包括两层全连接层，第二层全连接层带有softmax函数。

24、进一步的，分类器的第一层全连接层后还依次设置有：relu激活函数和丢弃层。

25、进一步的，步骤3中，对握力指令识别网络进行网络参数训练时，采用交叉熵损失函数。

26、本发明提供的技术方案至少带来如下有益效果：

27、显著提升指令识别准确率：本发明通过为eeg和fnirs分别设计定制化的特征提取分支，并在高层语义空间中进行中期融合，以充分利用了两者的互补信息。

28、适应动态任务场景：发明提出的基于事件与力信号的标签构造方法，能够精准定位动态握力任务的起止边界，有效减少了标签噪声，使模型在实际动态应用场景中具有更强的鲁棒性和泛化能力。

29、跨受试者泛化能力强：本发明的技术方案在不同个体之间具有良好的泛化性能，更贴近脑机接口系统在实际应用中需面对不同用户的实际需求。

30、计算效率可控：本发明通过为不同模态的信号调整网络深度（eeg分支采用两层conv1d，fnirs分支采用一层conv1d），在保证高精度的同时控制了模型的总参数量，有利于后续将模型部署至资源受限的嵌入式脑机接口设备。