针对脑信号的跨模态表达映射模型构建、脑信号解码方法

摘要: 本发明涉及脑电,尤其涉及一种针对脑信号的跨模态表达映射模型构建、脑信号解码方法。背景技术:1、脑电技术是研究人脑认知活动的重要手段。根据采集方式不同,脑电信号主...
针对脑信号的跨模态表达映射模型构建、脑信号解码方法

本发明涉及脑电,尤其涉及一种针对脑信号的跨模态表达映射模型构建、脑信号解码方法。

背景技术:

1、脑电技术是研究人脑认知活动的重要手段。根据采集方式不同,脑电信号主要包括头皮脑电信号(scalp electroencephalography,eeg)和颅内脑电信号(intracranialelectroencephalography,ieeg)。eeg具有无创、成本低、可重复采集和便于推广等优点,适合用于认知状态监测、脑机接口、神经疾病评估和临床辅助分析等场景;但由于头皮、颅骨、脑脊液等组织的传导衰减和空间混叠,其对深部脑区或局部神经机制的表达能力有限。ieeg通过植入电极直接记录脑内局部神经活动,具有较高的时空分辨率,能够更直接地反映海马、内侧颞叶、额叶、听觉皮层等脑区在认知任务中的神经活动,但其具有侵入性,通常只能在特定临床人群中采集,难以作为常规无创检测手段大规模推广。因此,在认知神经科学和临床脑功能分析中,如何利用ieeg所揭示的高精度神经机制,提高eeg对深部脑区或目标脑区机制活动的表达能力和解释能力成为亟待解决的问题。

技术实现思路

1、本发明提供一种针对脑信号的跨模态表达映射模型构建、脑信号解码方法,用以解决现有技术中的缺陷。

2、本发明提供一种针对脑信号的跨模态表达映射模型构建方法,包括:

3、获取被试者在执行认知任务过程中的颅内脑电信号、头皮脑电信号和任务过程信息;

4、根据所述任务过程信息,对所述颅内脑电信号和所述头皮脑电信号进行时间校准和认知阶段标注,得到携带有认知阶段标签的颅内脑电片段和头皮脑电片段;

5、对所述颅内脑电片段进行目标机制解耦,得到目标神经机制的机制表征;其中,所述机制表征包括在跨认知阶段稳定存在的基础持续机制成分和随认知阶段变化的阶段性激活机制成分;

6、对所述头皮脑电片段进行表达成分分解,得到候选表达成分;其中,所述候选表达成分包括与所述目标神经机制同源的目标表达成分;

7、以所述认知阶段标签作为状态约束条件,基于所述机制表征和所述候选表达成分进行跨模态映射学习,构建跨模态表达映射模型;其中,所述跨模态表达映射模型用于表征所述目标神经机制在颅内脑电模态与头皮脑电模态之间、在不同认知阶段下的对应表达关系。

8、根据本发明提供的一种针对脑信号的跨模态表达映射模型构建方法,所述对所述颅内脑电片段进行目标机制解耦,得到目标神经机制的机制表征,包括:

9、根据所述认知任务的任务目的,确定与所述目标神经机制关联的目标脑区和目标频段;

10、从所述颅内脑电片段中提取所述目标脑区在所述目标频段下的机制特征;其中,所述机制特征包括局部活动特征、脑区耦合特征、信息流特征、相位同步特征、跨频耦合特征、频段功率变化特征中的至少一种;

11、基于所述机制特征,构建所述目标神经机制的所述机制表征。

12、根据本发明提供的一种针对脑信号的跨模态表达映射模型构建方法,所述基于所述机制特征,构建所述目标神经机制的所述机制表征,包括:

13、根据所述认知阶段标签,确定所述机制特征在不同认知阶段之间的稳定性度量;

14、将所述稳定性度量满足预设稳定条件的机制特征所对应的成分,确定为所述基础持续机制成分;

15、将随所述认知阶段标签的变化而呈现增强或减弱的机制特征所对应的成分,确定为所述阶段性激活机制成分。

16、根据本发明提供的一种针对脑信号的跨模态表达映射模型构建方法,所述候选表达成分还包括非目标混杂成分,所述非目标混杂成分包括任务诱发成分、干扰伪迹成分、个体背景成分中的至少一种;其中,所述任务诱发成分为由所述认知任务的刺激事件诱发的,且与所述目标神经机制非同源的表达成分;所述干扰伪迹成分为由非神经活动来源产生的表达成分;所述个体背景成分为与所述认知任务无关的被试者背景神经活动所对应的表达成分。

17、根据本发明提供的一种针对脑信号的跨模态表达映射模型构建方法,所述对所述头皮脑电片段进行表达成分分解,得到候选表达成分,包括:

18、从所述头皮脑电片段中提取多维表达特征;其中,所述多维表达特征包括时域特征、频域特征、时频特征、事件相关电位特征、功能连接特征、相位同步特征和空间拓扑特征中的至少一种;

19、按照所述认知阶段标签对所述多维表达特征进行组织,得到阶段化表达特征;

20、对所述阶段化表达特征进行成分分解,得到所述目标表达成分和所述非目标混杂成分。

21、根据本发明提供的一种针对脑信号的跨模态表达映射模型构建方法,在以所述认知阶段标签作为状态约束条件,基于所述机制表征和所述候选表达成分进行跨模态映射学习,构建跨模态表达映射模型之前,所述方法还包括:

22、分别量化所述候选表达成分与所述机制表征、所述认知阶段标签、所述任务过程信息中的行为反应信息之间的关联程度,得到所述候选表达成分的目标机制贡献度和非目标混杂贡献度;

23、根据所述目标机制贡献度和所述非目标混杂贡献度,为所述候选表达成分配置可靠性权重,以使得基于所述机制表征和配置有所述可靠性权重的候选表达成分,进行跨模态映射学习。

24、根据本发明提供的一种针对脑信号的跨模态表达映射模型构建方法,所述以所述认知阶段标签作为状态约束条件,基于所述机制表征和所述候选表达成分进行跨模态映射学习,包括:

25、将所述认知阶段标签作为状态变量,与所述候选表达成分共同输入待训练的映射模型;

26、针对所述基础持续机制成分,学习所述候选表达成分在不同认知阶段下与所述基础持续机制成分之间的稳定对应关系;

27、针对所述阶段性激活机制成分,学习所述候选表达成分随认知阶段变化的阶段性对应关系;

28、根据所述稳定对应关系和所述阶段性对应关系,构建所述跨模态表达映射模型。

29、本发明还提供的一种脑信号解码方法,包括:

30、采集待解码被试者在执行目标认知任务过程中的目标头皮脑电信号和目标任务过程信息;

31、根据所述目标任务过程信息,对所述目标头皮脑电信号进行认知阶段标注和表达成分分解,得到待解码候选表达成分;

32、将所述待解码候选表达成分和对应的认知阶段标签输入跨模态表达映射模型,得到目标机制表达结果;其中,所述跨模态表达映射模型基于前述任一项所述的针对脑信号的跨模态表达映射模型构建方法构建得到。

33、根据本发明提供的一种脑信号解码方法,所述目标机制表达结果包括机制表达评分、不同认知阶段下的机制表达变化、目标基础持续机制成分与目标阶段性激活机制成分的分离结果、头皮脑电的通道或特征对目标机制表达的贡献度,以及任务诱发成分、干扰伪迹和个体背景成分的影响程度。

34、本发明还提供一种针对脑信号的跨模态表达映射模型构建装置,包括:

35、获取模块,配置为获取被试者在执行认知任务过程中的颅内脑电信号、头皮脑电信号和任务过程信息;

36、标注模块,配置为根据所述任务过程信息,对所述颅内脑电信号和所述头皮脑电信号进行时间校准和认知阶段标注,得到携带有认知阶段标签的颅内脑电片段和头皮脑电片段;

37、解耦模块,配置为对所述颅内脑电片段进行目标机制解耦,得到目标神经机制的机制表征;其中,所述机制表征包括在跨认知阶段稳定存在的基础持续机制成分和随认知阶段变化的阶段性激活机制成分;

38、分解模块,配置为对所述头皮脑电片段进行表达成分分解,得到候选表达成分;其中,所述候选表达成分包括与所述目标神经机制同源的目标表达成分;

39、构建模块,配置为以所述认知阶段标签作为状态约束条件,基于所述机制表征和所述候选表达成分进行跨模态映射学习,构建跨模态表达映射模型;其中,所述跨模态表达映射模型用于表征所述目标神经机制在颅内脑电模态与头皮脑电模态之间、在不同认知阶段下的对应表达关系。

40、本发明还提供一种脑信号解码装置,包括:

41、采集模块,配置为采集待解码被试者在执行目标认知任务过程中的目标头皮脑电信号和目标任务过程信息;

42、标注与分解模块,配置为根据所述目标任务过程信息,对所述目标头皮脑电信号进行认知阶段标注和表达成分分解,得到待解码候选表达成分;

43、输入模块,配置为将所述待解码候选表达成分和对应的认知阶段标签输入跨模态表达映射模型,得到目标机制表达结果;其中,所述跨模态表达映射模型基于前述任一项所述的针对脑信号的跨模态表达映射模型构建方法构建得到。

44、本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述任一种所述针对脑信号的跨模态表达映射模型构建方法和脑信号解码方法。

45、本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述针对脑信号的跨模态表达映射模型构建方法和脑信号解码方法。

46、本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述针对脑信号的跨模态表达映射模型构建方法和脑信号解码方法。

47、本发明提供的针对脑信号的跨模态表达映射模型构建、脑信号解码方法,由于在颅内脑电侧先解耦出具有明确机制含义的机制表征并以其作为映射学习的监督目标,在头皮脑电侧先分解出与目标神经机制同源的目标表达成分,并在映射学习中以认知阶段标签作为状态约束条件区分不同认知阶段下的表达关系,避免了将头皮脑电与颅内脑电作为整体进行映射时不同来源信号成分和不同阶段神经活动相互混杂的问题,因此所构建的跨模态表达映射模型能够建立机制特异、阶段特异的跨模态对应表达关系,提高跨模态映射结果的机制特异性和可解释性。以使得跨模态表达映射模型在应用阶段仅依赖头皮脑电信号即可推断目标机制表达,有助于降低对侵入式记录的依赖。