脑电信号识别模型的训练方法、脑电信号识别和装置

摘要: 本发明涉及人工智能,尤其涉及一种脑电信号识别模型的训练方法、脑电信号识别和装置。背景技术:1、脑电信号因其非侵入性和高时间分辨率的特性,在脑机接口、神经康复等领...
脑电信号识别模型的训练方法、脑电信号识别和装置

本发明涉及人工智能,尤其涉及一种脑电信号识别模型的训练方法、脑电信号识别和装置。

背景技术:

1、脑电信号因其非侵入性和高时间分辨率的特性,在脑机接口、神经康复等领域得到应用广泛。然而,脑电信号具有显著的非平稳特性,同一用户的脑电信号会随时间推移、生理状态变化及外部环境干扰而发生持续的分布漂移,导致基于历史脑电信号训练的脑电信号识别模型在长期使用过程中性能逐渐衰退。因此,如何实现脑电信号识别模型的长期个性化适配已成为该领域亟待解决的关键问题。

2、目前,通常是利用多个被试用户、多个数据集或大规模脑电样本训练一个通用脑电特征提取模型,使其学习具有一定泛化能力的脑电表示。在实际应用到目标用户时,再采集该目标用户的一部分标注脑电数据作为适配集,对预训练模型进行进一步训练,使模型能够适应该目标用户的脑电特征分布。这种方式无法跟踪目标用户的脑电信号的持续漂移,为了解决这个问题,在进行模型训练时,可以不断吸收新阶段脑电数据,以适应当前用户状态,但如果根据最新数据更新模型,又容易使模型参数或分类头偏向最近阶段分布,导致早期已经学习到的用户特定知识被遗忘。

3、因此,如何使训练的脑电识别模型能够实现对脑电信号长期漂移的自适应跟踪与历史知识的巩固,是目前亟需解决的技术问题。

技术实现思路

1、本发明提供一种脑电信号识别模型的训练方法、脑电信号识别和装置,用以解决现有技术中脑电识别模型无法实现对脑电信号长期漂移的自适应跟踪与历史知识的巩固的缺陷。

2、本发明提供一种脑电信号识别模型的训练方法,包括:

3、获取目标用户的非平稳样本脑电信号,并按照采集时间顺序将所述样本脑电信号划分为多个连续的时间块,其中,每个所述时间块对应一个时间上下文;

4、针对当前时间上下文,建立所述当前时间上下文对应的适配模块和预测头,并基于所述当前时间上下文之前的各历史时间上下文对应的适配模块的历史适配参数,对所述当前时间上下文对应的适配模块进行初始化;

5、将所述当前时间上下文对应的样本脑电数据段依次输入脑电特征提取网络和所述当前时间上下文对应的初始化后的适配模块中,得到所述当前时间上下文对应的适配后特征;

6、基于所述当前时间上下文对应的适配后特征,对所述当前时间上下文对应的适配模块和预测头进行优化;

7、基于所述脑电特征提取网络和各所述时间上下文对应的优化后的适配模块和预测头,确定脑电识别模型,所述脑电识别模型用于对所述目标用户的脑电信号进行识别。

8、根据本发明提供的一种脑电信号识别模型的训练方法,所述基于所述当前时间上下文之前的各历史时间上下文对应的适配模块的历史适配参数,对所述当前时间上下文对应的适配模块进行初始化,包括:

9、对各所述历史时间上下文对应的适配模块的历史适配参数进行统计组合,得到初始适配参数;

10、基于所述初始适配参数,对所述当前时间上下文对应的适配模块进行初始化。

11、根据本发明提供的一种脑电信号识别模型的训练方法,所述基于所述当前时间上下文对应的适配后特征,对所述当前时间上下文对应的适配模块和预测头进行优化,包括:

12、利用所述当前时间上下文对应的适配后特征,通过所述当前时间上下文对应的预测头确定预测结果;

13、基于所述预测结果和所述当前时间上下文对应的样本脑电数据段的标签类别,确定所述当前时间上下文的训练损失;

14、基于所述训练损失,对所述当前时间上下文对应的适配模块和预测头的模型参数进行调整,以对所述当前时间上下文对应的适配模块和预测头进行优化。

15、根据本发明提供的一种脑电信号识别模型的训练方法,所述基于所述预测结果和所述当前时间上下文对应的样本脑电数据段的标签类别,确定所述当前时间上下文的训练损失,包括:

16、在所述当前时间上下文中包含部分标签类别的情况下,对所述预测结果中所述当前时间上下文中未出现的标签类别进行掩码处理,得到处理后的预测结果;

17、基于所述处理后的预测结果和所述当前时间上下文中包含的标签类别,确定所述当前时间上下文的训练损失。

18、根据本发明提供的一种脑电信号识别模型的训练方法,所述基于所述脑电特征提取网络和各所述时间上下文对应的优化后的适配模块和预测头,确定脑电识别模型,包括:

19、针对各所述历史时间上下文,获取所述历史时间上下文对应的历史样本脑电数据段的历史分布统计信息,所述历史分布统计信息包括类别均值和类别方差;

20、基于所述历史分布统计信息,生成所述历史时间上下文对应的伪特征;

21、基于所述当前时间上下文对应的适配后特征以及各所述历史时间上下文对应的伪特征,对共享预测头进行优化,其中,所述脑电识别模型包括所述脑电特征提取网络、优化后的共享预测头、以及各所述时间上下文对应的优化后的适配模块和预测头。

22、根据本发明提供的一种脑电信号识别模型的训练方法,所述适配模块包括低秩适配器、瓶颈适配器、残差适配器、通道适配器、提示参数或其组合。

23、本发明还提供一种脑电信号识别方法,包括:

24、获取目标用户的待识别脑电信号;

25、将所述待识别脑电信号输入脑电信号识别模型中,得到所述脑电信号识别模型输出的识别结果,所述脑电信号识别模型为基于如上任一实施例所述的方法训练得到的。

26、根据本发明提供的一种脑电信号识别方法,所述将所述待识别脑电信号输入脑电信号识别模型中,得到所述脑电信号识别模型输出的识别结果,包括:

27、将所述待识别脑电信号输入所述脑电信号识别模型中的脑电特征提取网络,得到提取的参考脑电特征;

28、确定所述参考脑电特征和各时间上下文对应的预存储的分布统计信息之间的匹配度,并基于各所述匹配度确定各所述时间上下文对应的路由权重,所述路由权重用于表征所述待识别脑电信号与各所述时间上下文的相关程度;

29、基于所述参考脑电特征、各所述时间上下文对应的适配模块和预测头以及各时间上下文对应的路由权重,确定所述识别结果。

30、根据本发明提供的一种脑电信号识别方法,所述基于所述参考脑电特征、各所述时间上下文对应的适配模块和预测头以及各时间上下文对应的路由权重,确定所述识别结果,包括:

31、根据各所述时间上下文对应的路由权重,从所有时间上下文中选择路由权重最高的前k个时间上下文作为目标时间上下文,k为正整数;

32、针对各所述目标时间上下文,将所述参考脑电特征依次输入所述目标时间上下文对应的适配模块和预测头中,得到所述目标时间上下文对应的初步预测结果;

33、根据各所述目标时间上下文对应的路由权重,对各所述目标时间上下文对应的初步预测结果进行加权融合,得到所述识别结果。

34、根据本发明提供的一种脑电信号识别方法,所述基于所述参考脑电特征、各所述时间上下文对应的适配模块和预测头以及各时间上下文对应的路由权重,确定所述识别结果,包括:

35、针对各所述目标时间上下文,将所述参考脑电特征输入所述目标时间上下文对应的适配模块,并将得到的适配后特征输入所述脑电信号识别模型中的共享预测头,得到所述目标时间上下文对应的共享预测结果;

36、基于预设融合系数,将所述目标时间上下文对应的共享预测结果和初步预测结果进行融合,得到所述目标时间上下文对应的初始融合结果;

37、基于各所述目标时间上下文对应的路由权重,将各所述目标时间上下文的初始融合结果进行再次融合,得到所述识别结果。

38、本发明还提供一种脑电信号识别模型的训练装置,包括:

39、第一获取模块,用于获取目标用户的非平稳样本脑电信号,并按照采集时间顺序将所述样本脑电信号划分为多个连续的时间块,其中,每个所述时间块对应一个时间上下文;

40、处理模块,用于针对当前时间上下文,建立所述当前时间上下文对应的适配模块和预测头,并基于所述当前时间上下文之前的各历史时间上下文对应的适配模块的历史适配参数,对所述当前时间上下文对应的适配模块进行初始化;

41、第一输入模块,用于将所述当前时间上下文对应的样本脑电数据段依次输入脑电特征提取网络和所述当前时间上下文对应的初始化后的适配模块中,得到所述当前时间上下文对应的适配后特征;

42、优化模块,用于基于所述当前时间上下文对应的适配后特征,对所述当前时间上下文对应的适配模块和预测头进行优化;

43、确定模块,用于基于所述脑电特征提取网络和各所述时间上下文对应的优化后的适配模块和预测头,确定脑电识别模型,所述脑电识别模型用于对所述目标用户的脑电信号进行识别。

44、本发明还提供一种脑电信号识别装置,包括:

45、第二获取模块,用于获取目标用户的待识别脑电信号;

46、第二输入模块,用于将所述待识别脑电信号输入脑电信号识别模型中,得到所述脑电信号识别模型输出的识别结果,所述脑电信号识别模型为基于如上任一实施例所述的方法训练得到的。

47、本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述任一种所述脑电信号识别模型的训练方法,或者所述处理器执行所述计算机程序时实现如上述任一种所述脑电信号识别方法。

48、本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述脑电信号识别模型的训练方法,或者,该计算机程序被处理器执行时实现如上述任一种所述脑电信号识别方法。

49、本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述脑电信号识别模型的训练方法,或者,所述计算机程序被处理器执行时实现如上述任一种所述脑电信号识别方法。

50、本发明提供的脑电信号识别模型的训练方法、脑电信号识别和装置,通过获取目标用户的非平稳样本脑电信号,并按照采集时间顺序将样本脑电信号划分为多个连续的时间块,每个时间块对应一个时间上下文,针对当前时间上下文,建立当前时间上下文对应的适配模块和预测头,并基于当前时间上下文之前的各历史时间上下文对应的适配模块的历史适配参数,对当前时间上下文对应的适配模块进行初始化;将当前时间上下文对应的样本脑电数据段依次输入脑电特征提取网络和当前时间上下文对应的初始化后的适配模块中,得到当前时间上下文对应的适配后特征;基于当前时间上下文对应的适配后特征,对当前时间上下文对应的适配模块和预测头进行优化;基于脑电特征提取网络和各时间上下文对应的优化后的适配模块和预测头,确定脑电识别模型,脑电识别模型用于对目标用户的脑电信号进行识别。由于各时间上下文拥有独立的适配模块和预测头,且当前时间上下文的适配模块基于历史适配参数进行因果初始化,使得历史时间阶段的个性化知识通过参数继承到当前时间上下文的适配模块,同时历史模块的参数在后续训练中不被覆盖,因此,可以在适应新时间阶段脑电分布漂移的同时,有效保持对历史时间阶段用户个性化知识的记忆,避免了灾难性遗忘,从而可以使训练得到的脑电识别模型能够实现对脑电信号长期漂移的自适应跟踪与历史知识的巩固。