跨用户脑机接口疲劳检测模型的训练及其疲劳检测方法

摘要: 本发明属于脑机接口的,特别是涉及一种跨用户脑机接口疲劳检测模型的训练及其疲劳检测方法、设备与存储介质。背景技术:1、用户在长时间驾驶车辆等场景中容易产生疲劳,这...
跨用户脑机接口疲劳检测模型的训练及其疲劳检测方法

本发明属于脑机接口的,特别是涉及一种跨用户脑机接口疲劳检测模型的训练及其疲劳检测方法、设备与存储介质。

背景技术:

1、用户在长时间驾驶车辆等场景中容易产生疲劳,这是一种由过度负荷诱发的心身状态,表现为信息处理能力、反应时和决策能力的下降,容易产生安全风险。

2、目前,由于脑电(electroencephalography,eeg)信号具有动态、非平稳的特点,能够直接反映大脑皮层电活动,在疲劳检测中具有独特优势,基于脑电信号的疲劳检测方法受到广泛关注,即,用户佩戴脑机接口设备采集脑电信号,将脑电信号输入预训练的神经网络中识别用户产生疲劳的概率。

3、脑机接口设备通常是使用多通道电极,如16通道或32通道,佩戴多个电极的操作较为繁琐,导致准备时间长,并且,在用户头部的多个位置佩戴多个电极,侵入性较强,容易导致用户分散注意力,对驾驶等操作产生负面影响。

技术实现思路

1、有鉴于此,本发明提供了一种跨用户脑机接口疲劳检测模型的训练及其疲劳检测方法、设备与存储介质,用以在维持疲劳检测度精确度不变的条件下降低通道数量。

2、本发明的第一方面提供了一种跨用户脑机接口疲劳检测模型的训练方法,包括:

3、确定疲劳检测模型;所述疲劳检测模型包括特征提取层、跨模态对齐层、交叉注意力融合层、检测头与领域判别器;

4、获取由脑机接口设备中单个电极对用户采集的单通道脑电信号;

5、在所述特征提取层中,从所述脑电信号中提取频域上的原始频域脑电特征与时域上的原始时域脑电特征;

6、在所述跨模态对齐层中,将所述原始频域脑电特征与所述原始时域脑电特征对齐维度,得到目标频域脑电特征与目标时域脑电特征;

7、在所述交叉注意力融合层中,将所述目标频域脑电特征与所述目标时域脑电特征融合为时频互补脑电特征;

8、在所述检测头中,依据所述时频互补脑电特征检测所述用户产生疲劳的第一样本概率;

9、在所述领域判别器中,依据所述时频互补脑电特征检测所述脑电信号来源于各个所述用户的第二样本概率;

10、依据所述目标频域脑电特征、所述目标时域脑电特征、所述第一样本概率与所述第二样本概率计算总损失值;

11、依据所述总损失值训练所述疲劳检测模型;所述领域判别器在所述疲劳检测模型训练完成时丢弃。

12、本发明的第二方面提供了一种疲劳检测方法,包括:

13、加载根据第一方面所述的方法训练的疲劳检测模型;所述疲劳检测模型包括特征提取层、跨模态对齐层、交叉注意力融合层与检测头;

14、接收由脑机接口设备中单个电极对驾驶员采集的单通道脑电信号;

15、在所述特征提取层中,从所述脑电信号中提取频域上的原始频域脑电特征与时域上的原始时域脑电特征;

16、在所述跨模态对齐层中,将所述原始频域脑电特征与所述原始时域脑电特征对齐维度,得到目标频域脑电特征与目标时域脑电特征;

17、在所述交叉注意力融合层中,将所述目标频域脑电特征与所述目标时域脑电特征融合为时频互补脑电特征;

18、在所述检测头中,依据所述时频互补脑电特征检测所述驾驶员产生疲劳的目标概率;

19、依据所述目标概率对所述驾驶员执行警报操作;其中,所述警报操作的强度与所述目标概率正相关。

20、本发明的第三方面提供了一种跨用户脑机接口疲劳检测模型的训练装置,包括:

21、模型确定模块,用于确定疲劳检测模型;所述疲劳检测模型包括特征提取层、跨模态对齐层、交叉注意力融合层、检测头与领域判别器;

22、脑电信号获取模块,用于获取由脑机接口设备中单个电极对用户采集的单通道脑电信号;

23、时频特征提取模块,用于在所述特征提取层中,从所述脑电信号中提取频域上的原始频域脑电特征与时域上的原始时域脑电特征;

24、时频特征对齐模块,用于在所述跨模态对齐层中,将所述原始频域脑电特征与所述原始时域脑电特征对齐维度,得到目标频域脑电特征与目标时域脑电特征;

25、时频特征融合模块,用于在所述交叉注意力融合层中,将所述目标频域脑电特征与所述目标时域脑电特征融合为时频互补脑电特征;

26、疲劳检测模块,用于在所述检测头中,依据所述时频互补脑电特征检测所述用户产生疲劳的第一样本概率;

27、用户分类模块,用于在所述领域判别器中,依据所述时频互补脑电特征检测所述脑电信号来源于各个所述用户的第二样本概率;

28、总损失值计算模块,用于依据所述目标频域脑电特征、所述目标时域脑电特征、所述第一样本概率与所述第二样本概率计算总损失值;

29、模型训练模块,用于依据所述总损失值训练所述疲劳检测模型;所述领域判别器在所述疲劳检测模型训练完成时丢弃。

30、本发明的第四方面提供了一种疲劳检测装置,包括:

31、模型加载模块,用于加载根据第一方面所述的跨用户脑机接口疲劳检测模型的训练方法训练的疲劳检测模型;所述疲劳检测模型包括特征提取层、跨模态对齐层、交叉注意力融合层与检测头;

32、脑电信号接收模块,用于接收由脑机接口设备中单个电极对驾驶员采集的单通道脑电信号;

33、时频特征提取模块,用于在所述特征提取层中,从所述脑电信号中提取频域上的原始频域脑电特征与时域上的原始时域脑电特征;

34、时频特征对齐模块,用于在所述跨模态对齐层中,将所述原始频域脑电特征与所述原始时域脑电特征对齐维度,得到目标频域脑电特征与目标时域脑电特征;

35、时频特征融合模块,用于在所述交叉注意力融合层中,将所述目标频域脑电特征与所述目标时域脑电特征融合为时频互补脑电特征;

36、疲劳检测模块,用于在所述检测头中,依据所述时频互补脑电特征检测所述驾驶员产生疲劳的目标概率;

37、警报操作执行模块,用于依据所述目标概率对所述驾驶员执行警报操作;其中,所述警报操作的强度与所述目标概率正相关。

38、本发明的第五方面提供了一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述第一方面所述的跨用户脑机接口疲劳检测模型的训练方法或者如上述第二方面所述的疲劳检测方法。

39、本发明的第六方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上述第一方面所述的跨用户脑机接口疲劳检测模型的训练方法或者如上述第二方面所述的疲劳检测方法。

40、本发明的第七方面提供了一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行如上述第一方面所述的跨用户脑机接口疲劳检测模型的训练方法或者如上述第二方面所述的疲劳检测方法。

41、与背景技术相比,本发明实施例具有以下有益效果:

42、应用单电极对用户采集单通道脑电信号,佩戴操作简便,准备时间短,单电极侵入性低,对用户干扰少,减少对驾驶等操作产生负面影响,并且,疲劳检测模型从时域与频域从脑电信号提取特征,两种模态对齐后基于注意力进行交叉融合,从疲劳二分类、用户多分类与中间层综合计算总损失值对疲劳检测模型进行训练,可保持疲劳检测模型使用单通道脑电信号的稀疏信息进行疲劳检测的精确度。同时,基于领域判别器与总损失值的域对抗训练,促使疲劳检测模型学习去除用户个体特异性的域不变特征,有效提升了疲劳检测模型在跨用户场景下的泛化能力,使训练完成的疲劳检测模型能够适用于未曾参与训练的新用户。