一种基于加权傅里叶频谱与时间上下文协同建模的脑电人脸身份解码方法、装置、设备及介质
本技术涉及视觉理解,特别涉及一种基于加权傅里叶频谱与时间上下文协同建模的脑电人脸身份解码方法、装置、设备及介质。
背景技术:
1、基于eeg(electroencephalogram,脑电图信号)的视觉感知解码已成为神经科学、计算机视觉与脑机接口交叉领域的重要研究方向。与meg(magnetoencephalography,脑磁图)或fmri(functional magnetic resonance imaging,功能磁共振成像)相比,eeg具有时间分辨率高、成本相对较低、设备便携等优点,适合实时脑机接口、认知状态监测、神经反馈和脑控设备等应用。
2、目前有一些方法通过卷积网络提取局部时间与空间特征以提高身份判别信息的准确性,如eegnet、eegchannelnet和syncnet等方法,还有一些方法利用transformer的自注意力机制建立全局时间依赖以弥补卷积网络的局限。这些方法虽然可通过eeg信号识别身份信息,但主要是在时域特征空间完成建模,对eeg信号包含的频率结构缺乏显式刻画,难以有效区分不同频率神经活动对人脸身份认知的差异化贡献,最终会导致解码精度受限,无法满足高准确率身份识别场景的应用需求。
3、因而现有技术还有待改进和提高。
技术实现思路
1、本技术要解决的技术问题在于,针对现有技术的不足,提供一种基于加权傅里叶频谱与时间上下文协同建模的脑电人脸身份解码方法、装置、设备及介质。
2、为了解决上述技术问题,本技术第一方面提供了一种基于加权傅里叶频谱与时间上下文协同建模的脑电人脸身份解码方法,应用脑电人脸身份解码模型,所述脑电人脸身份解码模型包括时空卷积模块、时间上下文编码模块、加权傅里叶频谱增强模块以及融合分类器,所述方法具体包括:
3、利用时空卷积模块将脑电图信号转换为时空神经标记序列;
4、利用所述时间上下文编码模块基于所述时空神经标记序列建模不同时间片段之间的长程依赖关系,以得到时间上下文表征;
5、利用所述加权傅里叶频谱增强模块建模所述时空神经标记序列的全局频谱信息,以得到频谱表征;
6、利用融合分类器将所述时间上下文表征和所述频谱表征融合为身份表征,并基于所述身份表征确定身份类别。
7、所述的基于加权傅里叶频谱与时间上下文协同建模的脑电人脸身份解码方法,其中,所述利用时空卷积模块将脑电图信号转换为时空神经标记序列具体包括:
8、对脑电图信号进行时间滤波,以提取短时神经响应;
9、在脑电图信号的所有通道上对短时神经响应执行电极维空间聚合,以得到协同神经响应;
10、对所述协同神经响应进行平均池化操作,以将脑电图信号转换为时空神经标记序列。
11、所述的基于加权傅里叶频谱与时间上下文协同建模的脑电人脸身份解码方法,其中,所述时空神经标记序列中的每个时空神经标记对应一个局部脑电图信号时间片段。
12、所述的基于加权傅里叶频谱与时间上下文协同建模的脑电人脸身份解码方法,其中,所述利用所述时间上下文编码模块基于所述时空神经标记序列建模不同时间片段之间的长程依赖关系,以得到时间上下文表征具体包括:
13、对所述时空神经标记序列执行多头自注意力,以得到注意力特征;
14、将所述注意力特征与所述时空神经标记序列融合,以得到中间特征;
15、利用前馈网络对所述中间特征进行处理,并将处理后的中间特征与所述中间特征进行残差连接以得到时间上下文表征。
16、所述的基于加权傅里叶频谱与时间上下文协同建模的脑电人脸身份解码方法,其中,所述利用所述加权傅里叶频谱增强模块建模所述时空神经标记序列的全局频谱信息,以得到频谱表征具体包括:
17、利用傅里叶变换将所述时空神经标记序列变换为复数频谱表征,并对所述复数频谱表征进行滤波以得到滤波频谱表征;
18、计算所述滤波频谱表征中每个频率分量的调制权重,并依据所述调制权重对所述滤波频谱表征进行调制以得到调制频谱表征;
19、对所述调制频谱表征进行逆傅里叶变换,以得到时序特征;
20、对所述时空神经标记序列进行逐点线性映射,并将映射后的时空神经标记序列与所述时序特征进行融合,以得到频谱表征。
21、所述的基于加权傅里叶频谱与时间上下文协同建模的脑电人脸身份解码方法,其中,所述对所述复数频谱表征进行滤波以得到滤波频谱表征具体为:
22、采用复数频谱滤波器对所述复数频谱表征进行滤波以得到滤波频谱表征,其中,在训练脑电人脸身份解码模型时,采用频率依赖的衰减方式对所述复数频谱滤波器的实部和虚部进行初始化。
23、所述的基于加权傅里叶频谱与时间上下文协同建模的脑电人脸身份解码方法,其中,所述利用融合分类器将所述时间上下文表征和所述频谱表征融合为身份表征,并基于所述身份表征确定身份类别具体包括:
24、将所述时间上下文表征和所述频谱表征拼接为拼接表征,并对所述拼接表征进行融合以得到身份表征;
25、基于所述身份表征确定身份类别。
26、本技术第二方面提供了一种基于加权傅里叶频谱与时间上下文协同建模的脑电人脸身份解码装置,所述装置部署有脑电人脸身份解码模型,所述脑电人脸身份解码模型包括时空卷积模块、时间上下文编码模块、加权傅里叶频谱增强模块以及融合分类器,所述装置具体包括:
27、获取模块,用于获取脑电图信号;
28、控制模块,用于利用时空卷积模块将脑电图信号转换为时空神经标记序列;利用所述时间上下文编码模块基于所述时空神经标记序列建模不同时间片段之间的长程依赖关系,以得到时间上下文表征;利用所述加权傅里叶频谱增强模块建模所述时空神经标记序列的全局频谱信息,以得到频谱表征;以及利用融合分类器将所述时间上下文表征和所述频谱表征融合为身份表征,并基于所述身份表征确定身份类别。
29、本技术第三方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如上任一所述的基于加权傅里叶频谱与时间上下文协同建模的脑电人脸身份解码方法中的步骤。
30、本技术第四方面提供了一种终端设备,其包括:处理器和存储器;
31、所述存储器上存储有可被所述处理器执行的计算机可读程序;
32、所述处理器执行所述计算机可读程序时实现如上任一所述的基于加权傅里叶频谱与时间上下文协同建模的脑电人脸身份解码方法中的步骤。
33、有益效果:
34、1、本技术利用时间上下文编码模块建模不同时间片段之间的长程依赖关系,利用加权傅里叶频谱增强模块建模全局频谱信息,并将建模得到长程依赖关系和全局频谱信息融合,使得身份表征更具判别性和稳定性,增强了对eeg信号中身份相关信息的表达能力,从而可以提高脑电人脸身份解码精度。
35、2、本技术通过复数频谱滤波和频率依赖加权,对不同傅里叶模态的贡献进行动态调节,在抑制不可靠频谱波动的同时,保留潜在的判别性频谱信息,进一步提升了身份特征的判别能力。
36、3、本技术采用按照频率依赖的衰减方式对复数频谱滤波器进行初始化,为eeg频谱学习提供了更稳定的初始化先验,使得模型训练过程中频谱特征的学习收敛更快,训练稳定性更强,降低了模型训练过程中陷入局部最优的风险。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com