一种基于特征可视化和多模态融合的脑电身份识别方法

技术特征：
1.一种基于特征可视化和多模态融合的脑电身份识别方法，其特征在于，包括以下步骤：s101：对所采集到的运动想象脑电信号进行数据预处理，将预处理后的脑电数据根据时间窗分割为连续不重叠的样本并对其提取时频域特征，将时频域特征的频率分量根据频率分布划分为5个频带，对每个频带的特征频率分量计算其统计特征作为频带特征；s102：将步骤s101所得到的频带特征去均值，针对每一个频带，根据人脑皮层的电极通道定位映射到脑图上，采用双调和样条插值方法进行插值生成可视化的脑地形图；s103：使用神经网络分别对步骤s101提取的脑电时频域特征和步骤s102生成的脑电可视化图像提取深度信息：分别使用深度网络学习脑电向量特征和脑电可视化特征，使用归一化层代替分类层生成两个模态的平滑特征，并在同一维度上融合作为多模态深度特征；s104：对步骤s103所得的多模态深度特征训练模型；身份识别：将待识别的脑电数据样本输入已设计的特征提取模型和已训练的多模态多分类网络，对脑电向量特征和生成的可视化特征的融合深度特征进行分类，输出该样本所对应的用户标签。2.根据权利要求1所述的一种基于特征可视化的脑电信号身份识别方法，其特征在于，步骤s101中：对所述采集到的脑电信号需要先经过预处理重参考平均电极，使用带通滤波将可用频率范围限制在0～42hz，并进行基线校正；所述预处理后的脑电信号使用长度为5秒的时间窗分割为连续不重叠的独立样本，作为在相同外部刺激下的不同观察结果；接着，对所述对时间窗分割后的独立脑电样本基于短时傅里叶变换提取功率谱密度，此时频域特征为频率分量，对于时间窗为τ的频率分量为n的第m个独立样本x
[m,n]
＝[x
[m,n]
(1),
…
,x
[m,n]
(t),
…
,x
[m,n]
(τ)]，其功率谱密度可以表示为，其中stft
(τ,s)
(x)表示时间窗为τ、窗滑动长为s的短时傅里叶变换，h(
·
)表示滑动长为s的窗函数；所述短时傅里叶变换采用了移动窗长为的采样频率、50％重叠的汉明窗；所述对特征提取后的频率分量表现为64电极、0～42hz波段，根据delta(0.5～3hz)、theta(4～7hz)、alpha(8～12hz)、beta(13～30hz)和gamma(31～42hz)划分为5个频带；所述对每个频带的频率分量计算其通道平均值作为统计特征，对于通道i，所述统计特征d(i)可以定义为，其中，f(i,freq)表示通道i在第freq个频率分量的stft特征，f1、f2表示该频带的频率范围。3.根据权利要求1所述的一种基于特征可视化的脑电信号身份识别方法，其特征在于，步骤s102中：所述每个频带的统计特征根据所有通道去均值后的数据为，其中，d(i)表示当取平均时电极i在频率范围为f1到f2hz的平均值，n表示电极数量；所述每个频带去均值后的脑电特征基于10-10系统的电极定位标准一一对应，映射到
脑图上；针对每个频带，使用green函数对所述不规则电极间隔的脑电数据点进行最小曲率插值，电极i和电极j上脑电特征数据的green函数表示为，g(x
i
,x
j
)＝|x
i
,x
j
|2(ln|x
i
,x
j
|-1)以电极i为中心的曲面s(x
i
)，对所述不规则间隔的电极i和电极j的green函数求解n
×
n的线性方程组，得到人脑皮层n个电极的权重，使用所述人脑皮层n个电极的权重ω
j
和已知电极的特征数据x
j
(1≤j≤n)，得到未知电极的特征数据，人脑皮层的曲面特征定义为，采用如上所述双调和样条插值方法进行插值，可以得到人脑皮层已知和未知位置的特征数据；所述人脑皮层的特征数据可视化，生成rgb脑地形图。4.根据权利要求1所述的一种基于特征可视化的脑电信号身份识别方法，其特征在于，步骤s103中：对所述s101提取的脑电功率谱密度特征使用3d-cnn提取深度信息，使用batchnorm层代替所述3d-cnn网络最后的softmax层，得到脑电向量的平滑特征feature
vector
；对所述s102插值生成的脑地形图使用resnet-18提取深度信息，使用batchnorm层代替所述resnet-18网络最后的softmax层，得到脑电图像的平滑特征feature
image
；为保持统一的维数，所述两个模态的深度平滑特征在同一维度上进行融合，得到深度融合特征，feature
combined
＝[feature
vector
,feature
image
]对所述提取和融合的多模态深度特征feature
combined
进行softmax分类。5.根据权利要求1所述的一种基于特征可视化的脑电信号身份识别方法，其特征在于，步骤s104中：对所述s103设计的深度融合特征和多模态分类器进行迭代训练直至模型收敛，针对每个频带得到一个有效的深度特征提取器和多模态分类器，使用性能最高的频带模型作为分类准则；使用所述深度特征提取器和多模态分类器对待识别的脑电数据样本进行预处理、提取向量特征和可视化特征、分类识别，确定该脑电数据样本所对应的用户标签。

技术总结
本发明公开了一种基于特征可视化和多模态融合的脑电身份识别方法，包括如下步骤：首先对所运动想象脑电信号进行数据预处理；然后针对每个频带，将去均值后的频带特征根据人脑皮层的电极定位映射到脑图上，采用双调和样条插值方法进行插值生成可视化的脑地形图；接着，使用深度网络分别对脑电时频域特征和脑电可视化图像特征提取深度信息，在同一维度上融合作为多模态深度特征；针对每个频带，训练得到一个有效的深度特征提取器和多模态分类器，使用性能最高的频带模型作为本系统的身份识别模型。本发明的脑电可视化特征表示能够体现通道位置信息，同时能够挖掘未采集电极的潜在脑电信息，深层挖掘图像特征与传统向量特征的互补关系。互补关系。互补关系。


技术研发人员：王喆 黄楠 李冬冬 杨海 杜文莉 张静
受保护的技术使用者：华东理工大学
技术研发日：2022.02.23
技术公布日：2022/6/4