一种基于特征可视化和多模态融合的脑电身份识别方法

：
1.本发明涉及脑电身份识别技术领域，具体地说，本发明涉及一种基于特征可视化和多模态融合对脑电信号进行生物特征识别的脑电身份识别方法。


背景技术：

2.身份识别被广泛需求和应用于生活中的各方面，如监控和安全，导致了越来越需要更可靠的身份认证技术以提高安全性。物联网时代的身份认证技术包括了基于口令的认证技术和基于标记的认证技术，被广泛应用于刑事侦查、银行交易、证书安全和门禁系统等领域。随着机器学习的发展，指纹识别、声纹识别、人脸识别等生物识别技术发展较成熟。然而，这些传统认证方法中的个人隐私信息容易被窃取、复制、合成或者伪造，会造成隐私泄露和系统不安全等问题。为了实现自动化用户认证系统，特别是在某些安全系数较高的情况下，利用脑电(electroencephalogram，简称eeg)等生物信号进行认知生物识别越来越受到人们的关注。
3.脑电信号是由大脑皮层产生的一种非平稳、非线性的随机信号，因其普适性、便携性、可收集性、唯一性、无创性，被认为是最有前途、最可靠的进行生物特征识别的生物信号之一。与传统的身份认证技术相比，eeg具有很强的防伪能力和防盗性能，因为eeg信号是由人类个体的意识参与产生的，必须通过人的意识来捕获，并且用户不能故意泄露非自愿的信号信息。将脑电信号应用于身份识别的过程包括刺激诱发，脑电信号采集，脑电信号预处理，特征提取，特征分类以实现身份识别。在这些过程中，有效的特征提取和合适的特征分类器是决定身份识别性能的关键。脑电生物识别通常关注50hz以下的5个频带的脑电信号，包括delta波(0.5～3hz)、theta波(4～7hz)、alpha波(8～12hz)、beta波(13～30hz)和gamma波(》31hz)。在脑电信号的特征提取过程中，具有代表性的特征提取方法可以分为时域分析(包括振幅、均值、方差等)、频域分析(包括功率谱分析、相干分析等)、时频域分析(包括小波变换、经验模态分解等)和空域分析(包括共空域模式法、独立分量分析等)，为提高生物特征识别的准确率，一些研究将不同域的特征提取方法进行组合，提取eeg信号的多维度特征可以从多个域对eeg进行表征。近年来，一些研究将电极通道和脑区之间的功能连通性作为脑电信号的生物特征，使得基于脑电信号的受试者识别方法具有更高的辨识度和更强的鲁棒性。在脑电信号的特征分类过程中，分类器可以分为浅层分类器和深层分类器。浅层分类方法对原始eeg信号预处理，进行包括频域特征滤波、时域特征滤波、空域特征滤波在内的特征提取以增强信号质量，将加强的eeg信号作为模型的输入作为训练。浅层分类器以线性判别分析、支持向量机、隐式马尔可夫模型等为代表。深层分类方法直接将原始信号作为模型的输入进行端到端的训练，而不再需要提取信号的特征。因eeg信号的时域性、频域性和空间性质，卷积神经网络和循环神经网络常用作生物特征识别的深层分类方法。
4.然而，传统的脑电特征仍然存在一定的局限性。首先，传统特征的矩阵数据大多侧重于数值信息，而不是区域信息和电极位置信息。这种特征会缺乏大脑功能区域的连通性，而这对生物识别尤其重要。另外，采集电极数量越多，采集的信息越全面，但采集设备的成
本越高。这使得采集到的脑电信号受到采集设备电极数量的限制，缺乏全局信息。因此，对具有脑区域信息和潜在电极位置信息的脑电特征开展研究对提高生物识别系统的精确率具有重要的现实意义和实用价值。


技术实现要素：

5.为解决上述问题，本发明提供了一种基于特征可视化和多模态融合的脑电身份识别方法，构建能够表征脑区域和电极分布信息的新型eeg特征可视化表示方法，体现通道信息的同时挖掘未采集电极的潜在信息；在此基础上建立多模态模型，通过融合eeg的向量特征和可视化的图像特征，增加模型分类的特征维度，深层挖掘图像特征与传统eeg向量特征的互补关系，提高整体分类性能。
6.1.一种基于特征可视化和多模态融合的脑电身份识别方法，其特征在于，包括以下步骤：
7.s101：对所采集到的运动想象脑电信号进行数据预处理，将预处理后的脑电数据根据时间窗分割为连续不重叠的样本并对其提取时频域特征，将时频域特征的频率分量根据频率分布划分为5个频带，对每个频带的特征频率分量计算其统计特征作为频带特征；
8.s102：将步骤s101所得到的频带特征去均值，针对每一个频带，根据人脑皮层的电极通道定位映射到脑图上，采用双调和样条插值方法进行插值生成可视化的脑地形图；
9.s103：使用神经网络分别对步骤s101提取的脑电时频域特征和步骤s102生成的脑电可视化图像提取深度信息：分别使用深度网络学习脑电向量特征和脑电可视化特征，使用归一化层代替分类层生成两个模态的平滑特征，并在同一维度上融合作为多模态深度特征；
10.s104：对步骤s103所得的多模态深度特征训练模型；身份识别：将待识别的脑电数据样本输入已设计的特征提取模型和已训练的多模态多分类网络，对脑电向量特征和生成的可视化特征的融合深度特征进行分类，输出该样本所对应的用户标签。
11.2.根据权利要求1所述的一种基于特征可视化和多模态融合的脑电身份识别方法，其特征在于，步骤s101中：对所述采集到的脑电信号需要先经过预处理重参考平均电极，使用带通滤波将可用频率范围限制在0～42hz，并进行基线校正；所述预处理后的脑电信号使用长度为5秒的时间窗分割为连续不重叠的独立样本，作为在相同外部刺激下的不同观察结果。
12.接着，对所述对时间窗分割后的独立脑电样本基于短时傅里叶变换提取功率谱密度，此时频域特征为频率分量，对于时间窗为τ的频率分量为n的第m个独立样本x
[m,n]
＝[x
[m,n]
(1),
…
,x
[m,n]
(t),
…
,x
[m,n]
(τ)]，其功率谱密度可以表示为，
[0013][0014]
其中stft
(τ,s)
(x)表示时间窗为τ、窗滑动长为s的短时傅里叶变换，h(
·
)表示滑动长为s的窗函数。所述短时傅里叶变换采用了移动窗长为的采样频率、50％重叠的汉明窗。
[0015]
所述对特征提取后的频率分量表现为64电极、0～42hz波段，根据delta(0.5～3hz)、theta(4～7hz)、alpha(8～12hz)、beta(13～30hz)和gamma(31～42hz)划分为5个频带；所述对每个频带的频率分量计算其通道平均值作为统计特征，对于通道i，所述统计特
征d(i)可以定义为，
[0016][0017]
其中，f(i,freq)表示通道i在第freq个频率分量的stft特征，f1、f2表示该频带的频率范围。
[0018]
3.根据权利要求1所述的一种基于特征可视化和多模态融合的脑电身份识别方法，其特征在于，步骤s102中：所述每个频带的统计特征根据所有通道去均值后的数据为，
[0019][0020]
其中，d(i)表示当取平均时电极i在频率范围为f1到f2hz的平均值，n表示电极数量。
[0021]
所述每个频带去均值后的脑电特征基于10-10系统的电极定位标准一一对应，映射到脑图上；针对每个频带，使用green函数对所述不规则电极间隔的脑电数据点进行最小曲率插值，电极i和电极j上脑电特征数据的green函数表示为，
[0022]
g(xi,xj)＝|xi,xj|2(ln|xi,xj|-1)
[0023]
以电极i为中心的曲面s(xi)，对所述不规则间隔的电极i和电极j的green函数求解n
×
n的线性方程组，得到人脑皮层n个电极的权重，
[0024][0025]
使用所述人脑皮层n个电极的权重ωj和已知电极的特征数据xj(1≤j≤n)，得到未知电极的特征数据，人脑皮层的曲面特征定义为，
[0026][0027]
采用如上所述双调和样条插值方法进行插值，可以得到人脑皮层已知和未知位置的特征数据；所述人脑皮层的特征数据可视化，生成rgb脑地形图。
[0028]
4.根据权利要求1所述的一种基于特征可视化和多模态融合的脑电身份识别方法，其特征在于，步骤s103中：对所述s101提取的脑电功率谱密度特征使用3d-cnn提取深度信息，使用batchnorm层代替所述3d-cnn网络最后的softmax层，得到脑电向量的平滑特征feature
vector
；对所述s102插值生成的脑地形图使用resnet-18提取深度信息，使用batchnorm层代替所述resnet-18网络最后的softmax层，得到脑电图像的平滑特征feature
image
；为保持统一的维数，所述两个模态的深度平滑特征在同一维度上进行融合，得到深度融合特征，
[0029]
feature
combined
＝[feature
vector
,feature
image
]
[0030]
对所述提取和融合的多模态深度特征featurecombined进行softmax分类。
[0031]
5.根据权利要求1所述的一种基于特征可视化和多模态融合的脑电身份识别方法，其特征在于，步骤s104中：对所述s103设计的深度融合特征和多模态分类器进行迭代训练直至模型收敛，针对每个频带得到一个有效的深度特征提取器和多模态分类器，使用性能最高的频带模型作为分类准则；使用所述深度特征提取器和多模态分类器对待识别的脑电数据样本进行预处理、提取向量特征和可视化特征、分类识别，确定该脑电数据样本所对应的用户标签。
[0032]
本发明有益的效果是：
[0033]
1、本发明的一种基于特征可视化和多模态融合的脑电身份识别方法，将时序的脑电信号转换为体现时间分辨率和频率分辨率的时频域特征，将时频域特征根据波段分割为5个经典频带，针对每一个频带进行研究，综合有效地考虑了不同频率范围的脑电信号对生物特征识别性能的影响；针对每一个频带生成可视化的脑地形图，体现相同频带下样本图像的相似性和不同频带下样本图像的特异性，进一步证明了不同波段的频带携带的生理信号的差异，有效区分了不同频率范围的脑电信号对生物特征识别性能的影响；选择性能最佳的频带分类器，排除了低相关性的频带信号的影响，增强高相关性的频带信号的特征，从而提高身份识别的准确率。
[0034]
2、本发明的一种基于特征可视化和多模态融合的脑电身份识别方法，不同于传统的矩阵数值特征，采用插值可视化的脑地形图作为生理特征来进行生物特征识别。一方面，本发明的可视化特征是基于人脑皮层的电极通道生成的，在体现数值数据的同时，能够直观准确地体现大脑的电极位置和区域信息，具有大脑功能区域的连通性；另一方面，在采集设备电极数量的限制下，本发明的可视化特征使用插值生成未采集电极的特征数据，挖掘未采集电极的潜在信息，具有全局信息。本发明的可视化特征在确保高识别率的同时，可以弥补传统脑电特征在以上两个方面的局限性。
[0035]
3、本发明的一种基于特征可视化和多模态融合的脑电身份识别方法，将传统的脑电向量特征和本发明设计的新型可视化特征相结合，增加模型分类的特征维度，挖掘图像特征和传统eeg向量特征的互补关系，使用融合特征和多模态模型提高整体身份识别性能。
附图说明
[0036]
为了更清楚地说明本发明实施例的技术方案，下面对实施例描述中所需要使用的附图作简单地介绍。
[0037]
图1是本发明实施例一种基于特征可视化和多模态融合的脑电身份识别方法的结构示意图。
[0038]
图2是本发明实施例脑电特征可视化的过程示意图。
[0039]
图3是本发明实施例用于脑地形图生成的插值方法示意图。
[0040]
图4是本发明实施例一种基于特征可视化和多模态融合的脑电身份识别方法的总体架构。
[0041]
图5是本发明实施例多模态特征融合的模型结构。
具体实施方式
[0042]
下面结合附图和具体实施例对本发明进行详细描述：本发明的方法共分为五个部分。
[0043]
第一部分：脑电信号预处理及特征提取
[0044]
第二部分：脑电特征可视化
[0045]
第三部分：多模态特征融合
[0046]
第四部分：脑电信号身份识别
[0047]
根据这四个部分，本发明实施例一种基于特征可视化和多模态融合的脑电身份识别方法，如图1所示，包括以下步骤：
[0048]
s101：对所采集到的运动想象脑电信号进行数据预处理，将预处理后的脑电数据根据时间窗分割为连续不重叠的样本并对其提取时频域特征，将时频域特征的频率分量根据频率分布划分为5个频带，对每个频带的特征频率分量计算其统计特征作为频带特征；
[0049]
读取所获取脑电信号，根据国际标准的10-10系统电极位置进行通道重定位；以平均电极为参考，对重定位的脑电数据进行重参考；使用带通滤波，将可用频率范围限制在0～42hz；进行基线校正，移除平均基线值以防止预处理后的脑电信号由于低频漂移或伪影引起的基线差异；对于时间长度为time
signal
的脑电信号，使用长度为length＝5秒的时间窗分割为连续不重叠的独立样本共m个，
[0050]
input＝[input0,input
length
,input2·
length
,
…
,input
(m-1)
·
length
]
[0051]
其中，(m-1)
·
length≤time
signal
《m
·
length。这m个连续不重叠的预处理脑电记录作为在相同外部刺激下的不同观察结果，扩大脑电数据集。
[0052]
对于第m(1≤m≤m)个独立样本input
(m-1)
·
length
，针对频率分量范围为0≤n≤42hz的脑电信号x
[m,n]
＝[x
[m,n]
(1),
…
,x
[m,n]
(t),
…
,x
[m,n]
(τ)]，基于短时傅里叶变换使用窗长为50％重叠的汉明窗提取功率谱密度
[0053][0054]
所提取的功率谱密度是n
×
42的矩阵，表示n通道、42频率分量。针对每一个电极通道，根据delta(0.5～3hz)、theta(4～7hz)、alpha(8～12hz)、beta(13～30hz)和gamma(31～42hz)的频率分布，计算脑电时频域特征的平均值：
[0055]
delta频带的脑电特征为大小为n
×
4，1≤i≤n表示通道序号；delta频带的特征平均值为大小为n
×
1；
[0056]
theta频带的脑电特征为大小为n
×
4，1≤i≤n表示通道序号；theta频带的特征平均值为大小为n
×
1；
[0057]
依此类推。得到5个频带关于n个电极通道的脑电特征，delta频带的向量特征feature
vector
大小为n
×
4，theta频带的向量特征feature
vector
大小为n
×
4，alpha频带的向量特征feature
vector
大小为n
×
5，beta频带的向量特征feature
vector
大小为n
×
18，gamma频带的向量特征feature
vector
大小为n
×
10。去均值得到分别为n
×
1的向量特征。
[0058]
s102：将步骤s101所得到的频带特征去均值，针对每一个频带，根据人脑皮层的电极通道定位映射到脑图上，采用双调和样条插值方法进行插值生成可视化的脑地形图；
[0059]
如图2所示，首先，针对5个频带分别对其脑电特征关于所有通道去均值，使得每个
频带的脑电特征数据中心化到0。具体实施基于人脑皮层的所有电极通道，将每一通道的特征去均值后作为其特征向量：
[0060]
令delta频带的通道平均值为delta频带去均值后的特征为大小为n
×
1；
[0061]
令theta频带的通道平均值为theta频带去均值后的特征为大小为n
×
1；
[0062]
令alpha频带的通道平均值为alpha频带去均值后的特征为大小为n
×
1；
[0063]
令beta频带的通道平均值为beta频带去均值后的特征为大小为n
×
1；
[0064]
令gamma频带的通道平均值为gamma频带去均值后的特征为大小为n
×
1。
[0065]
得到5个频带关于n个电极通道的去均值特征，分别为n
×
1的向量。
[0066]
接着，针对每一个频带，将去均值的n
×
1向量映射于国际标准的10-10系统n电极位置。如图3所示，基于双调和样条插值法，根据已知位置的电极特征计算未知位置的特征数据，将人脑皮层的数据可视化，生成rgb脑地形图作为256
×
256
×
3的可视化特征feature
image
。
[0067]
s103：使用神经网络分别对步骤s101提取的脑电时频域特征和步骤s102生成的脑电可视化图像提取深度信息：分别使用深度网络学习脑电向量特征和脑电可视化特征，使用归一化层代替分类层生成两个模态的平滑特征，并在同一维度上融合作为多模态深度特征；
[0068]
本发明采用3d-cnn学习脑电向量特征，采用resnet-18学习脑电可视化特征。针对每一个频带，分别对s101提取的脑电向量特征feature
vector
和s102可视化生成的脑电图像特征feature
image
提取深度信息。然后，将向量和图像的深度特征在同一维度上融合，得到融合深度特征feature
deep
＝[deep_feature
vector
,deep_feature
image
]，作为后续身份识别分类的输入。
[0069]
s104：对步骤s103所得的多模态深度特征训练模型；身份识别：将待识别的脑电数据样本输入已设计的特征提取模型和已训练的多模态多分类网络，对脑电向量特征和生成的可视化特征的融合深度特征进行分类，输出该样本所对应的用户标签。
[0070]
数据集：
[0071]
本发明训练模型的试验对象为大规模的标准脑电运动想象数据集eeg motor movement/imagery dataset。本实施例中，数据集包含1500多个1～2分钟的脑电信号记录，脑电信号样本来自于109名健康受试者，采样频率为160hz；每名受试者执行不同的运动/想象任务，使用bci2000系统记录64通道脑电信号；每位受试者进行了14次实验：2项1分钟的基线运动(第1次睁眼，第2次闭眼)，以及以下4个任务中每一项进行了3次2分钟的运动：
[0072]
task1：目标出现在屏幕的左侧或右侧。对象打开并合上相应的拳头，直到目标消失。然后主体放松。
[0073]
task2：目标出现在屏幕的左侧或右侧。对象想象打开并合上相应的拳头，直到目标消失。然后主体放松。
[0074]
task3：目标出现在屏幕的顶部或底部。对象打开或合上两个拳头(如果目标在顶部)或双脚(如果目标在底部)，直到目标消失。然后主体放松。
[0075]
task4：目标出现在屏幕的顶部或底部。对象想象打开或合上两个拳头(如果目标在顶部)或双脚(如果目标在底部)，直到目标消失。然后主体放松。
[0076]
简称睁眼为eo(eye open)，闭眼为ec(eye close)，运动状态为phy(physical)，想象运动状态为ima(image)。
[0077]
实验设计：
[0078]
本发明为了实现在人脑不同状态时的稳定性，采用跨任务数据集训练身份识别模型：将eo和ec静息状态的数据作为训练，将phy或ima运动想象的数据作为测试。图4所示为本方法采用的一种基于特征可视化和多模态融合的脑电身份识别方法总体架构。
[0079]
首先，根据步骤s101对原始脑电信号进行数据预处理。然后，根据步骤s102对预处理后信号提取脑电特征和特征可视化。接着，根据步骤s103将向量特征和图像特征进行多模态特征融合。以beta频带为例：
[0080]
本发明采用的n＝64。首先，使用如表1的cnn结构对64
×
18大小的向量特征提取深度信息，得到长度为512的深度特征向量deep_feature
vector
，其中bs表示批量数；
[0081]
表1 cnn网络结构详细参数cnn网络结构详细参数
[0082]
接着，使用如表2的resnet-18结构对256
×
256
×
3大小的脑电可视化特征feature
image
提取深度信息，得到长度为512的深度特征向量deep_feature
image
，其中bs表示批量数。残差块内的结构如图4所示；
[0083]
表2 resnet-18网络结构详细参数
[0084]
然后，将向量和图像的深度特征在同一维度上融合，得到长度为1024的融合深度特征feature
deep
＝[deep_feature
vector
,deep_feature
image
]。如图5所示为多模态特征融合的结构。对步骤s103所得的多模态深度特征训练模型。
[0085]
实验结果：
[0086]
为选择表现较好的波段进行特征融合，我们首先对单模态特征在各个频段上的性能进行验证。针对脑电向量特征，采用cnn(架构如表1所示，将第8层的归一化层替代为109神经元的分类层)进行分类；针对脑电图像特征，采用resnet-18(架构如表2所示，将第8层的归一化层替代为109神经元的分类层)进行分类。表3所示为跨任务数据集的单模态实验结果，可以发现：当单特征为向量(vector)时，beta波段的性能最佳，测试状态为phy时身份识别率为77.31％、测试状态为ima时身份识别率为79.07％；当单特征为图像(image)时，alpha波段的性能最佳，测试状态为phy时身份识别率为78.42％、测试状态为ima时身份识别率为79.60％；本发明设计的可视化图像作为特征时，身份识别准确率要高于传统的向量特征。
[0087]
表3跨任务实验：在phy和ima测试状态下，单模态特征的身份识别性能(％)
[0088]
确定了向量特征的最优波段为beta、图像特征的最优波段为alpha后，本发明基于s103步骤将表现较好的波段进行特征融合，对多模态模型进行迭代训练直至模型收敛。为证明设计方法中的多模态模型优于单模态模型，本发明前期比较了单模态特征在单波段和多波段融合时的性能。表4所示为跨任务数据集时单模态核和多模态的性能比较结果，可以发现：图像(image)和向量(vector)的融合特征相较于单一的图像特征和向量特征，在准确率、精确率、召回率和f1评分指标上具有更好的可辨性。以上实验证明了融合特征提取器的有效性和多模态模型的高识别率，为本发明的设计提供了身份识别模型的确定。
[0089]
表4跨任务实验：在phy和ima测试状态下，多模态特征的身份识别性能(％)
[0090]
身份识别；基于上述模型建立和训练的过程，使用所述深度特征提取器和多模态分类器对待识别的脑电数据样本进行预处理、提取向量特征和可视化特征、分类识别，确定该脑电数据样本所对应的用户标签。