一种基于脑电信号类多光谱图像序列的身份识别方法与流程

1.本发明涉及脑电特征识别技术领域，具体来说是一种基于运动想象脑电信号提取多光谱图像的身份识别方法。


背景技术：

2.近年来，基于脑电信号的身份识别技术受到了越来越多研究人员的关注，并且进行了大量科学研究。针对脑电信号进行身份识别和认证研究有许多的方式，根据是否给试验者特定的刺激来采集试验者的脑部信号进行身份认证，可分为基于任务的脑纹识别和任务无关的脑纹识别，其中，基于任务的脑纹识别可以依据脑电信号的种类大致分为基于静息态电位的脑纹识别、基于运动想象的脑纹识别、基于事件相关电位的脑纹识别和基于视觉诱发电位的脑纹识别。本发明是实质上基于运动想象的脑纹识别。
3.运动想象脑电就是想象某种肢体运动时的脑电模式。现代神经电生理学研究表明，当进行肢体运动或运动想象时，将激活对应感觉运动脑区，在想象准备运动或者想象运动时都会出现μ波和β波的变化，脑区脑电信号成分在功率谱上存在事件相关(去)同步(erd/)rs)现象。不同运动想象任务时所激活的脑区不同，不同被试进行相同的运动想象其脑电信号也有所差别，因此运动想象脑电信号具有个人生物特性，可以用于身份验证，该方法适合身体残疾、视觉缺陷的各类病人，有较好的适用性。
4.现有的脑纹识别中，一般使用采集的脑电时域特征或者变换后的脑电频域特征进行身份识别，利用简单的深度学习模型能取得较好的性能，因此受到了越来越多的研究人员的关注。但在当前的研究中，往往只关注时域特征或者频域特征，忽略了不同域的特征之间的内在联系，极大地影响了模型实际运用中的鲁棒性和性能。通过傅里叶变换来构造一段时间内相对稳定的多谱图像序列，在保留时频特征和空域特征的前提下，能够利用深度神经网络学习到不同特征之间的内在联系，从而提升身份识别的任务表现。


技术实现要素：

5.本发明的目的是克服现有的脑电信号身份识别技术存在的不足，提出一种基于多光谱图像的脑电身份识别方法。通过对脑电信号的时域信号构造多光谱图像序列，获取脑电信号的时频信号和空域信号，使基于运动想象脑电信号的身份识别方法具有鲁棒性和高性能。
6.本发明一种基于多光谱图像的脑电信号身份识别方法，包括下述步骤：
7.步骤一、建立训练集。训练集中包括多个脑电样本。脑电样本在被试根据运动想象指示进行动作想象时采集。
8.步骤二、对脑电样本进行预处理。
9.步骤三、对每个脑电样本进行样本划分，每段脑电数据作为一个数据单元。将每个数据单元均转化为多光谱图像的结构。每个样本均转换为包含多张三通道多光谱图片的拓扑序列。
10.步骤四、对识别网络进行训练；识别网络包括特征提取网络、长短期记忆网络和三层全连接层。
11.4-1.将拓扑序列中的各多光谱图片依次输入特征提取网络。特征提取网络包括密集层和过渡层；密集层的输入特征与输出特征在通道维度上进行堆叠后归一化输入对应的过渡层；在特征提取网络中，通道注意力机制利用最大池化和平均池化来构造多光谱图片的通道最大注意力向量和通道平均注意力向量，通过对注意力向量归一化后，与原始多光谱图片广播相乘，加权后的图像再相加，得到深层特征；
12.4-2.长短期记忆网络对同一拓扑序列中各多光谱图片经过特征提取网络输出的深层特征提取时序上的融合特征。
13.4-3.长短期记忆网络输出的时序融合特征输入到三层全连接层中，获得预测张量。
14.步骤五、利用步骤四所得识别模型对进行指定运动想象的被测者进行识别，判断被测者身份。
15.作为优选，步骤一的具体过程如下：设计由交替排列的n张测试图片和n张全黑色的过渡图片的测试流程；n≥2；n张测试图片分别对应n个不同运动想象指示；每个被试均测试测试多个运动想象周期。
16.作为优选，步骤一中所述的脑电样本通过22通道的脑电帽采集得到。
17.作为优选，步骤二中所述的预处理具体为利用matlab中的eeglab工具箱来去除脑电信号中的眼电噪声和肌电噪声以及工频干扰，并且利用带通滤波器获取特定频率范围的脑电信号。
18.作为优选，步骤三中，每个动作想象对应的脑电数据均划分为六个时段的信号。
19.作为优选，步骤三中，将数据单元均转化为多光谱图像的过程如下：利用pwelch函数计算每个数据单元的θ、α、β节律频带的信号功率，将每个数据单元的不同节律的平均功率视为图像的一个通道，结合双线性差值方法获得每个数据单元的多光谱图像。
20.作为优选，步骤4.1中，密集层由7层卷积网络和2个最大池化层构成，两个最大池化层分别在第三层卷积网络和第五层卷积网络之后；其中，各卷积网络的卷积核大小均为3*3，填充行列均为1，两方向步长均为1；两个最大池化层的最大池化核大小均为2*2；所述的密集层1和密集层2之后均还包含了一个dropout层，其丢弃率为0.5。
21.作为优选，步骤4.1中，所述过渡层包括非线性激活函数relu和3
×
3最大池化层。
22.作为优选，步骤4-3中，在三层全连接层中，第一层全连接层后连接有激活函数relu，并且还有一个丢弃率为0.3的dropout层，第二层全连接层后，神经元的激活函数为tanh。第三层全连接层用于输出预测张量。
23.作为优选，在步骤四的模型训练过程中，使用交叉熵损失函数计算训练损失，使用adam优化器优化模型。
24.本发明的有益效果是：
25.1、本发明选用了运动想象脑电信号进行身份识别，运动想象脑电信号适用于有视觉缺陷的被试者，且明确在进行身份验证的任务，使基于脑电信号的身份识别具有更好的鲁棒性和普适性。
26.2、本发明设计了一种可靠高效的算法作为脑电信号的身份识别算法，该算法不仅
考虑脑电信号的时频特征和空域特征，也考虑了各个特征之间内在联系。并且该算法利用了长短期记忆网络考虑脑电信号在时间维度上的动态变化，可以有效地提高脑电信号的身份识别准确率和可靠性，同时依靠跳层连接提供了动态、非线性的融合权重，提高了算法的泛化性，这种新的深度表征是对当前基于脑电信号的身份识别领域的有效补充。
27.3、本发明设计的深度学习分类模型是在cnn的基础上增加了通道注意力机制和长短期记忆网络。通过通道注意力机制计算每一时刻多谱图像各个通道的最大权重和平均权重，然后相加有利于长短期记忆网络在学习时域特征的特征融合，从而提高模型的分类性能。
附图说明
28.图1为本发明的方法流程图；
29.图2为本发明的脑电数据采集实验方案示意图；
30.图3为本发明的特征提取流程和身份识别流程图；
31.图4为本发明的基于通道注意力的身份识别网络示意图。
具体实施方式
32.下面结合附图，对本发明方法做详细描述，但本发明的实施方式不限于此。
33.如图1～4所示，一种基于多光谱图像的脑电信号身份识别方法，包括下述步骤：
34.步骤一、设计一个周期由交替排列的四张测试图片和四张全黑色的过渡图片的测试流程，每张测试图片展示t1时长，每张过渡图片展示t2时长；四张测试图片分别对应对被试的四个不同运动想象指示；本实施例中，每个周期中的四张测试图片用不同方向的箭头分别表示左手、右手、舌头、脚的运动想象，且四张测试图片出现的顺序是随机的，则一个测试周期的时长为4(t1 t2)；每个被试测试n个想象动作，设置过渡图片来消除切换测试图片时的视觉残留效果。具体而言，一个周期有四张测试图片和四张纯黑色的过渡图片，每张测试图片展示3s，每张过渡图片展示1s，并且每张测试图片出现的顺序随机，因此一个周期用时为16s，每个被试测试100个运动想象周期，即为1600s。
35.步骤二、采集脑电信号，被试戴上22通道的脑电帽坐在电脑屏幕前，依据屏幕指示来进行指定的运动想象任务，脑电帽采集频率为250hz；参与实验的被试者为9人(5个男性，4个女性)，其年龄在19岁至24岁之间，均无精神疾病史，实验前处于平静放松的状态。
36.步骤三、脑电数据的预处理，利用matlab中的eeglab工具箱来去除原始信号中的眼电噪声和肌电噪声以及工频干扰，并且利用带通滤波器获取特定频率范围的脑电信号，得到干净的运动想象脑电信号。
37.步骤四、构造多光谱图片序列，将经过预处理的脑电信号以每个动作想象3秒进行样本划分，并且将3秒的动作想象按0.5秒为一个时段进行划分。一个被试一个时段的脑电信号作为一个数据单元。利用pwelch函数计算每个数据单元的θ、α、β节律频带的信号功率，简单地堆叠构成特征，θ、α、β节律频带的频带范围分别为4-8hz、8-13hz、14-25hz；将国际标准的10-20系统电极的三维坐标转换为二维坐标，将每个数据单元的不同节律的平均功率视为图像的一个通道，结合双线性差值方法获得每个数据单元的多光谱图像；因此每个样本均转换为包含六张三通道多光谱图片的拓扑序列。具体来说，每一个样本包含6个时段的
多光谱图像，每张多光谱图像为3*32*32的三维矩阵。
38.步骤五、划分训练集和测试集，将每个被试的70％随机样本作为训练集，剩余30％样本作为训练集。具体而言，将每个被试的400个样本中的280个样本作为训练数据，120个样本作为测试数据。
39.步骤六、对识别网络进行训练；识别网络包括特征提取网络、长短期记忆网络和三层全连接层。
40.6-1.先将拓扑序列中的各多光谱图片依次输入特征提取网络。特征提取网络包括依次相连的密集层和过渡层。其中，密集层由7层卷积网络和2个最大池化层构成，两个最大池化层分别在第三层卷积网络和第五层卷积网络之后。其中，各卷积网络的卷积核大小均为3*3，填充行列均为1，两方向步长均为1；两个最大池化层的最大池化核大小均为2*2。
41.密集层的输入特征与输出特征在通道维度上进行堆叠后归一化输入对应的过渡层；过渡层包括非线性激活函数relu和3
×
3最大池化层。对每一时段的多光谱图像使用具有相同结构的不同密集层提取卷积特征，然后送入过渡层。
42.密集层对于卷积运算的输入输出值定义为：密集层对于卷积运算的输入输出值定义为：其中，out(ni,c
out
)为输出张量，ni为批处理中图片的序数；c
out
为输出张量的通道数；bias(c
out
)为形状为c
out
*1的偏置值张量；
★
是二维离散卷积运算符；w(c
out
,k)是输入图片第k通道的权重，s(ni,k)是第ni张输入图片的第k通道的像素值矩阵。
43.密集层之后均还包含了一个dropout层，其丢弃率为0.5，用于防止过拟合。通道注意力机制利用最大池化和平均池化来分别构造每张多光谱图片的通道最大注意力向量和通道平均注意力向量，通过对注意力向量归一化后，分别与原始多光谱图片广播相乘，加权后的图像再相加得到深层特征。
44.6-2.长短期记忆网络对拓扑序列经过特征提取网络处理的输出提取时序上的融合特征，提取过程中的隐藏状态可以定义为h
t
＝tanh(w
ih
x
t
b
ih
w
hhh(t-1)
b
hh
)，其中，h
t
是t时刻的隐藏状态，x
t
是t时刻的输入张量，h
t-1
是前一时刻的隐藏状态，w
ih
、b
ih
分别为t时刻第i层循环网络的权重和偏置值；w
hh
、b
hh
分别为t-1时刻第h层循环神经网络的权重和偏置值。
45.6-3.长短期记忆网络输出时序融合特征输入到三层全连接层中，在第一层全连接层后，有激活函数relu:relu(x0)＝max(0,x)，并且还有一个丢弃率为0.3的dropout层，第二层全连接层后，神经元的激活函数为tanh:其中x为输入张量的每一个值。第三层全连接层用于输出预测张量。预测张量用于判断样本的类别，即识别被试的身份。在模型训练过程中，使用交叉熵损失函数计算训练损失，并且使用adm优化器优化模型。
46.步骤七、在数据库内的被测者按照指令进行t1时长的运动想象，采集脑电数据；所得脑电数据按照步骤四的方法构建多光谱图片组成的拓扑序列；该拓扑序列输入识别网络获得预测张量；预测张量与标签对比，判断被测者身份。
47.利用深度学习分类模型对采集的脑电进行身份识别后，需要利用多种性能指标对模型的识别结果进行评估，常用性能指标包括分类准确度、f1-score和召回率。建立了基于运动想象的脑电信号身份识别分类结果，如下表所示：
48.表1脑电信号身份识别结果
[0049][0050]
上表中可以得出，本发明中的基于通道注意力的长短期注意力网络模型在9个被试的身份识别中，最高的准确率可达97.35％，平均准确率可达96.17％，被试1的准确率只有92.59％，是由于在诱发运动想象脑电信号过程中，激发了与运动想象无关的其他事件电位。该算法的f1-score平均可达到95.82％，说明此算法具有较好的鲁棒性。