基于深度学习和脑电信号的驾驶员专注度检测方法与流程

1.本发明属于飞行器技术领域，更进一步涉及模拟飞行器技术领域中的一种基于深度学习和脑电信号的驾驶员专注度检测方法。本发明可通过检测驾驶员在模拟飞行训练中对驾驶过程的关注度，对驾驶员模拟飞行训练提供数据参考与状态监控分析，以改善训练计划，获得更好的训练结果。


背景技术：

2.随着航空工业的发展，模拟飞行器已经在飞行器技术领域取得广泛的运用，逐渐走进了飞行员的视野。模拟飞行训练是指通过模拟飞行器代替实际飞行器来进行训练，从而提高飞行员飞行技术，节约飞行成本。认知能力比如专注度是模拟飞行驾驶训练中重要关注的问题，专注度主要取决于飞行员的身体素质和对周围环境的感知能力，它严重影响着飞行员的人身安全。而飞行员的专注度检测是进行环境感知中一个关键环节，较好的专注度检测性能是模拟飞行后续进行绩效提升的重要评估手段。现有技术中，基于传统机器学习方法的专注度检测方法通过手动提取特定通道的固有特征进行检测，例如利用α波、β波、γ波、θ波等一种或多种叠加节律特征进行检测，此类方法往往需要依赖大量的先验知识。
3.北京脑陆科技有限公司在其申请的专利文献“一种基于eeg脑波的注意力检测方法、系统”(申请号：2021103726956，申请公布号：cn113208634a)中提出了一种基于eeg脑波可用于用户为训练驾驶员的注意力检测方法。该方法首先通过脑电信号采集设备采集训练驾驶员的脑电信号，并根据系统任务需要提取脑电信号特征，然后将提取到的特征输入至支持向量机识别得到训练驾驶员的注意力状态。该方法通过手工提取特征方法实现了训练驾驶员注意力状态的检测，提高了检测的准确率。但是，该方法仍然存在的不足之处是，由于手动提取特征需要依赖于很强的先验知识，会大大增加提取过程的复杂性，从而降低了训练驾驶员专注度检测模型的易用性，导致检测时效性降低。
4.武汉理工大学在其申请的专利文献“一种基于脑电信号船员专注度检测系统的检测方法”(申请号：2020110774752，申请公布号：cn112336348a)中提出一种基于eeg的可泛化至驾驶员专注度检测场景专注度检测方法。该方法通过离线采集驾驶训练员的脑电信号并通过小波包系数分解提取α波，β波，δ波和γ波的能量熵作为脑电特征量，然后将这些特征输入通过baum-welch算法训练的隐马尔可夫模型中，预测获得驾驶训练员的专注度检测结果。该方法结合手工特征和传统机器学习算法实现了专注度检测。但是，该方法仍然存在的不足之处是，由于使用的低阶隐马尔可夫模型是无记忆性的，不能有效利用上下文信息，导致检测精度降低，严重影响了专注度检测的可靠性。


技术实现要素：

5.本发明的目的在于针对上述现有技术的不足，提出一种基于深度学习和脑电信号的驾驶员专注度检测方法，用于解决现有驾驶员专注度检测网络训练速度慢导致检测时效
性降低问题和检测准确率低导致驾驶员专注度检测不可靠问题。
6.实现本发明目的的思路是，本发明利用5*5大小的schulte方格任务生成专注度训练数据集，并按照完成任务用时划分专注度程度依为高、中、低三种，构建了驾驶员专注度检测网络。在驾驶员专注度检测网络中设置了空间域特征提取单元，该单元可以捕获驾驶员专注度脑电信号的64个通道的空间特征信息，有效提升了驾驶员专注度检测的准确率。本发明在构建的驾驶员专注度检测网络中设置了两个串联的特征强化单元，分别使用20个和40个大小为1*5的卷积核进一步提取了驾驶员专注度脑电信号特征，由于同时使用了空间域特征提取单元和较少的特征强化单元卷积核，保证驾驶员专注度检测网络使用较小的计算量就可提取到更丰富的特征，提高了网络的检测精度，降低了网络的训练耗时，有利于增加驾驶员专注度检测网络的可靠性和时效性。
7.实现本发明目的的具体思路是，
8.本发明的具体步骤如下：
9.步骤1，生成训练集：
10.(1a)选取至少1800个驾驶员完成5*5schulte方格任务生成的脑电样本，每个样本时长1s,采样率fs＝1024hz,脑电通道数n＝64；
11.(1b)对每个脑电样本信号标注驾驶员专注度；将标注后的每个样本下采样至128hz；
12.(1c)将标注后的所有样本组成训练集；
13.步骤2，构建驾驶员专注度检测网络：
14.(2a)搭建一个驾驶员专注度检测网络，其结构依次为：输入层、时间域特征提取单元、空间域特征提取单元、第一特征强化单元、第二特征强化单元和softmax分类层；
15.所述的时间域特征提取单元由时间域卷积层和池化层组成；
16.所述的空间域特征提取单元的结构依次包含：空间域卷积层、批量归一化层、激活层、池化层、随机失活层；
17.所述的第一、第二特征强化单元均依次包含：卷积层、批量归一化层、激活层、池化层、随机失活层；
18.(2b)设置驾驶员专注度检测网络各层参数如下：
19.将时间域特征提取单元中时间域卷积层的卷积核大小设置为1*5，步长设置为1，卷积核数量设置为10；池化层采用最大池化，池化尺寸设置为1*2；
20.将空间域特征提取单元中空间域卷积层的卷积核大小设置为64*1，步长设置为1，卷积核数量设置为10；批量归一化层设置为16；激活层采用指数线性函数(the exponential unit,elu)；池化层采用最大池化，池化尺寸设置为2*1；随机失活层的保留率设置为0.5；
21.将第一、第二特征强化单元中卷积层的卷积核大小均设置为1*5，卷积核数量分别设置为20，40；批量归一化层的样本数均设置为16；激活层均采用指数线性函数elu(the exponential unit)；池化层均采用最大池化，池化尺寸均设置为1*2，步长均设置为(1,2)；随机失活层保留率均设置为0.5；
22.步骤3，训练驾驶员专注度检测网络：
23.将训练集中的样本输入到驾驶员专注度检测网络中，采用梯度下降法对网络的参
数进行迭代更新，直至网络的损失函数的值下降至稳定值时为止，得到训练好的驾驶员专注度检测网络；
24.步骤4，采集待检测的驾驶员的脑电信号：
25.(4a)设置脑电信号采样率为fs＝1024hz，采集待检测的驾驶员在模拟训练过程中的脑电信号，至少10分钟脑电信号；
26.(4b)采用与步骤(1b)相同的方法，得到标注后待检测的驾驶员专注度脑电样本；
27.步骤5，对驾驶员专注度进行检测：
28.将标注后待检测的驾驶员脑电样本依次输入到训练好的驾驶员专注度检测网络中，输出每位驾驶员专注度检测结果。
29.本发明与现有技术相比较，具有如下优点：
30.第一，由于本发明在驾驶员专注度检测网络中采用空间域特征提取单元，该单元充分利用了驾驶员脑电信号中的各通道间的空间位置信息，能更有效地提取脑电信号间的空间特征，克服了现有技术中驾驶员专注度检测网络中特征提取不明显的问题，使得本发明提升了检测驾驶员专注度的准确性。
31.第二，由于本发明构建了驾驶员专注度检测网络，采用的两个串联的特征强化单元，采用数量较少的卷积核有效地提取了脑电信号的更深层次特征，网络参数少且提取到的特征丰富，克服了现有技术中驾驶员专注度检测网络参数多，训练时难以快速收敛的问题，使得本发明提升了检测驾驶员专注度的时效性。
附图说明
32.图1是本发明的流程图；
33.图2是本发明的驾驶员专注度检测网络结构示意图。
具体实施方式
34.以下结合附图和具体实施例，对本发明作详细的描述。
35.参照图1对本发明实现的具体步骤作进一步的描述。
36.步骤1，生成训练集。
37.第一步，选取至少1800个驾驶员完成5*5schulte方格任务生成的脑电样本，每个样本时长1s，采样率fs＝1024hz，脑电通道数n＝64。
38.第二步，对每个脑电样本信号标注驾驶员专注度；将标注后的每个样本下采样至128hz。
39.所述的对每个脑电样本信号标注驾驶员专注度指的是，将驾驶员完成schulte方格所用的时间小于8s的定义为高专注程度，位于[8,20]s之间的定义为中等专注程度，大于20s的定义为低专注程度，并分别将其标签值设定为独热编码00，01，10的形式。
[0040]
第三步，将标注后的所有样本组成训练集。
[0041]
步骤2，构建驾驶员专注度检测网络。
[0042]
搭建一个驾驶员专注度检测网络，其结构依次为：输入层、时间域特征提取单元、空间域特征提取单元、第一特征强化单元、第二特征强化单元和softmax分类层。
[0043]
所述的时间域特征提取单元由时间域卷积层和池化层组成。
[0044]
所述的空间域特征提取单元的结构依次包含：空间域卷积层、批量归一化层、激活层、池化层、随机失活层。
[0045]
所述的第一、第二特征强化单元均依次包含：卷积层、批量归一化层、激活层、池化层、随机失活层。
[0046]
设置驾驶员专注度检测网络各层参数如下：
[0047]
将时间域特征提取单元中时间域卷积层的卷积核大小设置为1*5，步长设置为1，卷积核数量设置为10；池化层采用最大池化，池化尺寸设置为1*2。
[0048]
将空间域特征提取单元中空间域卷积层的卷积核大小设置为64*1，步长设置为1，卷积核数量设置为10；批量归一化层设置为16；激活层采用指数线性函数(the exponential unit,elu)。池化层采用最大池化，池化尺寸设置为2*1；随机失活层的保留率设置为0.5。
[0049]
将第一、第二特征强化单元中卷积层的卷积核大小均设置为1*5，卷积核数量分别设置为20，40；批量归一化层的样本数均设置为16；激活层均采用指数线性函数elu(the exponential unit)。池化层均采用最大池化，池化尺寸均设置为1*2，步长均设置为2；随机失活层保留率均设置为0.5。
[0050]
步骤3，训练驾驶员专注度检测网络。
[0051]
将训练集中的样本输入到驾驶员专注度检测网络中，采用梯度下降法对网络的参数进行迭代更新，直至网络的损失函数的值下降至稳定值时为止，得到训练好的驾驶员专注度检测网络。
[0052]
所述的损失函数如下：
[0053][0054]
其中，n表示采集的待检测驾驶员的脑电信号样本的总数，i为待检测驾驶员脑电样本序号，∑(
·
)表示求和操作，m表示驾驶员专注度类别的总数，m＝1，2，3，c表示待检测驾驶员的脑电样本的专注度类别的序号，y
ic
表示符号函数，如果待检测驾驶员的脑电信号样本序号i的真实类别等于c，y
ic
的值为1，否则，y
ic
的值为0，log(
·
)表示对数操作，p
ic
表示脑电信号观测样本i属于真实类别c的预测概率。
[0055]
步骤4，采集待检测的驾驶员的脑电信号。
[0056]
设置脑电信号采样率为fs＝1024hz，采集待检测的驾驶员在模拟训练过程中的至少10分钟的脑电信号。
[0057]
采用与步骤1中第二步相同的方法，得到标注后待检测的驾驶员专注度脑电样本。
[0058]
步骤5，对驾驶员专注度进行检测。
[0059]
将标注后待检测的驾驶员脑电样本依次输入到训练好的驾驶员专注度检测网络中，输出驾驶员专注度检测结果。
[0060]
下面结合仿真实验对本发明的效果做进一步的说明。
[0061]
1.仿真实验条件。
[0062]
本发明的仿真实验的硬件平台为：处理器为intel i7 4770k cpu,主频为3.5ghz，内存32gb。脑电采集设备型号为biosemi公司的activetwo设备。
[0063]
本发明的仿真实验的软件平台为：windows 10操作系统，python 3.7，
matlab2019b。
[0064]
2.仿真内容及其结果分析：
[0065]
本发明仿真实验是利用一个5*5schulte方格任务下生成的脑电信号训练集，分别对本发明构建的驾驶员专注度检测网络和两个现有技术的网络(脑电解码与可视化神经网络deepconvnet、脑电分类神经网络eegnet)进行训练，再将测试集分别输入到训练好的三个网络中对驾驶员专注度进行检测，获得三类不同的驾驶员专注度检测结果。
[0066]
在仿真实验中，采用的两个现有技术是指：
[0067]
现有技术脑电解码与可视化神经网络deepconvnet是指，schirrmeister等人在“deep learning with convolutional neural networks for eeg decoding and visualization”(human brain mapping 38:5391-5420 2017)中提出的一种脑电分类网络，简称deepconvnet分类网络。
[0068]
现有技术脑电分类神经网络eegnet是指，vernon j.lawhern等人在“eegnet:acompact convolutional neural network for eeg-based brain-computer interfaces,journal of neural engineering,15(5),056013”中提出的脑电信号分类方法，简称eegnet分类方法。
[0069]
生成训练集。
[0070]
本发明仿真实验首先为受试的驾驶人员头皮涂抹脑电膏，然后佩戴包含有64个通道的脑电帽，开启activetwo脑电采集设备，设置脑电信号采样率为1024hz，采集了至少30分钟驾驶员在完成5*5schulte方格任务过程中的脑电信号。
[0071]
对上述采集得到的脑电信号进行预处理，设置滑动窗口长度为1s，频带范围[0.2,50]hz，采用滑动窗口从左至右依次切割该脑电信号，生成包含1800个、通道数为64、样本长度为1s，脑电样本格式为mat的训练集。
[0072]
生成测试集。
[0073]
为受试的驾驶员头皮涂抹脑电膏，然后佩戴包含有64个通道的脑电帽，开启activetwo脑电采集设备，设置脑电信号采样率为1024hz，采集驾驶员至少10分钟的脑电信号，并记录驾驶员主观反馈的专注度程度，将主观反馈的专注度程度作为脑电样本真值标签，设置滑动窗口长度为1s，频带范围[0.2,50]hz，采用滑动窗口从左至右依次切割该脑电信号，生成包含600个、通道数为64、样本长度为1s，脑电样本格式为mat的测试集。
[0074]
对三种网络进行训练。
[0075]
对本发明的驾驶员专注度检测网络，设置输入层维度为(1800，64)，设置驾驶员专注度检测网络的损失函数为交叉熵损失函数，迭代次数为60，随机失活层保留率为0.5，使用gpu参数设为true。
[0076]
对现有技术脑电解码与可视化神经网络deepconvnet，设置输入层维度为(1800，64)，设置deepconvnet损失函数为交叉熵损失函数，迭代次数为60，使用gpu参数设为true。
[0077]
对现有技术脑电分类神经网络eegnet，设置输入层维度为(1800，64)，设置eegnet损失函数为交叉熵损失函数，迭代次数为60，使用gpu参数设为true。
[0078]
将训练集中的脑电样本分别输入到驾驶员专注度检测网络、现有技术脑电解码与可视化神经网络deepconvnet和脑电分类神经网络eegnet网络进行网络参数迭代更新，直至各自的损失函数收敛，得到三种训练好的网络，并保存三种方法训练好的网络参数。
[0079]
对训练好的本发明的驾驶员专注度检测网络，加载训练好的参数，再依次输入600个待检测的驾驶员专注度测试集，输出驾驶员专注度检测结果。
[0080]
对训练好的现有技术脑电解码与可视化神经网络deepconvnet，加载训练好的参数，再依次输入600个待检测的驾驶员专注度测试集，得到驾驶员专注度检测结果。
[0081]
对训练好的现有技术脑电分类神经网络eegnet，加载训练好的参数，再依次输入600个待检测的驾驶员专注度测试集，得到驾驶员专注度检测结果。
[0082]
利用评价指标平均准确率分别对三种方法的驾驶员专注度检测结果进行评价。利用下面公式，计算每一种平均驾驶员专注度检测准确率p，将所有计算结果绘制成表1：
[0083][0084]
表1.三种方法驾驶员专注度检测结果准确率比较表
[0085]
采用方法平均准确率deepconvnet80.0％eegnet85.6％本发明92.8％
[0086]
结合表1可以看出，本发明的平均分类准确度为92.8％，该指标明显高于现有的两种技术方法，证明本发明对驾驶员专注度可进行有效检测。