一种基于精神疲劳监测的驾驶舱人机交互系统

1.本发明属于人机交互技术领域，具体涉及一种驾驶舱人机交互系统。


背景技术：

2.航空运输是一个人-机-环境高度交互和耦合的过程。其中，人作为这个复杂系统中最重要同时也是最复杂多变的部分，对民航运输的安全性一直起着决定性的作用。近年来，由于科技的不断进步及新材料和新技术的不断应用，飞机自身设备故障导致的飞行事故率已经非常小，而因为飞行员自身失误导致的飞行事故占比却呈现上升趋势。根据飞行事故原因统计数据，在航空事故中有70％的事故是由人为失误造成的，所以研究飞行员精神疲劳的意义至关重要。
3.发明专利202010424867.x公开了一种融合肌电和心电信号的疲劳监测系统及方法，包括肌电信号采集及处理、心电信号采集及处理和非线性支持向量机算法数据融合模块，仅考虑生理信号，检测精度难以达到预期效果。发明专利201610264968.4公开了一种基于视频智能算法的疲劳检测系统及方法，该系统检测包括判断工作人员的眼睛和嘴巴的开合度，但仅考虑面部图像，精度存在欺骗性，难以准确地进行高精度的检测。


技术实现要素：

4.为了克服现有技术的不足，本发明提供了一种基于精神疲劳监测的驾驶舱人机交互系统，可以根据生理信号和面部图像识别飞行员精神疲劳，判断飞行员可能出现的失误及概率。该系统包括信号采集模块、精神疲劳监测模块、失误判断模块以及驾驶舱人机交互模块四个部分。信号采集模块包括采集飞行员的生理信号、面部图像以及飞行环境参数。精神疲劳监测模块的特征层融合得到正常、轻度、严重三类疲劳分类结果，决策层融合对特征层融合结果、perclos、眨眼频率、哈欠频率以及点头频率进行加权平均。失误判断模块判断飞行员可能出现的失误模式及其概率。驾驶舱人机交互模块能进行疲劳预警。本发明提高了识别准确率、实时性强，同时符合人因工程学理论，有利于减少飞行员认知负荷。
5.本发明解决其技术问题所采用的技术方案如下：
6.一种基于精神疲劳监测的驾驶舱人机交互系统，包括信号采集模块、精神疲劳监测模块、失误判断模块和驾驶舱人机交互模块；
7.所述信号采集模块采集飞行员的心电、皮电、脉搏、呼吸生理信号、捕捉飞行员面部图像和导入飞行环境参数；
8.所述精神疲劳监测模块包括生理信号处理子模块、面部图像识别子模块和基于多模信息融合的疲劳识别子模块；所述生理信号处理子模块对信号采集模块采集到的生理信号依次进行低通滤波处理、带陷滤波处理和基线漂移纠正处理，再进行生理信号特征提取并进行归一化；所述面部图像识别子模块对信号采集模块采集到的飞行员面部图像进行人脸关键点提取，再通过人脸关键点计算飞行员的perclos、眨眼频率、哈欠频率和点头频率；
9.所述基于多模信息融合的疲劳识别子模块包括特征层融合和决策层融合。
10.所述特征层融合先对生理信号特征和人脸关键点进行cca降维处理，再将降维结果导入卷积神经网络模型进行训练，并将训练好的卷积神经网络模型作为精神疲劳分类器；所述卷积神经网络模型使用7层卷积层提取特征，每两层卷积层后添加一层池化层；每层卷积层使用双曲正切函数tanh；所述精神疲劳分为正常、轻度、严重三类；
11.所述决策层融合的输入包括特征层融合结果即精神疲劳分类器分类结果、perclos、眨眼频率、哈欠频率和点头频率五个属性，采用加权平均的方法进行决策层融合；决策层融合最终输出综合疲劳指标；
12.所述失误判断模块采用cream预测分析法来判断飞行员出现的失误以及失误的概率；所述采用cream预测分析法进行失误判断时的输入为飞行环境参数和综合疲劳指标，首先通过建立认知需求剖面确定驾驶舱环境下飞行员的失误模式及对应的失误概率基本值；然后再评价共同绩效条件，包括组织完整性、工作条件、人机界面与运行支持的完整性、规程/计划可用性、同时出现的目标数量、可用时间、工作时间、培训和经验的充分性、班组成员合作质量9种；最终识别最可能的认知功能失效模式和预测失误概率；
13.所述驾驶舱人机交互模块包括前置诱发实验子模块、数据管理及处理系统和预警子模块；所述前置诱发实验子模块对飞行员进行疲劳诱发实验和情绪诱发实验；所述疲劳诱发实验要求飞行员进行不同时段的睡眠剥夺；所述情绪诱发实验通过音视频诱发飞行员的高兴、悲伤、愤怒情绪；所述数据管理及处理系统包括数据采集配置子模块、数据文件管理子模块和结果可视化子模块；所述数据采集配置子模块通过选择通信串口以及采集设备来进行采集飞行员生理信号时的相关配置，再通过对数据库类型以及用户类型的选择来确定采集获取的生理信号的存储位置以及操作权限模式；所述数据文件管理字模块通过读取文件按钮将存储于数据库中的文件读取到显示面板中，并对文件操作；所述结果可视化字模块通过调用精神疲劳监测模块可视化显示对飞行员的精神疲劳分类器分类结果、perclos、眨眼频率、哈欠频率、点头频率以及最终的综合疲劳指标；
14.所述预警模块包括警示灯和飞行建议；预警模块根据综合疲劳指标决定是否发出警报以及给出飞行建议；当飞行员的综合疲劳指标达到阈值时触发警示灯；所述飞行建议包括更换主飞行员、进行休息、出现的失误类型及解决方案。
15.进一步地，所述信号采集模块使用蓝牙脉搏皮电呼吸传感器和心电信号传感器采集飞行员的心电、皮电、脉搏、呼吸生理信号；采用摄像头捕捉飞行员面部图像。
16.进一步地，所述飞行环境参数包括飞行阶段、atm指令、航线约束、a/c的性能约束、天气因素、地形；飞行环境参数由x-plane飞行仿真软件提供。
17.进一步地，所述心电信号传感器型号为bmd101，包括低噪音放大器、adc模数转换器和一个检测感应器是否脱落的电路，能够采集从uv到mv的生物信号。
18.进一步地，所述生理信号特征为sdnn或lfp/hfp或近似熵特征；采用离差标准化方法进行归一化。
19.进一步地，所述面部图像识别子模块对信号采集模块采集到的飞行员面部图像进行人脸关键点提取，再通过人脸关键点计算飞行员的perclos、眨眼频率、哈欠频率和点头频率，具体方法为：
20.利用人脸识别开源库dlib进行人脸关键点提取，特征提取器采用shape_predictor_68_face_landmarks.dat；通过人脸关键点计算perclos、眨眼频率、哈欠频率以
及点头频率；
21.所述perclos是指在单位时间内眼睛闭合程度超过设定闭值的时间占总时间的百分比，即眼睛闭合帧数与检测时间段总帧数之比；设定闭值标准为p80，即眼睑遮住瞳孔的面积超过80％就计为眼睛闭合，统计在固定时间内眼睛闭合时所占的时间比例即为perclos；
22.所述眨眼频率通过计算眼睛纵横比得到；眼睛纵横比ear为左眼和右眼纵横比的平均值，计算公式如下：
[0023][0024]
其中，‖
·
‖为两点的欧式距离，p1～p6分别表示眼部不同关键点的位置坐标；如果连续3帧人脸图像中ear都大于阈值0.2，则视为一次有效眨眼；
[0025]
所述哈欠频率通过计算嘴部张口度得到，嘴部张口度α计算公式如下：
[0026][0027]
其中，h和l分别表示张口的纵向高度和横向宽度，p
61
、p
63
、p
65
、p
67
分别表示嘴部的不同关键点；
[0028]
有效哈欠的判决条件包括首次判决和二次判决；所述首次判决根据嘴部张口度大小及其阈值进行初判；所述二次判决根据在设定区域的哈欠持续时间进行二次判决，即嘴部张口度超过阈值的持续时间超过持续时间阈值则视为有效哈欠；
[0029]
所述点头频率的估计是旋转三维标准模型，直到三维标准模型上三维特征点的二维投影与待测试图像上的特征点重合，将旋转向量转化为四元数，再将四元数转化为欧拉角，当欧拉角大于某一阈值，则视为点头；所述三维标准模型以鼻尖为坐标原点，下巴(0.0，-330.0，-65.0)，左眼左角(-225.0f，170.0f，-135.0)，右眼右角(225.0f，170.0f，-135.0)，嘴角左侧：(-150.0，-150.0，-125.0)，嘴角右侧：(150.0，-150.0，-125.0)，其中f为相机焦距。
[0030]
进一步地，所述采用加权平均的方法进行决策层融合，具体方法如下：
[0031]
假设属性i＝1、2、3、4、5分别表示特征层融合结果、perclos、眨眼频率、哈欠频率、点头频率；xi为各属性的疲劳指标，x为综合疲劳指标，最大值为10，对各属性进行加权平均：
[0032][0033]
其中，w1、w2、w3、w4、w5表示特征层融合结果、perclos、眨眼频率、哈欠频率以及点头频率五个属性的权重值；
[0034]
五个属性的权重值采用层次分析法求得，具体步骤如下：
[0035]
步骤1：首先需要根据属性间两两比较的影响程度建立属性判断矩阵，其中判断矩阵中属性之间的影响程度赋值需要通过度量准则d来衡量，d的取值具体描述为：1表示两个属性重要性相同，2表示前者比后者略微重要，3表示前者比后者明显重要，4表示前者比后者及其重要，5表示前者比后者强烈重要，1.5、2.5、3.5、4.5表示上述相邻判断的中间值，其
中d
ij
表示属性i与属性j的重要性之比，即属性i为前者，属性j为后者，其中d
ji
为d
ij
的倒数；
[0036]
步骤2：根据实际关系判断，将五个属性两两比较进行评分，最终得到判断矩阵d；
[0037][0038]
步骤3：选择特征根法求解权重值；假设五个属性的权重值满足条件如下：
[0039][0040]
假设w＝(w1,w2,w3,w4,w5)
t
，由于判断矩阵d为一致性矩阵，得到：
[0041][0042]
存在对应关系：
[0043]d·
w＝λ
maxw[0044]
其中，λ
max
为判断矩阵d的最大特征根，其对应的特征向量即为w，将w归一化处理后即为特征属性的权重向量。
[0045]
进一步地，所述预测失误概率采用cream预测分析法，将认知功能失效概率简称为cfp，其计算公式如下：
[0046]
cfpi＝cfp
基本
×w[0047][0048]
其中cfp
基本
表示判断与决策过程中各阶段对应的最可能的认知功能失效模式的基本值，w表示其对应权重因子。
[0049]
本发明的有益效果如下：
[0050]
本发明采用了多模信息融合的方式识别精神疲劳，提高了识别准确率；信号采集模块具有低的系统噪声和可控增益，可以有效地检测到生物信号；在实时采集生理信号和面部图像的基础上实时监测飞行员精神疲劳、情绪等精神疲劳，其时延为2.1s，实时性强，达到预期效果；将精神疲劳的影响引入cream，从基本值和权重因子两方面决定失误判断模型结果，符合人因工程学理论；人机交互界面设计美观，符合规范，有利于减少飞行员认知负荷。
附图说明
[0051]
图1为本发明的系统架构图。
[0052]
图2为本发明心电传感芯片bmd101的π型滤波器连接方式。
[0053]
图3为本发明心电传感芯片bmd101屏蔽布线连接方式。
[0054]
图4为本发明生理信号处理结果图。
[0055]
图5为本发明人脸关键点提取中眼睛纵横比计算示意图。
[0056]
图6为本发明人脸关键点提取中嘴部张口度计算示意图。
[0057]
图7为本发明基于多模信息融合的疲劳识别子模块中特征层的神经网络结构。
[0058]
图8为本发明基于多模信息融合的疲劳识别子模块中特征层的训练效果。
[0059]
图9为本发明基于多模信息融合的疲劳识别子模块中决策层与特征层关系。
[0060]
图10为本发明基于多模信息融合的疲劳识别子模块中决策层方法。
[0061]
图11为本发明基于多模信息融合的疲劳识别子模块中求权重值的层次分析法。
[0062]
图12为本发明失误判断模块结构。
[0063]
图13为本发明的驾驶舱人机交互模块界面。
具体实施方式
[0064]
下面结合附图和实施例对本发明进一步说明。
[0065]
本发明公开一种基于精神疲劳监测的驾驶舱人机交互系统，可以根据生理信号和面部图像识别飞行员精神疲劳，并根据精神疲劳判断飞行员可能出现的失误以及失误的概率。
[0066]
一种基于精神疲劳监测的驾驶舱人机交互系统包括信号采集模块、精神疲劳监测模块、失误判断模块和驾驶舱人机交互模块；
[0067]
所述信号采集模块采集飞行员的心电、皮电、脉搏、呼吸生理信号、捕捉飞行员面部图像和导入飞行环境参数；
[0068]
所述精神疲劳监测模块包括生理信号处理子模块、面部图像识别子模块和基于多模信息融合的疲劳识别子模块；所述生理信号处理子模块对信号采集模块采集到的生理信号依次进行低通滤波处理、带陷滤波处理和基线漂移纠正处理，再进行生理信号特征提取并进行归一化；所述面部图像识别子模块对信号采集模块采集到的飞行员面部图像进行人脸关键点提取，再通过人脸关键点计算飞行员的perclos、眨眼频率、哈欠频率和点头频率；
[0069]
所述基于多模信息融合的疲劳识别子模块包括特征层融合和决策层融合。
[0070]
所述特征层融合先对生理信号特征和人脸关键点进行cca降维处理，再将降维结果导入卷积神经网络模型进行训练，并将训练好的卷积神经网络模型作为精神疲劳分类器；所述卷积神经网络模型使用7层卷积层提取特征，每两层卷积层后添加一层池化层；每层卷积层使用双曲正切函数tanh；所述精神疲劳分为正常、轻度、严重三类；
[0071]
所述决策层融合的输入包括特征层融合结果即精神疲劳分类器分类结果、perclos、眨眼频率、哈欠频率和点头频率五个属性，采用加权平均的方法进行决策层融合；决策层融合最终输出综合疲劳指标；
[0072]
所述失误判断模块采用cream预测分析法来判断飞行员出现的失误以及失误的概率；所述采用cream预测分析法进行失误判断时的输入为飞行环境参数和综合疲劳指标，首
先通过建立认知需求剖面确定驾驶舱环境下飞行员的失误模式及对应的失误概率基本值；然后再评价共同绩效条件，包括组织完整性、工作条件、人机界面与运行支持的完整性、规程/计划可用性、同时出现的目标数量、可用时间、工作时间、培训和经验的充分性、班组成员合作质量9种；最终识别最可能的认知功能失效模式和预测失误概率；
[0073]
所述驾驶舱人机交互模块包括前置诱发实验子模块、数据管理及处理系统和预警子模块；所述前置诱发实验子模块对飞行员进行疲劳诱发实验和情绪诱发实验；所述疲劳诱发实验要求飞行员进行不同时段的睡眠剥夺；所述情绪诱发实验通过音视频诱发飞行员的高兴、悲伤、愤怒情绪；所述数据管理及处理系统包括数据采集配置子模块、数据文件管理子模块和结果可视化子模块；所述数据采集配置子模块通过选择通信串口以及采集设备来进行采集飞行员生理信号时的相关配置，再通过对数据库类型以及用户类型的选择来确定采集获取的生理信号的存储位置以及操作权限模式；所述数据文件管理字模块通过读取文件按钮将存储于数据库中的文件读取到显示面板中，并对文件操作；所述结果可视化字模块通过调用精神疲劳监测模块可视化显示对飞行员的精神疲劳分类器分类结果、perclos、眨眼频率、哈欠频率、点头频率以及最终的综合疲劳指标；
[0074]
所述预警模块包括警示灯和飞行建议；预警模块根据综合疲劳指标决定是否发出警报以及给出飞行建议；当飞行员的综合疲劳指标达到阈值时触发警示灯；所述飞行建议包括更换主飞行员、进行休息、出现的失误类型及解决方案。
[0075]
进一步地，所述信号采集模块使用蓝牙脉搏皮电呼吸传感器和心电信号传感器采集飞行员的心电、皮电、脉搏、呼吸生理信号；采用摄像头捕捉飞行员面部图像。
[0076]
进一步地，所述飞行环境参数包括飞行阶段、atm指令、航线约束、a/c的性能约束、天气因素、地形；飞行环境参数由x-plane飞行仿真软件提供。
[0077]
进一步地，所述心电信号传感器型号为bmd101，包括低噪音放大器、adc模数转换器和一个检测感应器是否脱落的电路，能够采集从uv到mv的生物信号。
[0078]
进一步地，所述生理信号特征为sdnn或lfp/hfp或近似熵特征；采用离差标准化方法进行归一化。
[0079]
进一步地，所述面部图像识别子模块对信号采集模块采集到的飞行员面部图像进行人脸关键点提取，再通过人脸关键点计算飞行员的perclos、眨眼频率、哈欠频率和点头频率，具体方法为：
[0080]
利用人脸识别开源库dlib进行人脸关键点提取，特征提取器采用shape_predictor_68_face_landmarks.dat；通过人脸关键点计算perclos、眨眼频率、哈欠频率以及点头频率；
[0081]
所述perclos是指在单位时间内眼睛闭合程度超过设定闭值的时间占总时间的百分比，即眼睛闭合帧数与检测时间段总帧数之比；设定闭值标准为p80，即眼睑遮住瞳孔的面积超过80％就计为眼睛闭合，统计在固定时间内眼睛闭合时所占的时间比例即为perclos；
[0082]
所述眨眼频率通过计算眼睛纵横比得到；眼睛纵横比ear为左眼和右眼纵横比的平均值，计算公式如下：
[0083][0084]
其中，‖
·
‖为两点的欧式距离；如果连续3帧人脸图像中ear都大于阈值0.2，则视为一次有效眨眼；
[0085]
所述哈欠频率通过计算嘴部张口度得到，嘴部张口度α计算公式如下：
[0086][0087]
有效哈欠的判决条件包括首次判决和二次判决；所述首次判决根据嘴部张口度大小及其阈值进行初判；所述二次判决根据在设定区域的哈欠持续时间进行二次判决，即嘴部张口度超过阈值的持续时间超过持续时间阈值则视为有效哈欠；
[0088]
所述点头频率的估计是旋转三维标准模型，直到三维标准模型上三维特征点的二维投影与待测试图像上的特征点重合，将旋转向量转化为四元数，再将四元数转化为欧拉角，当欧拉角大于某一阈值，则视为点头；所述三维标准模型以鼻尖为坐标原点，下巴(0.0，-330.0，-65.0)，左眼左角(-225.0f，170.0f，-135.0)，右眼右角(225.0f，170.0f，-135.0)，嘴角左侧：(-150.0，-150.0，-125.0)，嘴角右侧：(150.0，-150.0，-125.0)，其中f为相机焦距。
[0089]
进一步地，所述采用加权平均的方法进行决策层融合，具体方法如下：
[0090]
假设属性i＝1、2、3、4、5分别表示特征层融合结果、perclos、眨眼频率、哈欠频率、点头频率；xi为各属性的疲劳指标，x为综合疲劳指标，最大值为10，对各属性进行加权平均：
[0091][0092]
其中，w1、w2、w3、w4、w5表示特征层融合结果、perclos、眨眼频率、哈欠频率以及点头频率五个属性的权重值；
[0093]
五个属性的权重值采用层次分析法求得，具体步骤如下：
[0094]
步骤1：首先需要根据属性间两两比较的影响程度建立属性判断矩阵，其中判断矩阵中属性之间的影响程度赋值需要通过度量准则d来衡量，d的取值具体描述为：1表示两个属性重要性相同，2表示前者比后者略微重要，3表示前者比后者明显重要，4表示前者比后者及其重要，5表示前者比后者强烈重要，1.5、2.5、3.5、4.5表示上述相邻判断的中间值，其中d
ij
表示属性i与属性j的重要性之比，即属性i为前者，属性j为后者，其中d
ji
为d
ij
的倒数；
[0095]
步骤2：根据实际关系判断，将五个属性两两比较进行评分，最终得到判断矩阵d；
[0096][0097]
步骤3：选择特征根法求解权重值；假设五个属性的权重值满足条件如下：
[0098][0099]
假设w＝(w1,w2,w3,w4,w5)
t
，由于判断矩阵d为一致性矩阵，得到：
[0100][0101]
存在对应关系：
[0102]d·
w＝λ
maxw[0103]
其中，λ
max
为判断矩阵d的最大特征根，其对应的特征向量即为w，将w归一化处理后即为特征属性的权重向量。
[0104]
进一步地，所述预测失误概率采用cream预测分析法，将认知功能失效概率简称为cfp，其计算公式如下：
[0105]
cfpi＝cfp
基本
×w[0106][0107]
其中cfp
基本
表示判断与决策过程中各阶段对应的最可能的认知功能失效模式的基本值，w表示其对应权重因子。
[0108]
具体实施例：
[0109]
如图1所示，一种基于精神疲劳监测的驾驶舱人机交互系统及方法包括信号采集模块、精神疲劳监测模块、失误判断模块以及驾驶舱人机交互模块四个部分。
[0110]
所述信号采集模块通过采集飞行员的心电、皮电、脉搏、呼吸等生理信号，以及捕捉飞行员面部图像和导入飞行环境参数。
[0111]
进一步地，为了降低采集心电信号时的干扰和噪声，主要采取以下措施：采用π型滤波器，心电传感器芯片bmd101的模拟端和数字端接地，sep/sen接模拟地(agnd)，将传感器线路与电源噪声隔离，采用电感隔离模拟地和数字地，连接方式如图2所示；对sep/sen连接进行屏蔽布线，连接方式图3所示。
[0112]
所述精神疲劳监测模块包括生理信号处理算法、面部图像识别算法、基于多模信息融合的疲劳识别算法和情绪识别算法。所述生理信号处理算法包括将采集到的生理信号进行低通滤波处理、带陷滤波处理、基线漂移纠正处理，以及将处理后的生理信号进行特征提取，所述特征提取包括sdnn、lfp/hfp、近似熵等20多种时、频域特征及非线性特征，为了让所有特征在一个量级，采用离差标准化方法(min-max)进行归一化处理。
[0113]
进一步地，对于心电信号，采样频率为1500hz，选择巴特沃斯低通滤波器来滤除肌
电干扰，滤波器通带截止频率、阻带截止频率分别为80hz和100hz，因为肌电信号的频率为20～5000hz，其主要成分的频率与肌肉的类型有关，一般在30～300hz，而心电信号的频率主要集中在5～20hz。选择基于kaiser窗函数的fir滤波器滤除50hz工频干扰：陷波器由一个低通滤波器加上一个高通滤波器组成，高通滤波器则由一个全通滤波器减去一个低通滤波器构成，陷波器阶数为100，高通滤波器截止频率、低通滤波器截止频率分别为51hz和49hz，衰减系数β为100。选择iir零相移数字滤波器纠正由呼吸及人体移动会造成的基线漂移：通带纹波为0.005，阻带衰减为20db，通带截止频率、阻带截止频率分别为0.00187rad/s和0.008rad/s。心电信号滤波过程如图4所示。
[0114]
所述面部图像识别算法利用人脸识别开源库dlib进行人脸关键点提取，特征提取器采用官方提供的shape_predictor_68_face_landmarks.dat。通过人脸关键点计算perclos、眨眼频率、哈欠频率以及头部姿态。
[0115]
进一步地，perclos是指在单位时间内眼睛闭合程度超过某一闭值(70％、80％)的时间占总时间的百分比，即眼睛闭合帧数与检测时间段总帧数之比。本发明采用的标准是p80，即眼睑遮住瞳孔的面积超过80％就计为眼睛闭合，统计在一定时间内眼睛闭合时所占的时间比例。
[0116]
所述眼睛纵横比(ear)为左眼和右眼纵横比的平均值，如图5所示，眼睛纵横比计算公式如下：
[0117][0118]
其中，‖
·
‖为两点的欧式距离。如果连续3帧ear都大于阈值0.2，则视为有效眨眼。
[0119]
同理，如图6所示，嘴部张口度计算公式如下：
[0120][0121]
有效哈欠的判决条件包括首次判决和二次判决。所述首次判决包括根据张口度大小及其阈值进行初判，所述二次判决包括根据在条件区域的哈欠持续时间进行二次判决，即张口度超过阈值的持续时间超过持续时间阈值则视为有效哈欠。经过多次实验确定张口度阈值为0.65，持续时间超过2.5s则视为有效哈欠，其中超过3s则视为深度哈欠。
[0122]
所述头部姿态估计的思想是旋转三维标准模型到一定角度，直到模型上三维特征点的二维投影，与待测试图像上的特征点(图像上的特征点显然是2维)尽量重合。人脸姿态估计主要是获得脸部朝向的角度信息，本文获得的人脸姿态信息用三个欧拉角(俯仰角、偏航角、翻滚角)表示。
[0123]
首先定义一个6关键点的三维标准模型(左眼角，右眼角，鼻尖，左嘴角，右嘴角，下颌)，再采用dlib检测出图片中对应的6个脸部关键点，采用opencv的solvepnp函数解出旋转向量，最后将旋转向量转换为欧拉角。
[0124]
所述三维标准模型以鼻尖为坐标原点，下巴(0.0，-330.0，-65.0)，左眼左角(-225.0f，170.0f，-135.0)，右眼右角(225.0f，170.0f，-135.0)，嘴角左侧：(-150.0，-150.0，-125.0)，嘴角右侧：(150.0，-150.0，-125.0)，其中f为相机焦距。
[0125]
确定头部姿态也就是确定从三维标准模型到图片中人脸的仿射变换矩阵，包含旋
转和平移的信息。solvepnp函数输出结果包括旋转向量(roatation vector)和平移向量(translation vector)。本文主要将对旋转向量进行操作，主要方法是将旋转向量转化为四元数，再将四元数转化为欧拉角。当欧拉角大于某一阈值，则视为点头。
[0126]
所述基于多模信息融合的疲劳识别算法包括特征层融合和决策层融合。
[0127]
所述特征层融合包括将处理好的生理信号特征和人脸关键点位置进行cca降维处理，将相关性强的特征导入卷积神经网络进行训练，并将训练好的神经网络作为识别精神疲劳的分类器。通过调参尝试，所述卷积神经网络模型如图7所示，使用7层卷积层提取特征，每两层卷积层后添加一层池化层以保留主要特征，减少计算量。每层卷积层使用双曲正切函数tanh以提高神经网络对模型的表达能力。
[0128]
精神疲劳识别分为正常、轻度、严重三类。如图8所示，是精神疲劳特征层训练结果，能较好收敛。实验证明，该模型在测试集精度达到91％，没有出现过拟合现象。
[0129]
所述决策层融合输入包括特征层融合结果、perclos、眨眼频率、哈欠频率以及点头频率五个属性，采用加权平均的方法进行决策层融合，特征层与决策层关系如图9所示，以20s为周期采集生理信号并提取其相关特征，以60s为周期提取perclos、眨眼频率、哈欠频率、点头频率等图像特征。
[0130]
进一步地，决策层计算方法如图10所示，假设属性1、2、3、4、5分别表示特征层融合结果、perclos、眨眼频率、哈欠频率以及点头频率，xi为各属性的疲劳指标，x为综合疲劳指标，最大值为10，对各属性进行加权平均。
[0131][0132]
其中，w1、w2、w3、w4、w5表示特征层融合结果、perclos、眨眼频率、哈欠频率以及点头频率五个属性的权重值。
[0133]
特征层融合结果包括正常、轻度、严重三类，其疲劳指标分别为2、5、8。再根据perclos、眨眼频率、哈欠频率以及点头频率的疲劳阈值确定其对应的疲劳指标。比如，每60秒内眨眼次数达到20及以上表示达到疲劳阈值，达到严重程度，其疲劳指标达到8，由此可以确定属性眨眼频率的疲劳指标x3：
[0134][0135]
其中fm表示属性对应的疲劳阈值，xm表示不同疲劳阈值对应的临界指标。
[0136]
各属性权重采用层次分析法求。如图11主要分为以下几个步骤。
[0137]
步骤1：首先需要根据属性间两两比较的影响程度建立属性判断矩阵，其中判断矩阵中属性之间的影响程度赋值需要通过度量准则d来衡量，描述为：1表示两个属性重要性相同，2表示前者比后者略微重要，3表示前者比后者明显重要，4表示前者比后者及其重要，前者比后者强烈重要，1.5、2.5、3.5、4.5表示上述相邻判断的中间值。其中d
ij
表示属性i与属性j的重要性之比，即属性i为前者，属性j为后者，其中d
ji
为d
ij
的倒数。
[0138]
步骤2：根据属性关系度量准则和实际关系判断，将五个属性两两比较进行评分，最终可以得到判断矩阵d。
[0139][0140]
其中属性1、2、3、4、5分别表示特征层融合结果、perclos、眨眼频率、哈欠频率以及点头频率。
[0141]
步骤3：选择特征根法求解权重值。假设五个属性的权重值分别为w1、w2、w3、w4、w5，满足条件如下：
[0142][0143]
假设w＝(w2,w3,w4,w5)
t
，由于判断矩阵为一致性矩阵，因此可以得出：
[0144][0145]
对于判断矩阵存在对应关系：
[0146]d·
w＝λ
maxw[0147]
其中，λ
max
为判断矩阵d的最大特征根，其对应的特征向量即为w，将w归一化处理后即为特征属性的权重向量。
[0148]
所述失误判断模块采用cream预测分析法来判断飞行员可能出现的失误以及失误的概率。分析飞行员在完成任务过程中的认知活动和可能的认知功能失效，根据多模信息融合算法结果确定认知功能失效概率基本值，并研究所处的情景环境的共同绩效条件(cpc)因子水平对基本值进行修正，从而对人在完成任务时可能发生失效的概率进行预测。
[0149]
如图12所示，失误判断步骤包括任务分析、建立认知需求剖面、评价共同绩效条件、识别最可能的认知功能失效模式以及预测失误概率。
[0150]
所述任务分析将机组判断与决策过程分为询问、讨论、确定方案、执行和反馈5个步骤。
[0151]
所述建立认知需求剖面包括确定驾驶舱环境下飞行员可能出现的失误模式及对应的失误概率基本值，该基本值根据精神疲劳及专家确定。
[0152]
进一步地，cream将认知功能归纳为观察、解释、计划和执行四类。观察功能中可能出现的失误模式有观察目标错误、错误辨识和观察没有进行；解释功能中可能出现的失误模式有诊断失败、决策失误和延迟解释；计划功能中可能出现的失误模式有优先权错误、不适当的计划；执行功能中可能出现的失误模式有动作方向错误、动作时间错误、动作目标错
误、动作顺序错误和动作遗漏。
[0153]
所述评价共同绩效条件包括对共同绩效条件的水平进行打分和评价，确定其对绩效可靠性的期望效应。cream将共同绩效条件分为组织完整性、工作条件、人机界面与运行支持的完整性、规程/计划可用性、同时出现的目标数量、可用时间、工作时间、培训和经验的充分性、班组成员合作质量9种。根据专家和精神疲劳，对人机界面与运行支持的完整性和班组成员合作质量的评价进行修正，其中人机界面与运行支持的完整性的评价为正向，班组成员合作质量的评价与精神疲劳呈正相关。所述对共同绩效条件绩效可靠性的期望效应包括降低、不显著、改进。
[0154]
所述识别最可能的认知功能失效模式包括根据共同绩效条件确定认知功能对应的权重因子，以及根据同类别共同绩效条件的绩效可靠性的期望效应(降低、不显著、改进)数目之和确定机组判断与决策过程中各阶段最可能的认知功能失效模式。
[0155]
所述预测失误概率包括根据确定的认知功能失效模式及其对应的基本值和权重因子确定失误概率。cream的认知功能失效概率(cognitive failure probability)简称为cfp，其计算公式如下：
[0156]
cfpi＝cfp
基本
×w[0157][0158]
其中cfp
基本
表示机组判断与决策过程中各阶段对应的最可能的认知功能失效模式都基本值，w表示其对应权重因子。
[0159]
所述驾驶舱人机交互界面包括前置诱发实验、数据管理及处理系统和预警模块，部分界面如图13所示。
[0160]
进一步地，所述前置诱发实验包括疲劳诱发实验和情绪诱发实验。所述疲劳诱发实验包括要求受试者进行不同时段的睡眠剥夺，睡眠剥夺时间分别为6小时和10小时。所述情绪诱发实验通过音视频诱发高兴、悲伤、愤怒等情绪。
[0161]
所述数据管理及处理系统主要包括数据采集配置、数据文件管理和结果可视化，通过选择通信串口以及采集设备来确保采集数据时的相关配置。再通过数据库类型以及用户类型的选择来确定采集获取的数据的存储位置以及操作权限模式。所述数据文件管理模块通过读取文件按钮将存储于数据库中的文件读取到软件中的显示面板中，并可对文件操作及数据的可视化。所述结果可视化模块通过调用精神疲劳监测模块显示用户的特征层融合结果(正常、轻度、严重)、perclos、眨眼频率、哈欠频率、点头频率以及最终的综合疲劳指标。
[0162]
所述预警模块包括警示灯、飞行建议。根据监测到的精神疲劳决定是否发出警报以及给出飞行建议。所述警示灯为人机交互界面组件，当飞行员精神疲劳或极端情绪频率到达阈值达到阈值时触发。所述飞行建议包括更换主飞飞行员、适当休息、可能出现的失误类型及相关解决方案。