一种列车司机疲劳状态的超前预测方法及系统与流程

技术特征：

1.一种列车司机疲劳状态的超前预测方法，其特征在于，包括下列步骤：

1)采集列车司机的心电数据及面部数据；

2)根据采集的列车司机的心电数据和面部数据提取疲劳特征参数，同时预先对司机的瞳孔面积数据进行采集，获取perclos数据并存储；

3)利用非线性自回归神经网络建立疲劳超前预测模型；

4)利用建立的疲劳超前预测模型对列车司机的疲劳状态进行超前预测。

2.根据权利要求1所述的列车司机疲劳状态的超前预测方法，其特征在于，步骤1)中，采集列车司机的心电数据的具体过程包括：

通过心电传感器采集心电波形，对心电波形进行滤波处理，截断大于240hz小于40hz的频率范围内的波形后，进行基线漂移处理，随后检测r峰，获取心电特征数据。

3.根据权利要求1所述的列车司机疲劳状态的超前预测方法，其特征在于，步骤1)中，采集列车司机的面部数据的具体过程包括：

拍摄列车司机的面部视频数据，从视频流循环帧，对图像做维度扩大和灰度化处理，利用dlib的正向人脸检测器进行人脸检测，提取人脸外部矩形框，并利用dlib中训练好的人脸68个特征点特征检测器，进行人脸面部轮廓特征提取，进而提取眼部和嘴部特征点。

4.根据权利要求3所述的列车司机疲劳状态的超前预测方法，其特征在于，步骤2)中，根据心电数据提取的疲劳特征参数包括sdnn、mean_hr、mean_nn、sdsd、std_hr、rmssd的值，各值每3秒统计一次。

5.根据权利要求4所述的列车司机疲劳状态的超前预测方法，其特征在于，步骤2)中，根据面部数据提取的疲劳特征参数包括根据眼部和嘴部特征点的坐标计算的眼睛长宽比和嘴巴长宽比，各值每3秒统计一次。

6.根据权利要求5所述的列车司机疲劳状态的超前预测方法，其特征在于，步骤3)的具体内容为：

以预先储存的sdnn、mean_hr、mean_nn、sdsd、std_hr、rmssd、眼睛长宽比和嘴巴长宽比作为特征列，以预先储存的perclos作为标签，利用非线性自回归神经网络进行疲劳超前预测模型训练，模型的拟合度采用均方差衡量。

7.根据权利要求6所述的列车司机疲劳状态的超前预测方法，其特征在于，基于非线性自回归神经网络，采用开环结构对疲劳超前预测模型进行开环训练，判断训练后的疲劳超前预测模型的拟合度是否符合要求，若符合要求，则将开环训练转换为闭环结构，进行下一步超前预测，否则，再次进行开环训练，直至满足要求。

8.根据权利要求6所述的列车司机疲劳状态的超前预测方法，其特征在于，步骤4)的具体内容为：

将实时新采集的列车司机的sdnn、mean_hr、mean_nn、sdsd、std_hr、rmssd、眼睛长宽比和嘴巴长宽比作为模型输入变量，代入训练后的疲劳超前预测模型中进行预测，并获取相应的perclos值，若perclos大于0.15，则判断为疲劳，否则判断为不疲劳。

9.根据权利要求6所述的列车司机疲劳状态的超前预测方法，其特征在于，采用dikablis眼动仪对司机的瞳孔面积数据进行采集并存储，数据采集频率为120hz，且每3秒进行一次perclos数据统计。

10.一种实现如权利要求1～9任一项所述的列车司机疲劳状态的超前预测方法的系统，其特征在于，该系统包括：

网络摄像头，采集列车司机的脸部图像数据，并将数据通过无线传输方式上传至数字处理器；

心电手环，采集列车司机的心电数据，并将数据通过无线传输方式上传至数字处理器；

数字处理器，接收并处理由网络摄像头和心电手环输入的数据，若判断列车司机疲劳，则输出信号至扬声器模块；

扬声器模块，接收数字处理器的疲劳判定信号后为列车司机执行声音警报。

技术总结
本发明涉及一种列车司机疲劳状态的超前预测方法及系统，方法包括步骤：1)采集列车司机的心电数据及面部数据；2)根据采集的列车司机的心电数据和面部数据提取疲劳特征参数；3)利用非线性自回归神经网络建立疲劳超前预测模型；4)利用建立的疲劳超前预测模型对列车司机的疲劳状态进行超前预测；系统包括心电手环，网络摄像头，扬声器模块和数字处理器。与现有技术相比，本发明融合了心率变异性、睁眼程度和张嘴程度，能够提前3秒预测司机的疲劳状态，给司机足够的时间采取措施来避免紧急情况下的事故。

技术研发人员：于颖慧;丁泓九;朱海燕
受保护的技术使用者：上海工程技术大学
技术研发日：2021.04.01
技术公布日：2021.08.20