一种列车司机疲劳状态的超前预测方法及系统与流程

本发明涉及轨道交通列车驾驶安全技术领域，尤其是涉及一种列车司机疲劳状态的超前预测方法及系统。

背景技术：

作为地铁的关键岗位作业人员，列车司机对现场情况的感知判断和突发情况时的随机应变影响着列车的运行安全，而连续重复的枯燥驾驶和无法避免的倒班制度使地铁管理面临疲劳驾驶带来的安全风险问题，因此，人们提出疲劳监测系统来提醒司机。但是传统的方法旨在实时检测司机疲劳，即先是司机进入疲劳状态，而后被疲劳监测系统检测到，进而提供警报，这在很多情况下可能为时已晚。因为疲劳驾驶会降低司机的反应时间和认知注意力，特别是在司机进入疲劳状态到监测系统检测到疲劳状态的这段时间内，司机出于对传统疲劳监测系统的信任，增大了潜在事故的风险概率。

技术实现要素：

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种列车司机疲劳状态的超前预测方法及系统。

本发明的目的可以通过以下技术方案来实现：

一种列车司机疲劳状态的超前预测方法，该方法包括如下步骤：

s1：采集列车司机的心电数据及面部数据。

采集列车司机的心电数据的具体过程包括：

通过心电传感器采集心电波形，对心电波形进行滤波处理，截断大于240hz小于40hz的频率范围内的波形后，进行基线漂移处理，随后检测r峰，获取心电特征数据。

采集列车司机的面部数据的具体过程包括：

拍摄列车司机的面部视频数据，从视频流循环帧，对图像做维度扩大和灰度化处理，利用dlib的正向人脸检测器进行人脸检测，提取人脸外部矩形框，并利用dlib中训练好的人脸68个特征点特征检测器，进行人脸面部轮廓特征提取，进而提取眼部和嘴部特征点。

s2：根据采集的列车司机的心电数据和面部数据提取疲劳特征参数，同时预先对司机的瞳孔面积数据进行采集，获取perclos数据并存储；

进一步地，根据心电数据提取的疲劳特征参数包括sdnn、mean_hr、mean_nn、sdsd、std_hr、rmssd的值，各值每3秒统计一次。

根据面部数据提取的疲劳特征参数包括根据眼部和嘴部特征点的坐标计算的眼睛长宽比和嘴巴长宽比，各值每3秒统计一次。

进一步地，采用dikablis眼动仪对司机的瞳孔面积数据进行采集并存储，数据采集频率为120hz，且每3秒进行一次perclos数据统计。

s3：利用非线性自回归神经网络建立疲劳超前预测模型；

具体地，以预先储存的sdnn、mean_hr、mean_nn、sdsd、std_hr、rmssd、眼睛长宽比和嘴巴长宽比作为特征列，以预先储存的perclos作为标签，利用非线性自回归神经网络进行疲劳超前预测模型训练，模型的拟合度采用均方差衡量。

基于非线性自回归神经网络，采用开环结构对疲劳超前预测模型进行开环训练，判断训练后的疲劳超前预测模型的拟合度是否符合要求，若符合要求，则将开环训练转换为闭环结构，进行下一步超前预测，否则，再次进行开环训练，直至满足要求。

s4：利用建立的疲劳超前预测模型对列车司机的疲劳状态进行超前预测。具体内容为：

将实时新采集的列车司机的sdnn、mean_hr、mean_nn、sdsd、std_hr、rmssd、眼睛长宽比和嘴巴长宽比作为模型输入变量，代入训练后的疲劳超前预测模型中进行预测，并获取相应的perclos值，若perclos大于0.15，则判断为疲劳，否则判断为不疲劳。

一种列车司机疲劳状态的超前预测系统，该系统包括：

网络摄像头，采集列车司机的脸部图像数据，并将数据通过无线传输方式上传至数字处理器；

心电手环，采集列车司机的心电数据，并将数据通过无线传输方式上传至数字处理器；

数字处理器，接收并处理由网络摄像头和心电手环输入的数据，若判断列车司机疲劳，则输出信号至扬声器模块；

扬声器模块，接收数字处理器的疲劳判定信号后为列车司机执行声音警报。

相较于现有技术，本发明通过多元信息，即心率变异性、睁眼程度和张嘴程度来检测驾驶疲劳，可以提高疲劳识别的准确率和可靠性；通过利用非线性自回归神经网络可提前至少3秒预测司机的疲劳状态，给司机足够的时间采取措施来避免紧急情况下的事故。

附图说明

图1为实施例中列车司机疲劳状态的超前预测方法的流程示意图；

图2为实施例中超前预测司机疲劳的开环模式示意图；

图3为实施例中超前预测司机疲劳的闭环模式示意图；

图4为实施例中列车司机疲劳状态的超前预测系统的主要结构示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。

实施例

如图1所示，本发明涉及一种列车司机疲劳状态的超前预测方法，包括如下步骤：

步骤一、使用心电传感器采集列车司机的心电数据，使用网络摄像头采集列车司机的面部数据。具体地：

使用心电传感器采集心电数据的过程包括通过心电传感器采集心电波形，然后对心电波形进行滤波处理，截断大于240hz小于40hz的频率波形，并进行基线漂移处理，然后检测r峰，r峰检测后得到r峰的位置坐标，利用可进行心率变异性分析的hrv模块对r峰位置进行分析，得到心电特征数据(sdnn、mean_hr、mean_nn、sdsd、std_hr、rmssd)，完成心电特征数据获取。

使用网络摄像头采集面部数据的过程包括通过安装在列车司机驾驶室内的网络摄像头拍摄列车司机面部视频图像，然后从视频流循环帧，对图片做维度扩大和灰度化处理，利用dlib的正向人脸检测器进行人脸检测，提取人脸外部矩形框，利用dlib中训练好的人脸68个特征点特征检测器，进行人脸面部轮廓特征提取，即提取眼部和嘴部特征点。具体地：首先需要对人脸进行定位，通过68个特征点可以定位人脸，利用dlib库识别图片中的人脸，获取人脸检测器，提取脸部68个特征点，进而获取人脸面部轮廓特征，提取眼部和嘴部特征点。

步骤二、从心电数据和面部数据中提取疲劳特征参数，并预先利用眼动仪司机的瞳孔面积数据进行采集并存储。

从心电数据中提取疲劳特征参数包括提取sdnn、mean_hr、mean_nn、sdsd、std_hr、rmssd的值，并每3秒统计一次。

从面部数据中提取疲劳特征参数包括根据眼部和嘴部特征点的坐标计算眼睛长宽比和嘴巴长宽比，并每3秒统计一次。

perclos是在进行步骤一、二的同时，通过眼动仪测得的。在本实施例中，作为优选方案，采用erogoneers公司生产的dikablis眼动仪对司机的瞳孔面积数据进行采集并存储，数据采集频率为120hz，每3秒统计一次perclos。

步骤三、利用非线性自回归神经网络(narx)建立疲劳超前预测模型；具体地：

以预先储存的sdnn、mean_hr、mean_nn、sdsd、std_hr、rmssd、眼睛长宽比和嘴巴长宽比作为特征列，以预先储存的perclos作为标签，利用narx进行训练。perclos为通过眼动仪采集的数据。其中，sdnn、mean_hr、mean_nn、sdsd、std_hr、rmssd、眼睛长宽比、嘴巴长宽比通过步骤一、二获取。

narx是一种具有外生输入的非线性自回归模型，可以代数表示为：

yt＝f(yt-1，yt-2，…yt-n，xt，xt-1，xt-2，…，xt-m) εt

其中，yt，xt是该模型在t时刻的输出和输入；m为输入时延的最大阶数，n为输出时延的最大阶数；故xt-1，xt-2，…，xt-m为相对于t时刻的历史输入；yt-1，yt-2,…yt-n为相对于t时刻的历史输出；εt是t时刻的误差项(有时称为噪声)；函数f是非线性函数，如多项式、神经网络、小波网络和sigmoid网络等。

narx采用开环结构对疲劳预测模型进行开环训练，然后将其转换为闭环结构，进行下一步超前预测，模型的拟合度用均方差(meansquareerror，简称mse)衡量。

开环模式如图2所示，图中，x(t)代表t时刻的输入，y(t)代表t时刻的输出，上方的1:3代表输入时延的最大阶数是3，下方的1:3代表输出时延的最大阶数是3，hidden代表隐藏层，w代表权重，b代表系数，h代表神经元，其中有1个隐藏层，5个神经元。在此模型中，输入t时刻的输入变量和输出变量，得到t时刻的输出变量。在开环模式中，输出的回归因子是由系统输出的实际值构成(即

均方差的计算方式如下：

式中：为perclos预测值；yi为perclos实际值；n为样本总数。

若mse的值小于0.005，则将narx转换为闭环模式，然后执行下一步。若mse的值大于或等于0.005，则再次进行narx开环训练，直至mse的值小于0.005。

闭环模式如图3所示，x(t)代表t时刻的输入，y(t)代表t时刻的输出，上方的0:2代表输入时延的最大阶数是3、下方的1:3代表输出时延的最大阶数是3，hidden代表隐藏层，w代表权重，b代表系数，h代表神经元，其中有1个隐藏层，5个神经元。在此模型中，输入t时刻的输入变量，得到t 1时刻的输出变量。在闭环模式中，输出的回归因子是由系统输出的预测值构成(即)。

步骤四、利用建立的模型对列车司机的疲劳状态进行提前1步的超前预测。

将实时新采集的sdnn、mean_hr、mean_nn、sdsd、std_hr、rmssd、眼睛长宽比和嘴巴长宽比作为输入变量，代入训练后的模型中进行预测，并得到相应的perclos值，若perclos大于0.15，则定义为疲劳，否则为不疲劳。

采集的变量的各含义如表1所示。

表1变量定义表

本发明还提供一种列车司机疲劳状态的超前预测系统，该系统包括数字处理器，网络摄像头，扬声器模块，眼动仪，以及集心电传感器、心电单片机、无线传输模块于一体的心电手环。网络摄像头设于列车司机驾驶室，心电手环设于列车司机手腕上。心电手环、网络摄像头分别与数字信号处理器的输入端无线连接。扬声器模块与数字信号处理器的输出端连接。作为标签数据的perclos数据，通过预先戴在司机头上的眼动仪获取，在实际使用过程中无需再进行佩戴。

数字处理器用于接收并处理由网络摄像头和心电手环输入的数据，当驾驶员疲劳时则输出信号到扬声器模块；网络摄像头用于采集驾驶员脸部图像数据并将数据上传至数字处理器；心电手环用于采集驾驶员的心电数据并将数据上传至数字处理器。心电手环通过无线传输将心电数据发送到数字处理器，网络摄像头通过无线传输将脸部数据发送到数字处理器。扬声器模块，用于接收数字处理器的疲劳判定信号后为列车司机执行声音警报。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。