一种基于多域驾驶行为特征融合的驾驶员疲劳识别方法及系统与流程

本发明涉及驾驶员状态监测，具体涉及一种基于多域驾驶行为特征融合的驾驶员疲劳识别方法及系统。

背景技术：

1、驾驶员疲劳监测需要先获取能反映疲劳状态的信号，再通过算法判断驾驶员状态。车内摄像头识别眼睑开合度、打哈欠等面部特征是较早采用的方式，但画面易受光照变化影响，驾驶员戴眼镜、口罩时也容易误判，摄像头模块和相应算力还带来硬件成本，采集面部图像又涉及隐私顾虑。

2、为绕开摄像头的局限，也有方案转向采集驾驶员生理信号，通过方向盘电容传感器、座椅心电电极或穿戴设备获取心率、皮肤电导等指标，但这仍需额外加装传感器，成本并未降下来，且车辆持续震动会干扰非接触式测量的稳定性。

3、视觉和生理信号方案都绕不开硬件限制，因此也有方案利用车辆总线中已有的方向盘转角、油门、制动等驾驶操作信号，不需加装传感器。但现有此类方案对信号利用还比较粗浅，多仅计算方向盘转角标准差或零速比例，未从信号变化中挖掘出更能表征疲劳的深层特征，且往往只用车辆控制域信号，未结合车道保持等辅助驾驶域信息，识别精度有限。

4、因此，现有技术尚未能在不增加硬件成本的前提下，融合车辆控制域与辅助驾驶域信号，形成不受光照和遮挡条件影响的驾驶员疲劳识别方案。

技术实现思路

1、鉴于上述存在的问题，本发明所要解决的技术问题是提供一种基于多域驾驶行为特征融合的驾驶员疲劳识别方法及系统，用于解决现有技术在不增加硬件成本的前提下，难以融合车辆控制域与辅助驾驶域多类驾驶行为信号实现高精度疲劳识别，且识别效果易受光照和遮挡条件影响的问题。

2、本发明解决上述技术问题的技术方案如下：

3、第一方面，本发明提供了一种基于多域驾驶行为信号融合的低成本驾驶员疲劳识别方法，包括：

4、获取车辆控制域中的转向操纵信号和纵向操纵信号，以及辅助驾驶域中的车辆横向行驶信号，并对获取的各类信号进行同步和预处理；

5、对预处理后的转向操纵信号进行频域分析，得到转向操纵特征；分析预处理后的纵向操纵信号的连续变化情况，得到纵向操纵特征；

6、根据预处理后的车辆横向行驶信号，分析车辆相对于车道的位置变化及车辆横摆变化，得到横向行驶特征；

7、将所述转向操纵特征、纵向操纵特征和横向行驶特征进行融合，得到多域驾驶行为特征；

8、依据所述多域驾驶行为特征识别驾驶员疲劳状态，并根据所述驾驶员疲劳状态触发疲劳预警。

9、第二方面，本发明提供了一种基于多域驾驶行为信号融合的低成本驾驶员疲劳识别系统包括信号采集单元、边缘计算单元和预警单元；

10、所述信号采集单元与车辆总线连接，用于获取车辆控制域中的转向操纵信号和纵向操纵信号，以及辅助驾驶域中的车辆横向行驶信号，并将获取的各类信号发送至所述边缘计算单元；

11、所述边缘计算单元用于对接收的各类信号进行同步和预处理，对预处理后的转向操纵信号进行频域分析得到转向操纵特征，分析预处理后的纵向操纵信号的连续变化情况得到纵向操纵特征，并根据预处理后的车辆横向行驶信号分析车辆相对于车道的位置变化及车辆横摆变化得到横向行驶特征；

12、所述边缘计算单元还用于将所述转向操纵特征、纵向操纵特征和横向行驶特征进行融合，得到多域驾驶行为特征，并根据所述多域驾驶行为特征识别驾驶员疲劳状态，根据所述驾驶员疲劳状态生成疲劳预警触发信息；

13、所述预警单元与所述边缘计算单元连接，用于根据所述疲劳预警触发信息执行疲劳预警。

14、本发明的有益效果是：在不增加任何车载硬件的前提下，复用车辆总线中已有的转向、纵向及横向行驶信号即可完成疲劳识别，在一定程度上避免了视觉方案受光照和遮挡影响、生理信号方案需额外加装传感器的问题，同时不采集驾驶员图像或生理数据，兼顾了全天候工作能力与隐私友好性，识别过程所需计算资源较低，便于在现有车载计算单元上部署运行。

15、在上述技术方案的基础上，本发明还可以做如下改进。

16、进一步，所述对预处理后的转向操纵信号进行频域分析，得到转向操纵特征，包括：从所述预处理后的转向操纵信号中提取与驾驶员转向微修正对应的高频信号成分，并对所述高频信号成分进行功率谱分析，得到所述高频信号成分在转向操纵信号中的能量占比；

17、按照连续时间窗口比较所述能量占比的变化，得到转向微修正能量的衰减情况；

18、统计所述转向操纵信号在各时间窗口内的扭矩过零情况和低扭矩持续情况，并结合所述能量占比、转向微修正能量的衰减情况、扭矩过零情况和低扭矩持续情况，形成所述转向操纵特征。

19、采用上述进一步方案的有益效果是能够从转向操纵信号的频域能量分布中挖掘出驾驶员高频微修正动作的变化规律，相比单纯计算转角标准差等浅层统计量，可更灵敏地反映疲劳早期出现的操纵行为变化。

20、进一步，所述分析预处理后的纵向操纵信号的连续变化情况，得到纵向操纵特征，包括：按照采样顺序计算所述纵向操纵信号中相邻采样值之间的变化量，形成纵向操纵变化率序列；

21、计算所述纵向操纵变化率序列的样本熵和变化率方差，并根据相邻变化率之间的差异确定所述纵向操纵变化率序列的变化幅度；

22、结合所述样本熵、变化率方差和变化幅度，形成所述纵向操纵特征。

23、采用上述进一步方案的有益效果是通过样本熵等非线性指标刻画纵向操纵的不规则程度，能够识别出疲劳状态下踏板操作变得不稳定这一细微行为特征。

24、进一步，所述根据预处理后的车辆横向行驶信号分析车辆相对于车道的位置变化及车辆横摆变化，得到横向行驶特征，包括：所述车辆横向行驶信号包括左右车道线距离、横摆角速度信号和车道偏离信号；

25、根据所述左右车道线距离确定车辆相对于车道中心的横向偏移，统计所述横向偏移的标准差；

26、统计所述横摆角速度的方差，并根据所述车道偏离信号确定车道偏离事件的发生次数；

27、结合所述横向偏移的标准差、横摆角速度的方差和车道偏离事件的发生次数，形成所述横向行驶特征。

28、采用上述进一步方案的有益效果是引入辅助驾驶域中车道保持和横摆运动的信息，有助于弥补仅依赖车辆控制域信号导致的识别盲区，提升疲劳识别的准确性。

29、进一步，所述将转向操纵特征、纵向操纵特征和横向行驶特征进行融合，得到多域驾驶行为特征，包括：获取同一时间窗口对应的所述转向操纵特征、纵向操纵特征和横向行驶特征；分别根据各项特征在训练样本中的均值和标准差，对所述转向操纵特征、纵向操纵特征和横向行驶特征进行标准化处理；按照所述时间窗口对应组合标准化后的各项特征，形成包含驾驶员转向操纵、纵向操纵和车辆横向行驶信息的所述多域驾驶行为特征。

30、采用上述进一步方案的有益效果是在一定程度上能够消除不同特征量纲和数值范围差异带来的影响，使多域特征能够在同一尺度下参与后续疲劳状态识别，并提高识别结果的可靠性。

31、进一步，所述根据驾驶员疲劳状态触发疲劳预警，包括：按照时间顺序获取连续多个时间窗口对应的驾驶员疲劳状态，并统计其中达到重度疲劳状态的时间窗口数量；

32、将达到重度疲劳状态的时间窗口数量与所述连续多个时间窗口的数量进行比较，在达到重度疲劳状态的时间窗口占多数时，确定驾驶员处于重度疲劳状态并触发疲劳预警。

33、采用上述进一步方案的有益效果是能够有助于避免因单一时间窗口的瞬时误判而触发不必要的预警，提高预警结果的稳定性。

34、进一步，在得到所述多域驾驶行为特征之后，还包括：建立驾驶员个人驾驶行为基线，根据所述个人驾驶行为基线调整驾驶员疲劳状态的识别，并在后续驾驶过程中对所述个人驾驶行为基线进行更新；

35、所述建立驾驶员个人驾驶行为基线，在车辆启动后的初始驾驶阶段，连续获取多个时间窗口对应的多域驾驶行为特征，并将所述初始驾驶阶段对应的驾驶状态作为清醒驾驶状态；

36、分别统计所述多个时间窗口内各项驾驶行为特征的均值和标准差；

37、以各项驾驶行为特征对应的均值和标准差建立所述驾驶员在清醒驾驶状态下的个人驾驶行为基线。

38、采用上述进一步方案的有益效果是引入个人驾驶行为基线机制，使疲劳判定阈值能够按驾驶员个体差异进行调整，有助于减少因驾驶风格不同导致的识别偏差。

39、进一步，所述根据个人驾驶行为基线调整驾驶员疲劳状态的识别，包括：根据当前时间窗口对应的多域驾驶行为特征获得驾驶员疲劳概率，并从所述个人驾驶行为基线中取得转向操纵特征对应的个人基线值；

40、将所述个人基线值与预先获得的人群转向操纵特征均值进行比较，并根据所述个人基线值与人群转向操纵特征均值之间的差值相对于人群转向操纵特征标准差的比例，对疲劳概率判定阈值进行调整；

41、按照调整后的疲劳概率判定阈值对所述驾驶员疲劳概率进行判定，得到驾驶员疲劳状态。

42、采用上述进一步方案的有益效果是根据驾驶员个人驾驶风格与人群水平的差异动态调整疲劳概率判定阈值，减少因个体驾驶习惯不同导致的疲劳误判。

43、进一步，所述对个人驾驶行为基线进行更新，包括：在后续驾驶过程中持续获取各时间窗口对应的驾驶行为特征；

44、针对个人驾驶行为基线中的各项驾驶行为特征，将前一时间窗口对应的个人基线值与当前时间窗口获得的对应驾驶行为特征值进行加权，得到当前时间窗口对应的个人基线值；

45、利用当前时间窗口对应的个人基线值更新所述个人驾驶行为基线，并将更新后的个人驾驶行为基线用于后续驾驶员疲劳状态的识别。

46、采用上述进一步方案的有益效果是使个人驾驶行为基线随驾驶过程持续更新，适应驾驶员长期驾驶习惯的变化，保持疲劳识别阈值的适配性。