一种驾驶疲劳检测方法及装置与流程

1.本发明属于汽车技术领域，具体涉及一种驾驶疲劳检测方法及装置。


背景技术：

2.驾驶疲劳是疲劳的一种特例，也是一种复杂的生理心理表现。驾驶疲劳分为生理疲劳和心理疲劳两个方面。生理疲劳是指驾乘人员长时间处于驾驶室固定位置导致血液流通不畅，进而引起肢体麻木，操作迟钝。心理疲劳则主要是指驾乘人员时刻观察车内外情况使得精神高度紧张，心理负荷加大，驾车时间过长后导致驾乘人员精神难以集中，思维反应变慢。如果驾乘人员在疲劳后仍然继续驾驶，这时由于驾乘人员注意力不集中、四肢乏力、判断力下降甚至是操作停顿，极易发生交通事故。由此看来，驾驶疲劳研究对提高驾驶安全性非常重要。
3.此外，对于当前迅速发展的智能驾驶来说，驾驶疲劳研究同样意义重大。在智能驾驶的发展阶段中，l3级别以下的辅助驾驶阶段和l3级别的人机共驾阶段都需要准确的驾乘人员状态检测来辅助驾驶权限的切换和驾驶意图的判别，疲劳检测是其中重要一环。准确判断驾乘人员疲劳状态，一方面可在由疲劳驾驶造成误操作时，辅助预测驾乘人员真实意图；另一方面可在检测到驾乘人员疲劳时，由机器介入执行驾驶控制，维持安全驾驶。
4.目前在驾乘人员疲劳检测中，常用的方法有基于主观评价的检测方法、基于生理信号的检测方法、基于生理反应特征的检测方法、基于操作行为及其车辆状态的检测方法和基于生物化学的检测方法等，这些驾乘人员疲劳检测方法都有其各自的优点和局限性。其中，基于生理反应特征的检测方法具有非接触，对驾乘人员干扰小(即侵入性低)的优点，并且随着近年来人工智能、机器视觉及相关硬件的发展和智能驾驶中驾乘人员状态检测的提出，依靠摄像头采集驾乘人员面部或眼部信息来进行疲劳检测的方法成为主流，但目前仍然存在以下问题：第一是其对外界环境变化敏感，例如光照变化、面部或眼部被遮挡、眼镜墨镜和驾乘人员脸部不在检测区域等；第二是其无法及时预警，驾乘人员面部或眼部特征变化明显的时候已经是驾驶疲劳相当晚的阶段，此时的车辆行驶状态也已到了很危险的状态。


技术实现要素：

5.本发明实施例所要解决的技术问题在于，提供一种驾驶疲劳检测方法及装置，减小外界环境变化的影响，提高驾驶疲劳检测的准确性、鲁棒性和及时性。
6.为解决上述技术问题，本发明提供一种驾驶疲劳检测方法，包括：
7.步骤s1，通过摄像头采集驾乘人员面部图像，通过毫米波雷达采集驾乘人员背部振动信息；
8.步骤s2，对摄像头采集的驾乘人员面部图像进行图像处理，得到驾乘人员面部特征点信息；对毫米波雷达采集的驾乘人员背部振动信息进行信号处理，得到驾乘人员心率呼吸信息；
9.步骤s3，将驾乘人员面部特征点信息和心率呼吸信息融合输入至训练好的lstm神经网络模型中，得到驾驶疲劳检测结果。
10.进一步地，所述步骤s2对摄像头采集的驾乘人员面部图像进行图像处理，得到的驾乘人员面部特征点信息包括眼部特征、嘴部特征、面部轮廓特征的68个人体面部特征点的信息，其数据形式为时间戳及其对应的面部图片、特征序号及其对应的在图像上的像素位置。
11.进一步地，所述步骤s2对毫米波雷达采集的驾乘人员背部振动信息进行信号处理，得到的驾乘人员心率及呼吸信息中，心率信息包括心率时间戳、心率均值以及由心率时间戳和心率均值转化成的心率变异性参数，呼吸信息包括呼吸时间戳、呼吸频率均值。
12.进一步地，所述lstm神经网络模型的训练过程是：
13.通过摄像头采集驾乘人员面部图像，通过毫米波雷达采集驾乘人员背部振动信息；
14.对摄像头采集的驾乘人员面部图像进行图像处理，得到驾乘人员面部特征点信息；对毫米波雷达采集的驾乘人员背部振动信息进行信号处理，得到驾乘人员心率呼吸信息；
15.收集在采集驾乘人员面部图像和驾乘人员背部振动信息的对应时间段内的驾乘人员疲劳等级；
16.将驾乘人员面部特征点信息和驾乘人员心率呼吸信息作为输入数据，以对应时间段内的疲劳等级作为输出，训练得到所述lstm神经网络模型。
17.进一步地，得出驾驶疲劳检测结果后，通过视觉和/或听觉的方式对驾乘人员进行提醒。
18.本发明还提供一种驾驶疲劳检测装置，包括：
19.摄像头，安装在车辆内部并位于驾乘人员前方，用于采集驾乘人员面部图像；
20.毫米波雷达，安装在驾乘人员座椅的椅背内部，用于采集驾乘人员背部振动信息；
21.计算平台，安装在车辆内部，与所述摄像头和毫米波雷达电连接，用于对摄像头采集的驾乘人员面部图像进行图像处理，得到驾乘人员面部特征点信息；对毫米波雷达采集的驾乘人员背部振动信息进行信号处理，得到驾乘人员心率呼吸信息；还将驾乘人员面部特征点信息和心率呼吸信息融合输入至训练好的lstm神经网络模型中，得到驾驶疲劳检测结果。
22.进一步地，所述计算平台对摄像头采集的驾乘人员面部图像进行图像处理，得到的驾乘人员面部特征点信息包括眼部特征、嘴部特征、面部轮廓特征的68个人体面部特征点的信息，其数据形式为时间戳及其对应的面部图片、特征序号及其对应的在图像上的像素位置。
23.进一步地，所述计算平台对毫米波雷达采集的驾乘人员背部振动信息进行信号处理，得到的驾乘人员心率及呼吸信息中，心率信息包括心率时间戳、心率均值以及由心率时间戳和心率均值转化成的心率变异性参数，呼吸信息包括呼吸时间戳、呼吸频率均值。
24.进一步地，所述lstm神经网络模型的训练过程是：
25.通过摄像头采集驾乘人员面部图像，通过毫米波雷达采集驾乘人员背部振动信息；
26.对摄像头采集的驾乘人员面部图像进行图像处理，得到驾乘人员面部特征点信息；对毫米波雷达采集的驾乘人员背部振动信息进行信号处理，得到驾乘人员心率呼吸信息；
27.收集在采集驾乘人员面部图像和驾乘人员背部振动信息的对应时间段内的驾乘人员疲劳等级；
28.将驾乘人员面部特征点信息和驾乘人员心率呼吸信息作为输入数据，以对应时间段内的疲劳等级作为输出，训练得到所述lstm神经网络模型。
29.进一步地，所述驾驶疲劳检测装置，还包括显示屏，与所述计算平台电连接，用于根据驾驶疲劳检测结果，显示对驾乘人员进行提醒的信息。
30.实施本发明实施例，具有如下有益效果：分别利用摄像头采集驾乘人员面部信息，利用毫米波雷达采集驾乘人员心率呼吸信息，避免了仅使用摄像头时无法应对遮挡、光照变化和对环境变化敏感等问题，具有全天候工作能力；
31.采用基于毫米波雷达的方法采集驾乘人员心率及呼吸信息，具有非侵入性，车规级器材可量产和成本可控的优点；
32.融合了驾乘人员面部信息和身体生理信息，在提高驾驶疲劳检测的准确性、鲁棒性和及时性的同时，保留着低成本、低侵入性、高接受度的优点。
附图说明
33.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
34.图1为本发明实施例一一种驾驶疲劳检测方法的流程示意图。
35.图2为本发明实施例一一种驾驶疲劳检测方法的具体流程示意图。
36.图3为本发明实施例实施驾驶疲劳检测的元件相互作用关系示意图。
具体实施方式
37.以下各实施例的说明是参考附图，用以示例本发明可以用以实施的特定实施例。
38.人体生理信息具有能真实反映身体疲劳状态和对早期疲劳敏感度高的优点，并随着毫米波雷达技术的发展，采集人体生理信息不再依赖于接触式的专业设备，更加便捷与高效。本发明实施例利用毫米波雷达采集的心率信息可与摄像头采集的面部信息进行融合，完成多源多特征信息融合的驾乘人员疲劳检测。
39.请参照图1所示，本发明实施例一提供一种驾驶疲劳检测方法，包括：
40.步骤s1，通过摄像头采集驾乘人员面部图像，通过毫米波雷达采集驾乘人员背部振动信息；
41.步骤s2，对摄像头采集的驾乘人员面部图像进行图像处理，得到驾乘人员面部特征点信息；对毫米波雷达采集的驾乘人员背部振动信息进行信号处理，得到驾乘人员心率呼吸信息；
42.步骤s3，将驾乘人员面部特征点信息和心率呼吸信息融合输入至训练好的lstm神
经网络模型中，得到驾驶疲劳检测结果。
43.具体地，请结合图2-图3所示，摄像头安装于驾乘人员前方合适位置，用于采集驾乘人员面部图像；毫米波雷达安装于驾乘人员座椅的椅背内部，用于采集驾乘人员的背部振动信息；计算平台安装于汽车内部合适位置；显示屏安装于汽车内部合适位置，用于实时显示驾驶疲劳检测结果。摄像头、毫米波雷达和显示屏通过相应数据线连接至计算平台上，计算平台对摄像头采集的驾乘人员面部图像进行图像处理，得到驾乘人员面部特征点信息；对毫米波雷达采集的驾乘人员背部振动信息进行信号处理，得到驾乘人员心率呼吸信息；再将驾乘人员面部特征点信息和心率呼吸信息融合输入至训练好的lstm神经网络模型中，得到驾驶疲劳检测结果，输出至显示屏显示。
44.步骤s2对摄像头采集的驾乘人员面部图像进行图像处理，得到的驾乘人员面部特征点信息包括眼部特征、嘴部特征、面部轮廓特征等在内的68个人体面部特征点的信息，这些信息的数据形式为时间戳及其对应的面部图片、特征序号及其对应的在图像上的像素位置。对毫米波雷达采集的驾乘人员背部振动信息进行信号处理，得到的驾乘人员心率及呼吸信息中，心率信息包括心率时间戳、心率均值(mean)以及由这些心率数据转化成的心率变异性参数(sdnn、rmssd、sdsd、total power、vlf、lf、lf norm、hf、hf norm、lf/hf)，呼吸信息包括呼吸时间戳、呼吸频率均值。
45.步骤s3采用的lstm(long short-term memory，长短期记忆)神经网络模型经过事先训练得到。作为一种示例，其具体训练过程如下：
46.首先设计疲劳实验，如步骤s1一样通过摄像头采集驾乘人员面部图像，通过毫米波雷达采集驾乘人员背部振动信息；再如步骤s2一样对摄像头采集的驾乘人员面部图像进行图像处理，得到驾乘人员面部特征点信息；对毫米波雷达采集的驾乘人员背部振动信息进行信号处理，得到驾乘人员心率呼吸信息；同时收集对应时间段内的驾乘人员疲劳等级(本实施例将疲劳等级分为三级：清醒、轻度疲劳、重度疲劳)。然后以这些驾乘人员面部特征点信息和驾乘人员心率呼吸信息作为输入数据，以对应时间的疲劳等级作为输出(label)训练lstm网络，即可得到该lstm神经网络模型。需要说明的是，遗忘门在lstm网络中主要控制的是上一个时刻中的单元状态有多少保留到当前时刻，本实施例中单元状态是由输入门输入的数据——驾乘人员面部特征点信息和驾乘人员心率呼吸信息，保留的特征由lstm网络内部决定。
47.本实施例采用lstm神经网络模型的主要原因在于，lstm神经网络具有长短时间记忆的能力，而人的疲劳状态并不能根据当前状态进行判断，人应该根据一段时间的数据趋势才能检测得出。相比于现有方案采用的模糊神经网络方法，本发明采用的lstm神经网络模型能更好地利用时序性信息对驾驶疲劳做出更精确地检测。
48.得出驾驶疲劳检测结果后，可以通过视觉和/或听觉的方式对驾乘人员进行提醒。以视觉方式为例，将驾驶疲劳检测结果通过数据传输线输出到显示屏上，提醒驾乘人员安全驾驶。例如，当驾驶疲劳检测结果为重度疲劳的时候，显示屏将显示“请停车休息”；当驾驶疲劳检测结果为轻度疲劳的时候，显示屏将显示“请小心驾驶！”；当驾驶疲劳检测结果为清醒的时候，显示屏将显示“祝驾驶愉快！”。可以理解的是，提醒信息可以是文字，也可以是符号或图像，由厂商自由设计。目前大部分车辆均安装有中控显示屏，上述提醒信息可以在中控显示屏上实现。对于仪表盘也应用了液晶显示屏的车辆，上述提醒信息也可以在液晶
仪表盘上实现，这样使得提醒更加直接。而听觉方式的提醒，可以是触发录制好的语音，或者以蜂鸣器的报警音实现。视觉和听觉的方式的提醒还可以同步实施，尤其对于驾驶疲劳检测结果为重度疲劳或轻度疲劳的情况，更能实时、直接地进行提醒。此外，为避免不必要的对驾驶过程的干扰，当驾驶疲劳检测结果为清醒的时候，也可以不做提醒。
49.相应于本发明实施例一的驾驶疲劳检测方法，本发明实施例二提供一种驾驶疲劳检测装置，包括：
50.摄像头，安装在车辆内部并位于驾乘人员前方，用于采集驾乘人员面部图像；
51.毫米波雷达，安装在驾乘人员座椅的椅背内部，用于采集驾乘人员背部振动信息；
52.计算平台，安装在车辆内部，与所述摄像头和毫米波雷达电连接，用于对摄像头采集的驾乘人员面部图像进行图像处理，得到驾乘人员面部特征点信息；对毫米波雷达采集的驾乘人员背部振动信息进行信号处理，得到驾乘人员心率呼吸信息；还将驾乘人员面部特征点信息和心率呼吸信息融合输入至训练好的lstm神经网络模型中，得到驾驶疲劳检测结果。
53.进一步地，所述计算平台对摄像头采集的驾乘人员面部图像进行图像处理，得到的驾乘人员面部特征点信息包括眼部特征、嘴部特征、面部轮廓特征的68个人体面部特征点的信息，其数据形式为时间戳及其对应的面部图片、特征序号及其对应的在图像上的像素位置。
54.进一步地，所述计算平台对毫米波雷达采集的驾乘人员背部振动信息进行信号处理，得到的驾乘人员心率及呼吸信息中，心率信息包括心率时间戳、心率均值以及由心率时间戳和心率均值转化成的心率变异性参数，呼吸信息包括呼吸时间戳、呼吸频率均值。
55.进一步地，所述lstm神经网络模型的训练过程是：
56.通过摄像头采集驾乘人员面部图像，通过毫米波雷达采集驾乘人员背部振动信息；
57.对摄像头采集的驾乘人员面部图像进行图像处理，得到驾乘人员面部特征点信息；对毫米波雷达采集的驾乘人员背部振动信息进行信号处理，得到驾乘人员心率呼吸信息；
58.收集在采集驾乘人员面部图像和驾乘人员背部振动信息的对应时间段内的驾乘人员疲劳等级；
59.将驾乘人员面部特征点信息和驾乘人员心率呼吸信息作为输入数据，以对应时间段内的疲劳等级作为输出，训练得到所述lstm神经网络模型。
60.进一步地，所述驾驶疲劳检测装置，还包括显示屏，与所述计算平台电连接，用于根据驾驶疲劳检测结果，显示对驾乘人员进行提醒的信息。
61.有关本实施例的工作原理及过程，请参照本发明实施例一的说明，此处不再赘述。
62.实施本发明实施例，具有如下有益效果：
63.分别利用摄像头采集驾乘人员面部信息，利用毫米波雷达采集驾乘人员心率呼吸信息，避免了仅使用摄像头时无法应对遮挡、光照变化和对环境变化敏感等问题，具有全天候工作能力；
64.采用基于毫米波雷达的方法采集驾乘人员心率及呼吸信息，具有非侵入性，车规级器材可量产和成本可控的优点；
65.融合了驾乘人员面部信息和身体生理信息，在提高驾驶疲劳检测的准确性、鲁棒性和及时性的同时，保留着低成本、低侵入性、高接受度的优点。
66.以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。