疲劳驾驶检测方法、存储介质以及电子设备与流程

1.本发明涉及计算机工程应用技术领域，特别是涉及一种用于驾驶员的疲劳驾驶检测方法、存储介质以及电子设备。


背景技术：

2.随着人民经济水平的不断提升，家庭拥有一辆甚至多辆汽车已经非常普遍。私家车数量不断增长的同时，交通事故发生的频率也大大提高，其中因疲劳驾驶引发的交通事故一直都是一个重大隐患。
3.随着科学技术的发展，已经有部分研究人员投入关于疲劳驾驶的预警、控制研究中，但就目前来看，现有的疲劳驾驶检测方案仍存在较大缺陷，还具有很大的发展空间。比如：德系汽车、日产等公司采用的是间接测量，通过机器学习等方法分析驾驶员的行为，但其精确度不高，容易出现误判等不良情况，而且高实时性的机器学习系统会占用车载系统很大一部分资源；丰田、捷豹等公司采用直接测量的方式，通过人面部特征或是脑电信息来作为判断依据，虽然精确度大大提高，但是成本也相对应升高；还有一些方法是通过给驾驶员佩戴心率监控器材等方案，这种方法会让驾驶员的体验很差，造成车辆配备了相关仪器，但使用率很低的现象，很难实现普遍推广。


技术实现要素：

4.鉴于上述技术问题，提出了一种解决上述问题或者至少部分解决上述问题的用于驾驶员的疲劳驾驶检测方法、系统以及电子设备。
5.本发明第一方面的一个目的是要提供一种用于驾驶员的疲劳驾驶检测方法，通过尽量少占用车载资源的方法，来实现驾驶员的驾驶状态的检测。
6.本发明第一方面的一个进一步的目的是要有效的利用驾驶员的面部信息对驾驶员进行疲劳驾驶检测，从而提高检测结果的准确度，并且不会增加检测成本。
7.本发明第二方面的一个目的要提供一种机器可读存储介质。
8.本发明第三方面的一个目的要提供一种电子设备。
9.特别地，根据本发明的第一方面，本发明提供了一种用于驾驶员的疲劳驾驶检测方法，包括：
10.对驾驶员进行疲劳驾驶检测；
11.在检测到驾驶员处于正常状态时，设置疲劳驾驶检测的稀疏时间策略；
12.根据稀疏时间策略确定下一轮疲劳驾驶检测的开始时间点；
13.检测当前时间点是否到达下一轮疲劳驾驶检测的开始时间点，若是，对驾驶员进行新一轮的疲劳驾驶检测。
14.可选地，对驾驶员进行疲劳驾驶检测的步骤，包括：
15.捕捉驾驶员的面部特征；
16.根据捕捉的面部特征计算得到驾驶员当前的疲劳状态值；
17.根据疲劳状态值确定驾驶员的驾驶状态。
18.可选地，捕捉驾驶员的面部特征的步骤，包括：
19.采集驾驶员在驾驶车辆过程中的n帧面部图像；
20.从n帧面部图像中提取各帧面部图像的面部特征。
21.可选地，面部特征包括眼部特征和嘴部特征，并且提取n帧面部图像中各帧面部图像的面部特征的步骤，包括：
22.针对每一帧面部图像，在该帧面部图像内分别确定眼部图像和嘴部图像；
23.从眼部图像中提取眼部特征；
24.从嘴部图像中提取嘴部特征。
25.可选地，根据捕捉的面部特征计算得到驾驶员当前的疲劳状态值的步骤，包括：
26.根据每一眼部特征计算得到眼部疲劳状态值；
27.根据每一嘴部特征计算得到嘴部疲劳状态值；并且
28.根据疲劳状态值确定驾驶员的驾驶状态的步骤，包括：
29.对所有的眼部疲劳状态值和嘴部疲劳状态值分别进行归一化处理；
30.将归一化后的眼部疲劳状态值和归一化后的嘴部疲劳状态值作为判断节点，利用预先建立的疲劳状态决策树决策驾驶员的驾驶状态。
31.可选地，正常状态包括清醒状态和较疲劳状态；并且在驾驶员处于正常状态时，设置疲劳驾驶检测的稀疏时间策略的步骤，包括：
32.在驾驶员处于清醒状态时，设置第一稀疏时间策略，以使本轮疲劳驾驶检测与下一轮疲劳驾驶检测的时间间隔为默认值；
33.在驾驶员处于较疲劳状态时，设置第二稀疏时间策略，以使本轮疲劳驾驶检测与下一轮疲劳驾驶检测之间的时间间隔小于本轮疲劳驾驶检测与上一轮疲劳驾驶检测之间的时间间隔。
34.可选地，在对驾驶员进行疲劳驾驶检测的步骤之后，还包括：
35.在检测到驾驶员处于疲劳状态时，生成并输出提示信息。
36.可选地，对驾驶员进行疲劳驾驶检测的步骤，包括：
37.检测车辆的启动事件；
38.在检测到启动事件时，对驾驶员进行初始的疲劳驾驶检测，以初始化驾驶员的驾驶状态。
39.根据本发明的第二方面，本发明还提供了一种机器可读存储介质，其上存储有机器可执行程序，机器可执行程序被处理器执行时实现根据前述任一项的的用于驾驶员的疲劳驾驶检测方法。
40.根据本发明的第三方面，本发明还提供了一种电子设备，包括存储器、处理器及存储在存储器上并在处理器上运行的机器可执行程序，并且处理器执行机器可执行程序时实现根据前述任一项的用于驾驶员的疲劳驾驶检测方法。
41.本发明提供了一种用于驾驶员的疲劳驾驶检测方法、存储介质以及电子设备，在该方法中，通过对驾驶员进行疲劳驾驶检测确定驾驶员当前所处的驾驶状态，进而在驾驶员处于正常状态时，设置疲劳驾驶检测的稀疏时间策略，然后根据稀疏时间策略确定下一轮疲劳驾驶检测的开始时间点，进而在当前时间点到达下一轮疲劳驾驶检测的开始时间点
时，对驾驶员进行新一轮的疲劳驾驶检测。采用本发明的方案，可以根据驾驶员当前所处驾驶状态动态设置疲劳驾驶检测的稀疏时间策略，以便对驾驶员进行稀疏检测。相对于现有的疲劳驾驶检测方法，本发明方案没有实时的对驾驶员进行疲劳驾驶检测，而是稀疏的对驾驶员进行疲劳驾驶检测，同时稀疏间隔会根据驾驶员的当前驾驶状态进行动态调整，在保障了安全性的前提下，又节省了车载系统的计算资源，可用于智能车载系统中的行车预警系统。
42.进一步地，本发明在对驾驶员进行疲劳驾驶检测过程中，能够有效的驾驶员的面部信息来判断驾驶员当前所处的驾驶状态，提高了疲劳驾驶检测的准确度。
43.根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。
附图说明
44.后文将参照附图以示例性而非限制性的方式详细描述本发明的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：
45.图1是根据本发明一个实施例的用于驾驶员的疲劳驾驶检测方法的示意性流程图；
46.图2是根据本发明一个实施例的疲劳状态决策树的示意性模型图；
47.图3是根据本发明一个实施例的用于驾驶员的疲劳驾驶检测方法的示意性详细流程图；
48.图4是根据本发明一个实施例的电子设备的示意性结构框图。
具体实施方式
49.下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
50.在疲劳驾驶检测领域内，疲劳驾驶检测效率和准确率一直备受关注，为了提高疲劳驾驶检测的判断效率和准确率，在一些疲劳检测方法中，运用了viola
‑
jones框架特征矩阵进行人脸预判断，预判断过程中为了减少haar值计算量并提高人脸识别速度，采用adaboost算法和级联分析，实现人脸的快速识别，根据色彩空间转化实现眼部分割处理，根据perclos值评估驾驶员是否处于疲劳状态并进行预警。这种方法虽然可以有效的识别驾驶员是否处于疲劳状态，但是没有充分考虑该算法在车载端进行部署时对整个车载系统的资源消耗问题，毕竟车载系统中还有其他无线通信，报警控制，语音控制等非常重要的模块。
51.在另一些疲劳检测方法中，为了提高疲劳驾驶的速率，会将5g和车联网技术应用在疲劳驾驶预警系统。系统中的信息采集系统采用ccd图像传感器，一种新型的光电转换系器，体积小，灵敏度高，提高了信息采集的时效性和准确性。在信息处理时针对模糊、重影、色差或者是曝光严重而不成像等问题，采用了gamma校正和高斯滤波图像处理技术进行改
善。如此利用5g高速传播，超高带宽等特性实现了快速的信息传输。但是该方案依靠实时的人脸表情捕捉系统，同时采用5g进行信息传输，这种高效率的方式，会带来较高的资源消耗，同时仅仅依赖驾驶员的人脸信息准确率虽然达到了较高，但还可以进一步的提升。
52.为了解决前述技术问题，本发明实施例提供了一种用于驾驶员的疲劳驾驶检测方法，以便通过尽量少占用车载资源的方法，来实现驾驶员的驾驶状态的检测。
53.图1是根据本发明一个实施例的用于驾驶员的疲劳驾驶检测方法的示意性流程图。参见图1，在本发明一些实施例中，用于驾驶员的疲劳驾驶检测方法可以包括步骤s102至步骤s108。
54.步骤s102，对驾驶员进行疲劳驾驶检测。
55.步骤s104，在检测到驾驶员处于正常状态时，设置疲劳驾驶检测的稀疏时间策略；
56.步骤s106，根据稀疏时间策略确定下一轮疲劳驾驶检测的开始时间点；
57.步骤s108，检测当前时间点是否到达下一轮疲劳驾驶检测的开始时间点，若是，对驾驶员进行新一轮的疲劳驾驶检测。
58.本发明实施例通过对驾驶员进行疲劳驾驶检测，可以确定驾驶员当前的驾驶状态，进而根据驾驶状态动态的设置疲劳驾驶检测的稀疏时间策略，以便对驾驶员进行稀疏检测。相对于现有的疲劳驾驶检测方法，本发明实施例没有实时的对驾驶员进行疲劳驾驶检测，而是稀疏的对驾驶员进行疲劳驾驶检测，同时稀疏时间策略会根据驾驶员的当前驾驶状态进行动态调整，在保障了安全性的前提下，又节省了车载系统的计算资源，可用于智能车载系统中的行车预警系统。
59.对于步骤s102，在一些实施例中，可捕捉驾驶员的面部特征，根据捕捉的面部特征计算得到驾驶员当前的疲劳状态值，然后根据疲劳状态值确定驾驶员的驾驶状态，从而实现对驾驶员进行疲劳驾驶检测的目的。
60.在捕捉驾驶员的面部特征时，为了提高疲劳驾驶检测结果的精度，可以采集驾驶员在驾驶车辆过程中的n帧面部图像，进而提取n帧面部图像中各帧面部图像的面部特征，以便根据面部特征计算驾驶员的疲劳状态值，从而确定驾驶员当前的驾驶状态。
61.其中，n帧面部图像可通过摄像装置采集，例如，通过摄像头对驾驶员的面部进行短时间的摄像，从而获取驾驶员在驾驶车辆过程中的n帧面部图像。摄像装置可以是车载摄像头，也可以是后安装的摄像头等，本发明对此不作具体限定。
62.面部特征可以包括眼部特征和嘴部特征。在这种情况下，提取n帧面部图像中各帧面部图像的面部特征的步骤可以进一步包括如下步骤：针对每一帧面部图像，均对该帧面部图像内分别确定眼部图像和嘴部图像；从眼部图像中提取眼部特征；从嘴部图像中提取嘴部特征。也就是说，针对每一帧面图像均提取眼部特征和嘴部特征，n帧面部图像则可以提取n个眼部特征和n个嘴部特征。
63.疲劳状态值为能够反应驾驶员的驾驶状态的物理量，在面部特征为眼部特征和嘴部特征的情况下，疲劳状态值分别可以为眼部疲劳状态值和嘴部疲劳状态值。
64.为了更准确的决策处驾驶员的驾驶状态，在一些实施例中，当根据捕捉的面部特征计算得到驾驶员当前的疲劳状态值时，可根据每一眼部特征和嘴部特征，均计算得到对应的眼部疲劳状态值和嘴部疲劳状态值，即对于n个眼部特征和n个嘴部特征来说，可计算得到n个眼部疲劳状态值和n个嘴部疲劳状态值，进而根据计算得到的全部眼部疲劳状态值
和嘴部疲劳状态值确定驾驶员的驾驶状态。
65.眼部疲劳状态值可采用多种方式计算得到，在本发明一些实施例中，如果用ear表示眼部疲劳状态值，则该ear可以通过如下公式计算。
[0066][0067]
其中，p1和p4代表了眼睛的左端点和右端点，p2和p6则代表眼睛左上端点和左下端点，p3和p5则代表眼睛右上端点和右下端点。
[0068]
嘴部疲劳状态值可以仿照眼部疲劳状态值的计算方式进行计算。示意性的，如何嘴部疲劳状态值用mar来进行表示，则可通过如下公式计算mar值。
[0069][0070]
其中，p1’
和p4’
代表了嘴部的左端点和右端点，p2’
和p6’
则代表嘴部左上端点和左下端点，p3’
和p5’
则代表嘴部右上端点和右下端点。
[0071]
在计算得到眼部疲劳状态值和嘴部疲劳状态值后，即可根据眼部疲劳状态和嘴部疲劳状态值决策驾驶员的驾驶状态。
[0072]
考虑到实际应用中，不同个体眼睛的高宽比会存在不同程度的差异，并且车辆行驶过程中驾驶员可能会因特殊情况(如，强光)而眨眼，这样一来不可避免地会影响疲劳驾驶检测结果的精确度。鉴于此，在一些实施例中，假设采集到了n帧面部图像，则针对每一帧面部图像均会得到一个眼部疲劳状态值和嘴部疲劳状态值。也就是说，n帧面部图像可以对应n个眼部疲劳状态值和n个嘴部疲劳状态值，这种情况下，根据疲劳状态值确定驾驶员的驾驶状态的步骤还可进一步的包括如下步骤1和步骤2。
[0073]
步骤1：对所有的眼部疲劳状态值和嘴部疲劳状态值分别进行归一化处理。
[0074]
本步骤中的归一化处理即为对所有眼部疲劳状态值和所有嘴部偏劳状态值分别求平均的过程。如果用mear和mmar分别表示归一化眼部疲劳状态值和归一化嘴部疲劳状态值，那么，mear可通过如下公式计算。
[0075][0076]
mmar可通过如下公式计算。
[0077][0078]
步骤2：将归一化后的眼部疲劳状态值和归一化后的嘴部疲劳状态值作为判断节点，利用预先建立的疲劳状态决策树决策驾驶员的驾驶状态。
[0079]
决策树是一种常见的机器学习算法，为一种树形结构，其中每个内部节点表示一个属性上的测试，每个分支代表一个测试输出，每个叶节点代表一种类别。根据疲劳驾驶检测的使用场景，可预先建立疲劳状态决策树以便用于决策驾驶员的驾驶状态。
[0080]
如此通过步骤1和步骤2便可消除因不同个体眼睛高宽比不同所带来的影响，并且淡化因特殊情况导致的眨眼所带来的影响，从而提高疲劳驾驶检测结果的精度。同时，本实施例综合了驾驶员的眼部特征和嘴部特征，并通过疲劳状态决策树来决策驾驶员的驾驶状
态，有效的利用了驾驶员的面部信息，进一步确保了疲劳驾驶检测结果的精确度，且不会增加检测成本。
[0081]
在一些实施例中，可建立如图2所示的疲劳状态决策树。由图2可知，眼部疲劳状态值为根节点，嘴部偏劳状态值为判断节点(即子节点)，驾驶状态(包括疲劳状态、较疲劳状态和清醒状态)为叶节点，并且将眼部疲劳状态值和嘴部疲劳状态值是否大于预设阈值作为驾驶状态的分类标准。预设阈值可根据需求设置，以使驾驶状态的分类更准确为宜，比如可将预设阈值设置为0.2。
[0082]
步骤s104中的正常状态可以包括清醒状态和较疲劳状态。
[0083]
在驾驶员处于清醒状态时，可以设置第一稀疏时间策略，以使本轮疲劳驾驶检测与下一轮疲劳驾驶检测的时间间隔为默认值。默认值为驾驶员在清醒状态下进行票驾驶检测的稀疏间隔，可以根据实际需求预设的，例如，可预设默认值为10min，30min等。
[0084]
在驾驶员处于较疲劳状态时，则可设置第二稀疏时间策略，以使本轮疲劳驾驶检测与下一轮疲劳驾驶检测之间的时间间隔小于本轮疲劳驾驶检测与上一轮疲劳驾驶检测之间的时间间隔，也可称为稀疏间隔。也就是说，在驾驶员较疲劳时，可以动态的缩短相邻两轮疲劳驾驶检测之间的稀疏间隔。
[0085]
采用本发明实施例可以根据驾驶员的驾驶状态设置不同的稀疏时间策略，以对驾驶员进行不同稀疏间隔的检测，且稀疏间隔还可根据驾驶员的当前驾驶状态进行动态调整，如此不仅保证了安全性的前提下，又节省了车载系统的计算资源。
[0086]
此外，在对驾驶员进行疲劳驾驶检测的步骤之后，前述任一实例中的用于驾驶员的疲劳驾驶检测方法还可以包括如下步骤：在检测到驾驶员处于疲劳状态时，生成并输出提示信息。其中提示信息可通过语音播报装置输出，例如，在确定驾驶员当前处于疲劳状态时，可以通过广播等方式通知驾驶员和车内其它乘客，以引起必要的重视，确保行车安全。在另一些实施例中，在检测到驾驶员处于疲劳状态时，还可通过启动报警器或蜂鸣器来提醒车内用户。
[0087]
在一些实施例中，在对驾驶员进行疲劳驾驶检测过程中，可检测车辆的启动事件，进而在检测到启动事件时，对驾驶员进行初始的疲劳驾驶检测，以初始化所述驾驶员的驾驶状态。这里对驾驶状态进行初始化的目的是为了确定初始检测的稀疏间隔，以便对驾驶员进行稀疏检测，从而节省车载系统的计算资源。
[0088]
另外，在执行步骤s108时，可启动计时器或定时器，进而通过计时器或定时器来检测当前时间点是否到达下一轮疲劳驾驶检测的开始时间点。
[0089]
图3是根据本发明一个实施例的用于驾驶员的疲劳驾驶检测方法的示意性详细流程图。参见图3，在该实施例中，用于驾驶员的疲劳驾驶检测方法可包括如下步骤s302至步骤s326。
[0090]
步骤s302，检测车辆是否开启。若开启，执行步骤s304；若未开始，继续执行步骤s302。
[0091]
步骤s304，采集驾驶员的n帧面部图像。
[0092]
步骤s306，从n帧面部图像中确定各帧面部图像的眼部图像和嘴部图像。
[0093]
步骤s308，从各眼部图像和嘴部图像分别提取对应的眼部特征和嘴部特征。
[0094]
步骤s310，根据每一眼部特征计算得到眼部疲劳状态值，并根据每一嘴部特征计
算得到嘴部偏劳状态值。
[0095]
步骤s312，分别对n个眼部疲劳状态值和n个嘴部疲劳状态值进行归一化处理。
[0096]
步骤s314，根据归一化后的眼部疲劳状态值和嘴部疲劳状态值，并通过疲劳状态决策树决策驾驶员的驾驶状态。
[0097]
步骤s316，判断驾驶员是否处于疲劳状态，若是，执行步骤s318；若否，执行步骤s320。
[0098]
步骤s318，生成提示信息并输出。
[0099]
步骤s320，判定驾驶员处于清醒状态和较疲劳状态中任一种。若驾驶员处于清醒状态。执行步骤s322；若驾驶员处于较疲劳状态，执行步骤s324。
[0100]
步骤s322，设置疲劳驾驶检测的第一稀疏时间策略，并根据第一稀疏时间策略确定下一轮疲劳驾驶检测的开始时间点。
[0101]
步骤s324，设置疲劳驾驶检测的第二稀疏时间策略，并根据第二稀疏时间策略确定下一轮疲劳驾驶检测的开始时间点。
[0102]
步骤s326，检测当前时间点是否到达开始时间点。若到达，返回步骤s304；若未到达，继续执行步骤s326。
[0103]
基于同一发明构思，在一实施例中，还提供了一种机器可读存储介质。机器可读存储介质存储有机器可执行程序，机器可执行程序被处理器执行时实现根据前述任意一个实施例或多个实施例的组合中的用于驾驶员的疲劳驾驶检测方法。
[0104]
图4是根据本发明一个实施例的电子设备的示意性框图。参见图4，本发明还提供了一种电子设备400。
[0105]
进一步的，电子设备400可以为一种车载电子设备、或边缘服务器、或云端服务器。
[0106]
进一步的，车载电子设备具体可以为一种驾驶脑，车机、dhu(娱乐主机和仪表的集成机器)、ihu(infotainment head unit，信息娱乐主机)、ivi(in
‑
vehicle infotainment，车载信息娱乐系统)或任意一种车载信息交互终端等。
[0107]
电子设备400可包括存储器410、处理器420及存储在存储器410上并在处理器420上运行的机器可执行程序411。处理器执行机器可执行程序时实现实现上述任意一个实施例或多个实施例的用于驾驶员的疲劳驾驶检测方法。
[0108]
上述各个实施例可以任意组合，根据上述任意一个优选实施例或多个优选实施例的组合，本发明实施例能够达到如下有益效果：
[0109]
采用本发明实施例的方案，可以在车辆启动时对驾驶进行一次初始的疲劳驾驶检测，进而针对清醒状态下的驾驶员会保持合适的疲劳驾驶检测的稀疏间隔，如果检测到驾驶员处于较疲劳状态，则会动态的缩短疲劳驾驶检测的稀疏间隔。相对于现有的疲劳驾驶检测方法，本发明实施例没有实时的对驾驶员进行疲劳驾驶检测，而是稀疏的对驾驶员进行疲劳驾驶检测，同时稀疏时间策略会根据驾驶员的当前驾驶状态进行动态调整，在保障了安全性的前提下，又节省了车载系统的计算资源，可用于智能车载系统中的行车预警系统。并且，本发明实施例在对驾驶员进行疲劳驾驶检测过程中，能够有效的驾驶员的面部信息来判断驾驶员当前所处的驾驶状态，提高了疲劳驾驶检测的准确度。
[0110]
至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接
确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。